GSI024 - Organização e Recuperação da

Transcrição

1 GSI024 - Organização e Recuperação da Informação Ilmério Reis da Silva ilmerio@facom.ufu.br UFU/FACOM/BSI Arquivo 5 - Peso de termos GSI024-ORI Pg:5. 1

2 Busca paramétrica usando atributos Regiões em documentos e indexação Peso de termos GSI024-ORI Pg:5. 2

3 Busca paramétrica Combina busca textual com Metadados Language = French Format = pdf Subject = Physics etc. Date = Feb 2000 GSI024-ORI Pg:5. 3

4 Busca paramétrica - Exemplo GSI024-ORI Pg:5. 4

5 Busca paramétrica - Exemplo (com busca textual) GSI024-ORI Pg:5. 5

6 Busca paramétrica/textual Seleção de atributos Filtros para definir documentos alvo Busca textual na coleção resultante GSI024-ORI Pg:5. 6

7 Índices em busca paramétrica/textual Linguagem de consulta modificada Exemplo: Encontre documentos em pdf com a frase Faculdade de computação da UFU Seleção de campos: listas invertidas por nome do atributo, incluindo técnicas de compressão Consultas do tipo wildcard: autor contêm s*trup Consultas por intervalo: data entre setembro e dezembro Técnicas de indexação de BD em geral funcionam melhor, por exemplo, Árvore- B+ (veja GSI024-ORI Pg:5. 7

8 Busca por atributos (Projeção) Exemplo: ISBN dos livros cujo autor contêm s*trup Seleção de documentos baseado em processamento de consulas wildcar Índexação direta (não invertida) de documentos GSI024-ORI Pg:5. 8

9 Regiões São partes do documento que contêm textos livres Exemplo: título, resumo, bibliografia Indexação por região permite consultas do tipo: sorting in Title AND smith in Bibliography AND recur* in Body GSI024-ORI Pg:5. 9

10 Exemplo de índice incluindo regiões no vocabulário GSI024-ORI Pg:5. 10

11 Exemplo de índice incluindo regiões na lista invertida GSI024-ORI Pg:5. 11

12 Temos agora um banco de dados? não temos transações não temos protocolos de recuperação em geral, armazenamos somente índices nosso foco é consultas orientadas a texto, não SQL GSI024-ORI Pg:5. 12

13 Além de consultas booleanas com consultas booleanas a resposta é um conjunto de documentos que atendem à consulta bom em ambiente de BD onde o usuário conhece o conjunto de dados e sabe o que quer difícil para maioria dos usuários GSI024-ORI Pg:5. 13

14 Além de consultas booleanas Objetivo retornar documentos que atendam às necessidades de informação do usuário como organizar os documentos em um ranking com relação à uma consulta atribuir um score (similaridade) para cada documento em geral é um casamento de palavras documento/consulta um adversário na web são palavras inseridas para driblar as máquinas de busca GSI024-ORI Pg:5. 14

15 Score baseado em pesos na consulta Score = 0.6 < sorting in T itle > < sorting in Abstract > < sorting in Body > < sorting in Boldface > Neste caso, quais as possibilidades de Score? Um problema com essa abordagem é como estabelecer pesos na consulta. GSI024-ORI Pg:5. 15

16 Consultas textuais Como interpretar a consulta bill of rights Não há conectivos lógicos Alguns documentos relevantes podem não conter alguns termos da consulta GSI024-ORI Pg:5. 16

17 Casamento documento x consulta Um documento pode ser representado como um conjunto de termos A consulta também pode ser representada como um conjunto de termos score = documento consulta GSI024-ORI Pg:5. 17

18 Casamento documento x consulta Problemas não considera freqüencia de termos nos documentos não considera freqüencia de termos na coleção não considera tamanho do documento GSI024-ORI Pg:5. 18

19 Casamento documento x consulta Normalização Coeficiente de Jacard Cosseno documento consulta documento consulta documento consulta documento consulta GSI024-ORI Pg:5. 19

20 Casamento documento x consulta Próximos passos Até aqui: posição e sobreposição de termos Próximo: medir o quanto um documento fala sobre o assunto da consulta Se possui grande quantidade de termos da consulta deve ser relevante. GSI024-ORI Pg:5. 20

21 Documento como vetor de termos Espaço N M GSI024-ORI Pg:5. 21

22 Documento como conjunto (ou vetor) de termos Problemas Documento 1: John is quicker than Mary Documento 2: Mary is quicker than John Vocabulário: is john mary quicker than d 1 = d 2 = Como diferenciar? GSI024-ORI Pg:5. 22

23 Problema com freqüencia de termos Seja a consulta: ides of march ides ocorre somente na peça Julius Caesar, 5 ocorrências march ocorre em várias of ocorre em todas Usando somente freqüencia (número de ocorrências), a que tiver mais ofs provavelmente ocupará o topo do ranking GSI024-ORI Pg:5. 23

24 Freqüencia do termo (tf) documentos grandes são favorecidos podemos normalizar os documentos alternativas usadas para peso baseado em tf contagem direta: wf t,d = tf t,d ou { 0 se tf = 0 wf t,d = log tf t,d cc GSI024-ORI Pg:5. 24

25 Casamento consulta/documento baseado em tf Score baseado em soma sobre termos da consulta score = t q tf t,q pode ser combinado com regiões pode-se usar wf t,d em substituição a tf mas ainda não considera freqüencia do termo na coleção um termo raro deve ser mais discriminante que um termo comum? no exemplo, ides é raro e of comun. GSI024-ORI Pg:5. 25

26 Peso do termo deve considerar características genéricas Qual termo abaixo diz mais sobre o assunto de um documento? 10 ocorrências de hernia 10 ocorrências de the Como atenuar o peso de termos muito comuns? o que é um termo comum? observar a ocorrência do termo na coleção GSI024-ORI Pg:5. 26

27 Freqüencia de documentos seja df o número de documentos da coleção que contêm o termo é diferente da freqüencia do termo na coleção (cf) Exemplo Termo cf df ferrari insurance como usar df? GSI024-ORI Pg:5. 27

28 Inverso da freqüencia de documentos idf o idf é uma medida inversa da freqüencia de documentos o idf mede a quantidade de informação de um termo em uma coleção a motivação é: quanto mais raro for o termo maior é sua importância em caracterizar um documento poderia ser idf t = 1 df t, mas a versão mais utilizada é idf t = log N df t, onde N é o número de documentos da coleção e ddf t é o número de documentos onte o termo ocorre. justificativa teórica baseada no conceito de entropia, conforme Kishore Papineni, GSI024-ORI Pg:5. 28

29 Pesagem tf idf (ou tfidf) Peso do i-ésimo termo (k i ) no j-ésimo documento (d j ) é: onde, w i,j = tf i,j log N df i tf i,j : freqüencia do termo k i no documento d j N : total de documentos na coleção df i : total de documentos que contêm o termo k i aumenta com o número de ocorrências do termo no documento aumenta com a raridade do termo entre os documentos Qual o peso de um termo que ocorre em todos os documentos? GSI024-ORI Pg:5. 29

30 Matriz de pesos baseada em tf.idf GSI024-ORI Pg:5. 30

31 Documento como vetor de termos cada documento pode ser visto como um vetor de termos (coluna na matriz) cada termo é um eixo no espaço vetorial documentos são vetores nesse espaço o espaço tem milhares de eixos (dimensões) a matriz nos dá também a opção de vetores de termos em um espaço de documentos GSI024-ORI Pg:5. 31

32 Resumo Busca parametrizada Score por regiões Peso de termos tf.idf Documentos como vetores em um espaço vetorial de termos GSI024-ORI Pg:5. 32