Medidas de Avaliação. Após a execução de uma busca, pode-se dividir os documentos do corpus nos seguintes conjuntos: Recuperados não recuperados

Tamanho: px

Começar a partir da página:

Download "Medidas de Avaliação. Após a execução de uma busca, pode-se dividir os documentos do corpus nos seguintes conjuntos: Recuperados não recuperados"

Letícia Corte-Real Campos
6 Há anos
Visualizações:

1 Medidas de Avaliação Após a execução de uma busca, pode-se dividir os documentos do corpus nos seguintes conjuntos: Relevantes não-relevantes Recuperados não recuperados 1

2 Documentos úteis para atender a necessidade de informação do usuário Documentos que não são úteis para o usuário Para qualquer necessidade sempre haverá mais documentos não úteis (-) do que úteis (+); O problema está em recuperar o maior número possível de itens úteis e o menor número possível de itens inúteis; O quadrado menor representa o resultado de uma busca. precisão (precision) Expressa o quanto o sistema é capaz de recuperar apenas itens úteis. Foram recuperados 20 itens, sendo 6 úteis e 14 inúteis nº docs relevantes recuperados Precisão = nº docs recuperados 6 Precisão = = 20 Precisão = 30% 0,3 2

3 revocação (recall) Expressa o quanto o sistema é capaz de recuperar todos os itens úteis. Dos 12 documentos úteis existente no corpus, apenas 6 foram recuperados nº docs relevantesrecuperados Revocação = nº docs relevantes 6 Revocação = = 12 Revocação = 50% 0,5 revocação x precisão Para melhorar a revocação deve-se fazer uma busca mais genérica, representado pelo quadrado maior. 9 Revocação = = 0,75 = 75% 12 9 Precisão = 0,18 = 18% 49 Revocação Precisão 3

4 Revocação x Precisão Apesar de muito utilizadas, as medidas de Precisão e Revocação apresentam alguns problemas: A revocação máxima para uma determinada busca requer um conhecimento de todos documentos do corpus. Para bases documentais muito grandes isso é impossível; Precisão e Revocação avaliam diferentes aspectos do corpus. Seria apropriado uma única medida que combinasse as duas; 4

5 outras medidas Média harmônica 2 F( = r( P( Calcula a média harmônica entre as medidas Precisão ( P ) e Revocação ( r ) Medida E 2 1+ b E( = 2 b 1 + r( P( Esta medida permite ao usuário escolher se ele está mais interessado em Revocação ou em Precisão. b > 1 o usuário está mais interessado em precisão. b < 1 o usuário está mais interessado em revocação. medidas orientadas ao usuário As medidas Revocação e Precisão são baseadas na suposição de que o conjunto de documentos relevantes para uma busca é o mesmo, independente do usuário. Porém, diferentes usuários podem ter uma interpretação diferente de qual documento é relevante ou qual não é. Para enfrentar esse problema, algumas medidas orientadas ao usuário foram criadas. 5

6 medidas orientadas ao usuário Cobertura ( coverage ) Expressa a quantidade de documentos relevantes conhecidos pelo usuário que foram recuperados; Um alto valor de coverage indica que o sistema está encontrando a maioria dos documentos relevantes que o usuário esperava. Novidade ( novelty ) Expressa a quantidade de documentos relevantes recuperados que não eram conhecidos (previamente) pelo usuário; Um alto valor de novelty indica que o sistema está revelando para o usuário muitos novos documentos relevantes que eram desconhecidos para ele. medidas orientadas ao usuário Coverage : Documentos relevantes (recuperados) conhecidos pelo usuário K R A R documentos relevantes A documentos recuperados K documentos conhecidos Novelty: Documentos relevantes (recuperados) não conhecidos 6

Coleções para Teste Coleções para Teste Críticas à Information Retrieval Falta fundamentação básica A natureza subjetiva da tarefa de decidir a relevância de um documento dificulta uma fundamentação

7 Coleções para Teste Coleções para Teste Críticas à Information Retrieval Falta fundamentação básica A natureza subjetiva da tarefa de decidir a relevância de um documento dificulta uma fundamentação teórica Carece de campo de provas e medidas consistentes Nos anos de Conferência anual chamada TREC (Text REtrieval Conference) dedicada a experimentação com uma grande coleção de teste composta de milhões de documentos; 7

8 Coleções para Teste Também chamado coleções de referência É composta por um conjunto de documentos pré-selecionados, um conjunto de descrições de necessidades de informação usados para teste e um conjunto de julgamentos de relevância binários associados a cada par documento-consulta; O julgamento de relevância é binário: um documento é ou não relevante para uma dada consulta Coleções para Teste TREC Coleção de documentos de diversas fontes Wall Street Journal Associated Press US Patents Financial Times etc... CACM ISI Coleção de artigos publicados no periódico Communications of the ACM, cujo primeiro número foi publicado em 1958; Primeiro periódico em Ciência da Computação; Institute of Scientific Information (ISI) 1460 documentos 8

9 Conclusão A avaliação é uma parte vital da Recuperação; 9

Documentos relacionados

Medidas de Avaliação

Medidas de Avaliação Medidas de Avaliação Para a maioria dos sistemas computacionais é necessário criar medidas para aferir sua eficácia e eficiência; A medida mais comum é o tempo e o espaço. Quanto menor