Avaliação Sistemas de Recuperação da Informação

Transcrição

1 Avaliação Sistemas de Recuperação da Informação Prof. Rodrigo Tripodi Calumby DEXA / UEFS rtcalumby@ecomp.uefs.br

2 Por que? Ex.: Projeto de Aviões Teste em simuladores e experimentos Construção e teste de protótipo Monitoramento do funcionamento Ajuste de performance

3 Roteiro Introdução Eficiência X Eficácia Avaliação de Resultados Paradigma de Cranfield Medidas de Avaliação Iniciativas Exercícios

4 Eficácia X Eficiência Eficácia Capacidade de encontrar a informação certa Eficiência Quão rápido isso é feito!

5 Eficácia X Eficiência Eficácia Capacidade de encontrar a informação certa Qualidade do ranking produzido Eficiência Quão rápido isso é feito! Tempo X Espaço

6 Eficácia X Eficiência São afetadas por vários fatores Interface Técnicas de refinamento de consulta Sugestões de consulta Realimentação de relevância Muito difícil avaliá-las juntas Foco: Experimentos controlados

7 Eficácia X Eficiência Custo/Benefício Pequeno aumento de eficácia com impacto significante em eficiência não serve. Eficácia estabilidade eficiência Ajuste de parâmetros para favorecer eficácia ou eficiência

8 Custo Algoritmos Hardware Custo X Eficácia X Eficiência Otimização Parâmetros Não é SEO Search Engine Optmization

9 Avaliação de resultados Usuários X Relevância Métricas noção de relevância Permitem Avaliar a performance da máquina de busca Comparar diferentes sistemas Técnica básica Resultados do sistema X Resultados dos usuários

10 Avaliação de resultados Permitem responder questões práticas sobre Modificações das funções de ranking Novas funções de ranking Eficácia para diferentes tipos de consulta Produtos, notícias, imagens, etc. Consultas podem fazer parte de tarefas mais complexas

11 Avaliação de resultados Métricas numéricas Simples Repetíveis Baixo custo Curto espaço de tempo Permitem verificar o que funciona ou não com base no efeito sobre as métricas

12 O Paradigma de Cranfield Origem da avaliação sistemática de sistemas de RI Mortimer Taube Bibliotecário do gov. EUA. Uniterm System categorias de documentos palavras distintas Indexação usando apenas estas palavras Cyril Cleverdon ( ). Faculdade de Aeronáutica, Cranfield, UK.

13 O Paradigma de Cranfield Cyril Cleverdon + Bob Thorne (1952) Indexaram 200 docs usando Uniterm Thorne fez algumas consultas Uniterm Muito simples Não uso de semântica Cleverdon não ficou satistfeito! Não tinha dados suficientes para comparar os sistemas de indexação

14 O Paradigma de Cranfield Cyril Cleverdon + Bob Thorne (1952) Indexaram 200 docs usando Uniterm Thorne fez algumas consultas Uniterm Muito simples Não uso de semântica Cleverdon não ficou satisfeito! Não tinha dados suficientes para comparar os sistemas de indexação

15 O Paradigma de Cranfield Financiamento do NSF (National Science Foundation) Cranfield-1 Comprar 4 sistemas de indexação Incluindo o Uniterm Indexação manual de artigos sobre engenharia aeronáutica Avaliação de questões de busca Cada uma baseada em um único artigo Objetivo: encontrar o artigo no catálogo

16 O Paradigma de Cranfield Os 4 sistemas eram basicamente equivalentes em termos de precisão dos resultados

17 O Paradigma de Cranfield Os 4 sistemas eram basicamente equivalentes em termos de precisão dos resultados Entendimento da relação: Recall Precision

18 O Paradigma de Cranfield Cranfield-2 Novos experimentos Experimentos em menor escala documentos 279 questões Relevância de todos os documentos em relação a cada questão (manualmente) 6 estudantes em três meses

19 O Paradigma de Cranfield Cranfield-2 Conjunto de documentos Conjunto de consultas Relevância Consulta/Documento Conclusões Em situações práticas, a maioria das consultas não exigem recall alta Apenas alguns itens relevantes (web)

20 O Paradigma de Cranfield Base da avaliação moderna de RI Desvantagens/Assume que: A relevância de um documento é independente da relevância de outro documento O julgamento de relevância por especialistas reflete a população Todos os documentos relevantes para uma consulta são conhecidos a priori

21 O Paradigma de Cranfield Base da avaliação moderna de RI Desvantagens/Assume que: A relevância de um documento é independente da relevância de outro documento O julgamento de relevância por especialistas reflete a população Todos os documentos relevantes para uma consulta são conhecidos a priori

22 O Paradigma de Cranfield Base da avaliação moderna de RI Desvantagens/Assume que: A relevância de um documento é independente da relevância de outro documento O julgamento de relevância por especialistas reflete a população Todos os documentos relevantes para uma consulta são conhecidos a priori The Gerard Salton Award (SIGIR)

23 Avaliação da RI Moderna Segue o Paradigma de Cranfield Coleções de referência Rapidez para comparação de sistemas/funções Reprodução de experimentos Podem ser construídas para diferentes contextos com diferentes características Faces Plantas Imagens de satélite Imagens Médicas Web

24 Medidas de Avaliação

25 Precision e Recall Precision = taxa de itens relevantes no resultado retornado Recall = taxa de itens relevantes retornados em relação a quantidade total de itens relevantes

26 Precision e Recall Precision= número derelevantes no resultado tamanho do resultado Recall= número derelevantes no resultado número total de relevantes

27 Precision e Recall Item Relevante? Precision Recall 1 SIM NÃO SIM SIM SIM SIM NÃO NÃO NÃO SIM

28 Precision e Recall Interpolação fonte:

29 Precision e Recall Precision at Recall X Recall 0.1 Recall 0.2 Recall 0.3 Recall

30 Precision e Recall Precision at Recall X Recall 0.1 Recall 0.2 Recall Precision Recall 0.3 Recall

31 Precision e Recall Precision at Recall X Recall 0.1 Recall 0.2 Recall Precision Recall 0.3 Recall

32 Precision e Recall Precision at Recall X Recall 0.1 interpolação Recall Precision Recall 0.2 Recall 0.3 Recall

33 Precision e Recall

34 Precision e Recall

35 Precision e Recall

36 Precision e Recall

37 Precision e Recall

38 Precision e Recall Qual é melhor?

39 Precision e Recall Área abaixo da curva

40 Medidas de Valor Único F-measure AP MAP GMAP MRR BPREF NDCG*

41 Precisão do resultado em uma determinada profundidade

42 F-measure Ponderação entre Precision e Recall Balanceada

43 AP (Average Precision) Precisão interpolada média para cada relevante encontrado

44 AP (Average Precision) Precisão interpolada média em 11 pontos Média dos valores de precisão para recall 0.0, 0.1, 0.2,, 1.0

45 MAP (Mean Average Precision) Média de AP para múltiplas consultas

46 GMAP (Geometric Mean Average Precision)

47 MAP X GMAP Método AP(1) AP(2) A B

48 MAP X GMAP Método AP(1) AP(2) MAP A B

49 MAP X GMAP Método AP(1) AP(2) MAP GMAP A B

50 MRR (Mean Reciprocal Rank) O importante é o primeiro resultado Que pode ser o único Ex.: Resposta a questões Busca de URL

51 ( Pooling ) Avaliação de relevância incompleta Pooling Combinação de resultados de vários sistemas e refino por especialistas Precision X Recall Irrelevantes e não retornados são tratados da mesma forma não relevantes Pooling: Muitos não recuperados são tratados como irrelevantes

52 BPREF (Binary Preference) Número de vezes que itens irrelevantes aparecem antes de itens relevantes irrelevantes no máximo

53 ( Níveis Relevância ) Múltiplos níveis Muito relevante Relevante Neutro Irrelevante Muito Irrelevante Ranking Itens mais relevantes devem estar no topo do ranking Itens relevantes que aparecem no final do ranking não tem muita importância.

54 NDCG (Normalized Discounted Cumulated Gain) Adequada com níveis de relevância não binária Leva em consideração Posição do elementos no ranking Nível de relevância de cada elemento

55 NDCG (Normalized Discounted Cumulated Gain) Cumulated/Cumulative Gain

56 NDCG (Normalized Discounted Cumulated Gain) Cumulated/Cumulative Gain

57 NDCG (Normalized Discounted Cumulated Gain) Discounted Cumulated Gain

58 NDCG (Normalized Discounted Cumulated Gain) Discounted Cumulated Gain

59 NDCG (Normalized Discounted Cumulated Gain) Discounted Cumulated Gain Não gera valor relativo ao ground-truth, apenas em relação ao resultado avaliado Precision e Recall relativos aos itens relevantes existentes para a consulta Podemos calcular G, CG e DCG Ideais

60 NDCG (Normalized Discounted Cumulated Gain) Discounted Cumulated Gain Não gera valor relativo ao ground-truth, apenas em relação ao resultado avaliado Precision e Recall relativos aos itens relevantes existentes para a consulta Podemos calcular G, CG e DCG Ideais

61 NDCG (Normalized Discounted Cumulated Gain) Discounted Cumulated Gain Não gera valor relativo ao ground-truth, apenas em relação ao resultado avaliado Precision e Recall relativos aos itens relevantes existentes para a consulta Podemos calcular G, CG e DCG Ideais

62 NDCG (Normalized Discounted Cumulated Gain) Discounted Cumulated Gain Não gera valor relativo ao ground-truth, apenas em relação ao resultado avaliado Precision e Recall relativos aos itens relevantes existentes para a consulta Podemos calcular G, CG e DCG Ideais

63 NDCG (Normalized Discounted Cumulated Gain)

64 NDCG (Normalized Discounted Cumulated Gain) Quanto podemos melhorar? Não podemos comparar curvas CG ou DCG para 2 algoritmos Podemos comparar curvas CG com ICG curvas DCG com IDCG curvas NDCG para dois algoritmos NDCG@K para dois algoritmos

65 Iniciativas TREC Texto e Video INEX XML CLEF Imagens IRSI, FIRE, NTCIR...

66 Além disso, User-centered evaluation Novidade e Diversidade Métricas de correlação de ranks Estudo de correlação de métricas Testes estatísticos

67 Fontes das Imagens Porquê _m-20.gif ft_prototypes_desktop_1131x707_hd-wallpaper jpg 06/images/todos_3.jpg Cyril Cleverdon

68 Bibliografia Steffan Buettcher, Charles L. A. Clarke e Gordon V. Cormack. Information Retrieval Implementing and Evaluating Search Engines. The MIT Press, Ricardo Baeza-Yates e Berthier Ribeiro-Neto. Modern Information Retrieval: The Concepts and Technology behind Search. Addison-Wesley, 2ed, Bruce Croft, Donald Metzler e Trevor Strohman. Search Engines Information Retrieval in Practice. Addison-Wesley, Christopher D. Manning, Prabhakar Raghavan e Hinrich Schütze. An Introduction to Information Retrieval. Cambridge University Press, 2008.

69 Obrigado! Dúvidas? Exercícios

70 Exercícios Duas Consultas 20 imagens 10 relevantes Precision X Recall MAP e GMAP NDCG

71 Resultado Precision X Recall Precision 0.60 Q1 Q2 AVG Recall

72 Resultado MAP= GMAP=

73 Resultado NDCG NDCG Q1 Q2 AVG Rank