Gestão e Recuperação de Informação. Avaliação em Sistemas de Recuperação de Informação. José Borbinha DEI/IST

Transcrição

1 Gestão e Recuperação de Informação Avaliação em Sistemas de Recuperação de Informação José Borbinha DEI/IST

2 Problema: Como avaliar um sistema de RI? 2

3 Comecemos, analisando um exemplo... 3

4 Exemplo... 4

5 Exemplo... 5

6 Exemplo... Os 3 primeiros resultados são os mesmo nas duas pesquisas, mas o resultado que aparece agora na posição 4 aparecia só na posição 31 na pesquisa anterior...!!!... Pergunta: Isso será bom ou mau? 6

7 Voltando ao problema... 7

8 Voltando ao problema: Como avaliar um sistema/solução de RI? Como comparar duas soluções para um problema de RI? Será possível ter processos de avaliação genéricos para qualquer tipo de sistema e para qualquer tipo de problema? Como se decide quando é que cada técnica melhor (ou pior) responde a um problema específico? Term selection (stopword removal, stemming )? Ranking function (dot-product, cosine, )? Term weighting (TF, TF-IDF, )?...???? Interface 8

9 Information Retrieval Chapter 7: Evaluation 9

10 Conceito Fundamental: Relevância A eficácia de um sistema depende da RELEVÂNCIA dos documentos retornados! Não é fácil no entanto definir OBJECTIVAMENTE relevância... Pode não ser sempre um conceito binário (relevante / não relevante), mas algo que pode ser: Subjectivo (depende logo à partida de cada utilizador individualmente) Situacional (pode depender do momento em que o utilizador efectua a pesquisa) Cognitivo (depende claramente da percepção do problema e do comportamento de cada utilizador perante o sistema) Dinâmico (pode mudar ao longo do tempo...) 10

11 Medidas: Precision e Recall Precision: A capacidade do sistema em retornar ao utilizador os documentos mais relevantes Recall: A capacidade do sistema em encontrar na colecção os documentos mais relevantes Precision = Precisão?... Recall = Abrangência?... Cobertura?... 11

12 Conceitos: Precision e Recall Toda a Colecção Documentos Relevantes Documentos Recuperados relevant irrelevant Retrieved but irrelevant Retrieved and relevant Not retrieved, irrelevant Not retrieved but relevant retrieved not retrieved Recall = Number of relevant documents retrieved Total number of relevant documents Precision = Number of relevant documents retrieved Total number of documents retrieved 12

13 Medidas: Precision e Recall Colecção Total Documentos Relevantes Documentos Recuperados A relevant irrelevant A B A B A B A B retrieved B not retrieved Precision = A B B Recall = A B A 13

14 Gráfico Precision-Recall Experimentalmente calculam-se pares de valores (Precision, Recall) Um cenário ideal seria ter sempre Precision = Recall = 1 Infelizmente, num sistema real tentar melhorar uma das medidas implica normalmente deteriorar sempre a outra... (Porquê?) 14

15 Como avaliar os resultados de uma avaliação???... 15

16 Qual a melhor curva Precision-Recall? Qual a melhor curva?... Geralmente a decisão depende do negócio (objectivos concretos do sistema) 16

17 Voltando ao Exemplo... Relembrando, os 3 primeiros resultados são os mesmo nas duas pesquisas, mas o resultado que aparece agora na posição 4 aparecia só na posição 31 na pesquisa anterior...!!!... 17

18 Precision, Recall e Relevance Ranking As medidas de Precision e Recall são sempre tomadas relativamente a uma data lista de resultados. Teoricamente um sistema de RI pode retornar TODA uma colecção se o problema for definido como qual a prioridade com que a mesma deve ser ordenada relativamente a uma dada interrogação... Definir o tamanho da lista de resultados e a ordem (relevance ranking) dos mesmos é portanto importante! Por exemplo, se um sistema retornar 20 resultados em que apenas os 10 primeiros são relevantes, teremos Precision=0,5 se considerarmos toda a lista, mas já teremos Precision=1 se considerarmos apenas a primeira metade da mesma... 18

19 Revendo Precision: R-Precision n x x x x x doc # relevant Precision = 5/14 = 0.36 R = # documentos relevantes = 6 R-Precision = 4/6 = 0.67 Nota: R-Precision aparece na literatura por vezes também como N-Precision 19

20 Precision inicial e final Initial Precision: É o valor de Precision quando Recall=0. Permite dar uma indicação sobre o Relevance Ranking dos primeiros resultado. Final Precision: É o valor de Precision quando Recall=1. Indica a profundidade a que se tem de ir na lista de resultados para se poder recuperar todos os documentos relevantes. 20

21 Precision média Mesmo num cenário de R-Precision pode não ser fácil perceber a qualidade do sistema na rapidez com que retorna primeiro os documentos mais relevantes. Average Precision é uma medida que privilegia um bom Relevance Ranking, pois calcula uma Precision média de forma ponderada segundo a posição de cada caso relevante na lista de resultados: N = tamanho da lista de resultados r = posição na lista de resultados rel() = função binária da relevância para uma dada posição na lista de resultados P() = Precision para uma da lista de resultados (P(r) significa na prática truncar a lista de resultados para caso de documento relevante...) 21

22 Problemas com Precision e Recall: Número de documentos irrelevantes na colecção não é considerado! Como será o sistema afectado se adicionarmos ou removermos documentos irrelevantes? Recall é indefinido quando não há documentos relevantes na colecção. Precision é indefinido quando o número de documentos devolvido é nulo. Fallout mede a velocidade com que Precision cai quando Recall é aumentada: Fallout = total no.of no.of nonrelevant items retrieved nonrelevant items in the collection 22

23 Conceito: Fallout Colecção Total Documentos Recuperados A irrelevant A B A B Documentos Relevantes A relevant A B A B Precision = Recall = A B B A B A Fallout = retrieved B A B A not retrieved 23

24 Resumindo Recall = an estimate of the conditional probability that an item will be retrieved given that it is relevant [P(B/A)] Precision = an estimate of the conditional probability that an item will be relevant given that it is retrieved [P(A/B)] Fallout = an estimate of the conditional probability that an item will be retrieved given that it is non-relevant [P(B/`A]. 24

25 Outras medidas: F-Measure Média harmónica: Medida que considera ao mesmo tempo Recall e Precision = 2PR F 1 1 P + R + R P Em alternativa a uma média simples, neste caso ambos os valores necessitam ser altos para que o valor final seja alto... = 2 Cálculo de uma média harmónica em termos gerais: 25

26 E-Measure (parameterized F-Measure) Variante da F-Measure que permite ponderar a Precision em relação à Recall: E = 2 (1 + β ) PR β 2 P + R = (1 + 2 β R β 1 + P 2 ) O valor de β permite expressar preferências: β = 1: Peso igual a Precision e Recall (E=F). β > 1: Precision com maior peso β < 1: Recall com maior peso 26

27 Iniciativas de Avaliação... 27

28 Iniciativas de Avaliação Conjuntas Iniciativas que tentam comparar sistemas recorrendo a colecções e interrogações comuns: TREC Text Retrieval Conference INEX Initiative for the Evaluation ox XM Retrieval CLEF Cross Language Evaluation Forum NTCIR NII Test Collection for IR (Asia...) CWIRF Chinese Web Test Collection Linguateca Centro de Recursos para o Processamento Computacional da Língua Portuguesa 28

29 29

30 30

31 31

32 32

33 33

34 Colecções dos jornais Público e Folha de S. Paulo, etc. 34

35 Perguntas? 35