Recuperação de Informação

Transcrição

1 Recuperação de Informação Avaliação de Desempenho de Sistemas de Recuperação de Informação Renato Fernandes Corrêa 1

2 Para que avaliar? Existem muitos modelos de RI, mas qual é o melhor? Qual a melhor escolha para: Seleção de termos (stopword, stemming ) Definição de pesos (TF, TF-IDF, ) Função de Ranking (co-seno, correlação ) Quantos itens da lista de resultados o usuário deverá consultar para ainda encontrar algum documento relevante? 2

3 Como avaliar? Todo software pode ser avaliado quanto a corretude ou eficácia através da comparação da saída do programa com a saída esperada para valores de entrada predeterminados. Entrada de dados Corpus Consulta SRI Saída de dados Lista de documentos recuperados Julgamentos de Relevância Por Especialistas Lista de documentos relevantes 3

4 Avaliação de Sistemas de RI Dificuldades Eficácia do SRI está relacionada à relevância dos itens recuperados Relevância, do ponto de vista do usuário, é: Subjetiva: depende de um julgamento específico do usuário Dependente do contexto: relaciona-se às necessidades atuais do usuário Cognitiva: depende da percepção e comportamento humano Dinâmica: muda com o decorrer do tempo 4

5 Metodologia de Avaliação de Sistemas de RI 1. Selecione com um corpus de documentos chamado também de coleção de referência 2. Defina um conjunto de consultas para esse corpus 3. Use um ou mais especialistas humanos para exaustivamente categorizar (etiquetar, marcar) os documentos relevantes para cada consulta Geralmente assume relevância binária 4. Calcular métricas de avaliação do SRI 5

6 Metodologia de Avaliação de Sistemas de RI 6

7 Metodologia de Avaliação Vantagens: Pode ser adotada para avaliar qualquer SRI Desvantagens: Não leva em conta ordenação dos documentos na lista de documentos retornados Depende do julgamento de relevância dos documentos da coleção em relação a cada expressão de busca. Processo lento, caro e subjetivo. 7

8 Medidas de Avaliação de Sistemas de RI Precisão Habilidade de recuperar somente itens relevantes (unicidade) Revocação ou Cobertura Habilidade de recuperar todos os itens relevantes (completude) 8

9 Medidas de Avaliação Relevantes Irrelevantes Coleção de documentos Documentos relevantes Documentos recuperados Recuperados Não recuperados recuperados e relevantes Não recuperados e relevantes recuperados e irrelevantes Não recuperados e irrelevantes Revocação Número de documentos relevantes recuperados Número total de documentos relevantes Precisão Número dedocumentos relevantes recuperados Número total de documentos recuperados 9

10 Exemplos: Dados: Uma coleção de 5 documentos, D1 a D5 Uma consulta Q1 Julgamento de relevância de cada documento para a consulta Q1 Existem 3 documentos relevantes para Q1 Os documentos retornados por um SRI para a consulta Q1 10

11 Exemplo 1: Documento Retornado Relevante D1 SIM SIM D2 NÃO SIM D3 SIM SIM D4 NÃO NÃO D5 SIM NÃO Revocação = 2/3 = 0,667 ou 66,7% Precisão = 2/3 = 0,667 ou 66,7% 11

12 Exemplo 2: buscando maior precisão Documento Retornado Relevante D1 SIM SIM D2 NÃO SIM D3 NÃO SIM D4 NÃO NÃO D5 NÃO NÃO Revocação = 1/3 = 0,333 ou 33,3% Precisão = 1/1 = 1,0 ou 100% 12

13 Exemplo 3 : buscando maior Revocação Documento Retornado Relevante D1 SIM SIM D2 SIM SIM D3 SIM SIM D4 SIM NÃO D5 SIM NÃO Revocação = 3/3 = 1,0 ou 100% Precisão = 3/5 = 0,6 ou 60% 13

14 Exemplo 4: o ideal Documento Retornado Relevante D1 SIM SIM D2 SIM SIM D3 SIM SIM D4 NÃO NÃO D5 NÃO NÃO Revocação = 3/3 = 1,0 ou 100% Precisão = 3/3 = 1,0 ou 100% 14

15 Precisão Conflito entre Revocação e Precisão Retorna documentos relevantes mas esquece muitos outros relevantes 1 Ideal 0 Revocação 1 Retorna todos os documentos relevantes mas inclui muitos não relevantes 15

16 Conflito entre Revocação e precisão A exaustividade e a especificidade na indexação são os dois fatores mais importantes que governam a Revocação e a precisão; A exaustividade aumenta a Revocação e diminui a precisão, enquanto que uma maior especificidade leva à menor Revocação e maior precisão; Em síntese, o desempenho de um sistema de recuperação de informação é avaliado principalmente pelas medidas de Revocação e precisão. 16

17 Exercício: busca por carta antiga Calcule Precisão e Revocação Retornado Relevante 17

18 Combinando Precisão e Revocação F-Measure Medida de desempenho que considera tanto a Revocação como precisão Média harmônica da Revocação (Cobertura) e Precisão: 2PC 2 F 1 1 P C C P Vantagem de usar a média harmônica em relação à média aritmética: Ambas as medidas precisam ser altas para a média harmônica ser alta 18

19 E-Measure F-Measure parametrizado Variação da F-measure que permite associar ênfase na precisão sobre a Revocação: E 2 (1 ) PC 2 P C Valor de controla conflito: = 1: Peso igual para precisão e Revocação (E=F). C > 1: Mais peso para a precisão 1 P < 1: Mais peso para a Revocação (1 2 2 ) 19

20 Exemplo 1: Documento Retornado Relevante D1 SIM SIM D2 NÃO SIM D3 SIM SIM D4 NÃO NÃO D5 SIM NÃO Revocação = 2/3 = 0,667 ou 66,7% Precisão = 2/3 = 0,667 ou 66,7% F 2PC P C 2x0,667x0,667 0,667 0,667 0,89 1,334 0,667 20

21 Exemplo 2: buscando maior precisão Documento Retornado Relevante D1 SIM SIM D2 NÃO SIM D3 NÃO SIM D4 NÃO NÃO D5 NÃO NÃO Revocação = 1/3 = 0,333 ou 33,3% Precisão = 1/1 = 1,0 ou 100% F 2PC P C 2x1,0 x0,333 1,0 0,333 0,666 1,333 0,5 21

22 Exemplo 3: buscando maior Revocação Documento Retornado Relevante D1 SIM SIM D2 SIM SIM D3 SIM SIM D4 SIM NÃO D5 SIM NÃO Revocação = 3/3 = 1,0 ou 100% F Precisão = 3/5 = 0,6 ou 60% 2PC P C 2x1,0 x0,6 1 0,6 1,2 1,6 0,75 22

23 Exemplo 4: o ideal Documento Retornado Relevante D1 SIM SIM D2 SIM SIM D3 SIM SIM D4 NÃO NÃO D5 NÃO NÃO Revocação = 3/3 = 1,0 ou 100% Precisão = 3/3 = 1,0 ou 100% 2PC 2x1x1 2 F 1,0 P C

24 Medir Revocação é Difícil Número total de documentos relevantes nem sempre é disponível Ex., a Web Para esses casos, calcula-se Revocação relativa Selecione uma amostra do conjunto total de documentos e julgue relevância apenas dos itens da amostra Aplique diferentes algoritmos de recuperação na mesma base de documentos para a mesma consulta Para a Web, consultar diferentes engenhos de busca O conjunto total dos itens relevantes recuperados é considerado o conjunto total de documentos relevantes 24

25 Curva de Precisão Média por Revocação Tipicamente, essa curva mede o desempenho geral do sistema sobre um conjunto de consultas É sensível à ordenação dos documentos relevantes na lista de documentos retornados Mostra o desempenho do sistema em termos de precisão média para diferentes posições de exame da lista de resultados (pontos de corte - cutoffs) pelos usuários, denotados por níveis de revocação. 25

26 Comparando dois ou mais Sistemas A curva mais próxima do canto superior direito do gráfico indica melhor desempenho 1 0,8 NoStem Stem Precisão 0,6 0,4 0,2 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Cobertura 26

27 Procedimento para cálculo da Curva de Precisão Média por Revocação Determine o conjunto de documentos relevantes para cada consulta Assuma a Revocação em 11 níveis, correspondendo a 0%, 10%,20%,...,90%,100% ou 0.0, 0.1, 0.2,...,0.9, 1.0 Para cada sistema Para cada consulta Calcule a Revocação e Precisão para cada documento relevante retornado, levando em conta a ordem de retorno Assuma inicialmente Precisão igual a zero para níveis de Revocação não informados Interpole os valores de Precisão para cada nível de Revocação intermediário, tomando a Precisão igual ao valor máximo de Precisão para níveis de Revocação maiores Calcule a média de Precisão para cada nível de Revocação de todas as consultas Ligue os pontos para determinar a curva de Precisão por Revocação 27

28 Exemplo: Sistema 1, Consulta 1 Levando em conta que existem 3 documentos relevantes Retornado Documento Relevante Revocação Precisão 1 D1 SIM 0,33 1,00 2 D2 NÃO 3 D3 SIM 0,67 0,67 4 D5 NÃO 5 D4 SIM 1,00 0,60 R P F 0 0,1 0,2 0,3 1 0,46 0,4 0,5 0,6 0,67 0,63 0,7 0,8 0,9 1 0,6 0,75 R P F 0 1 0,00 0,1 1 0,18 0,2 1 0,33 0,3 1 0,46 0,4 0,67 0,50 0,5 0,67 0,57 0,6 0,67 0,63 0,7 0,6 0,65 0,8 0,6 0,69 0,9 0,6 0,72 1 0,6 0,75 28

29 Exemplo: Sistema 1, Consulta 1 Levando em conta que existem 3 documentos relevantes Retornado Documento Relevante Revocação Precisão 1 D1 SIM 0,33 1,00 2 D2 NÃO 3 D3 SIM 0,67 0,67 4 D5 NÃO 5 D4 SIM 1,00 0,60 R P F 0 1 0,00 0,1 1 0,18 0,2 1 0,33 0,3 1 0,46 0,4 0,67 0,50 0,5 0,67 0,57 0,6 0,67 0,63 0,7 0,6 0,65 0,8 0,6 0,69 0,9 0,6 0,72 1 0,6 0,75 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Precisão x Revocação 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 29

30 Exemplo: Sistema 1, Consulta 2 Levando em conta que existem 5 documentos relevantes Retornado Documento Relevante Revocação Precisão 1 D1 SIM 0,20 1,00 2 D2 NÃO 3 D3 SIM 0,40 0,67 4 D5 NÃO 6 D6 SIM 0,60 0,50 10 D9 SIM 0,80 0,40 R P F 0 0,1 0,2 1 0,33 0,3 0,4 0,67 0,50 0,5 0,6 0,5 0,55 0,7 0,8 0,4 0,53 0,9 1 R P F 0 1 0,00 0,1 1 0,18 0,2 1 0,33 0,3 0,67 0,41 0,4 0,67 0,50 0,5 0,5 0,50 0,6 0,5 0,55 0,7 0,4 0,51 0,8 0,4 0,53 0,9 0 0, ,00 30

31 Exemplo: Sistema 1, Consulta 2 Levando em conta que existem 5 documentos relevantes Retornado Documento Relevante Revocação Precisão 1 D1 SIM 0,20 1,00 2 D2 NÃO 3 D3 SIM 0,40 0,67 4 D5 NÃO 6 D6 SIM 0,60 0,50 10 D9 SIM 0,80 0,40 R P F Precisão x Revocação 0 1 0,00 1 0,1 1 0,18 0,9 0,2 1 0,33 0,8 0,3 0,67 0,41 0,7 0,4 0,67 0,50 0,6 0,5 0,5 0,50 0,5 0,4 0,6 0,5 0,55 0,3 0,7 0,4 0,51 0,2 0,8 0,4 0,53 0,1 0,9 0 0, ,00 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 31

32 Exemplo: Sistema 1 Consulta 1 R P F 0 1 0,00 0,1 1 0,18 0,2 1 0,33 0,3 1 0,46 0,4 0,67 0,50 0,5 0,67 0,57 0,6 0,67 0,63 0,7 0,6 0,65 0,8 0,6 0,69 0,9 0,6 0,72 1 0,6 0,75 Consulta 2 R P F 0 1 0,00 0,1 1 0,18 0,2 1 0,33 0,3 0,67 0,41 0,4 0,67 0,50 0,5 0,5 0,50 0,6 0,5 0,55 0,7 0,4 0,51 0,8 0,4 0,53 0,9 0 0, ,00 Média da Precisão R P F 0 1 0,00 0,1 1 0,18 0,2 1 0,33 0,3 0,835 0,44 0,4 0,67 0,50 0,5 0,585 0,54 0,6 0,585 0,59 0,7 0,5 0,58 0,8 0,5 0,62 0,9 0,3 0,45 1 0,3 0,46 32

33 Exemplo: Sistema 1, Curva de Precisão Média 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0, ,9 0,8 0,7 0,6 Precisão x Revocação 1 0,9 0,8 0,7 0,6 0,5 0,4 0,5 0,4 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0,3 0,2 0, ,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 33

34 Comparando dois ou mais Sistemas Fazendo o mesmo para o Sistema 2 E plotando o gráfico com as duas curvas (Sistema 1 e Sistema 2) A curva mais próxima do canto superior direito do gráfico indica melhor desempenho 1 0,8 NoStem Stem Precisão 0,6 0,4 0,2 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Cobertura 34

35 Média da Precisão Média (MAP) É uma medida que resume a um único número o desempenho de um sistema para uma consulta Precisão Média (AP) - Consiste na média dos valores de precisão por documento relevante para a consulta (total de documentos relevantes na coleção para a consulta) Média da Precisão Média - média dos valores de AP para várias consultas a fim de obter um único número que resume o desempenho de um sistema 35

36 Precisão Média (AP) Para o exemplo do sistema 1, consulta 1 Total de documentos relevantes para a consulta: 3 Retornado Documento Relevante Revocação Precisão 1 D1 SIM 0,33 1,00 2 D2 NÃO 3 D3 SIM 0,67 0,67 4 D5 NÃO 5 D4 SIM 1,00 0,60 1,0 0,67 0,60 AP 3 2,27 3 0,76 36

37 Precisão Média (AP) Para o exemplo do sistema 1, consulta 2 Total de documentos relevantes para a consulta: 5 Retornado Documento Relevante Revocação Precisão 1 D1 SIM 0,20 1,00 2 D2 NÃO 3 D3 SIM 0,40 0,67 4 D5 NÃO 6 D6 SIM 0,60 0,50 10 D9 SIM 0,80 0,40 AP 1,00 0,67 0,50 0,40 5 2,57 5 0,51 37

38 Média da Precisão Média (MAP) Pode-se calcular a média destes valores para várias consultas a fim de obter um único número que resume o desempenho de um sistema Média Aritmética Dominada por valores grandes de precisão média MAP 0,76 0,51 2 1,27 2 0,64 Média Harmônica (hmap) ou Média Geométrica (gmap) Dominadas por valores pequenos de precisão média hmap 0,61 gmap ,760,51 2 0,39 0, 62 1,32 1,96 3,28 0,76 0,51 38

39 Outros Fatores a Considerar Esforço do Usuário tempo gasto pelo usuário em formular consultas, conduzir a busca, e verificar os resultados Tempo de resposta Intervalo de tempo entre o recebimento da consulta do usuário e a apresentação das respostas do sistema Forma de apresentação influência do formato dos resultados da busca sobre a habilidade do usuário em utilizar o material recuperado 39

40 Experimentos e Coleções benchmark Desempenho deve ser medido para um dado conjunto de documentos, consultas, e julgamento de relevância Dados de desempenho são válidos apenas para o ambiente no qual o sistema foi avaliado Algumas coleções de referência: TREC (news, articles, patents, etc.) CACM (Computer Science Literature) ISI (Information Science Literature) 40

41 Referências (BAEZA-YATES, RIBEIRO-NETO 2013) BAEZA-YATES, R.; RIBEIRO-NETO, B. Recuperação de informação: conceitos e tecnologia das máquinas de busca. 2. ed. Porto Alegre: Bookman, Capítulo 3 41