Avaliação de Desempenho de SRI

Transcrição

1 Avaliação de Desempenho de SRI Desempenho espaço x tempo é usual em computação quão preciso é o conjunto resposta (ranking) é usual em SRI Avaliação baseada em coleção de referência = documentos + consultas + conjunto ideal para cada consulta comparação entre conjunto resposta e conjunto ideal Métricas: Precision e Recall (Precisão e Revocação) Sejam: q : uma consulta (de uma coleção de referência) R : o conjunto ideal de documentos relevantes para q R : a quantidade de documentos em R A : o conjunto resposta gerado por um SRI A : a quantidade de documentos em A Então, define-se: Recall = R A / R Precision= R A / A Coleção A R Exemplo Observando o ranking à partir do topo e calculando Precision x Recall por posição. Sejam q uma consulta R o conjunto resposta ideal A o ranking de documentos retornado pelo SRI

2 Por exemplo: R = {d 3, d 5, d 9, d 25, d 39, d 44, d 56, d 71, d 89, d 123 }, R =10 A = <d 123, d 84, d 56, d 6, d 8, d 9, d 511, d 129, d 187, d 25, d 38, d 48, d 250, d 113, d 3 > Posição Recall Precision 1 10% 100% 3 20% 67% 6 30% 50% 10 40% 40% 15 50% 33% Padrão: gráfico 11 níveis de revocação: 0, 10, 20, Pt : precisão ao encontrar o primeiro documento relevante no ranking média para conjunto de consultas interpolação Algoritmo para Gráfico 11-PT Percorra o ranking e para cada doc pos++ Se doc é relevante rel++ pre=rel / pos rec=rel / ideal enquanto (rec >= nivel e nivel <= 1) imprima nivel * 100%, pre nivel = nivel + 0,1.

3 Sumarizando: Métricas de qualidade por meio de valor únic Média nos documentos relevantes observados Arage-P = ( ) / 5 = 0.57 Precisão-X: precisão na posição X do ranking Precisão-6 = 0.5 Precisão-R = 0.4 (R é o tamanho do conjunto ideal) Histograma por consulta: sejam duas estratégias de ranking A e B, para cada consulta calcule Precisao-R A - Precisao-R B Média Harmônica : F j Seja j uma posição no ranking, então : F j = 2 / (1 / Recall-J + 1 / Precisão-J ) Obs: reflete um compromisso recall x precision Medida-E: E j E j = 1 - (1 + b 2 ) / (b 2 / Recall-J + 1 / Precisão-J) Obs: quanto maior o valor de b maior o interesse em precisão, b=1 => Medida-E é complemento da média harmônica Alternativas - Quanto o conjunto de relevantes varia com o usuário, então defina; - Cobertura : sendo U o subconjunto dos relevantes que o usuário conhece, a cobertura é a fração desses relevantes que foi recuperada (Rk) (mede a capacidade do sistema em recuperar documentos que o usuário espera que ele recupere). Cobertura = Rk / U - Novidade : sendo Ru o subconjunto de relevantes

4 recuperados que o usuário não conhece, então Rk + Ru é o conjunto total de relevantes recuperados e novidade é a fração dado por Novidade = Ru / ( Rk + Ru ) (mede a capacidade do sistema em revelar novos documentos relevantes para o usuário) - Recall relativo: fração entre o número de relevantes recuperados e o número total de relevantes Esforço de Recall: fração entre um número pré-fixado de relevantese o número de documentos examinados no ranking necessários para atingí- lo Coleções de Referência TREC: Text REtrieval Conference; início em 1992; Hoje 5 discos com 1GB de texto comprimido a US$ 200 cada; Web Track a partir da Trec-8 (20 Gb e 100GB. Milhões de documentos; experimentos com subconjuntos têm sido feitos; conjunto de relevantes => inspeção manual do pool dos documentos no topo dos rankings participantes da conferência Tasks: ad hoc; routing; Chinês; Cross languages; Very large corpus (Web). DOCUMENTOS <doc> <docno> WSJ </docno> <hl> AT&T Unveils Services to Upgrade Phone Networks Under Global Plan </hl> <author> Janet Guyon (WSJ Staff) </author> <dateline> New York </dateline> <text> American Telephone & Telegraph Co. introduced the first of a new generation of phone services with broad... </doc> CONSULTAS (TÓPICOS): <top> <num> Number: 160 <title> Topic: Vitamins - The Cure for or Cause of Human Ailments <desc> Description: Document will identify vitamins that have contributed to the cure for human diseases or ailments or documents will identify vitamins that have caused health problems in humans.

5 <narr> Narrative: A relevant document will provide information indicating that vitamins may help to prevent or cure human ailments. Information indicating that vitamins may cause health problems in humans is also relevant. A document that makes a general reference to vitamins such as "good for your health or "having nutritional value" is not relevant. Information about research being conducted without results would not be relevant. References to derivatives of vitamins are to be treated as the vitamin. </top> CACM ISI CFC 3204 artigos do Communications of the ACM autor, data, título, abstract, categorias, referencias, co-citações 52 consultas e conjunto de relevantes 1460 documentos do Institute of Scientific Information autor, título, abstract, co-citações 35 consultas com formulações booleanas e 41 sem formulações booleanas 1239 documentos sobre fibrose cística autor, título, fonte, assuntos principais, assuntos secundários, abstract, referências, citações 100 consultas; 4 escores de relevância de 0 a 2 para cada documento