Elementos que influenciam a escolha da medida de eficácia ideal, revocação ou precisão em um Sistema de Recuperação de Informação

Transcrição

1 Elementos que influenciam a escolha da medida de eficácia ideal, revocação ou precisão em um Sistema de Recuperação de Informação Disciplina: Fundamentos da Organização da Informação Profª: Lilian Alvares GRUPO 4 Alunos: Ernesto João Mallen Luziaro Michel Zane

2 Revisão Conceitual Recuperação (da Informação) Localizar documentos que tenham sido objeto de armazenamento, com a finalidade de permitir o acesso dos usuários aos itens de informação, objetos de uma solicitação. (Fonte: notas de aula) Índice (acepção estatística) Termo da métrica que significa a relação de valores exprimíveis por números. Razão/proporção entre duas dimensões (Fonte: dicionário Michaelis) Eficácia Qualidade do eficaz. Que produz o efeito desejado (Fonte: dicionário Michaelis) Revocação Ato de rechamar, evocar, chamar novamente (Fonte: dicionário Michaelis) Precisão Qualidade de ser certeiro, exatidão, regularidade na execução. (Fonte: dicionário Michaelis)

3 Contexto do Problema Grande quantidade de informações são produzidas e disponibilizadas diariamente Elevada quantidade de documentos Dificuldade no processo de recuperação de informação Baixa qualidade dos documentos disponíveis Prejuízo na recuperação de informações relevantes Medidas de Eficácia

4 Processo de um SRI Fonte: Gey 1992

5 Qualidades de um SRI Precisão Habilidade de recuperar documentos mais bem classificados em relevância. Revocação Habilidade de pesquisa para encontrar todos os itens relevantes de uma coleção.

6 Medidas de Avaliação de SRI Índice de Precisão ou Pertinência (IP) Indica a fração dos documentos já examinados que são relevantes Indica a capacidade de evitar documentos recuperados inúteis (Índice de Ruídos, VAN DER LAAN, 2005). (DRv DRc) Doc. Recuperados Doc. Relevantes Relevantes Doc. Recuperados Universo Documental IP = DRvRc <= 1 DRc

7 Medidas de Avaliação de SRI Índice de Revocação/Recall (IR) Indica a fração dos documentos relevantes recuperada dentre os documentos relevantes Indica a proporção dos documentos pertinentes recuperados em relação ao total de documentos pertinentes existentes. Doc. Retcuperados Doc. Relevantes Relevantes Doc. Recuperados IR = DRvRc DRv <= 1 Universo Documental

8 Aplicando os Índices na Avaliação de SRI Caso 1 Alta precisão, Baixa revocação. DRv DRc DRvRc UD = 1000 DRv = 250 DRc = 50 DRvRc = 45 IP = DRvRc = 45 = 0,9 DRc = 50 UD IR = DRvRc = 45 = 0,18 DRv = 250

9 Aplicando os Índices na Avaliação de SRI Caso 2 Baixa precisão, Alta revocação. DRv DRc DRvRc UD = 1000 DRv = 250 DRc = 900 DRvRc = 200 IP = DRvRc = 200 = 0,22 DRc = 900 UD IR = DRvRc = 200 = 0,8 DRv = 250

10 Aplicando os Índices na Avaliação de SRI Caso 3 Alta precisão, Alta revocação. DRv DRc DRvRc UD = 1000 DRv = 250 DRc = 230 DRvRc = 200 IP = DRvRc = 200 = 0,87 DRc = 230 UD IR = DRvRc = 200 = 0,8 DRv = 250

11 Precisão Faculdade de Ciência da Informação Dilema entre Revocação e Precisão Retorna documentos relevantes mas perde muitos úteis também 1 Ideal 0 Revocação 1 Retorna muitos documentos relevantes mas também muito lixo

12 P R E C I S Ã O Faculdade de Ciência da Informação Busca por Equilíbrio 1 - S R I / O R E V O C A Ç Ã O 1

13 Busca por Equilíbrio F-Measure/ F-Score Medida de performance que leva em conta a Revocação e Precisão bucando harmonia entre ambas. 2PR 2 F 1 1 P R R P

14 Busca por Equilíbrio E-Measure (F-Measure parametrizada) Uma variante de F-measure que permite ponderação (de peso) entre Precisão e Revocação. E 2 (1 ) PR 2 P R (1 2 R 1 P 2 ) = 1: Peso igual entre Precisão e Revocação > 1: Peso maior para Revocação < 1: Peso maior para Precisão.

15 Conclusão Quais Elementos influenciam a escolha da medida de eficácia ideal, Revocação ou Precisão em um Sistema de Recuperação de Informação?

16 IP = IR = DRvRc DRc Conclusão = DRv DRvRc = DRc DRv F-Measure/ F-Score foca nível de RELEVÂNCIA foca volume RECUPERADO Busca equilíbrio entre nivel de RELEVÂNCIA e volume RECUPERADO

17 Referências CARDOSO, OLINDA NOGUEIRA PAES. Recuperação de Informação. Disponível em: Acessado em:. Araújo Jr, Ci. Inf., Brasília, v. 35, n. 3, p , set./dez. 2006, Precisão no processo de busca e recuperação da informação: uso da mineração de textos. Ghosh, Joydeep. Lee, Dik. Performance Evaluation of Information Retrieval Systems. Disponível em: Acessado em:.

18 Elementos que influenciam a escolha da medida de eficácia ideal, revocação ou precisão em um Sistema de Recuperação de Informação Discussão GRUPO 4 Alunos: Ernesto João Mallen Luziaro Michel Zane