Lista de exercícios 2 Recuperação de Informação Textual

Transcrição

1 Lista de exercícios 2 Recuperação de Informação Textual 2 de dezembro de O que é o modelo bag-of-words? Porque ele é uma simplificação? Dê um exemplo em que ele estaria incorreto. 0.2 O que é o modelo vetorial? 0.3 O que significa dizer que os pesos tf-idf são descritos pelos componentes lnc para documentos? 0.4 Compare as relações entre as medidas tf, df e cf. 0.5 Porque usar idf em vez de df? 0.6 Considere os seguintes documentos: 1. Você diz tchau, eu digo olá 2. Você diz pare, eu digo vá 3. Olá, olá, você diz tchau 4. Eu falo alto, você fala baixo Considere as seguintes consultas: 1. diz olá 2. você tchau Especifique o vocabulário de termos utilizando apenas texto e sem lematização (stemming). Ignore letra maiúsculas e minúsculas assim como a pontuação. Construa o seguinte: 1. A matriz de termos dos documentos (essa matriz contém linhas correspondendo aos documentos e as colunas, aos termos) baseando-se em: (a) Modelo binário: considere somente se um termo t aparece em um documento D. Termos repetidos em um documento são contados como 1 em matrizes binárias (b) Frequência de termos pura - TF. A frequência de termos tf t,d é definida como a frequência com que o termo t aparece no documento d 1

2 0.7 (c) Frequência de termos normalizada. A frequência de termos para um termo t em um documento D pode ser normalizada pelo número total de termos N d no documento: tfn t,d = tf t,d /N d (d) Pesos tf-idf. A frequência de documentos invertida idf(t) de um termo t pode ser definida usando a expressão idf(t) = log N/(n j + 1) + 1, onde N é o número total de documentos na coleção, n j é o número de documentos em que o termo t apareceu. Então, para um termo t no documento D temos tf ifd(t) = tfn t,d idf(t) 2. A matriz de termos de consultas para: Modelo binário Fequência de termos pura tf t,q. Definido como a frequência com que t aparece na consulta q Frequência de termos normalizada. A frequência de termos para uma consulta pode ser normalizada pelo número total de termos na consulta N q : tfn t,q = tf t,q /N q pesos tf idf(t) (o idf(t) é calculado como anteriormente). tf idf(t) = tfn t,q idf(t) 3. Usando cada uma das matrizes obtidas anteriormente, calcule os seguintes coeficientes de similaridade para as seguintes medidas: Distância euclidiana Medida cosseno 4. Mostre cada um dos rankings obtidos. Faça isso, faça a combinação de cada matriz para documentos para cada matriz para termos da consulta. Compare e discuta os resultados. Quais das matrizes resultaram em melhor ranking. O que é e porquê ranking é importante? Explique a principal vantagem de ranking quando comparado ao modelo booleano. 0.8 O que significa dizer que os pesos tf-idf são descritos pelos componentes lnc para documentos? 0.9 Um usuário faz uma busca e percebe que dos 20 resultados obtidos, apenas metade realmente atendem ao seu interesse. Ao perguntar para o administrar do sistema de organização e recuperação de informação, percebe que só haviam cinco outros documentos que poderiam lhe interessar na base que tinha ao todo 200 documentos. Use três medidas diferentes que sejam relevantes em ORI para avaliar a qualidade desse sistema para essa busca Uma empresa está desenvolvendo um sistema de ORI especializado no domínio de logística para seu melhor cliente, o site emuitofacil.com.br. Com esse sistema, motoristas de entrega poderão fazer buscas para melhor encontrar referências e informações sobre o destino de pacotes. Em uma avaliação do ranking, dois motoristas da empresa cliente foram chamados para dar a sua opinião. Os motoristas C. D. Andrade e J. P. Fernandes foram os escolhidos. Andrade era mais positivo e avalia uma informação como relevante 75% das vezes, enquanto Fernandes tem uma posição mais neutra. Na tabela a seguir temos as opiniões de Andrade e Fernandes sobre a relevância de 15 informações (N = não relevante e R = relevante). Assuma que em um tablet, seria possível visualizar o seguinte ranking em ordem decrescente de relevância {4, 1, 2, 7, 8, 9, 12, 6, 15}, enquanto em um celular apenas os quatro primeiros desse ranking. 2

3 docid Andrade Fernandes 1 N R 2 N N 3 N R 4 R R 5 R N 6 R R 7 R N 8 R N 9 N R 10 N R 11 N R 12 N R 13 R R 14 N R 15 R R a) Qual é a taxa de concordância aleatória dos dois funcionários? b) Para tablet e para o celular, calcule a taxa de precisão, recuperação e a medida F se um documento for considerado relevante somente se os dois especialistas concordam. Qual dispositivo é melhor de usar, segundo essas medidas e porque? c) Para tablet e para o celular, calcule a taxa de precisão, recuperação e a medida F se um documento for considerado relevante se qualquer um dos dois especialistas o assim julgar. Qual dispositivo é melhor de usar, segundo essas medidas e porque? d) Use as opiniões dos funcionários para avaliar a dificuldade de desenvolver um bom sistema Porquê retorno de relevância positivo é mais provável de ser útil que retorno de relevância negativo para um sistema de ORI? Porquê usar somente um documento não relevante pode ser mais efetivo que usar vários? 0.12 Supondo que uma consulta inicial de um usuário é CDs baratos DVDs baratos CDs muito baratos. O usuário examina dois documentos, d1 e d2. Ele diz que d1, com o conteúdo CDs baratos programas baratos CDs, é relevante. Porém, o usuário diz que d2 com conteúdo baratos DVDs emocionantes não relevante. Assuma que estamos usando frequência de termos direta TF (sem alteração de escala e frequência de documentos DF). Também não há normalização do tamanho de vetores. Usando o algoritmo de Rocchio de retorno de relevância, qual seria o vetor de consulta obtido com Rocchio após o algoritmo considerar as opiniões do usuário? Considere que os parâmetros do algoritmo foram configurados para α = 1, β = 0.75 e γ = Considere os seguintes documentos: 1. Você diz tchau, eu digo olá 2. Você diz pare, eu digo vá 3. Olá, olá, você diz tchau 4. Eu falo alto, você fala baixo Considere as seguintes consultas: 1. diz olá 3

4 2. você tchau Calcule o ranking dos documentos para cada consulta usando o modelo probabilístico Okapi BM25 com k 1 = 1 e b = Para este exercício, considere os documentos e consultas do exercício anterior. Suponha que somente os documentos 3 e 4 são relevantes. Para cada termo t em uma consulta, estime c t na coleção completa. Use a seguinte tabela de contingência de contagem de documentos na coleção, onde df t é o número de documentos que contém o termo t: docs relevante não-relevante Total Termo presente x t = 1 s df t s df t Termo ausente x t = 0 S s (N df t ) (S s) N df t Total S N S N 0.15 c t = K(N, df t, S, s) = log p t = s/s (1) u t = (df t s)/(n S) (2) s/(s s) (df t s)/((n df t ) (S s)) Aplique o algoritmo K-médias, com K = 2, na coleção de documentos a seguir. docid termos no documento 1 nota prova avaliação sala data 2 aluno nota avaliação professor sala vista 3 aluno prova avaliação 4 aluno nota sala vista 5 sala vista data 6 avaliação professor sala vista data sala (3) usando modelo binário, preencha a tabela que associa termos, identificadores de termos termids e identificadores de documentos docids use como medida de similaridade entre um documento e um centroide o número de termos que os dois tem em comum; em caso de empate atribua o documento ao grupo 1 para calcular o novo centroide, atribua 1 para os termos do centroide que aparecem em metade ou mais documentos do grupo; dessa forma o centroide também será binário use como centroides iniciais c 1 e c 2 os documentos 3 e 6 respectivamente para descrever cada iteração do algoritmo, use as tabelas a seguir: 4

5 docid termo da coleção termid Iteração 1 Iteração 3 Iteração 5 Iteração 7 Iteração 2 Iteração 4 Iteração 6 Iteração 8 5