Modelo Espaço Vetorial. Mariella Berger

Transcrição

1 Modelo Espaço Vetorial Mariella Berger

2 Agenda Introdução Atribuição de Pesos Frequência TF-IDF Similaridade Exemplo Vantagens e Desvantagens

3 Modelo Espaço Vetorial Introdução

4 Modelo Espaço Vetorial O modelo espaço-vetorial foi desenvolvido por Gerard Salton.

5 Modelo Espaço Vetorial Documentos e queries são representados por um vetor com n dimensões, onde n é o numero de termos diferentes na coleção de documentos. Achar documentos é comparar o vetor de documentos com o vetor query do usuário

6 Modelo Espaço Vetorial termos doc1 doc2 doc3 query good w tutorial on w 12 w 13 w java sun w 14 0 w 24 0 w 34 w 35 w 4 0 site 0 0 w indica a ausência de um termo w it : Peso que indica a importância do termo

7 Modelo Espaço Vetorial Atribuição de Pesos

8 Atribuição de Peso Os pesos são usados para computar a similaridade O peso de um termo em um documento pode ser calculado de diversas formas: Frequência no documento Balancear características em comum (intradocumentos) e características para fazer a distinção entre documentos (interdocumentos) Salton e Buckey

9 Atribuição de Pesos Frequência

10 Exemplo Documento A A dog and a cat. a 2 dog 1 Documento B A frog. and 1 cat 1 a 1 frog 1

11 Exemplo O vocabulário contém todas as palavras utilizadas a, dog, and, cat, frog O vocabulário necessita ser ordenado a, and, cat, dog, frog

12 Exemplo Documento A: A dog and a cat. a and cat dog 2 1 Vetor: (2,1,1,1,0) Documento B: A frog. Vetor: (1,0,0,0,1) a 1 and 0 1 cat 0 1 dog 0 frog 0 frog 1

13 Exemplo: Queries Queries também podem ser representadas como vetores: Dog = (0,0,0,1,0) Frog = (0,0,0,0,1) Dog and frog = (0,1,0,1,1)

14 Atribuição de Pesos Balanceamento de características (tf-idf)

15 TF-IDF Onde: tf i (frequência do termo) = o número de vezes que o termo i ocorre no documento (reflete a informação local) df i (frequência do documento) = o número de documentos que contém o termo i. D = número total de documentos

16 TF-IDF A fração df i /D é a probabilidade de selecionar um documento que contém o termo i. log(d/df i ) é o Inverse Document Frequency (IDF i ), e reflete a informação global Se o termo aparece pouco nos documentos, então este é mais relevante.

17 Exemplo

18 Uma outra definição TF = freq(k,s) (frequência do termo k no documento/consulta S) IDF = log (N/n k ) (Inverse Document Frequency), onde: N: é o número de termos na coleção N k : é o número de vezes que o termo ocorre na coleção

19 Modelo Espaço Vetorial Similaridades

20 Similaridade Cada elemento do vetor de termos é considerado uma coordenada dimensional. Assim, os documentos podem ser colocados em um espaço euclidiano de n dimensões (onde n é o número de termos) e a posição do documento em cada dimensão é dada pelo seu peso (figura no próximo slide).

21 Similaridade

22 Similaridade Cada dimensão corresponde a um termo, e o valor do documento em cada dimensão varia entre 0 (irrelevante ou não presente) e 1 (totalmente relevante).

23 Similaridade

24 Similaridade As distâncias entre um documento e outro indicam seu grau de similaridade ou seja, documentos que possuem os mesmos termos acabam sendo colocados em uma mesma região do espaço e, em teoria, tratam de assuntos similares.

25 Similaridade - Consulta Os vetores dos documentos podem ser comparados com o vetor da consulta e o grau de similaridade entre cada um deles pode ser identificado. Os documentos mais similares (mais próximos no espaço) à consulta são considerados relevantes para o usuário e retornados como resposta

26 Similaridade - Consulta Uma das formas de calcular a proximidade entre os vetores é testar o ângulo entre estes vetores. No modelo original, é utilizada uma função batizada de cosine vector similarity

27 Coseno entre vetores Para 2 vetores d e d, a similaridade é calculada pelo coseno, ou seja: d d d ' d'

28 Similaridade Depois dos graus de similaridade terem sido calculados, é possível montar uma lista ordenada (ranking) de todos os documentos e seus respectivos graus de relevância à consulta, da maior para a menor relevância.

29 Exemplo Brasil 0.3 Olimpíadas 0.5 Sidney 0.2 d i Sidney d j 0.2 d i Brasil 0.2 Olimpíadas 0.4 Sidney 0.4 d j Brasil Olimpíadas d i = 0.3 Brasil Olimpiadas Sidney d j = 0.2 Brasil Olimpiadas Sidney

30 Exemplo Similaridade: produto interno / produto das normas d i d j Sim= d i d j = = ( ) ½ ( ) ½

31 Modelo Vetorial Exemplos

32 Exemplo 1 Query: "gold silver truck" A coleção possui 3 documentos (D = 3) D1: "Shipment of gold damaged in a fire" D2: "Delivery of silver arrived in a silver truck" D3: "Shipment of gold arrived in a truck"

33

34 Análise da similaridade

35 Análise da similaridade

36 Análise da similaridade

37 Análise da similaridade Resultado obtido: Rank 1: Doc 2 = Rank 2: Doc 3 = Rank 3: Doc 1 =

38 Modelo Vetorial Vantagens e Desvantagens

39 Vantagens Oferecer um framework simples e elegante Atribuir pesos aos termos melhora o desempenho É uma estratégia de encontro parcial (função de similaridade), que é melhor que a exatidão do modelo booleano; Os documentos são ordenados de acordo com seu grau de similaridade com a consulta. Em geral, seu desempenho (precisão e recall) supera todos os outros modelos

40 Desvantagens Ausência de ortogonalidade entre os termos. Isso poderia encontrar relações entre termos que aparentemente não têm nada em comum; É um modelo generalizado; Um documento relevante pode não conter termos da consulta; Documentos muito longos podem dificultar na medida da similaridade;

41 Idéias para melhorá-lo Apontar um conjunto de palavras-chaves nos documentos Eliminar palavras muito comuns (como exemplo artigos) Limitar o vetor espaço em substantivos e poucos verbos ou adjetivos Criar subvetores para documentos muito grandes