O modelo espaço de vetores. vetorial. Marcelo Keese Albertini. Faculdade de Computação - UFU 12/03/2013. O modelo de espaço vetorial 1 / 27

Transcrição

1 Recuperação de Informação: O modelo de espaço vetorial Marcelo Keese Albertini Faculdade de Computação - UFU 12/03/2013 O modelo de espaço vetorial 1 / 27

2 Veremos hoje Modelo de espaço de vetores: representação vetorial O modelo de espaço vetorial 2 / 27

3 Matriz de incidência binária Marco Júlio A Hamlet Otelo Macbeth... Antônio César Tempestade Antônio Brutus César Calpúrnia Cleópatra Cada documento é representado como um vetor binário {0,1} V. O modelo de espaço vetorial 3 / 27

4 Matriz de incidência binária Marco Júlio A Hamlet Otelo Macbeth... Antônio César Tempestade Antônio Brutus César Calpúrnia Cleópatra Cada documento é representado como um vetor binário {0,1} V. O modelo de espaço vetorial 3 / 27

5 Matriz de contagem Marco Júlio A Hamlet Otelo Macbeth... Antônio César Tempestade Antônio Brutus César Calpurnia Cleópatra Cada documento é representado como vetor de contagem N V. O modelo de espaço vetorial 4 / 27

6 Matriz de contagem Marco Júlio A Hamlet Otelo Macbeth... Antônio César Tempestade Antônio Brutus César Calpurnia Cleópatra Cada documento é representado como vetor de contagem N V. O modelo de espaço vetorial 4 / 27

7 Outline 1 O modelo espaço de vetores O modelo de espaço vetorial 5 / 27

8 Matriz de incidência binária Marco Júlio A Hamlet Otelo Macbeth... Antônio César Tempestade Antônio Brutus César Calpúrnia Cleópatra Cada documento é representado como um vetor binário {0,1} V. O modelo de espaço vetorial 6 / 27

9 Matriz de contagem Marco Júlio A Hamlet Otelo Macbeth... Antônio César Tempestade Antônio Brutus César Calpurnia Cleópatra Cada documento é representado como vetor de contagem N V. O modelo de espaço vetorial 7 / 27

10 Binário contagem matriz de pesos Marco Júlio A Hamlet Otelo Macbeth... Antônio César Tempestade Antônio Brutus César Calpúrnia Cleópatra misericórdia pior Cada documento é representado como um vetor de valores reais de pesos tf-idf R V. O modelo de espaço vetorial 8 / 27

11 Binário contagem matriz de pesos Marco Júlio A Hamlet Otelo Macbeth... Antônio César Tempestade Antônio Brutus César Calpúrnia Cleópatra misericórdia pior Cada documento é representado como um vetor de valores reais de pesos tf-idf R V. O modelo de espaço vetorial 8 / 27

12 Documentos na forma de vetores O modelo de espaço vetorial 9 / 27

13 Documentos na forma de vetores Cada documento é representado em um vetor de pesos tf-idf R V. O modelo de espaço vetorial 9 / 27

14 Documentos na forma de vetores Cada documento é representado em um vetor de pesos tf-idf R V. Então temos um espaço vetorial com V dimensões. O modelo de espaço vetorial 9 / 27

15 Documentos na forma de vetores Cada documento é representado em um vetor de pesos tf-idf R V. Então temos um espaço vetorial com V dimensões. Termos são eixos do espaço. O modelo de espaço vetorial 9 / 27

16 Documentos na forma de vetores Cada documento é representado em um vetor de pesos tf-idf R V. Então temos um espaço vetorial com V dimensões. Termos são eixos do espaço. Documentos são pontos ou vetores nesse espaço. O modelo de espaço vetorial 9 / 27

17 Documentos na forma de vetores Cada documento é representado em um vetor de pesos tf-idf R V. Então temos um espaço vetorial com V dimensões. Termos são eixos do espaço. Documentos são pontos ou vetores nesse espaço. Alto número de dimensões: dezenas de milhões de dimensões em mecanismos de busca O modelo de espaço vetorial 9 / 27

18 Documentos na forma de vetores Cada documento é representado em um vetor de pesos tf-idf R V. Então temos um espaço vetorial com V dimensões. Termos são eixos do espaço. Documentos são pontos ou vetores nesse espaço. Alto número de dimensões: dezenas de milhões de dimensões em mecanismos de busca Cada vetor é muito espaço (maior parte das dimensões é zero) O modelo de espaço vetorial 9 / 27

19 Consultas como vetores O modelo de espaço vetorial 10 / 27

20 Consultas como vetores Ideia 1: fazer o mesmo para as consultas: representar no espaço de alta-dimensionalidade O modelo de espaço vetorial 10 / 27

21 Consultas como vetores Ideia 1: fazer o mesmo para as consultas: representar no espaço de alta-dimensionalidade Ideia 2: Rankear documentos de acordo com sua proximidade à consulta O modelo de espaço vetorial 10 / 27

22 Consultas como vetores Ideia 1: fazer o mesmo para as consultas: representar no espaço de alta-dimensionalidade Ideia 2: Rankear documentos de acordo com sua proximidade à consulta proximidade = similaridade O modelo de espaço vetorial 10 / 27

23 Consultas como vetores Ideia 1: fazer o mesmo para as consultas: representar no espaço de alta-dimensionalidade Ideia 2: Rankear documentos de acordo com sua proximidade à consulta proximidade = similaridade proximidade distância negativa O modelo de espaço vetorial 10 / 27

24 Consultas como vetores Ideia 1: fazer o mesmo para as consultas: representar no espaço de alta-dimensionalidade Ideia 2: Rankear documentos de acordo com sua proximidade à consulta proximidade = similaridade proximidade distância negativa Objetivo: estamos evitando modelo booleana e resultados tudo ou nada. O modelo de espaço vetorial 10 / 27

25 Consultas como vetores Ideia 1: fazer o mesmo para as consultas: representar no espaço de alta-dimensionalidade Ideia 2: Rankear documentos de acordo com sua proximidade à consulta proximidade = similaridade proximidade distância negativa Objetivo: estamos evitando modelo booleana e resultados tudo ou nada. Objetivo: rankear documentos relevantes em melhores posições que os não relevantes O modelo de espaço vetorial 10 / 27

26 Como formalizamos a similaridade no espaço vetorial O modelo de espaço vetorial 11 / 27

27 Como formalizamos a similaridade no espaço vetorial distância (negativa) entre dois pontos O modelo de espaço vetorial 11 / 27

28 Como formalizamos a similaridade no espaço vetorial distância (negativa) entre dois pontos ( = distância entre pontos finais entre pares de vetores) O modelo de espaço vetorial 11 / 27

29 Como formalizamos a similaridade no espaço vetorial distância (negativa) entre dois pontos ( = distância entre pontos finais entre pares de vetores) Distância euclidiana O modelo de espaço vetorial 11 / 27

30 Como formalizamos a similaridade no espaço vetorial distância (negativa) entre dois pontos ( = distância entre pontos finais entre pares de vetores) Distância euclidiana Distância euclidiana é uma má ideia... O modelo de espaço vetorial 11 / 27

31 Como formalizamos a similaridade no espaço vetorial distância (negativa) entre dois pontos ( = distância entre pontos finais entre pares de vetores) Distância euclidiana Distância euclidiana é uma má ideia......porque distância euclidiana é grande para vetores de diferentes comprimentos O modelo de espaço vetorial 11 / 27

32 Porque distância euclidiana é uma má ideia pobre 1 d d 2:Distância entre rico e pobre aumenta 1 :Grupos de poetas famintos aumentam q:[rico pobre] 0 d 3 :Salários recordes no baseball 2010 Rico 0 1 O modelo de espaço vetorial 12 / 27

33 Porque distância euclidiana é uma má ideia pobre 1 d d 2:Distância entre rico e pobre aumenta 1 :Grupos de poetas famintos aumentam q:[rico pobre] 0 d 3 :Salários recordes no baseball 2010 Rico 0 1 A distância euclidiana de q e d 2 é grande, embora a distribuição de termos na consulta q e a distribuição dos termo no documento d 2 são muito similares. O modelo de espaço vetorial 12 / 27

34 Porque distância euclidiana é uma má ideia pobre 1 d d 2:Distância entre rico e pobre aumenta 1 :Grupos de poetas famintos aumentam q:[rico pobre] 0 d 3 :Salários recordes no baseball 2010 Rico 0 1 A distância euclidiana de q e d 2 é grande, embora a distribuição de termos na consulta q e a distribuição dos termo no documento d 2 são muito similares. Perguntas sobre a configuração básica do espaço vetorial? O modelo de espaço vetorial 12 / 27

35 Usar ângulo em vez de distância O modelo de espaço vetorial 13 / 27

36 Usar ângulo em vez de distância Ordena documento de acordo com o ângulo em relação à consulta O modelo de espaço vetorial 13 / 27

37 Usar ângulo em vez de distância Ordena documento de acordo com o ângulo em relação à consulta Avalie: pegue um documento d e adicione-o a si mesmo em d. O modelo de espaço vetorial 13 / 27

38 Usar ângulo em vez de distância Ordena documento de acordo com o ângulo em relação à consulta Avalie: pegue um documento d e adicione-o a si mesmo em d. d e d têm mesma informação O modelo de espaço vetorial 13 / 27

39 Usar ângulo em vez de distância Ordena documento de acordo com o ângulo em relação à consulta Avalie: pegue um documento d e adicione-o a si mesmo em d. d e d têm mesma informação O ângulo entre os dois documentos é 0, máxima similaridade... O modelo de espaço vetorial 13 / 27

40 Usar ângulo em vez de distância Ordena documento de acordo com o ângulo em relação à consulta Avalie: pegue um documento d e adicione-o a si mesmo em d. d e d têm mesma informação O ângulo entre os dois documentos é 0, máxima similaridade......mesmo que a distância euclidiana entre os dois documentos seja grande O modelo de espaço vetorial 13 / 27

41 De ângulos a cosenos O modelo de espaço vetorial 14 / 27

42 De ângulos a cosenos As seguintes noções são equivalentes: O modelo de espaço vetorial 14 / 27

43 De ângulos a cosenos As seguintes noções são equivalentes: Ordenar documentos de acordo com o ângulo entre consulta e documento em ordem decrescente O modelo de espaço vetorial 14 / 27

44 De ângulos a cosenos As seguintes noções são equivalentes: Ordenar documentos de acordo com o ângulo entre consulta e documento em ordem decrescente Ordenar documentos de acordo com coseno(consulta, documento) em ordem crescente O modelo de espaço vetorial 14 / 27

45 De ângulos a cosenos As seguintes noções são equivalentes: Ordenar documentos de acordo com o ângulo entre consulta e documento em ordem decrescente Ordenar documentos de acordo com coseno(consulta, documento) em ordem crescente Coseno é uma função monotonicamente decrescente do ângulo para o intervalo [0,180 ] O modelo de espaço vetorial 14 / 27

46 Coseno O modelo de espaço vetorial 15 / 27

47 Coseno O modelo de espaço vetorial 15 / 27

48 Normalização de magnitude O modelo de espaço vetorial 16 / 27

49 Normalização de magnitude Como calcular o coseno? O modelo de espaço vetorial 16 / 27

50 Normalização de magnitude Como calcular o coseno? Um vetor pode ter magnitude normalizada a 1 com (norma L 2 ): x = x x O modelo de espaço vetorial 16 / 27

51 Normalização de magnitude Como calcular o coseno? Um vetor pode ter magnitude normalizada a 1 com (norma L 2 ): x = x x Essa operação mapeia os vetores na unidade esférica... O modelo de espaço vetorial 16 / 27

52 Normalização de magnitude Como calcular o coseno? Um vetor pode ter magnitude normalizada a 1 com (norma L 2 ): x = x x Essa operação mapeia os vetores na unidade esférica... Assim, documentos mais extensos ou curtos tem mesma informação O modelo de espaço vetorial 16 / 27

53 Normalização de magnitude Como calcular o coseno? Um vetor pode ter magnitude normalizada a 1 com (norma L 2 ): x = x x Essa operação mapeia os vetores na unidade esférica... Assim, documentos mais extensos ou curtos tem mesma informação Efeito nos documentos d e d (d dobrado ) : mesmo vetor depois da normalização O modelo de espaço vetorial 16 / 27

54 Similaridade cosena entre consulta e documento O modelo de espaço vetorial 17 / 27

55 Similaridade cosena entre consulta e documento cos( q, d) = sim( q, d) = q d q d = V V i=1 q2 i i=1 q id i V i=1 d2 i q i é o peso tf-idf do termo i na consulta. O modelo de espaço vetorial 17 / 27

56 Similaridade cosena entre consulta e documento cos( q, d) = sim( q, d) = q d q d = V V i=1 q2 i i=1 q id i V i=1 d2 i q i é o peso tf-idf do termo i na consulta. d i é o peso tf-idf do termo i no documento. O modelo de espaço vetorial 17 / 27

57 Similaridade cosena entre consulta e documento cos( q, d) = sim( q, d) = q d q d = V V i=1 q2 i i=1 q id i V i=1 d2 i q i é o peso tf-idf do termo i na consulta. d i é o peso tf-idf do termo i no documento. q e d são as magnitudes de q e d. O modelo de espaço vetorial 17 / 27

58 Similaridade cosena entre consulta e documento cos( q, d) = sim( q, d) = q d q d = V V i=1 q2 i i=1 q id i V i=1 d2 i q i é o peso tf-idf do termo i na consulta. d i é o peso tf-idf do termo i no documento. q e d são as magnitudes de q e d. Esta é a similaridade coseno entre q e d...ou, de maneira equivalente, o coseno do ângulo entre q e d. O modelo de espaço vetorial 17 / 27

59 Coseno para vetores normalizados Para vetores normalizados, o coseno é equivalente ao produto escalar (também conhecido como produto interno). cos( q, d) = q d = i q i d i (se q e d são normalizados). O modelo de espaço vetorial 18 / 27

60 Similaridade de coseno ilustrada O modelo de espaço vetorial 19 / 27

61 Similaridade de coseno ilustrada pobre 1 v(d 1 ) v(q) v(d 2 ) θ v(d 3 ) rico O modelo de espaço vetorial 19 / 27

62 Coseno: exemplo O quão similares são esses livros? ReS: Razão e Sensibilidade OeP: Orgulho e Preconceito MVU: Colina dos Vendavais O modelo de espaço vetorial 20 / 27

63 Coseno: exemplo O quão similares são esses livros? ReS: Razão e Sensibilidade OeP: Orgulho e Preconceito MVU: Colina dos Vendavais frequência de termos (contagem) termo ReS OeP MVU afeição ciúmes fofoca vendaval O modelo de espaço vetorial 20 / 27

64 Coseno: exemplo frequência de termos (tf) termo ReS OeP MVU afeição ciúmes fofoca vendaval O modelo de espaço vetorial 21 / 27

65 Coseno: exemplo frequência de termos (tf) termo ReS OeP MVU afeição ciúmes fofoca vendaval log da frequência termo ReS OeP MVU afeição ciúmes fofoca vendaval O modelo de espaço vetorial 21 / 27

66 Coseno: exemplo frequência de termos (tf) termo ReS OeP MVU afeição ciúmes fofoca vendaval log da frequência termo ReS OeP MVU afeição ciúmes fofoca vendaval Para simplificar este exemplo, não usaremos idf. O modelo de espaço vetorial 21 / 27

67 Se fosse usar, como seria o cálculo? idf t = log N df t presença de termos (df) termo ReS OeP MVU afeição ciúmes fofoca vendaval O modelo de espaço vetorial 22 / 27

68 Se fosse usar, como seria o cálculo? idf t = log N df t presença de termos (df) termo ReS OeP MVU afeição ciúmes fofoca vendaval idf termo idf afeição log(3/3) = 0 ciúmes log(3/3) = 0 fofoca log(3/2) = 0.17 vendaval log(3/1) = 0.47 O modelo de espaço vetorial 22 / 27

69 Coseno: exemplo log da frequência termo ReS OeP MVU afeição ciúmes fofoca vendaval O modelo de espaço vetorial 23 / 27

70 Coseno: exemplo log da frequência termo ReS OeP MVU afeição ciúmes fofoca vendaval log da frequência & normalização do coseno termo ReS OeP MVU afeição ciúmes fofoca vendaval O modelo de espaço vetorial 23 / 27

71 Coseno: exemplo log da frequência termo ReS OeP MVU afeição ciúmes fofoca vendaval log da frequência & normalização do coseno termo ReS OeP MVU afeição ciúmes fofoca vendaval cos(res,oep) O modelo de espaço vetorial 23 / 27

72 Coseno: exemplo log da frequência termo ReS OeP MVU afeição ciúmes fofoca vendaval log da frequência & normalização do coseno termo ReS OeP MVU afeição ciúmes fofoca vendaval cos(res,oep) cos(res,mvu) 0.79 O modelo de espaço vetorial 23 / 27

73 Coseno: exemplo log da frequência termo ReS OeP MVU afeição ciúmes fofoca vendaval log da frequência & normalização do coseno termo ReS OeP MVU afeição ciúmes fofoca vendaval cos(res,oep) cos(res,mvu) 0.79 cos(oep,mvu) 0.69 O modelo de espaço vetorial 23 / 27

74 Componentes do peso tf-idf Frequência de termos Frequência em Documentos Normalização n (natural) tf t,d n (não) 1 n (nenhum) 1 l (logaritmo) 1+log(tf t,d ) t (idf) log N dft c (cosine) 1 w 2 1 +w w2 M a (aumentado) tft,d b (boolean) L (log ave) maxt(tft,d) { 1 if tft,d > 0 0 senão 1+log(tft,d) 1+log(avet d(tft,d)) p (prob idf) max{0,log N dft } u (pivoted dft unique) 1/u b (byte size) 1/CharLength α, α < 1 O modelo de espaço vetorial 24 / 27

75 Componentes do peso tf-idf Frequência de termos Frequência em Documentos Normalização n (natural) tf t,d n (não) 1 n (nenhum) 1 l (logaritmo) 1+log(tf t,d ) t (idf) log N dft c (cosine) 1 w 2 1 +w w2 M a (aumentado) tft,d b (boolean) L (log ave) maxt(tft,d) { 1 if tft,d > 0 0 senão 1+log(tft,d) 1+log(avet d(tft,d)) p (prob idf) max{0,log N dft } u (pivoted dft unique) 1/u b (byte size) 1/CharLength α, α < 1 Melhor combinação conhecida de opções de pesos O modelo de espaço vetorial 24 / 27

76 Componentes do peso tf-idf Frequência de termos Frequência em Documentos Normalização n (natural) tf t,d n (não) 1 n (nenhum) 1 l (logaritmo) 1+log(tf t,d ) t (idf) log N dft c (cosine) 1 w 2 1 +w w2 M a (aumentado) tft,d b (boolean) L (log ave) maxt(tft,d) { 1 if tft,d > 0 0 senão 1+log(tft,d) 1+log(avet d(tft,d)) p (prob idf) max{0,log N dft } u (pivoted dft unique) 1/u b (byte size) 1/CharLength α, α < 1 Padrão: sem peso O modelo de espaço vetorial 24 / 27

77 Exemplo tf-idf O modelo de espaço vetorial 25 / 27

78 Exemplo tf-idf Frequentemente utiliza-se diferentes opções de pesos para consultas e documentos. O modelo de espaço vetorial 25 / 27

79 Exemplo tf-idf Frequentemente utiliza-se diferentes opções de pesos para consultas e documentos. Notação: ddd.qqq O modelo de espaço vetorial 25 / 27

80 Exemplo tf-idf Frequentemente utiliza-se diferentes opções de pesos para consultas e documentos. Notação: ddd.qqq Exemplo: lnc.ltn O modelo de espaço vetorial 25 / 27

81 Exemplo tf-idf Frequentemente utiliza-se diferentes opções de pesos para consultas e documentos. Notação: ddd.qqq Exemplo: lnc.ltn documento: log tf, sem peso df, normalização coseno O modelo de espaço vetorial 25 / 27

82 Exemplo tf-idf Frequentemente utiliza-se diferentes opções de pesos para consultas e documentos. Notação: ddd.qqq Exemplo: lnc.ltn documento: log tf, sem peso df, normalização coseno consulta: log tf, idf, sem normalização O modelo de espaço vetorial 25 / 27

83 Exemplo tf-idf Frequentemente utiliza-se diferentes opções de pesos para consultas e documentos. Notação: ddd.qqq Exemplo: lnc.ltn documento: log tf, sem peso df, normalização coseno consulta: log tf, idf, sem normalização É ruim não colocar peso idf no documento? O modelo de espaço vetorial 25 / 27

84 Exemplo tf-idf Frequentemente utiliza-se diferentes opções de pesos para consultas e documentos. Notação: ddd.qqq Exemplo: lnc.ltn documento: log tf, sem peso df, normalização coseno consulta: log tf, idf, sem normalização É ruim não colocar peso idf no documento? Exemplo consulta: melhor seguro carro O modelo de espaço vetorial 25 / 27

85 Exemplo tf-idf Frequentemente utiliza-se diferentes opções de pesos para consultas e documentos. Notação: ddd.qqq Exemplo: lnc.ltn documento: log tf, sem peso df, normalização coseno consulta: log tf, idf, sem normalização É ruim não colocar peso idf no documento? Exemplo consulta: melhor seguro carro Exemplo documento: melhor seguro carro auto O modelo de espaço vetorial 25 / 27

86 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

87 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto 0 melhor 1 carro 1 seguro 1 Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

88 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto 0 1 melhor 1 0 carro 1 1 seguro 1 2 Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

89 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

90 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

91 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

92 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

93 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

94 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

95 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

96 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento / / O modelo de espaço vetorial 26 / 27

97 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento O modelo de espaço vetorial 26 / 27

98 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento Resultado final de similaridade entre consulta e documento: i w qi w di = = 3.08 O modelo de espaço vetorial 26 / 27

99 Exemplo tf-idf : lnc.ltn Consulta: melhor seguro carro. Documento: carro seguro auto seguro. palavra consulta documento produto tf tf-com-peso df idf peso tf tf-com-peso peso norm. auto melhor carro seguro Colunas: tf: (sem peso) frequência de termo, tf-com-peso: log frequência de termo, df: frequência de documento, idf: frequência de documento inversa, peso: o peso final do termo na consulta ou documento, norm.: pesos de documentos depois de normalização, produto: produto do peso final da consulta e peso final do documento Resultado final de similaridade entre consulta e documento: i w qi w di = = 3.08 Perguntas? O modelo de espaço vetorial 26 / 27

100 Resumo: recuperação ordenada no modelo de espaço vetorial O modelo de espaço vetorial 27 / 27

101 Resumo: recuperação ordenada no modelo de espaço vetorial Representar a consulta como um vetor tf-idf com pesos O modelo de espaço vetorial 27 / 27

102 Resumo: recuperação ordenada no modelo de espaço vetorial Representar a consulta como um vetor tf-idf com pesos Representar cada documento como um vetor tf-idf com pesos O modelo de espaço vetorial 27 / 27

103 Resumo: recuperação ordenada no modelo de espaço vetorial Representar a consulta como um vetor tf-idf com pesos Representar cada documento como um vetor tf-idf com pesos Calcular a similaridade coseno entre o vetor consulta e vetor documento O modelo de espaço vetorial 27 / 27

104 Resumo: recuperação ordenada no modelo de espaço vetorial Representar a consulta como um vetor tf-idf com pesos Representar cada documento como um vetor tf-idf com pesos Calcular a similaridade coseno entre o vetor consulta e vetor documento Rankear documentos em relação à consulta O modelo de espaço vetorial 27 / 27

105 Resumo: recuperação ordenada no modelo de espaço vetorial Representar a consulta como um vetor tf-idf com pesos Representar cada documento como um vetor tf-idf com pesos Calcular a similaridade coseno entre o vetor consulta e vetor documento Rankear documentos em relação à consulta Exibir os K melhores resultados (e.g., K = 10) ao usuário O modelo de espaço vetorial 27 / 27