UMA ABORDAGEM BASEADA EM MÉTRICAS DE REDES COMPLEXAS PARA O ESTABELECIMENTO DO GRAU DE INFLUÊNCIA DE TERMOS EM DOCUMENTOS

Tamanho: px

Começar a partir da página:

Download "UMA ABORDAGEM BASEADA EM MÉTRICAS DE REDES COMPLEXAS PARA O ESTABELECIMENTO DO GRAU DE INFLUÊNCIA DE TERMOS EM DOCUMENTOS"

Mauro Mota Gesser
8 Há anos
Visualizações:

1 UMA ABORDAGEM BASEADA EM MÉTRICAS DE REDES COMPLEXAS PARA O ESTABELECIMENTO DO GRAU DE INFLUÊNCIA DE TERMOS EM DOCUMENTOS Wladmir Cardoso Brandão Fernando Silva Parreiras GT8 - INFORMAÇÃO E TECNOLOGIA XI ENANCIB

EM DOCUMENTOS Wladmir Cardoso Brandão Fernando Silva

2 AGENDA Problema Base Conceitual Abordagem Experimentos Conclusão

3 PROBLEMA

4 PROBLEMA Obtenção de esquemas de pesagem de termos (palavras) em documentos Proposição de esquemas de pesagem baseados em métricas de redes complexas Experimentação dos esquemas propostos para estimativa de similaridade entre documentos e consultas em sistemas de recuperação de informação

redes complexas Experimentação dos esquemas propostos para estimativa de

5 BASE CONCEITUAL

6 REPRESENTAÇÕES DE DOCUMENTOS Conjunto de Palavras (Bag of Words) Utilizado por modelos clássicos de recuperação de informação. No modelo vetorial por exemplo, documentos são representados como vetores de palavras Rede de Palavras (Word Networks) Documentos são representados como redes complexas de palavras onde as palavras (nós) se relacionam entre si através de padrões de co-ocorrência nos documentos

No modelo vetorial por exemplo, documentos são representados como vetores de palavras Rede de

7 REPRESENTAÇÕES DE DOCUMENTOS Conjunto de Palavras (Bag od Words)

8 REPRESENTAÇÕES DE DOCUMENTOS Rede de Palavras (Word Networks)

9 IMPORTÂNCIA DE TERMOS Independentemente da forma de representação dos documentos, os modelos tentam estimar a importância dos termos para os documentos e para a coleção Nos modelos clássicos, existem diversas propostas. A mais conhecida é baseada na frequência dos termos (TF-IDF) Nos modelos baseados em redes de palavras, existem propostas mas não há consenso A forma como cada modelo considera a importância dos termos define um esquema de pesagem para termos em documentos

A mais conhecida é baseada na frequência dos termos (TF-IDF) Nos modelos baseados em redes de palavras, existem

10 O ESQUEMA TF-IDF TF (Term Frequency) Frequência do termo no documento como estimador da importância do termo para o documento IDF (Inverted Document Frequency): Frequência dos documentos nos quais o termo ocorre como estimador da importância do termo para a coleção

IDF (Inverted Document Frequency): Frequência dos documentos nos

11 O ESQUEMA TF-IDF (TF-IDF)i,j = TFi,j x IDFi TFi,j = fi,j/ dj fi,j = ocorrências de i em j dj = tamanho de j IDFi = log(n/ni) N = tamanho da coleção ni = # documentos onde i ocorre

12 ABORDAGEM

13 ESQUEMAS BASEADOS EM MÉTRICAS DE REDE A idéia é substituir um dos componentes (TF) do esquema de pesagem baseado em frequência por métricas extraídas da representação do documento como rede complexa de palavras TF-IDF x NDCE-IDF TF-IDF x NBCE-IDF TF-IDF x NCCE-IDF TF-IDF x NCC1-IDF

métricas extraídas da representação do documento como rede complexa de

14 ESQUEMAS BASEADOS EM MÉTRICAS DE REDE NDCE (Normalized Degree Centrality): número de conexões de cada nó NBCE (Normalized Betweenness Centrality): número de caminhos mínimos que passam por cada nó NCCE (Normalized Closeness Centrality): inverso da soma das distâncias geodésicas de cada nó em relação aos demais NCC1 (Normalized Clustering Coefficient): probabilidade de conexão entre vizinhos de cada nó

NCCE (Normalized Closeness Centrality): inverso da soma das distâncias geodésicas de cada nó em

15 ESQUEMAS BASEADOS EM MÉTRICAS DE REDE Fórmula de Cálculo Normalização Centralidade Intermediação Proximidade Transitividade

16 EXPERIMENTOS

17 EXPERIMENTOS Coleção: Communications of ACM Journal documentos 1958 a consultas / 15 resultados relevantes Métricas de avaliação: precisão e revocação Rede de palavras: distância d = 2

204 documentos 1958 a 1979 52 consultas / 15

18 EXPERIMENTOS Similaridade entre documentos e consultas wi,j = [TF-IDF v NDCE-IDF v NBCE-IDF v NCCE-IDF v NCC1-IDF]

19 RESULTADOS

20 CONCLUSÃO

21 CONCLUSÃO Métricas de redes isoladamente apresentaram desempenho comparável ao esquema TF-IDF Indícios de que composição de métricas de redes oferecem resultados superiores à esquemas tradicionais de pesagem IDF inapropriado para combinação com métricas de rede

22 TRABALHOS FUTUROS Investigação de padrões de relacionamento entre termos Variações de distâncias máximas utilizadas para o estabelecimento de relações sintáticas entre termos Formalização de um modelo de recuperação baseado em grafos e métricas extraídas de grafos

23 FIM OBRIGADO

Documentos relacionados

Recuperação de Informação

Recuperação de Informação Estrutura de Dados II Mariella Berger 1 Roteiro Tarefas de Recuperação de Informação Modelos de Recuperação de Documentos Modelo Booleano Modelo Espaço Vetorial Recuperação de