Universidade Federal de Minas Gerais Instituto de Ciências Exatas Departamento de Ciências da Computação MARLOS CHOLODOVSKIS MACHADO

Transcrição

1 Universidade Federal de Minas Gerais Instituto de Ciências Exatas Departamento de Ciências da Computação MARLOS CHOLODOVSKIS MACHADO MONOGRAFIA DE PROJETO ORIENTADO EM COMPUTAÇÃO II CLASSIFICAÇÃO DE DOCUMENTOS MODELADOS COMO GRAFOS Belo Horizonte MG Ano 2010 / 1 o semestre

2 Universidade Federal de Minas Gerais Instituto de Ciências Exatas Departamento de Ciências da Computação CLASSIFICAÇÃO DE DOCUMENTOS MODELADOS COMO GRAFOS por MARLOS CHOLODOVSKIS MACHADO Monografia de Projeto Orientado em Computação II Apresentado como requisito da disciplina de Projeto Orientado em Computação II do Curso de Bacharelado em Ciência da Computação da UFMG Prof. Dr. Marcos André Gonçalves Orientador Belo Horizonte MG Ano 2010 / 1 o semestre

3 Aos meus pais, à minha namorada, aos professores, aos colegas de curso e aos meus familiares, dedico este trabalho. i

4 Agradecimentos Agradeço inicialmente aos meus pais, por sempre terem acreditado em mim e por terem investido com tamanha convicção na minha educação. À minha namorada, que esteve ao meu lado por toda a graduação, se preocupando, me ajudando, ouvindo, apoiando, incentivando e, principalmente, tendo paciência. À todos os meus professores, essenciais para minha formação. Ao meu orientador, pela paciência, ensinamentos e críticas. E aos meus amigos, por terem transformado o curso em uma jornada prazerosa. ii

5 Digo: o real não está na saída nem na chegada: ele se dispõe para a gente é no meio da travessia. João Guimarães Rosa iii

6 Sumário Lista de Tabelas vi Resumo vii Abstract viii 1 INTRODUÇÃO Visão geral Motivação Hipótese e Objetivo REFERENCIAL TEÓRICO Modelagem Textos Citações Classificação MODELAGEM Texto Citações METODOLOGIA Cálculo das Features Coleções GeDa iv

7 4.2.2 ACM Classificação RESULTADOS E DISCUSSÃO Discriminância das Features GeDa ACM Classificação GeDa Tempo ACM CONCLUSÕES E TRABALHOS FUTUROS Referências Bibliográficas v

8 Lista de Tabelas Tabela 5.1 Infogain GeDa Tabela 5.2 Infogain ACM Tabela 5.3 Matriz de Confusão Média: Método Proposto Tabela 5.4 Matriz de Confusão Média: Lee e Myaeng (2002) Tabela 5.5 Sumário dos resultados do método proposto e do baseline Tabela 5.6 Sumário do tempo gasto pelo método proposto e pelo baseline vi

9 Resumo Na linguagem humana, as palavras se organizam em padrões. Um aspecto que influencia essa organização é o seu propósito comunicativo. Esse trabalho modela textos e citações bibliográficas como grafos e analisa seus padrões através de algumas de suas métricas, mostrando que diferentes padrões textuais são encontrados em diferentes gêneros. Realiza-se ainda a classificação de artigos científicos em gêneros e subáreas, obtendo resultados que mostram o potencial da modelagem proposta. Finalmente, esse trabalho apresenta um trade off bastante interessante entre tempo e F1 para o problema de classificação em gêneros com a modelagem proposta e o atual estado-da-arte. Palavras-chave: Gênero textual, categorização, redes complexas, modelagem de grafos. vii

10 Abstract In the human language, words are organized into patterns. An influent aspect to this organization is its communicative purpose. This work models text and citations as graphs and analyzes its patterns through some of their metrics, showing that different textual patterns are found in different genres. It also presents scientific articles classification on genres and subareas, obtaining results that show the potential of the proposed model. Finally, this work presents a very interesting trade off between time and F1 for the genre classification problem with the proposed modeling and the current state of the art. Keywords: Text genre, categorization, complex networks, graph modeling. viii

11 9 1 INTRODUÇÃO 1.1 Visão geral Com inúmeros dados sendo gerados diariamente, grande parte deles na forma de textos não-estruturados, a existência de sistemas que gerenciem esses dados de forma automática e eficaz é cada vez mais necessária. C. Machado (2009) propõe uma abordagem inovadora para a classificação de documentos em gêneros, modelando-os como grafos e utilizando algumas de suas métricas como evidências para a classificação dos mesmos. Esse trabalho é uma extensão do nosso trabalho anterior (1), apresentando uma comparação mais justa 1 entre o método proposto e o estado-da-arte em termos de acurácia, precisão, revocação e tempo. Discute-se também a classificação de artigos científicos em subáreas, baseada na modelagem proposta no trabalho anterior e uma extensão da mesma, levando em consideração o grafo de citações dos artigos científicos. Esse trabalho se organiza da seguinte forma: No capítulo 2 discute-se os trabalhos relacionados aos problemas atacados aqui, no capítulo 3 discute-se a modelagem dos documentos como grafos, tanto o texto quanto as citações bibliográficas. O capítulo 4 detalha a metodologia de experimentação e as base de dados utilizadas. Finalmente, o capítulo 5 apresenta os resultados obtidos e o capítulo 6 discorre sobre as conclusões obtidas nesse trabalho e possíveis trabalhos futuros. 1.2 Motivação A capacidade de classificar documentos textuais em termos do seu gênero específico 2 (e.g., textos científicos, jornalísticos ou literários) é útil em diversas aplicações, como a remoção de ambiguidade relacionada ao significado de uma palavra específica (1), a melhoria na 1 O trabalho anterior criou uma coleção para a validação do modelo proposto, essa coleção apresentava dados adicionais que mascararam o resultado obtido com o baseline (1) 2 Mais precisamente, por gênero queremos dizer qualquer classe de textos definida por seus propósitos comunicativos comuns ou outras características funcionais (2)

12 10 usabilidade das máquinas de busca (3) e de coletores, sejam eles focados (4) ou não (5). Trabalhos científicos normalmente são catalogados e classificados conforme sua subárea, essa atividade é essencial para uma recuperação satisfatória de informação. Atualmente há um número de trabalhos cada vez maior precisando ser catalogados, passando a ser necessário bons métodos de classificação automática. Além disso, vários trabalhos não-digitais precisam ser digitalizados e catalogados, um bom classificador reduziria a necessidade de um especialista nesse processo. 1.3 Hipótese e Objetivo Esse trabalho visa revalidar, na coleção alterada, a hipótese proposta no trabalho anterior de que as métricas de redes complexas, quando aplicadas à textos modelados como grafos, são capazes de capturar características do documento como, por exemplo, estilo e estrutura. Conseguindo diferenciar, de forma precisa, documentos de diferentes classes (1). Objetiva-se também comprovar a hipótese levantada ao final do trabalho anterior de que o número reduzido de características no vetor que modela os documentos diminui drasticamente o tempo gasto pelo classificador. Além disso, levanta-se aqui a hipótese de que artigos científicos da mesma área (e.g., Ciência da Computação) possuem abstracts com padrões peculiares à cada subárea (e.g., Banco de Dados, Engenharia de Software, Robótica, etc), além de comportamentos diferentes em relação às citações bibliográficas. Avalia-se também o poder discriminativo das características propostas no trabalho anterior além da capacidade de agregação de informação das métricas do grafo de citações. Essa avaliação foi feita em (1) com a análise dos gráficos de distribuição acumulada de cada característica, por classe, e pela comparação dos valores médios de cada feature em cada classe. Já nesse trabalho utiliza-se o Infogain (6) como evidência para o poder discriminativo das features. Finalmente, compara-se o tempo de treinamento e teste de um classificador supervisionado no modelo proposto e no estado-da-arte, fazendo um paralelo com os resultados de acurácia, precisão e revocação, apresentando um trade-off claro na aplicação..

13 11 2 REFERENCIAL TEÓRICO Para uma maior compreensão, esse capítulo foi divido em duas seções principais, uma relacionada à Redes Complexas que está focada na modelagem, e outra relacionada à Recuperação de Informação, focada mais precisamente em classificação. Ainda podemos dividir a seção Modelagem em duas subseções: Textos e Citações, a primeira apresentando a modelagem de textos como grafos e a segunda a modelagem das citações bibliográficas. 2.1 Modelagem Textos Podemos modelar vários problemas como redes complexas, essa modelagem permite a extração de informações importantes com a análise dos padrões desses grafos, como as conexões. A modelagem de textos como grafos já foi feita de vários modos, Dorogovtsev e Mendes (2001), Ferrer-i-Cancho e Sole (2001) e Antiqueira et al (2007) são os trabalhos que apresentam uma modelagem igual à modelagem feita nesse trabalho. Ferrer-i-Cancho e Sole (2001) modelam textos como grafos e analisam suas propriedades, concluindo que os textos e a linguagem natural geram grafos com propriedades small-world (10). Esse trabalho discute também a distância ideal a ser considerada na modelagem 1 do texto como sendo dois. Já Dorogovtsev e Mendes (2001) utilizam a mesma modelagem para propor uma teoria do desenvolvimento da linguagem humana, como uma rede crescente de palavras que se interagem. Mostra-se que o núcleo da linguagem não varia com a evolução da linguagem. Já Antiqueira et al (2007) correlacionam a qualidade dos textos com um alto valor das métricas outdegree e coeficiente de clusterização. 1 A modelagem consiste em criar uma aresta entre dois vértices representa cada palavra distinta se uma palavra está à uma distância menor ou igual à um limiar definido, mais detalhes no próximo Capítulo

14 12 Finalmente, o nosso trabalho anterior já modela textos como grafos e utiliza métricas desses grafos como evidências para o classificador, que é exatamente a mesma idéia para esse trabalho, tanto para textos quanto para as citações bibliográficas Citações A informação de links tem sido utilizada a um bom tempo na literatura, Chakrabarti et al (1998) mostra que a informação dos links é muito útil quando existe pouco texto disponível no documento. Trabalhos famosos nessa área são (12) e (13) que melhoraram drasticamente os resultados de classificação considerando a estrutura da Web. Todos os trabalhos até então são relacionados à utilização de links para a classificação de documentos na Web, esse trabalho se propõe a utilizar citações no contexto acadêmico, levando em considerações citações bibliográficas, que apresentam um padrão e impacto diferente na classificação (14). Ao contrário da classificação de coleções Web com informação de links, a classificação de artigos científicos em subáreas não é tão comum, nem a utilização das referências como evidências. 2.2 Classificação Existem vários trabalhos que tratam a classificação de entidades em gêneros. Os trabalhos que, assim como esse, classificam documentos textuais em gêneros de maneira automática, i.e., sem a necessidade de um especialista analisar o documento previamente, são mais interessantes para a classificação de conteúdos da Web, que gera um número gigantesco de documentos frequentemente. Kessler et al. (2007) apresenta uma teoria que correlaciona a modelagem de gêneros como bundles of facets e pistas de superfície. Peng et al. (2003) trata esse mesmo problema com níveis n-gram 2 dos caracteres da linguagem. O trabalho utilizado como baseline para o problema de classificação em gêneros é o de Lee e Myaeng (2002), que utiliza algumas estatísticas dos textos, como TF e DF aliadas ao seu valor em cada gênero para definir a probabilidade de que um dado documento pertença a um dado gênero. Nesse trabalho, busca-se palavras que são discriminantes por serem comuns ou incomuns em um gênero específico. Esse método já foi utilizado como baseline em (1), que realiza a classificação em gêneros utilizando a estrutura do texto (retirada através do seu grafo). 2 Qualquer substring de tamanho n (15)

15 13 No âmbito da classificação de artigos científicos em subáreas, Couto et al (2006) utiliza a rede de citações bibliográficas como evidência para essa classificação, discutindo abordagens de agregação dessas features ao classificador. Eles não conseguiram provar que a rede de citações agrega informação ao classificador, i.e., não conseguiram uma melhoria notável. Utilizamos aqui métricas diferentes das utilizadas em (14) objetivando conseguir agregar alguma informação. Para o problema de classificação, esse trabalho será o nosso baseline.

16 14 3 MODELAGEM A idéia central desse trabalho é modelar documentos como grafos e utilizar as características desses grafos como evidência para a classificação dos documentos em diferentes grupos, partindo da premissa de que diferentes grupos possuem diferentes padrões e que esses padrões são identificados pelo classificador. Como discutido anteriormente, trabalha-se aqui com dois problemas diferentes, a classificação de documentos em gêneros e a classificação de documentos da mesma área em subáreas. O primeiro problema utiliza apenas a modelagem de textos como grafos, do texto puro. O segundo problema de classificação tratado, i.e., classificação de um documento (artigo científico) em subáreas utiliza não as informações do texto inteiro, mas apenas do abstract, modela-se essa porção do documento da mesma forma. Por possuirmos uma base completa de citações para o segundo problema, extrai-se também informações da rede de citações para avaliar seu poder discriminativo na classificação, partindo da pergunta: Diferentes áreas da computação lidam com os trabalhos prévios da mesma maneira?. Assim sendo, esse trabalho gera duas modelagens diferentes, a de textos e a de citações, ambas são discutidas abaixo. 3.1 Texto A modelagem de textos como grafos foi proposta em 2001 nos trabalhos (7) e (8), enquanto a utilização de métricas dos grafos como evidência para a classificação foi proposta em 2009 no trabalho (1). No grafo resultante, cada vértice representa uma palavra distinta do documento e existe uma aresta entre dois vértices se, em qualquer ponto do texto, essas palavras estiveram a uma

17 15 distância (contada em termos do número de palavras 1 ) menor ou igual à dois 2 Por não haver uma lógica clara de referência (palavras à frente podem estar referenciando palavras do passado e vice-versa) e também pelo fato de não haver um sentido na relação de proximidade, gera-se um grafo não-dirigido. Decidiu-se por ignorar self-loops no grafo e por desconsiderar a repetição de coocorrência, com isso sempre gera-se um grafo não-ponderado. C. Machado (2009) analisou tanto grafos ponderados quanto não ponderados para essa aplicação e chegou à conclusão de que o peso nas arestas não agrega informação ao modelo, apenas acarreta em um custo maior de processamento. O trabalho anterior mostrou também que a utilização de stemming 3 e remoção de stop-words 4 não acarretava em perda de informação e também reduzia o custo computacional. Na geração do grafo trata-se ainda pontuação, acentuação (raro no idioma inglês) e capitalização. A pontuação somente foi considerada para demarcar o final de sentenças, para evitar que palavras de duas sentenças diferentes se relacionassem no grafo, fora esse caso especial, todos os outros marcadores de pontuação como vírgula e hífen foram removidos. Considerou-se sentenças dentro de colchetes ou parênteses independentes das sentenças externas, além de expressões matemáticas terem sido tratadas de forma que cada fator da expressão seja um vértice do grafo. Definiu-se que todas as palavras não deveriam ter acentos e que deveriam estar grafadas com letras minúsculas. Camp (2008) discute essa abordagem e afirma que ela é interessante por garantir que todas as palavras são do mesmo tipo, mesmo sabendo que perde-se algumas informações como a distinção entre nomes próprios e outras palavras. 3.2 Citações Essa modelagem é bem mais simples do que a anterior por não exigir tantas decisões de implementação, isso porque cada artigo científico possui um identificador único. Assim, cada artigo científico é um vértice no grafo e há uma aresta entre dois vértices se um artigo cita o outro. Definiu-se o grafo como não dirigido porque a direção daria informação de tempo, nada mais. 1 Por exemplo, na famosa frase de Descartes: Penso, logo existo, a palavra Penso está a uma distância dois de existo e um de logo. 2 Utilizou-se a modelagem proposta por (8), com o mesmo limiar. Essa modelagem é feita para textos do idioma inglês todos os documentos da coleção estão em inglês, no trabalho original discute-se extensivamente os motivos dessa escolha. 3 Remoção dos radicais das palavras, deixando apenas a raiz. Por exemplo, a palavra Finally se transforma em Final após o stemming 4 Palavras que não agregam significado ao texto, como as preposições

18 16 Fazendo essa análise para todos os artigos gera-se os grafos finais, os grafos são não ponderados por motivos óbvios, já que um artigo não cita o outro duas vezes. Não se faz distinção entre subáreas nessa modelagem, então se um artigo de Engenharia de Software cita um trabalho de Banco de Dados, eles também possuirão uma aresta entre eles, assim sendo, não garantindo que os grafos gerados possuirão artigos de apenas uma subárea. A idéia para se obter esse grafo de citações para um documento que necessita ser classificado é associar esse documento (vértice) à cada um dos que ele cita e fazer uma busca em largura a partir do novo vértice, obtendo todo o grafo de citações. Discute-se melhor essa abordagem no próximo capítulo.

19 17 4 METODOLOGIA 4.1 Cálculo das Features Mudar esse nome Coleções GeDa ACM8 4.3 Classificação

20 18 5 RESULTADOS E DISCUSSÃO 5.1 Discriminância das Features Apresentar o InfoGain GeDa xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx Métrica Infogain Betweenness Máximo Betweenness Médio Grau Máximo xxxx xxx xxxx Grau Médio xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx Densidade Coef. de Clusterização Closeness Médio Num. Comp. Conectados Tam. Comp. Gigante xxxx xxx xxxx Caminho Min. Médio Diâmetro xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx Tabela 5.1: Infogain GeDa xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx

21 ACM xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx Métrica Infogain Num. Comp. Conectados Tam. Comp. Gigante Betweenness Médio xxxx xxx xxxx Closeness Médio xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx Closeness Máximo Densidade Betweenness Máximo Coef. de Clusterização Grau Máximo xxxx xxx xxxx Grau Médio Caminho Min. Médio xxx xxxx xxx xxxx xxx xxxx xxx xxxx xxx Diâmetro Tabela 5.2: Infogain ACM xxxx xxx xxxx 5.2 Classificação 5.3 GeDa Literário Científico Jornalístico Acurácia Literário % Científico % Jornalístico % Tabela 5.3: Matriz de Confusão Média: Método Proposto

22 Tempo 5.4 ACM Literário Científico Jornalístico Acurácia Literário % Científico % Jornalístico % Tabela 5.4: Matriz de Confusão Média: Lee e Myaeng (2002) Método Macro-F1 Acurácia Proposto 82.54% 82.67% Baseline 87.80% 87.97% Tabela 5.5: Sumário dos resultados do método proposto e do baseline Método Tempo de Treinamento Tempo de Teste Proposto 54.39s 3.47s Baseline s s Tabela 5.6: Sumário do tempo gasto pelo método proposto e pelo baseline

23 21 6 CONCLUSÕES E TRABALHOS FUTUROS Nesse trabalho corrigimos a coleção de gêneros textuais para que ela não privilegiasse o baseline e revalidamos, dessa vez com uma métrica mais objetiva e comum na área, a hipótese proposta em (1) de que as métricas do grafo resultante da modelagem de textos como grafos são discriminantes na classificação de documentos como gêneros, ficando claro que diferentes gêneros apresentam diferentes padrões de escrita. Os novos resultados mostraram que o método proposto em (16) é apenas 6,37% melhor do que o nosso método em termos de macro F1, e não 19,8% como dito no trabalho anterior (o macro F1 caiu de 100,00% para 87,8%). Além disso, comparou-se o tempo gasto nos dois métodos e mostrou-se que, apesar do método proposto apresentar um macro F1 menor do que o método de Lee e Myaeng (2002), ele realiza o treinamento ,89% mais rapidamente e a classificação é ,7% mais rápida, por reduzirmos drasticamente o número de features. A classificação dos artigos científicos em subáreas não foi bem sucedida pelos motivos discutidos no capítulo anterior, a modelagem de citações não é adequada porque constatouse existir um componente gigante com 99.6% dos artigos científicos. Por eles dividirem o mesmo grafo, dividem as mesmas métricas, logo elas não agregam informação. Apesar disso, o experimento foi útil por comprovar o fato de que as métricas do texto, mesmo que reduzido (no caso somente o abstract) são discriminantes. Tendo validado a hipótese principal de todo o trabalho, tanto esse quanto o anterior (1), seria interessante avaliar a utilidade desse método à outras aplicações, como identificação de autoria e/ou informações maliciosas em uma coleção. Outra avaliação interessante de ser feita seria o impacto de outros idiomas à classificação, i.e., textos do mesmo gênero, mas escritos em idiomas diferentes possuem os mesmos padrões? Poderia-se também mostrar que as informações dos grafos gerados são úteis quando combinadas com outras abordagens, por exemplo, a de Lee e Myaeng (2002). Assim sendo, é válido combinar as métricas propostas às já existentes na literatura e ver o comportamento final do sistema. No caso do baseline utilizado essa tarefa não é trivial, necessitando de um estudo mais detalhado sobre a integração.

24 22 Referências Bibliográficas 1 C. MACHADO, M. Classificação de documentos modelados como grafos. Monografia de Projeto Orientado em Computação I na Universidade Fedearal de Minas Gerais KESSLER, B.; NUNBERG, G.; SCHIITZE, H. Automatic detection of text genre. In: Eighth Conference of the Association for Computational Linguistics. [S.l.: s.n.], p BRODER, A. A taxonomy of web search. SIGIR Forum, ACM, v. 36, n. 2, p. 3 10, ISSN ASSIS, G. T. de et al. Exploiting genre in focused crawling. In: SPIRE. [S.l.: s.n.], p BOESE, E. S.; HOWE, A. E. Effects of web document evolution on genre classification. In: CIKM. [S.l.]: ACM, p ISBN ROGATI, M.; YANG, Y. High-performing feature selection for text classification. In: CIKM. [S.l.: s.n.], DOROGOVTSEV, S. N.; MENDES, J. F. F. Language as an evolving word web. Proc. of The Royal Soc. of London. Series B, Biological Sciences, v. 268, n. 1485, p , Ferrer-i-Cancho, R.; SOLE, R. V. The small world of human language. Proc. of The Royal Soc. of London. Series B, Biological Sciences, v. 268, n. 1482, p , ANTIQUEIRA, L. et al. Strong correlations between text quality and complex networks features. Phys. Rev. A, v. 373, p. 811, WATTS, D. J.; STROGATZ, S. H. Collective dynamics of small-world networks. Nature, Department of Theoretical and Applied Mechanics, Cornell University, Ithaca, New York 14853, USA. djw24@columbia.edu, v. 393, n. 6684, p , ISSN CHAKRABARTI, S.; DOM, B.; INDYK, P. Enhanced hypertext categorization using hyperlinks. In: SIGMOD 98: Proceedings of the 1998 ACM SIGMOD international conference on Management of data. New York, NY, USA: ACM, p ISBN BRIN, S.; PAGE, L. The anatomy of a large-scale hypertextual web search engine. In: Computer Networks and ISDN Systems. [S.l.: s.n.], p KLEINBERG, J. M. Authoritative sources in a hyperlinked environment. J. ACM, ACM, New York, NY, USA, v. 46, n. 5, p , ISSN COUTO, T. et al. A comparative study of citations and links in document classification. In: In Proceedings of the 6th ACM/IEEECS Joint Conference on Digital Libraries, Chapel. [S.l.]: Hill, p

25 23 15 BAEZA-YATES, R.; RIBEIRO-NETO, B. Modern Information Retrieval. 1st. ed. [S.l.]: Addison Wesley, Paperback. ISBN X. 16 LEE, Y.-B.; MYAENG, S. H. Text genre classification with genre-revealing and subject-revealing features. In: SIGIR 02: Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval. New York, NY, USA: ACM, p ISBN CAMP, M. van de. Explorations into Unsupervised Corpus Quality Assessment. Dissertação (Mestrado) Tilburg University, Faculty of Humanities, 2008.