Universidade Federal do Estado do Rio de Janeiro

Transcrição

1 Universidade Federal do Estado do Rio de Janeiro Centro de Ciências Exatas e Tecnologia Escola de Informática Aplicada Análise do perfil de uma comunidade científica através de mineração de texto. Brunno Athayde Silveira Thiago Yusuke Muramatsu Orientador Kate Cerqueira Revoredo i

2 Rio de Janeiro, RJ Brasil Dezembro de 2011 Análise do perfil de uma comunidade científica através de mineração de texto. Brunno Athayde Silveira e Thiago Yusuke Muramatsu Aprovada por: Prof. Kate Cerqueira Revoredo, DSc. (UNIRIO) Prof. Fernanda Araujo Baião, DSc. (UNIRIO) Prof. Renata Mendes de Araujo, DSc. (UNIRIO) ii

3 Rio de Janeiro, RJ Brasil. Dezembro de 2011 iii

4 Agradecimentos Agradecemos ao corpo docente da UNIRIO, em especial à professora Kate, pela paciência e diálogo franco. Agradecemos nossas famílias e amigos, que nos tornaram quem somos. 1

5 RESUMO O trabalho apresenta uma forma de análise de uma comunidade científica através de suas publicações, possibilitando traçar o perfil da mesma, ao gerar indicadores que auxiliam no entendimento dos diferentes tópicos abordados pelos pesquisadores. Os indicadores são gerados de forma automática, sendo: uma rede de colaboração, uma rede com as instituições envolvidas e o contexto (classificação) dessas publicações. Um sistema foi desenvolvido para auxílio da análise, sendo dividido em dois módulos principais: geração de grafos e classificação automática de texto. Realizou-se um estudo de caso com uma comunidade de Sistemas de Informação. Este trabalho está inserido no escopo do projeto Redes Sociais de Pesquisa em Sistemas de Informação o qual tem apoio da FAPERJ (processo número E- 26/111484/2010) Palavras-chave: Descoberta de conhecimento, mineração de texto, classificação automática de texto, categorização, redes sociais, grafos. 2

6 ABSTRACT This works presents an analysis of a scientific community through its publications, enabling the design of its profile, generating indicators that assist in the understanding of the different topics covered by the researchers. These indicators are generated automatically, as follows: a collaborative network, a network of institutions involved and the context (classification) of the publications. A system was developed to support the analysis and was divided into two main modules: generating graphs and document classification. A case study with a community of Information Systems was conducted. This work is inserted into the scope of the project "Social Networks Research in Information Systems" which is supported by FAPERJ (process number E- 26/111484/2010) Keywords: Knowledge-discovery in databases - KDD, text mining, Document classification/categorization, social network, graphs. 3

7 Índice 1 Introdução Conhecimento preliminar Análise de redes sociais Grafos Mineração de texto Classificação automática de texto Pré-processamento Identificação de termos: o conceito de dicionário Stopwords e termos de pouco valor preditivo Stemming e Lemmatisation N-gram Seleção das características Representação dos documentos Redução Determinação do peso dos termos Frequência relativa do termo TF-IDF Escore de relevância Truncagem Normalização Métodos de categorização

8 Modelos difusos Algoritmo de categorização - Calculando o grau de similaridade 34 3 Proposta Proposta de classificação automática de artigos Estudo de caso Extração das informações Geração de grafos de colaboração da comunidade do SBSI Pajek Preparação dos dados Classificação automática de artigos do SBSI Escolha dos algoritmos Escore de relevância Algoritmo de categorização Pré-processamento realizado Seleção das características realizada Método de categorização utilizado Análise dos resultados Resultado da geração de grafos Resultados da classificação automática Outro experimento- Melhorando o resultado Análise da classificação automática Dificuldades encontradas e limitações

9 5.4.1 Problemas na extração das informações Problemas na definição das categorias Trabalhos Relacionados Trabalhos Futuros Anexo A - Stoplist Referencias Índice de Tabelas Tabela 1 - Matriz de similaridade entre objetos (Fonte: Wives, 1999) Tabela 2 - Primeiro resultado gerado Tabela 3 - Resultado do classificador levando em consideração uma categoria por artigo para geração da lista de termos

10 1 Introdução Mineração de texto, como é conhecido o processo de descoberta de informação a partir de dados não estruturados, inspira-se na mineração de dados, utilizando técnicas lingüísticas para tratamento de informações a partir de texto em línguas naturais, produzindo informação textual de alta qualidade. Comumente, através da mineração, busca-se a classificação automática de texto e agrupamento por semelhança. A classificação ou agrupamento podem sempre ser feitos de maneira manual, mas com a grande quantidade de informação disponível a ser tratada, demandariam muito tempo. A divisão de documentos em categorias, realizada de modo manual por um especialista, é algo muito comum em diversos sistemas. Dessa maneira, a tarefa de recuperação de informação é facilitada, pois possibilita a busca em domínios específicos em uma base mais concisa de documentos. Podemos imaginar esta aplicação em diversos cenários: bibliotecas, sites web, entre outros. Com o grande volume de dados, tornam-se necessárias as técnicas de classificação e agrupamento de textos de forma automática, tornando possível, por exemplo, a correta distribuição das informações dentro de uma empresa. Este cenário, de muita informação necessitando de tratamento, influenciou estudos que possibilitam a classificação automática de textos com bons resultados, 7

11 diminuindo a necessidade de especialistas, que, por exemplo, participariam do processo de validação do resultado. (Schiminovich, 1971) afirma que a classificação automática de textos pode ser tão ou mais precisa que a classificação manual, com um custo potencialmente menor. Um sistema de classificação automática de documentos deve então ser capaz de associar um documento a uma ou mais categorias prédefinidas. O processamento de linguagem natural estuda a compreensão automática de linguagens humanas naturais, convertendo-as, por exemplo, em representações manipuláveis por programas de computador, envolvendo campos da lingüística, inteligência artificial, ciência da computação e lexicografia (Bates, 1995). A classificação de documentos de texto (document classification/categorization) como problema da ciência da informação estuda todo o processo de transformação da informação em dados e conhecimento, com o objetivo de classificar o documento em uma ou mais categorias. Uma técnica não supervisionada mais específica é a de agrupamento de documentos (document clustering), intimamente relacionada ao agrupamento de dados (data clustering), utilizando-se das técnicas de processamento de linguagem natural para o tratamento dos dados não estruturados. Técnicas de determinação do peso dos termos medem a importância de uma determinada palavra em um documento de texto. TF-IDF (Sparck Jones, 1972) é uma das medidas de importância mais utilizadas na recuperação da informação em mineração de texto. Basicamente, baseando-se na freqüência da palavra no documento e na coleção, é atribuído um peso indicando sua representatividade. Toda esta tecnologia permitiria a classificação automática de artigos científicos. A classificação destes artigos em categorias pré-definidas facilitaria não só a recuperação 8

12 de informação, por estarem em domínios específicos, mas também a percepção de trabalhos associados, a classificação por parte dos autores e os possíveis erros de classificação e a análise dos tópicos e seus relacionamentos para possíveis sugestões de temas para os simpósios. De maneira mais macro, geraria indicadores que seriam utilizados para análise do simpósio, bem como da comunidade como um todo. Outra forma de analisar uma determinada comunidade é através de sua rede social de colaboração. Redes sociais são estruturas sociais compostas por pessoas e/ou organizações que se conectam através de relações e compartilham interesses comuns informação, conhecimento e esforços em busca do mesmo objetivo. A intensificação das redes sociais reflete um processo de maior participação democrática e mobilização social (Barnes, 1954). A análise de redes sociais facilita o acompanhamento das discussões, permitindo a percepção de tendências de opiniões e apoiando o processo colaborativo. Este trabalho tem por objetivo analisar uma comunidade científica através de suas publicações científicas. Esta análise é feita utilizando técnicas de mineração de textos para identificação do contexto da publicação e geração da rede de colaboração. A proposta foi avaliada considerando publicações feitas no Simpósio Brasileiro de Sistemas de Informação (SBSI). O presente trabalho está estruturado em capítulos e será desenvolvido da seguinte forma: Capítulo II: Apresenta o conhecimento preliminar referente à classificação automática de texto através da mineração de texto e a análise de rede sociais através da geração de grafos. Capítulo III: Apresenta a proposta de maneira generalizada. 9

13 Capítulo IV: Descreve o estudo de caso realizado para a classificação automática dos artigos científicos e a geração dos grafos da rede de colaboração do simpósio. Capítulo V: Resultados finais e conclusões Reúne as considerações finais, assinala as contribuições da pesquisa e sugere possibilidades de aprofundamento posterior. Capítulo VI: Anexos. 10

14 2 Conhecimento preliminar Este capítulo visa apresentar e descrever todo o conhecimento preliminar relevante para o trabalho: a análise de redes sociais e sua relação com a teoria dos grafos e a classificação automática de texto através de técnicas de mineração de texto. 2.1 Análise de redes sociais Análise de redes sociais pode ser caracterizada como uma abordagem composta de quatro propriedades básicas (Freeman, 2011): 1. Envolve a intuição de que as ligações entre os atores sociais são importantes; 2. É baseada na coleção e análise de dados que registram as relações sociais que ligam os atores; 3. Baseia-se fortemente em imagens gráficas que revelam e mostram os padrões das ligações; 4. Desenvolve modelos computacionais e matemáticos para descrever e explicar os padrões. 11

15 Até a década de 1930, nenhum autor havia produzido um trabalho com as quatro propriedades listadas acima. O moderno campo da análise de redes sociais surgiu então na década de 1930 (Freeman, 2011). Na análise das redes sociais, muitos conceitos e terminologias são originários da teoria dos grafos. A linguagem dos grafos pode ser utilizada para modelar idéias que eram conhecidas antes da teoria dos grafos. Por exemplo, diagramas genealógicos são grafos onde nós representam indivíduos ligados por relações de parentesco ou afinidade. Diagramas deste tipo são utilizados de maneira prática há muito tempo, então, desde que se percebeu a relevância dos grafos para a análise de redes sociais, surgiu um campo vasto para a aplicação desta teoria (Barnes and Harary, 1983) Grafos O uso de imagens visuais é comum em vários campos da ciência sendo importante para o desenvolvimento dos mesmos (Freeman, 2000). São identificadas duas maneiras distintas de exibição usadas na construção de imagens de redes sociais, uma baseada em pontos e linhas, outra em matrizes. Nas representações por linhas e pontos, os pontos representam os atores e as linhas as conexões. Na representação por matrizes, linhas e colunas, ambas, representam os atores, e números ou símbolos nas células representam as relações sociais que ligam os atores. A grande maioria das imagens representando redes sociais envolve o uso dos pontos e linhas, assim como neste trabalho. No estudo da estrutura das redes sociais é necessário incluir as relações entre os atores, têm-se então três elementos básicos: 1. Atores (nós) 12

16 2. Relações (arestas) 3. Fluxos de informação (unidirecionais ou bidirecionais) Figura 1 - Imagem de um padrão de vínculos (Moreno apud Freeman, 2000) A Figura 1 mostra um grafo, conjunto de pontos e um conjunto de linhas conectando pares de pontos, que sugere que os indivíduos do topo e da base seriam os dominantes, pois se conectam aos demais pontos, e teriam uma ligação direta e indireta. (Moreno, 1934) sugere a utilização de setas para representar as ligações entre os atores. Numa ligação entre os atores A e B, se A responde B e B não responde A, a seta apontaria do ator A para o B. Caso cada um deles responda para o outro, a linha não seria uma seta, mas teria uma pequena linha cruzando sua metade, são os chamados grafos direcionados. Isso pode ser visto na Figura 2. Figura 2 - Quem reconheceu quem em uma coleção de bebês (Moreno apud Freeman, 2000) 13

17 Na Figura 2, o bebê A, por exemplo, está aparentemente na base de uma possível hierarquia de reconhecimento, pois não foi reconhecido por nenhum dos outros. Por outro lado, B, D G e H estão no topo, sendo reconhecido cada um por outros dois. C, E, F e I estão no meio: sendo cada um reconhecido por outro. Porém a hierarquia está longe de ser estrita; C e E reconheceram um ao outro, já G, H e I formaram um círculo, onde G reconheceu I, I reconheceu H e H reconheceu G (Moreno apud Freeman, 2000). A análise visual de redes sociais tem dois objetivos principais (Freeman, 2001): 1. Revelar clusters de atores fortemente ligados, os chamados grupos sociais; 2. Revelar o conjunto de atores que interpreta papéis especiais na rede social (como exemplo, um ou mais atores proeminentes que ligam dois distintos grupos sociais); 2.2 Mineração de texto A Figura 3 ilustra as etapas operacionais executadas em processos de Descoberta de conhecimento (Knowledge-discovery in databases - KDD). O processo de KDD é um processo iterativo onde as três primeiras etapas podem ser interpretadas como a análise exploratória dos dados. As etapas de seleção, pré processamento e transformação compreendem as funções relacionadas à captação, à organização e ao tratamento dos dados, com os objetivos de encontrar as características mais relevantes, reduzir a dimensionalidade e criar o conjunto de dados de entrada, preparando os dados para os algoritmos da etapa seguinte, a mineração de dados. 14

18 Figura 3 - Etapas operacionais do processo KDD (Fonte: FAYYAD ET AL., 1996) A mineração de dados é considerada a etapa mais importante do processo de KDD, pois é nela que é realizada a busca efetiva por conhecimentos úteis através da extração de padrões. A última etapa é a de pós-processamento e interpretação, abrangendo a apresentação e o tratamento do conhecimento obtido na mineração de dados, viabilizando a avaliação dos padrões e a utilidade do conhecimento. Baseada na mineração de dados, a mineração de texto busca obter informação útil (conhecimento) a partir de dados não estruturados. Para isso, utiliza técnicas lingüísticas para tratamento de informações a partir de texto em línguas naturais. Sendo assim, as fases anteriores à aplicação da técnica de mineração em si ganham destaque Classificação automática de texto Segundo (Moens apud Galho and Moraes, 2003), o homem executa a categorização de texto lendo o texto e deduzindo as classes de expressões específicas e seus padrões de contexto. A classificação automática de texto simula este processo e reconhece os padrões de classificação como uma combinação de características de texto. Estes padrões devem ser gerais o bastante para ter grande aplicabilidade, mas 15

19 específicos o suficiente para serem seguros quanto à categorização de uma grande quantidade de textos. (Rizzi apud Galho and Moraes, 2003) afirma que a categorização de textos é uma técnica utilizada para classificar um conjunto de documentos em uma ou mais categorias existentes. Ela é geralmente utilizada para classificar mensagens, notícias, resumos e publicações. A categorização também pode ser utilizada para organizar e filtrar informações. Essa capacidade faz com que esta técnica possa ser aplicada em empresas, contribuindo no processo de coleta, análise e distribuição de informações e, conseqüentemente, na gestão e na estratégia competitiva de uma empresa. A classificação automática de texto utiliza o processamento de linguagem natural para associar um documento de texto a um conjunto de documentos conhecido como categoria, além de permitir a definição automática destas categorias. Assim, organiza os documentos para armazenagem e recuperação, limitando o espaço de busca e facilitando o acesso à informação. Ao invés de selecionar um documento de texto entre milhares disponíveis, analisa-se somente a categoria de interesse. Basicamente, classificação de texto pode ser dividida em dois tipos: supervisionada, onde um mecanismo externo (interação humana, por exemplo) fornece informação para a correta classificação dos documentos (Document classification/categorization), e não supervisionada (também chamada de agrupamento (Document clustering)), onde a classificação deve ser realizada sem nenhuma referência de informação externa (Fabrizio Sebastiani, 2002). Quando não se conhece previamente as categorias nas quais os textos devem ser classificados, utiliza-se então a técnica de agrupamento (Document clustering). Assim, como possíveis aplicações para o agrupamento de texto, surgem cenários onde não se 16

20 dispõe de nenhuma informação sobre os textos e o volume de dados é muito grande, tornando inviável a classificação manual (Solange ET AL, 2011). Quando as categorias são previamente conhecidas, utiliza-se a classificação de texto (Document classification/categorization). Este é o tipo de classificação que será tratada a partir de agora e utilizada neste trabalho. Um sistema de classificação automática de texto através de métodos supervisionados compreende duas fases: definição das categorias e classificação dos novos documentos de texto (Galho and Moraes, 2003). A fase de definição das categorias é normalmente realizada em três etapas: preparação dos textos, seleção de características e definição da lista de termos relevantes das categorias. Figura 4 - Esquema de definição de categorias (Adaptado de Galho and Moraes, 2003) Sobre uma coleção de documentos de texto conhecidos e pertencentes a uma mesma categoria, aplica-se a etapa de preparação do texto. Nessa etapa, cada documento dessa coleção é analisado. São aplicadas algumas técnicas que facilitam o processo de seleção de características dos textos, tais como: retirada de todas as palavras que não influenciam para a definição da categoria do texto, retirada de símbolos (ex: #,#,$,%,,&,*,(,), etc.), conversão de termos em radicais, entre outras. 17

21 Logo após, são localizadas (através de medidas que determinam os pesos dos termos), nos textos, todas as palavras que expressam melhor suas características, ou seja, as palavras ou conceitos que podem definir sua categoria. A partir destes conceitos, é gerada uma lista de termos comuns a todos os documentos de cada categoria. Um termo comum aos documentos de uma mesma categoria e incomum aos documentos das outras categorias seria um bom preditor desta categoria. Essa lista de termos compõe o índice que representa a categoria. Figura 5 - Esquema de categorização de novos documentos (Adaptado de Galho and Moraes, 2003) Na fase de categorização, o novo texto a ser classificado também passa pela etapa de preparação já mencionada. Após essa etapa também é necessário descobrir as características desse documento para definir a sua lista de termos. A categorização ocorre através de uma comparação entre a lista de termos das categorias e a lista de termos do novo documento (através da utilização de um método de categorização). A categoria que possuir a lista de termos mais similar à lista do documento novo será escolhida como sua classe. A Figura 5 apresenta o esquema de categorização de novos documentos Pré-processamento 18

22 Os sistemas de classificação automática de texto identificam padrões através de exemplos de treinamento que serão utilizados para classificar novos documentos em relação à coleção. Diferente dos dados armazenados em bancos de dados relacionais, onde estão organizados em forma de linhas e colunas, e cada linha representa uma tupla e cada coluna um atributo (característica), ou seja, estão estruturados, os dados em textos estão dispostos de maneira não estruturada. Neste caso, os documentos são as instâncias e as palavras os atributos. Então, a etapa de preparação do texto ou etapa de pré-processamento é uma das mais importantes da mineração de texto, pois determina os valores das características (atributos) que representarão os documentos dentro da base a ser considerada. Os dados precisam ser analisados, selecionados, uniformizados e formatados através de técnicas de preparação do texto. Retirar o que não é significativo para a classificação torna o texto mais enxuto e a lista de palavras das categorias mais sucinta. Isto reduz expressivamente o trabalho a ser realizado nas etapas de seleção das características e categorização, e, conseqüentemente, diminui significativamente o tempo de processamento. Apesar das vantagens, a possível eliminação de termos relevantes comprometeria o resultado final. As iniciais dificuldades em tratar os dados não estruturados motivaram estudos para o desenvolvimento de técnicas de análise de texto para transformação dos documentos. As técnicas de processamento de linguagem natural são úteis no campo da mineração de texto para entender o texto, extraindo a sintaxe e semântica, o 19

23 texto deixa de ser tratado como uma grande bolsa de seqüência de caracteres (Harris, 1954) Identificação de termos: o conceito de dicionário Como supracitado, os documentos são representados por palavras, que são os atributos utilizados pelos sistemas de classificação automática de texto. Estes sistemas buscam e identificam padrões que associem os documentos as categorias, que são conceitos definidos pelo usuário. Acontece que, nem sempre, palavras são conceitos. Algumas representam mais de um conceito, enquanto certos conceitos necessitam de mais de uma palavra para a sua representação. Por exemplo, a palavra banco representa mais de um conceito, enquanto o conceito de banco de areia precisa de mais de uma palavra para ser representado. Ainda assim, (Salton e Buckley, 1988) concluíram que muitas vezes a definição de termos simples pode ter os melhores resultados. Outras palavras não possuem valor semântico, como as preposições e artigos. Enquanto as pessoas são capazes de identificar facilmente os conceitos relacionados às palavras em um documento, por percepção do mundo e conhecimento da linguagem, os sistemas de classificação automática de texto não possuem esta capacidade, ou seja, o conhecimento dos conceitos. Para que um sistema destes possa inferir um conceito de maneira correta, tendo como base apenas os documentos da coleção, é necessário realizar uma seleção para obtenção de um conjunto de palavras que minimizaria o erro. Este conjunto de palavras é conhecido como dicionário, abordagem convencional neste tipo de trabalho. Produz-se uma lista de palavras através da varredura da coleção de documentos, sendo as palavras qualquer seqüência 20

24 de caracteres separados por espaço em branco ou sinais de pontuação. É comum, durante o momento de criação desta lista, realizar a conversão de todos os caracteres para maiúsculas ou minúsculas. Assim, a mesma seqüência de caracteres sempre seria reconhecida pelo algoritmo como sendo o mesmo termo. Duas possíveis abordagens para a criação do dicionário são: 1. Dicionário local a. Formado por termos de documentos de uma mesma categoria. Deve possuir uma quantidade fixa de termos simples, selecionados de acordo com suas freqüências de ocorrência. 2. Dicionário geral ou universal a. Formado a partir de todos os documentos da coleção. Durante o processo de criação do dicionário entram as técnicas de análise de texto, que visam justamente retirar o que não é significativo para a tarefa de classificação dos documentos de texto. As técnicas podem alterar dependendo da abordagem, mas algumas são consideradas convencionais. A ordem de aplicação das mesmas também pode ser diferente. Para identificação individual das palavras, costuma-se aplicar a retirada de pontuação, algarismos e caracteres inválidos ou inconsistentes. Outras técnicas de processamento de linguagem natural serão vistas a seguir Stopwords e termos de pouco valor preditivo Palavras que pertençam a uma lista de stopwords são retiradas. Representam palavras que não possuem valor semântico (geralmente artigos, advérbios, 21

25 preposições e conjunções), ou seja, não possuem valor preditivo para a tarefa de classificação e, portanto, devem ser descartadas (Luhn, 1958). São definidas de maneira manual e não existe uma lista definitiva de stopwords. Cada ferramenta pode utilizar uma determinada lista de stopwords e qualquer grupo de palavras pode ser escolhido para um determinado propósito. Por exemplo, the é uma das mais comuns function word da língua inglesa e no caso particular de nomes como The Who, sua remoção causaria problemas. Palavras que ocorrem muito ou pouco freqüentemente em determinado texto, também podem ser retiradas. São termos incapazes de distinguir este documento perante os outros documentos da base, assim como palavras que ocorrem em grande quantidade de documentos (se uma palavra aparece em diversos textos da coleção, não é ela que será capaz de diferenciá-los entre si). A escolha do número para palavras que ocorrem menos de um determinado número de vezes é resultado de testes empíricos, mas estudos sugerem que varia entre três (Mladenic apud, Castro, P. F., 2000) e cinco (Apté apud Castro, P. F., 2000), (Lewis apud Castro, P. F., 2000). O descarte destas palavras já gera uma considerável diminuição dos termos a serem considerados, estes termos restantes por sua vez ganham em relevância Stemming e Lemmatisation Geralmente, variantes do mesmo termo podem ser consideradas com um único item, tratando implicações lingüísticas (Luhn, 1958). Diferença, diferente, diferentemente e diferencial teriam o mesmo significado. 22

26 Lemmatisation é um conceito da lingüística que representa o processo de agrupar diferentes formas da mesma palavra para que sejam considerados com único item. Na lingüística computacional, representa a determinação do lema, forma canônica, de uma palavra. Verbos, então, são transformados no infinitivo e substantivos vão para o masculino singular. Stemming é o processo de redução de uma palavra suprimindo seu sufixo, assim as diferentes formas da mesma palavra seriam agrupadas e analisadas como um único item (Weiss apud Castro, P. F., 2000). Não é necessário que o stem seja o radical da palavra, bastando que as palavras relacionadas estejam associadas ao mesmo stem. A diferença entre o as duas técnicas é que o stemming analisa as palavras individualmente, sendo incapaz de diferenciar o significado do termo de acordo com o contexto. Por sua vez, é mais fácil de implementar e exige menos processamento computacional, sendo utilizado quando sua menor precisão não influencia negativamente o resultado. Um exemplo é a palavra inglesa better que possui como lema good. Um algoritmo stemming seria incapaz de perceber a relação N-gram N-gram é uma subseqüência de itens de uma dada seqüência. Os itens podem ser fonemas, sílabas, palavras, entre outros, de acordo com a aplicação. Um n-gram de tamanho um é conhecido como unigram ; tamanho dois como bigram ; três como trigram ; quatro como fourgram e cinco ou mais como n-gram. Um modelo n-gram é um modelo probabilístico de predição utilizado no processamento de linguagem natural. Na preparação do texto, os termos são definidos para que cada n-gram seja composto de n palavras. 23

27 A utilização de modelos n-gram possibilita a obtenção de conceitos mais concretos, através do reconhecimento de tuplas de palavras conhecidas. De maneira concisa, um modelo n-gram prediz o termo seguinte baseado no anterior. O objetivo principal da aplicação da técnica seria a obtenção de seqüências de palavras que formem termos únicos com grande valor preditivo. No contexto analisado, text mining teria maior relevância que os termos text e mining analisados individualmente Seleção das características Nesta etapa, os termos pré-processados são escolhidos para representar os documentos. Para isso, segue-se um critério previamente estabelecido que deva ser capaz de determinar a relevância de cada termo quanto a sua expressividade semântica. Em outras palavras, termos que devam ser capaz de expressar o conteúdo dos documentos. Estes critérios são lingüísticos, estatísticos ou uma combinação de ambos. Nos critérios lingüísticos, o significado do conteúdo do documento é representado através de processamento de linguagem natural. Já a abordagem estatística é feita através de cálculos matemáticos aplicados as palavras do documento ou da coleção. Basicamente, atribui-se peso às palavras definindo sua importância. Os atributos de melhor pontuação formam a lista de palavras Representação dos documentos Os documentos de texto são representados como vetores de termos denominados bag-of-words. 24

28 Figura 6 - Exemplo da representação como bag-of-words usando um vetor de frequências (Castro, P. F., 2000) A Figura 6 mostra um exemplo de bag-of-words. As palavras são mantidas sem qualquer ordem pré-estabelecida e, neste exemplo, possuem sua correspondente frequência no documento de texto. A partir do dicionário, vetores representando documentos de texto ou conjuntos de documentos podem conter valores binários, onde 1 representa a presença da palavra e 0 indica a ausência, ou números indicando a quantidade de ocorrências (ou frequência) de cada palavra no texto Redução O processo de criação do dicionário pode não ser suficiente para a produção de dados tratáveis pelo método de aprendizado. O conjunto de características resultantes pode, em muitos casos, ser enumerada em centenas de milhares (Yang apud Castro, P. F., 2000) (Pazzani apud, Castro, P. F., 2000). Poucos métodos de aprendizado são capazes de lidar com esta quantidade de dados e, mais ainda, o desempenho de alguns é muito prejudicado quando este número é muito elevado. 25

29 Sendo assim, uma segunda etapa de seleção das características é indispensável. Esta consiste na redução do conjunto de palavras originais, conhecida como redução de dimensionalidade na área de reconhecimento de padrões. Apresentaremos na seção a técnica de truncagem, uma das mais simples e mais utilizadas visando diminuir o número de termos relevantes considerados Determinação do peso dos termos A principal função de um term-weighting system é o aumento da recuperação da informação desejada. Isto depende basicamente de dois fatores: 1. Os itens que o usuário deseja recuperar precisam ser recuperados; 2. Os itens estranhos devem ser rejeitados. A princípio, um bom sistema deve produzir ambas as recuperações, conseguindo alta precisão na recuperação de itens desejáveis e a mesma alta precisão na recuperação de itens indesejáveis. O estudo de (Salton e Buckley, 1988) apresenta diferentes abordagens na determinação automática de peso de termos (automatic term weight-ing) Frequência relativa do termo Após a fase de pré-processamento do texto e aplicação das técnicas como a eliminação de stopwords, algumas palavras comuns em determinado assunto costumam se repetir com frequência. A técnica de frequência relativa é uma das mais comuns no processo de seleção de características em mineração de texto. Partindo do princípio de que quanto mais vezes uma palavra aparece em um determinado texto, mais importante ela é, a técnica define a importância do termo encontrado no texto. O número de vezes em que um 26

30 termo aparece em um texto é chamado de frequência do termo (term frequency) e esta pode ser uma maneira direta de calcular a frequência relativa. No entanto, a fórmula apresentada na Equação 1 permite a normalização do resultado, diminuindo a influência dos tamanhos dos textos no resultado (um texto grande poderia ter um maior valor de ocorrência de determinado termo que não necessariamente reflita sua importância para o mesmo) (Salton, 1983). Frel X = F abs N X Equação 1 - Frequência relativa do termo Onde: F rel X = frequência relativa de X; F abs X = a frequência absoluta de X, quantidade de vezes que X aparece no documento; Ν = o número total de termos do texto. Outra maneira de calcular a frequência do termo dentro de um documento é apresentada na fórmula a seguir (Salton and Buckley, 1988): tf Maxtf Chamada de frequência do termo normalizada aumentada, a frequência do termo é normalizada pela frequência máxima encontrada no documento e normalizada novamente para que o valor fique entre 0.5 e TF-IDF A técnica de seleção TF-IDF (Term Frequency Inverse Document Frequency) é outra técnica de seleção de características frequentemente usada na mineração de 27

31 texto. É uma abordagem estatística utilizada para definir o quão relevante é um termo em relação a uma coleção. A relevância do termo discriminatório sobe à medida que a palavra aparece mais vezes no texto e diminui à medida que aparece nos outros documentos da coleção (Sparck Jones, 1972). A partir da frequência relativa do termo, importância do termo d em um texto t, e da frequência inversa de documentos, medida de importância geral do termo obtida dividindo-se o número total de documentos pelo número de documentos em que o termo aparece (Equação 1), chega-se a fórmula apresentada na Equação 2: Onde: log Equação 2 - Frequência inversa dos documentos Ν = Número de documentos na coleção de referência; N n i n i = número de documentos na coleção de referência que tem o termo de índice i. ft i log Equação 3 - TF-IDF: frequência relativa do termo X frequência inversa de documentos Onde: ft i= frequência relativa do termo i; Ν = número de documentos na coleção de referência; n i= número de documentos na coleção de referência que tem o termo de índice i. N n i Escore de relevância 28

32 A técnica do escore de relevância foi apresentada e aplicada no estudo de (Wiener ET AL, 1995). A seleção dos termos deve ter como objetivo encontrar um subconjunto de termos que se mostre o mais eficiente para a tarefa de classificação. Os termos, então, devem ser adequadamente discriminativos entre as categorias. Cada categoria é analisada individualmente, através de seus documentos de texto, criando-se tarefas de classificação independentes para a seleção dos subconjuntos de termos que melhor discriminam documentos sobre aquele tópico. Para a seleção dos termos representantes de uma categoria, todos os termos recebem um valor de quão bem servem como preditores individuais do assunto. Este valor é chamado de escore de relevância em relação ao que (Salton and Buckley, 1988) chamaram de peso de relevância. O cálculo é apresentado na Equação 4. r k w d = log w d tk t tk t Equação 4 - Escore de relevância Onde: r k = o escore de relevância do t ermo k; w tk = número de documentos pertencentes a uma dada categoria t que contém o termo k; w tk = número de documentos de outras categorias que contém o termo k; d t = o número total de documentos de outras categorias; d t = o número total de documentos da categoria t; 29

33 wtk é o número de documentos da categoria contendo o termo, dt é o total de documentos da categoria, etc. Valores altamente positivos e altamente negativos indicam termos úteis para a discriminação Truncagem A técnica de truncagem visa diminuir o número de termos relevantes a serem considerados. Também chamada de seleção por peso do termo, após o calculo do peso termo, são escolhidos apenas os que possuem os maiores valores calculados. Palavras com pouca frequência não caracterizam um documento ou categoria, sendo irrelevantes para a classificação. A princípio, a técnica pode ser necessariamente utilizada para, ao reduzir o escopo, tornar o conjunto de características tratável pela máquina. Isso ocorre, pois o tempo necessário para obtenção da classificação ou agrupamento é diretamente proporcional ao número de características analisadas. Porém, o estudo de (Wiener ET AL, 1995) mostra que passar de uma determinada faixa de termos considerados, analisando um número maior, pode piorar a precisão do classificador automático. Ao analisar 20 termos, a melhor precisão foi encontrada, piorando o resultado ao se incluir mais termos. Isso mostra que identificar adequadamente os termos mais relevantes é uma tarefa crucial para a classificação automática. A explicação para o resultado é a ocorrência de overfitting, quando a alimentação da base de treinamento começa a gerar peculiaridades. É importante ressaltar que o número mínimo ou máximo de características relevantes a serem analisados para um resultado satisfatório varia de coleção para coleção, bem como não é trivial estabelecê-lo. 30

34 A truncagem, bem como a fase de pré-processamento, é desencorajada por alguns autores. Wives (1999) afirma que quanto maior o número de características utilizadas no processo de calculo da similaridade, mais confiável é o grau de similaridade, quanto menos se abstrai do mundo real, mais condizente com o mundo real consegue-se ser. Por sua vez, a identificação das características e definição da relevância dos termos para o calculo de similaridade é considerada parte chave nos estudos analisados (Salton, 1988), (Wiener ET AL, 1995), (Wives, 1999), (Castro, P. F., 2000), (Galho and Moraes, 2003) Normalização Como citado na seção , a técnica de normalização do resultado visa tratar as diferenças de tamanho entre os diversos documentos de texto considerados. Basicamente, os valores representando as frequências dos termos são normalizados para ficarem entre zero e um, dividindo-se a frequência relativa do termo pela sua frequência máxima. Existem variações para o cálculo da normalização. As funções apresentadas e utilizadas neste trabalho utilizam a técnica de normalização Métodos de categorização Nesta fase, são utilizados métodos que identificam os conceitos no texto e efetuam a categorização de fato. Esses métodos podem classificar os documentos em nenhuma, uma ou mais categorias existentes. Quando um método efetua a categorização de textos em apenas uma categoria, diz-se que este método é de classificação binária. E, quando os textos podem ser classificados em mais de uma categoria, diz-se que foi aplicado um método de categorização graduada, podendo 31

35 definir o grau de pertinência do documento a cada uma das categorias para as quais ele foi classificado (Lewis apud Galho and Moraes, 2003). Existem vários métodos de categorização, mas basicamente o processo é comparar a lista de termos do texto e da categoria, definir se eles são semelhantes e a partir deste resultado decidir se o texto pertence à categoria. Algumas funções utilizam valores indicando a presença ou não da palavra, 1 para presente e 0 para ausente. Estes valores são atribuídos independentemente do termo aparecer mais de uma vez no documento de texto. Outras funções são capazes de utilizar valores informando o quanto um termo é discriminativo em relação ao documento de texto, baseando-se na frequência da palavra no mesmo (outros podem levar em consideração a coleção inteira ou assuntos (categorias)) Modelos difusos A lógica difusa, ou lógica fuzzy, diferente da lógica tradicional, permite valores lógicos intermediários entre o falso (0) e o verdadeiro (1). Assim, um valor como 0,5 poderia ser considerado médio, como um talvez. Ou seja, um valor lógico difuso poderia ser qualquer valor entre 0 e 1. Pode-se dizer que a lógica fuzzy está para o raciocínio aproximado assim como a lógica tradicional está para o raciocínio preciso (Oliveira apud Wives, 1999). Um modelo fuzzy simples é o de inclusão simples (Valerie Cross apud Wives, 1999), que avalia a presença da mesma palavra em dois objetos comparados. Caso o termo apareça nos dois, soma-se o valor 1 ao contador, do contrário soma-se 0. Ao final, o valor encontrado é divido pelo número total de termos não repetidos 32

36 encontrados nos dois documentos, resultando em um valor entre 0 e 1. O problema deste modelo é que, ao analisar e considerar somente o fato da palavra aparecer em ambos os objetos, não considerar a relevância maior que uma palavra pode ter um dos deles. Outras funções, que consideram a frequência da palavra no documento, utilizam pesos para o cálculo do valor fuzzy, contornando o fato de termos possuírem importâncias diferentes nos dois objetos comparados. Neste caso, os termos possuem um peso que pode ser a frequência relativa ou outro valor de discriminação. O valor de similaridade é calculado pela média entre os pesos médios dos termos comuns, ou seja, para cada termo comum a ambos os objetos, soma-se a média dos pesos e ao final a média é calculada sobre o total de termos não repetidos em ambos os objetos. Apesar de considerar a frequência da palavra nos objetos comparados, esta ultima função pode trazer distorções. Ao contar a média dos termos, dois pesos extremos terão o mesmo resultado que dois pesos médios, quando na verdade indicam que os termos possuem níveis de relevância diferentes nos dois objetos. A Tabela 1 apresenta uma matriz de similaridade entre objetos. Tabela 1 - Matriz de similaridade entre objetos (Fonte: Wives, 1999) Obj1 Obj2 Obj3 Obj4 Obj5 Obj Obj Obj Obj Obj

37 Normalmente, quando adotadas as medidas de similaridade fuzzy, os valores apresentados na tabela possuem as seguintes peculiaridades: 1. Os graus variam entre 0 (sem similaridade) e 1 (totalmente similar); 2. Um objeto é totalmente similar a ele mesmo; 3. Se o objeto X é 20% similar a Y, então Y também é 20% similar a X. Com isso, tem se uma matriz triangular, onde os elementos acima da diagonal principal devem ser armazenados. As situações ambíguas enfrentadas na definição da relevância dos termos encorajam o uso da lógica fuzzy, pois a mesma se propõe a tratar situações imprecisas, oferecendo melhores resultados através do cálculo de pertinência de um elemento a um conjunto, tendo sua aplicação resultados satisfatórios em diversos estudos (Wives, 1999) (Loh, 2001) (Galho and Moraes, 2003) Algoritmo de categorização - Calculando o grau de similaridade Para a categorização, o processo consiste em determinar o grau de semelhança da lista de termos de um novo documento de texto com a lista de termos de uma categoria. Para cada termo comum à lista de termos do novo texto e de uma determinada categoria, calcula-se o grau de igualdade de seu escore de relevância com sua frequência relativa. As funções utilizadas no cálculo são apresentadas na Equação 5, sendo as variáveis a o escore de relevância do termo na categoria e b a frequência relativa no novo documento, por exemplo. 1 gi( a, b) = 2 [( a b) ( b a) + ( a b ) ( b a )] Equação 5 - Algoritmo de categorização 34

38 Onde: b a b = ; a, b = 1 a ou 1 b; a O grau de similaridade do texto em relação à categoria é calculado após o cálculo do grau de igualdade de todos os termos comuns entre os dois. A fórmula apresentada na Equação 6 mostra que o grau de igualdade do texto em relação à categoria é o somatório de todos os graus de igualdades dos termos comuns a ambos, dividindo-se este valor pelo total de termos distintos em relação às duas listas. gs ( X, Y ) k ( a b) gih, h= = 1 N Equação 6 - Cálculo do grau de similaridade do texto em relação à categoria Onde: gs = o grau de similaridade entre os documentos X e Y ; gi = o grau de igualdade entre os pesos do termo h (peso a no documento X e peso b no documento Y ); h = índice para os termos comuns aos dois documentos; k = número total de termos comuns aos dois documentos; N = número total de termos nos dois documentos sem contagem repetida. O processo deve ser repetido para cada categoria. Os maiores valores obtidos são as categorias mais pertinentes ao texto, os menores valores representam as menos pertinentes (Galho and Moraes, 2003), (Wives, 1999), (Loh, 2001). 35

39 3 Proposta Neste trabalho, pretendemos aplicar a mineração de texto para ajudar na análise de uma comunidade cientifica seguindo duas vertentes sendo a primeira a geração de uma rede social de colaboração e a segunda a classificação automática de artigos científicos. As informações de entrada relevantes são os artigos científicos da comunidade que se deseja avaliar. Estes artigos são estruturados em titulo, autores, instituições envolvidas, abstract, resumo e o texto do artigo. Figura 7 - Modelo do sistema para módulo de geração de grafos. Para o módulo de geração de grafos, foram identificados como essenciais os nomes dos autores e das instituições envolvidas. Já para o módulo de classificação, o resumo. O resumo tem como característica ser conciso, expressando em poucas palavras o objetivo dos trabalhos. Sendo assim, é natural pensar que as palavras apresentadas no 36

40 resumo de um artigo sejam de importância para o entendimento do mesmo, o que viria a facilitar a identificação dos termos relevantes. Figura 8 - Modelo do sistema para o módulo de classificação. Para o módulo de classificação, também é necessário entrar com as respectivas categorias às quais cada artigo, que serão utilizadas na definição das listas de termos relevantes de cada categoria, está associado. A proposta é se possível, utilizar a mesma classificação dada pelos autores dos artigos. Isso evitaria a necessidade de uma classificação manual de um grande conjunto de artigos e possibilitaria a descoberta de possíveis erros de classificação por parte dos autores. Em muitos casos, um artigo pode estar relacionado a uma, nenhuma, ou mais categorias, fazendo com que algumas vezes o mesmo artigo seja analisado para definição dos termos de duas ou mais categorias diferentes. Além disso, pode ser necessário realizar um tratamento dos tópicos abordados pelas categorias, relacionando os que forem exatamente o mesmo assunto ou muito próximos para que sejam tratados como uma única categoria. Pode ser realizada uma 37

41 validação com o usuário indicando sinônimos ou fornecendo uma lista de sinônimos previamente. Com estas informações, já seria possível gerar grafos de colaboração da comunidade, bem como extrair a lista de termos das categorias. Para finalizar a classificação, seriam então necessários os artigos que se deseja classificar. 3.1 Proposta de classificação automática de artigos Após a formação da lista de termos de cada categoria, através da utilização da técnica de escore de relevância, seção , e da formação das listas de termos dos novos textos a serem classificados, através da técnica de frequência relativa do termo, seção , é aplicada a técnica de similaridade difusa apresentada na seção Classificadores automáticos de artigos científicos são descritos em (Schiminovich, 1971) e (Bichteler and Parsons, 1974) numa modificação do algoritmo original, utilizando o conteúdo de citação dos mesmos para identificação dos padrões e artigos relacionados. (Garfield, Malin and Small, 1975) também descrevem um sistema computacional para classificação automática de artigos científicos através dos padrões das citações, para isso utilizam uma base de dados de 13 anos de arquivos com 3,4 milhões de artigos e 40 milhões de citações. Ao final do processo de classificação dos novos documentos, teríamos uma lista de categorias mais semelhantes a cada artigo. 38

42 4 Estudo de caso Nesta seção é apresentada a fase de extração das informações, feita de uma única maneira para os dois módulos do sistema implementado, e o estudo de caso realizado. 4.1 Extração das informações A primeira etapa do sistema a ser implementada é a de extração das informações, também chamada de coleta. As informações de entrada são os artigos científicos das edições 2008, 2009, 2010 e 2011 do SBSI, armazenadas em formato PDF, dos quais são extraídos os nomes dos autores e das instituições envolvidas e o abstract. A escolha de trabalhar apenas com o abstract tem como objetivos diminuir a quantidade de informação relevante a ser considerada e facilitar a etapa de préprocessamento. A aplicação das técnicas de processamento de linguagem natural (como, por exemplo, a técnica stemming ) se mostrou facilitada ao tratar da língua inglesa. 4.2 Geração de grafos de colaboração da comunidade do SBSI Pajek 39

43 Existem diversas ferramentas disponíveis para geração de grafos de redes sociais. A ferramenta Pajek 1 foi desenvolvida para análise e visualização de grandes redes, com milhares ou milhões de vértices, motivada pela observação de que existem várias fontes de grandes redes possíveis de serem lidas por máquina (V. Batagelj, A. Mrvar, 2011). Os principais objetivos da ferramenta Pajek são: Suportar abstração por decomposição recursiva de uma grande rede em diversas redes menores que, então, podem ser tratadas por métodos mais sofisticados; Prover ao usuário ferramentas poderosas de visualização; Implementar uma seleção de algoritmos eficientes para análise de grandes redes. Torna-se possível a identificação de clusters (vizinhos importantes ), extração de vértices pertencentes ao mesmo cluster para análise individual, visualizar conjuntos de vértices como clusters (visualização global), entre outras abordagens