Seleção de Informações Usando Text Mining com RI

Transcrição

1 Seleção de Informações Usando Text Mining com RI Bruno Blumetti¹, Caique Lemos¹, Luis Carlos¹, Rafael Araújo¹ ¹Departamento de Ciência da Computação Universidade Federal da Bahia (UFBA) Av. Adhemar de Barros, s/n Campus Universitário de Ondina Salvador BA Brazil Abstract. The method of information retrieval (IR) is a fairly common technique in text mining (Text Mining). Its use has been disseminated in contemporary world, because the amount of data stored in textual form, is great. These techniques aim to recover as much precision words, texts or documents which contain words or phrases that best fit the expected return of a query made by a user. Resumo. O método de Recuperação da Informação (RI) é uma técnica bastante comum em mineração de textos (Text Mining). Seu uso vem se difundindo bastante no cenário contemporâneo, pois a quantidade de dados armazenados sob forma textual é muito grande. Essas técnicas visam recuperar com o máximo de precisão as palavras, textos ou documentos que contenham as palavras ou frases que mais se adéquam ao retorno esperado de uma consulta feita por um usuário. 1. Introdução O uso da técnica de Text Mining com o método RI, auxilia na busca de informações úteis para um determinado usuário, em meio a um grande volume de dados. A grande necessidade de utilização de Text Mining se justifica devido ao fato de atualmente haver uma grande quantidade de dados sob forma textual, desestruturados ou parcialmente estruturados, armazenados em grandes textos ou bases de dados. O método RI vem sendo bastante estudado na área de banco de dados, pois este objetiva a busca de documentos relevantes, que correspondem às informações desejadas a partir de uma consulta feita por um usuário. Um sistema de recuperação de informação(sri) agrega técnicas de RI e Text Mining para buscar nos documentos obtidos, um resultado relativamente significativo para o usuário. 2. Conceitos Básicos A área de Text Mining se divide em duas formas de mineração em textos: a Descoberta de Conhecimento em Textos (DCT), que como o próprio nome diz, refere-se às buscas em dados sob a forma de texto, e a Descoberta do Conhecimento em Base de Dados (DCBD) que lida com dados parcialmente estruturados[uber 2004].

2 A recuperação de informação está inserida no contexto das áreas que lidam com informações em grandes bases de dados, que são além da RI, a Data Mining(Mineração de Dados) e a Extração de Informação (EI)[Silva 2002]. Para auxiliar na implementação de um eficiente mecanismo de mineração em textos com recuperação da informação, são definidos os conceitos de Stopwords, Keywords, Collocations, Stemming e Corpus Stopwords São por assim dizer, palavras inúteis ou insignificantes. Elas dificultam a busca, pois estão presentes em abundância nos textos. Eliminar estas palavras na etapa de indexação (Figura 1) é uma boa prática, pois evita que um grande espaço seja desperdiçado em índices. Isto não prejudica o desempenho na recuperação. A lista das stopwords é chamada de stoplist ou dicionário negativo, e é criada na etapa de indexação automática. Para que a performance do sistema de RI aumente, basta remover as stopwords. Estas palavras são excluídas na etapa de preparação dos dados Keywords São as palavras mais importantes. Para que estas sejam detectadas com melhor precisão faz-se necessário a remoção das stopwords. Pode-se, por exemplo, calcular a importância de uma dada palavra verificando a freqüência de ocorrências desta no texto, o que caracteriza a freqüência absoluta. Esta ponderação pode ser ainda mais apurada, se for feito o cálculo da freqüência relativa, que baseia-se na razão da freqüência absoluta em relação ao número de palavras no texto. Isto ajuda a verificar o quão importante é uma palavra no documento em questão Collocations São expressões compostas, valoradas de acordo com os significados das palavras do agrupamento e de uma semântica extra. É como uma espécie de mapeamento do significado das palavras da composição em um significado determinado pelo Sistema de Recuperação da Informação. Um exemplo simples de collocation está presente no termo composto cabelo branco, onde o branco do cabelo é cinza[uber 2004] Stemming É um processo de tratamento de palavras, para que estas, no final, coincidam com um padrão chamado stem, que nada mais é do que a palavra analisada após a retirada de afixos. Deste modo, resta apenas uma parte da palavra que corresponde exatamente ao stem. A idéia por trás desta técnica é que ao final do processamento, chegue-se a um padrão que capture a palavra com o máximo de precisão. Por exemplo, fazend é um stem de fazenda e fazendeiro. Existem dois problemas comuns com o método de stemming, chamados overstemming e understemming. Overstemming é quando uma palavra tem um afixo muito grande retirado, o que acarreta perda de precisão, e aumenta a chance de palavras não desejadas serem filtradas pelo algoritmo de stemming. O understemming ocorre quando um afixo não é removido completamente, ocasionando assim um nível de

3 detalhismo tão alto na filtragem que muitas palavras que deveriam ser capturadas, acabam sendo rejeitadas. Um algoritmo de stemming bastante conhecido e difundido no mercado de ferramentas de mineração de textos é o algoritmo de Porter [Porter 1980]. Segundo [Willett 2006] este algoritmo tem altas taxas de acerto, mas no entanto é complexo e demanda mais recursos da máquina para armazenamento e processamento. Além de 2.5. Corpus É um conjunto de dados lingüísticos (pertencentes ao uso oral ou escrito da língua, ou a ambos), sistematizados segundo determinados critérios, suficientemente extensos em amplitude e profundidade, de maneira que sejam representativos da totalidade do uso lingüístico ou de algum de seus âmbitos, dispostos de tal modo que possam ser processados por computador, com a finalidade de propiciar resultados vários e úteis para a descrição e análise. [Sanchez 1995]. 3. Sistema de Recuperação da Informação A RI pode ser definida como sendo uma técnica para localizar e recuperar documentos que sejam necessários e que tenham uma importância relevante de acordo com a consulta feita por um usuário. Um Sistema de Recuperação de Informação(SRI) usa o conceito de recuperação de dados para determinar tais documentos, porém o SRI deve ser capaz de interpretar estes dados para inferir o melhor retorno possível de acordo com a consulta do usuário. A diretriz de um SRI visa a organização e recuperação da informação sobre grande quantidade de textos. Isso resulta em muitos problemas, pois existe uma dificuldade muito grande em localizar documentos que correspondam às palavras chaves utilizadas para efetivação da busca. O uso da indexação é uma necessidade sine qua non para o funcionamento eficiente da RI. O processo de recuperação da informação é muito ágil devido ao préprocessamento do documento, onde é feita uma indexação dos termos contidos neste(figura 1). Com isso, são extraídas as partes mais significativas e removidas as de menos importância.

4 Figura 1. O processo de Recuperação da Informação. A indexação filtra o texto, identificando e selecionando as principais características do documento em questão. Esta se faz de três formas: a tradicional, onde os termos do documento são selecionados manualmente, o full-text, onde os termos que fazem parte do documento são usados como parte do índice, e usando tags, onde os termos são selecionados automaticamente Conceitos Básicos O bom funcionamento de um Sistema de Recuperação de Informação está intimamente relacionado com os conceitos de Tarefa do Usuário e Visão Lógica do Documento Tarefa do Usuário A necessidade de informação do usuário deve ser previamente traduzida em uma consulta, escrita na linguagem oferecida pelo SRI. Esta consulta possui palavras chave que implicitamente carregam a semântica da informação requerida pelo usuário. Um bom SRI deve ser capaz de fornecer ao usuário, além da recuperação de informação, alternativas de navegação pelos documentos obtidos através da consulta. A recuperação de informação e a navegação entre documentos constituem duas tarefas distintas que podem ser realizadas pelo usuário(figura 2).

5 Figura 2. Tarefas do Usuário A navegação entre documentos é uma tarefa realizada geralmente em sistemas de hiper texto, onde os documentos são ligados entre si de modo mais estruturado. Existe uma tendência para que os SRI s modernos sejam capazes de suprir as duas necessidades, principalmente devido a expansão da web.[cardoso 2004] Visão Lógica dos Documentos O SRI deve analisar documentos de forma eficaz. Para isso, são fundamentais abstrações que forneçam ao sistema o melhor conjunto de termos para uma recuperação de informação rápida e de boa qualidade. A representação através de um conjunto de palavras-chave ou termos de indexação é geralmente utilizada. Estas palavras chave podem ser selecionadas por especialistas humanos, assim como podem ser automaticamente extraídas dos documentos. Com o advento de computadores cada vez mais velozes, a representação do documento por seu conjunto completo de palavras(full text) tem se tornado mais comum. Esta representação é que proporciona melhores resultados para a recuperação da informação, mas em contrapartida, resulta em elevados custos computacionais.[cardoso 2004] Um documento pode ser filtrado de diversos modos possíveis(figura 3). O fluxo de tratamento do documento será influenciado de acordo com a disponibilidade de recursos computacionais e com a qualidade da informação desejada pelo usuário.

6 Figura 3. Modos de indexar um documento 3.2. Modelos Clássicos de Recuperação da Informação Para efetivamente realizar uma busca por documentos relevantes, um SRI deve ser implementado sobre um modelo bem definido que garanta uma estratégia de recuperação da informação adequado. Nas seções abaixo serão apresentados os três modelos de RI clássicos, a saber: Booleano, Vetorial e Probabilístico Modelo Booleano Neste modelo, as consultas são tratadas como expressões boolenas, ou seja, os termos são relacionados através de conectivos lógicos(conjunção, disjunção e negação). Este modelo é bastante rígido e não permite o retorno de documentos que não contenham exclusivamente o especificado na consulta, ou seja, não permite que sejam devolvidos resultados parciais. Devido a esta restrição, este modelo é mais usado para recuperação de dados, do que de informações, pois para a última necessita-se de um modelo mais flexível capaz de capturar a semântica da consulta do usuário. O modelo booleano usa o conceito de min-termos para descrever todas as possibilidades da resposta da consulta. Se houverem n termos, o número de min-termos cresce exponencialmente de acordo com n. Além disso, a consulta é descrita como a combinação de min-termos, o que eleva ainda mais a complexidade da descrição da consulta. Este modelo é fácil de ser implementado pelo SRI, e garante retornos exatos. O problema é que os usuários necessitam de informações que não sejam expressas de

7 maneira tão formal e restrita. No entanto, este modelo é bastante utilizado na prática por SRI s comerciais Modelo Vetorial No modelo vetorial, cada termo é representado como um vetor de elementos do tipo <documento, peso do termo no documento>. A cabeça de cada vetor é o próprio termo. Deste modo, obtêm-se uma representação de cada termo na estrutura de um arquivo invertido(figura 4). Este modelo foi proposto por Gerard Salton para ser usado em um SRI chamado SMART. Figura 4. Termos organizados como arquivos invertidos Com esta organização, é possível a partir da combinação dos termos definir qualquer documento. Em uma consulta neste modelo, é feita a interseção entre as listas para verificar se os termos pertencem ao mesmo documento e posteriormente é verificado o peso combinado de ambos os termos no documento, para analisar a relevância do documento com relação à consulta do usuário. O peso de um termo no documento é essencial para o SRI computar a similaridade entre os documentos e a consulta. Um modo de se calcular o peso de um termo proposto por [Buckley et al. 1987] considera propriedades em comum no documentos (intra-document) e distintas entre eles (inter-document). Para calcular sobre características em comum nos documentos utiliza-se a TF, a para obter uma medida de distinção entre os documentos utiliza-se a IDF, como definidos abaixo: TF = freq(k,s)(frequência do termo k/ Consulta S); IDF = log(n, nk)(n é o número de termos nos documentos e nk a quantidade de ocorrências do termo nos documentos). Estes dois conceitos constituem o cerne da abordagem tf-idf, onde os pesos são baseados no produto TF x IDF. Como no modelo vetorial, os termos são tratados como vetores de documentos e pesos, estes podem ser colocados em um espaço euclidiano de n dimensões, onde n é o número de termos na consulta(figura 5). A localização do documento em cada dimensão depende do seu peso.

8 Figura 5. Espaço euclidiano para 3 termos O intuito deste tipo de organização dos documentos é a obtenção de um resultado para a consulta que se aproxime em termos de similaridade com cada termo definido pelo usuário. Ou seja, documentos com mais similaridade são postos mais próximos um do outro no espaço euclidiano, enquanto os com mais distinções tendem a estar mais distantes um do outro. O que se segue a esse processo é a representação da consulta como um vetor de termos que também interage com os outros vetores do espaço euclidiano. Em outras palavras, os documentos mais relevantes serão aqueles que estiverem mais próximos do vetor da consulta. Para a decisão de qual documento deva ser escolhido, uma abordagem interessante e proposta no modelo original, utiliza uma função chamada de cosine vector similarity que utiliza a fórmula descrita abaixo para calcular o produto de vetores. Onde, Q representa o vetor de termos da consulta, D é o vetor de termos do documento, Wqk são os pesos dos termos da consulta e Wdk são os pesos dos termos do documento. Após o cálculo de todos os graus de similaridade, é montada uma lista ordenada(ranking) de todos os documentos e seus respectivos graus de relevância com relação à consulta. Este modelo tem um alto desempenho na etapa de busca, devido a organização em arquivos invertidos. Além disso, este modelo é uma alternativa mais flexível ao modelo booleano, pois são retornados documentos que representam uma boa relevância mas nem por isso são tão restritos com relação à consulta, permitindo assim, uma estratégia de coleta de informações menos imparcial. As desvantagens do modelo dizem respeito às falhas no retorno de documentos considerados relevantes, mas que nem sequer contem os termos da consulta Modelo Probabilístico

9 Este modelo diferentemente do vetorial, não trabalha com pesos pré-definidos para os termos da consulta e dos documentos. Ao invés disso, são utilizadas técnicas de estatística, para o cálculo dinâmico dos termos da consulta em relação aos documentos para a posterior obtenção dos documentos mais relevantes. O modelo probabilístico baseia-se no Princípio da Ordenação Probabilística, que objetiva saber se um dado documento D é ou não relevante para uma consulta Qa. De acordo com o Princípio da Ordenação Probabilística temos as seguintes definições: +Ra: o documento é relevante para a consulta Qa; -Ra: o documento não é relevante para a consulta Qa; D: documento P(+Ra/D): probabilidade do documento D ser relevante para a consulta Qa; P(-Ra/D): probabilidade do documento D não ser relevante para a consulta Qa; Um documento D é relevante a uma consulta Qa quando P(+Ra/D) > P(-Ra/D), assumindo neste caso que a relevância de um documento, independe dos demais, pois na realidade a relevância de um documento também é condicionada à relevância dos outros documentos. Deste modo, o modelo probabilístico associa a cada documento D, como métrica para a similaridade, um peso WD/Qa definido como: Para identificar o grau de relevância e irrelevância de cada termo na consulta, faz-se necessário o uso da regra de Bayes sobre a fórmula acima. A necessidade do uso desta regra se justifica pela necessidade de relacionar cada termo e cada documento a partir de uma fórmula mais específica para estas, visto que, com a fórmula acima, não é possível trabalhar com tamanha especificidade. Após a aplicação da regra de Bayes obtêm-se a fórmula a seguir que representa a similaridade entre um documento e uma consulta: Onde, xk refere-se à presença ou ausência do termo k no documento D, e wak representa o peso para o termo k da consulta. Vale ressaltar que como o valor de xk denota apenas duas possibilidades, este é binário, ou seja, este modelo não atribui pesos para os termos presentes nos documentos. Portanto a ordenação dos documentos por relevância depende unicamente de wak.

10 Verifica-se que em todo o processo de recuperação da informação usando este modelo, não são usadas as freqüências dos termos no documento, fazendo com que seja dado mais ênfase apenas na presença e ausência de termos em cada documento. 4. Ferramentas para Text Mining e RI Neste trabalho foram analisadas as ferramentas RapidMiner para mineração em textos e o Zettair para recuperação de informações em coleções de documentos, ambas disponibilizadas gratuitamente para uso. A escolha das duas ferramentas foi de fato impulsionada para mostrar a diversidade de SRI s que variam desde simples ferramentas rodando em terminal como o Zettair, até grandes e complexas ferramentas que usam interfaces gráficas(gui) e disponibilizam uma enorme gama de operações e alternativas para a mineração de textos como o RapidMiner Usando o Zettair Para usar o Zettair, deve-se estar sobre o diretório da aplicação. Primeiramente deve-se construir o índice de todos os documentos da coleção com o seguinte comando, no terminal: $ zet -i arquivo1.txt arquivo2.txt... arquivon.txt Feito isso, o programa irá gerar arquivos que contêm índices para auxiliar na busca assim que uma consulta for enviada para o sistema. Se o usuário decidir por exemplo, adicionar uma etapa de filtragem como por exemplo, o stemming, basta digitar na linha de comando: $ zet -i stem{ none eds light porters } Onde os termos entre chaves, representam as possibilidades de stemming suportadas pelo Zettair. Para realizar uma consulta nesta ferramenta basta, após a indexação, executar o programa normalmente, e o mesmo requisitará que uma consulta seja passada para análise e recuperação da informação. Por exemplo, uma consulta num arquivo previamente indexado seria como abaixo: > white AND whale 1. Chapter 59, Paragraph 4 (score , docid 1269) [...] 20. Chapter 54, Paragraph 88 (score , docid 1191) 20 results of 130 shown (took seconds) A ferramenta Zettair foi implementada na linguagem C, e a versão testada neste trabalho foi a O modelo de recuperação da informação usado é o vetorial Usando o RapidMiner O RapidMiner roda sobre a Máquina Virtual Java. Portanto, é necessário ter o Java Runtime Environment(JRE) instalado na máquina. Para começar a minerar textos

11 usando esta ferramenta é necessário fazer o download da atualização para disponibilizar os pacotes de Text Mining. Esta ferramenta usa um conceito para mineração de textos baseado em fluxo de processos, ou seja, o programa dá suporte visual(wysiwyg) para controlar todo o processo da mineração, dando ao usuário o poder de adicionar ou remover partes da mineração, customizando por exemplo, filtragens de stopwords, stemming, etc(figura 6). Figura 6. Processos de filtragem encadeados para mineração de textos Para por exemplo, ler dados de arquivos de texto deve-se selecionar o processo entitulado Process Documents from Files e arrastar o mesmo para a tela central de design de fluxo. Feito isso, devem ser escolhidos os diretórios com os arquivos de texto clicando em text directories(certifique-se de estar com o processo selecionado). Após selecionar os diretórios, o usuário deve clicar duas vezes no processo e então montar o fluxo de filtragens como mostrado, por exemplo, na figura acima. Observe que este fluxo obtêm os termos dos arquivos, depois retira as stopwords, aplica o stemming e finalmente extrai o tamanho de cada uma das palavras. Concluído a etapa de criação do fluxo de processos, basta clicar em executar e o programa gera uma saída contendo todas as palavras filtradas, a quantidade de ocorrências, os nomes dos documentos analisados, estatísticas de ocorrências baseado no cálculo de freqüências(figura 7) entre outros.

12 5. Considerações Finais Figura 7. Gráfico de frequência dos termos nos documentos Este artigo apresentou uma visão geral do método de RI associado a Text Mining. O seu uso tem se tornado cada vez mais essencial, já que o armazenamento de dados sob a forma textual é algo bastante natural. O armazenamento desenfreado torna difícil a localização dos dados desejados e com isso, técnicas de organização e localização destes são fundamentais. As técnicas usadas em Sistemas de Recuperação da Informação apresentadas neste artigo, estão bastante difundidas no contexto das ferramentas usadas para mineração de textos e são de suma importância para fomentar novas estratégias mais eficazes para indexação e busca. É fundamental o entendimento desta área emergente que torna-se cada vez mais importante com a demanda da indústria sobre ferramentas capazes de recuperar informações cada vez mais essenciais para a sobrevivência destas no mercado, e que na maioria das vezes encontra-se em textos armazenados em grandes bases de dados. O crescimento da internet como meio de comunicação, agrava ainda mais a necessidade de ferramentas para coleta de informações úteis em meio a uma infinidade de conteúdo, também em sua maioria, mantido em forma de texto. Referências Buckley, Chris and Salton, Gerard.(1987) Term Weighting Approaches in Automatic Text Retrieval, Publisher Cornell University Ithaca, NY, USA. Cardoso, O. N. P. Banco de Dados e Recuperação de Informação. Universidade Federal

13 de Lavras. Departamento de Ciência da Computação, Porter, M. F. An algorithm for suffix stripping. Originally published in Program, 14 no. 3, pp , July Sanchez, A. Definicion e historia de los corpus. In: A. SANCHEZ et al (Org.). CUMBRE - Corpus Linguistico de Español Contemporâneo. Madrid: SGEL, Silva, E. M. Descoberta de conhecimento com o uso de text mining: cruzando o abismo de Moore f. Dissertação (Mestrado em Gestão do Conhecimento e da Tecnologia da Informação) - Universidade Católica de Brasília, Brasília. Uber, J. L. Descoberta de Conhecimento com o Uso de Text Mining Aplicada ao SAC. Universidade Regional de Blumenau. Centro de Ciências Exatas e Naturais, Willett, P. (2006) The Porter stemming algorithm: then and now. Program: electronic library and information systems, 40 (3). pp