UNIVERSIDADE FEDERAL DE PERNAMBUCO GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO CENTRO DE INFORMÁTICA

Transcrição

1 UNIVERSIDADE FEDERAL DE PERNAMBUCO GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO CENTRO DE INFORMÁTICA ANÁLISE DE AGENTES CLASSIFICADORES PARA CATEGORIZAÇÃO AUTOMÁTICA DE DOCUMENTOS DIGITAIS PROPOSTA DE TRABALHO DE GRADUAÇÃO Aluno: Guilherme Oikawa Garcia dos Santos Orientador: Fred Freitas 09 de Outubro de 2007

2 1. Contexto O processo de categorização de textos não é nenhuma novidade: com palavras-chaves e fichas cadastrais resolviam-se problemas de localização de arquivos, livros, revistas e artigos. Porém, no final da década de 90, a situação mudou. A Internet e a digitalização crescente dos documentos geraram, junto com suas inúmeras facilidades, dificuldades na organização e recuperação de textos disponíveis on-line. Como lidar com a sobrecarga de informações? O que fazer nesse caos? Na tentativa de contornar esses fatos algumas empresas (Yahoo!, Dewey, CyberPatrol, MeSH) adotaram profissionais treinados para classificar manualmente os itens, categorizando-os por características comuns, como o idioma, área ou idéia predominante, num procedimento de evidente alto custo temporal e computacional. Da mesma maneira, foram criadas técnicas mais inteligentes no tratamento dos dados, como as baseadas em regras (década de 80), rígidas, difíceis de modificar e definidas manualmente, e os métodos de aprendizado indutivo (década de 90), que usam dados etiquetados e treinados [Dumais98]. Pela sua capacidade automática de aprender, sem precisar de intervenção humana, estes são predominantes atualmente. Tem como fundamentos um conjunto de documentos pré-classificados servindo como base de treinamento para os algoritmos, capazes de gerar saídas com eficácia comparável à categorização manual [Sebastiani02].

3 2. Objetivos Investigar os classificadores comumente usados na categorização automática de textos. A análise será feita pela comparação da eficiência dos algoritmos genéticos, Naive-Bayes e MLP (Multi-Layer Perceptron) sobre o conjunto de documentos de treinamento e base de textos pré-classificados. Nesse trabalho os textos serão selecionados de uma coleção de 400 artigos científicos previamente classificados e hierarquizados por classes, relacionados à área de Inteligência Artificial. Os resultados deverão ser apresentados pela eficácia da classificação, em termos de falsos positivos e negativos.

4 3. Cronograma Atividades Outubro Novembro Dezembro Janeiro Fevereiro Atividades: 1. Estudo sobre algoritmos genéticos 2. Estudo sobre MLP 3. Estudo sobre Naive-Bayes 4. Aquisição dos dados pré-classificados 5. Aquisição do conjunto de treinamento 6. Modelagem da solução 7. Implementação da solução 8. Treinamento do conjunto de artigos científicos 9. Testes de desempenho 10.Estudo comparativo 11.Escrita do relatório final 12.Preparação para a apresentação

5 4. Referências [Vega01] Vega, M., Valdívia, M., López, L.; Categorización de textos multilingües basadas em redes neuronales. XVII Congreso de la SEPLN: Sociedad Española para el Procesamiento del Lenguaje Natural: Universidad de Jaén, de Setembro de [Sebastiani02] Sebastiani, F.; Machine learning in automated text categorization. ACM Computer Survey, Vol. 34, No. 1. pp. 1-47, Março de [Hotho05] Hotho, A.; A Brief Survey of Text Mining. Journal for Computational Linguistics and Language Technology. Vol. 20 (1), pp , [Dumais98] Dumais, S., Platt, J., Hecherman, D., Sahami, M.; Inductive learning algorithms and representations for text categorizations. Proceedings of the 1998 ACM CIKM International Conference on Information and Knowledge Management, pp , Bethesda, Maryland, EUA, Novembro -7, [Moulinier96] Moulinier, I.; A Framework for Comparing Text Categorization Approaches. AAAI Spring Symposium on Machine Learning and Information Access, Stanford University, Março de 1996.

6 5. Assinaturas Guilherme Oikawa Garcia dos Santos (proponente) Frederico Luiz Gonçalves de Freitas (orientador)