UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO DEPARTAMENTO DE INFORMÁTICA MESTRADO EM INFORMÁTICA SÉRGIO TEIXEIRA

Transcrição

1 UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO DEPARTAMENTO DE INFORMÁTICA MESTRADO EM INFORMÁTICA SÉRGIO TEIXEIRA CHATTERBOTS UMA PROPOSTA PARA A CONSTRUÇÃO DE BASES DE CONHECIMENTO VITÓRIA 2005

2 SÉRGIO TEIXEIRA CHATTERBOTS UMA PROPOSTA PARA A CONSTRUÇÃO DE BASES DE CONHECIMENTO Dissertação apresentada ao Programa de Pós-Graduação em Informática do Centro Tecnológico da Universidade Federal do Espírito Santo, como requisito parcial para obtenção do Grau de Mestre em Informática. Orientador: Prof. Dr. Crediné Silva de Menezes VITÓRIA 2005

3 Dados Internacionais de Catalogação-na-publicação (CIP) (Biblioteca Central da Universidade Federal do Espírito Santo, ES, Brasil) T266c Teixeira, Sérgio, Chatterbots : uma proposta para a construção de bases de conhecimento / Sérgio Teixeira f. : il. Orientador: Crediné Silva de Menezes. Dissertação (mestrado) Universidade Federal do Espírito Santo, Centro Tecnológico. 1. Inteligência artificial - Processamento de dados. 2. Processamento da linguagem natural (Computação). 3. Lingüística - Processamento de dados. I. Menezes, Crediné Silva de. II. Universidade Federal do Espírito Santo. Centro Tecnológico. III. Título. CDU: 004

4 SÉRGIO TEIXEIRA CHATTERBOTS UMA PROPOSTA PARA A CONSTRUÇÃO DE BASES DE CONHECIMENTO COMISSÃO EXAMINADORA Prof. Crediné Silva de Menezes, D. Sc. Orientador Prof. Elias de Oliveira, PhD. UFES Fernando José Martinelli, D. Sc. Companhia Siderúrgica de Tubarão - CST Vitória, 7 de Julho de 2005.

5 Dedico este trabalho à minha esposa, Giane, que me apoiou durante toda a jornada de trabalho. Aos meus pais, Geraldo e Alveni, que sempre se dedicaram ao meu sucesso. Ao professor Crediné, pelo apoio e dedicação durante todo o trabalho. Ao professor Geraldo Magela, que apoiou e viabilizou a conclusão desse trabalho.

6 AGRADECIMENTOS Ao professor Crediné que acreditou e investiu no meu potencial. Sem esse apoio nada seria possível. Aos meus irmãos Saulo e Sarah que sempre torcem por mim. Aos professores Dedê, Elias e Orivaldo pelo apoio e contribuições ao trabalho. A todos os alunos que sempre tiveram boa vontade de ajudar nos momentos de maior dificuldade.

7 A persistência é o caminho do êxito. (Chaplin)

8 RESUMO Este trabalho apresenta uma proposta de construção de bases de conhecimento de um chatterbot utilizando a tecnologia ALICE. A criação das bases de conhecimento é feita através da identificação de padrões de conversação baseados na Lingüística de Corpus. Os padrões são categorizados através do modelo vetorial ou do método Latent Semantic Indexing e manipulados por especialistas. Como estudo de caso é proposto o Tuxbot, chatterbot que responde perguntas sobre dúvidas de usuários do Linux. Palavras-chave: Chatterbot, Lingüística de corpus e Latent Semantic Indexing.

9 ABSTRACT This work presents a proposal for building chatterbots knowledge base using the ALICE technology. This knowledge base is created based upon the dialog patterns existent on a Linguistics Corpus. The patterns are classified by the vectorial model or Latent Semantic Indexing method and rearranged by a specialist when necessary. As a case of study it is proposed the use of the Tuxbot, a simple chatterbot that provides the user of Linux with answers related to their doubts. Keywords: Chatterbot, Corpus Linguistic and Latent Semantic Indexing.

10 LISTA DE FIGURAS Figura 1. Unidade de conhecimento escrita na linguagem AIML..23 Figura 2. Visão de ¼ do Graphmaster do conhecimento da ALICE..25 Figura 3. Arquitetura de um Chatterbot baseado na tecnologia ALICE.26 Figura 4. Matriz de termos versus documentos33 Figura 5. Cálculo da similaridade através do co-seno de Θ..33 Figura 6. Decomposição da matriz termos versus documentos em três matrizes utilizando o método SVD..35 Figura 7. Redução das matrizes K r S r e Figura 8. Composição da matriz t D r pelo fator k..36 M r r através das matrizes K r S r e t D r reduzidas..36 Figura 9. Visão geral das técnicas de agrupamento de documentos. 38 Figura 10. Visão geral das etapas do processo de agrupamento de documentos...40 Figura 11. Visão geral da proposta de construção das bases de conhecimento..46 Figura 12. Visão geral da etapa 01 recuperação de dados..46 Figura 13. Visão geral da etapa 02 Conversão de arquivos html em textos..47 Figura 14. Visão geral da etapa 03 Extração de padrões.48 Figura 15. Visão geral da etapa 04 Redução dos corpora..49 Figura 16. Visão geral da etapa 05 Transformação dos corpora em pequenos arquivos49 Figura 17. Visão geral da etapa 06 Indexação dos corpora..50 Figura 18. Visão geral da etapa 07 Geração da matriz de similaridades.51 Figura 19. Visão geral da etapa 08 Categorização da matriz de similaridades...51 Figura 20. Visão geral da etapa 9 Geração dos padrões categorizados52 Figura 21. Visão geral da etapa 10 Manipulação dos padrões.53 Figura 22. Visão geral da etapa 11 Busca respostas..53 Figura 23. Visão geral da etapa 12 Identificação e ajustes das perguntas e respostas.54 Figura 24. Visão geral da etapa 13 Geração das bases de conhecimento em AIML...55 Figura 25. Programa que converte arquivos html em textos.57 Figura 26. Abstração do programa gera-corpora.c e gera-resposta.c.59 Figura 27. Abstração do programa gera-corpora.c e gera-resposta.c.60 Figura 28. Apresentação do programa reduz-corpora.c..62 Figura 29. Apresentação do programa reduz-corpora.c..63 Figura 30. Apresentação do programa separa-linhas.sh..64 Figura 31. Abstração do programa gera-termo-doc.c..66 Figura 32. Abstração do programa gera-termo-doc.c..67

11 Figura 33. Apresentação do programa separa-linhas.sh.69 Figura 34. Apresentação do programa gera-aiml.sh.71 Figura 35. Apresentação do programa ordena-aiml.sh 72 Figura 36. Arquitetura do Tuxbot75 Figura 37. Interface de conversação do Tuxbot..75 Figura 38. Amostra de arquivos da base de conhecimento do Tuxbot.76 Figura 39. Amostra do arquivo 0-sinonimos-uma-palavra.aiml 77 Figura 40. Amostra do arquivo 1-sinonimos-duas-palavras...78 Figura 41. Amostra do arquivos a-srai.aiml 79 Figura 42. Amostra do arquivo a-ultimo.aiml.80 Figura 43. Amostra do arquivo z.aiml.81 Figura 44. Interface de avaliação do Tuxbot.82 Figura 45. Padrões de perguntas extraídos do sistema rau-tu..84 Figura 46. Padrões de perguntas similares. 86 Figura 47. Padrões categorizados com o modelo vetorial ou método LSI.87 Figura 48. Padrões de perguntas manipuladas pelos especialistas.88 Figura 49. Perguntas e respostas manipuladas pelos especialistas.89 Figura 50. Unidades de conhecimento na linguagem AIML criadas no arquivo perguntasrespostas.aiml90 Figura 51. Unidades de conhecimento na linguagem AIML criadas no arquivo under.aiml..91

12 SUMÁRIO 1 - INTRODUÇÃO MOTIVAÇÃO OBJETIVOS METODOLOGIA ORGANIZAÇÃO DO TRABALHO..20 CHATTERBOT - O QUE É E COMO SE FAZ? TECNOLOGIA ALICE COMO FUNCIONA O GRAPHMASTER ARQUITETURA DE UM CHATTERBOT BASEADO NA TECNOLOGIA ALICE TRABALHOS CORRELATOS.28 FUNDAMENTOS DE RECUPERAÇÃO DE INFORMAÇÃO MODELOS CLÁSSICOS DE RECUPERAÇÃO DE INFORMAÇÃO MODELO VETORIAL MÉTODO DO LSI AGRUPAMENTO E CATEGORIZAÇÃO DE DOCUMENTOS..37 METODOLOGIA DE CONSTRUÇÃO DAS BASES DE CONHECIMENTO LINGÜÍSTICA DE CORPUS PADRÕES DE LINGUAGEM VISÃO GERAL DA METODOLOGIA DE CONSTRUÇÃO DAS BASES DE CONHECIMENTO ETAPA 01 - DOWNLOAD - RECUPERAÇÃO DE DADOS ETAPA 02 CONVERSÃO DE ARQUIVOS HTML EM TEXTOS ETAPA 03 EXTRAÇÃO DE PADRÕES ETAPA 04 REDUÇÃO DOS CORPORA ETAPA 05 TRANSFORMAÇÃO DOS CORPORA EM PEQUENOS ARQUIVOS ETAPA 06 INDEXAÇÃO DOS CORPORA ETAPA 07 GERAÇÃO DA MATRIZ DE SIMILARIDADES ETAPA 08 CATEGORIZAÇÃO DA MATRIZ DE SIMILARIDADES ETAPA 09 GERAÇÃO DOS PADRÕES CATEGORIZADOS ETAPA 10 - MANIPULAÇÃO DOS PADRÕES PELOS ESPECIALISTAS ETAPA 11 - BUSCA RESPOSTAS ETAPA 12 - IDENTIFICAÇÃO E AJUSTES DAS PERGUNTAS E RESPOSTAS ETAPA 13 - GERAÇÃO DAS BASES DE CONHECIMENTO EM AIML..54

13 4.17 CONSIDERAÇÕES..55 SUPORTE COMPUTACIONAL PARA A METODOLOGIA PROPOSTA ETAPA 01 - DOWNLOAD - RECUPERAÇÃO DE DADOS ETAPA 02 CONVERSÃO DE ARQUIVOS HTML EM TEXTOS ETAPA 03 EXTRAÇÃO DE PADRÕES E ETAPA 11 BUSCA RESPOSTAS ETAPA 04 REDUÇÃO DOS CORPORA ETAPA 05 TRANSFORMAÇÃO DOS CORPORA EM PEQUENOS ARQUIVOS ETAPA 06 INDEXAÇÃO DOS CORPORA ETAPA 07 GERAÇÃO DA MATRIZ DE SIMILARIDADES ETAPA 08 CATEGORIZAÇÃO DA MATRIZ DE SIMILARIDADES ETAPA 09 GERAÇÃO DOS PADRÕES CATEGORIZADOS ETAPA 13 - GERAÇÃO DAS BASES DE CONHECIMENTO EM AIML CONSIDERAÇÕES..73 TUXBOT UM ESTUDO DE CASO NA APLICAÇÃO DA METODOLOGIA PROPOSTA O TUXBOT ETAPA 01 - DOWNLOAD - RECUPERAÇÃO DE DADOS ETAPA 02 CONVERSÃO DE ARQUIVOS HTML EM TEXTOS ETAPA 03 EXTRAÇÃO DE PADRÕES ETAPA 04 REDUÇÃO DOS CORPORA ETAPA 05 TRANSFORMAÇÃO DOS CORPORA EM PEQUENOS ARQUIVOS ETAPA 06 INDEXAÇÃO DOS CORPORA ETAPA 07 GERAÇÃO DA MATRIZ DE SIMILARIDADES ETAPA 08 CATEGORIZAÇÃO DA MATRIZ DE SIMILARIDADES ETAPA 09 GERAÇÃO DOS PADRÕES CATEGORIZADOS ETAPA 10 - MANIPULAÇÃO DOS PADRÕES PELOS ESPECIALISTAS ETAPA 11 - BUSCA RESPOSTAS ETAPA 12 - IDENTIFICAÇÃO E AJUSTES DAS PERGUNTAS E RESPOSTAS ETAPA 13 - GERAÇÃO DAS BASES DE CONHECIMENTO EM AIML CONSIDERAÇÕES..91 CONSIDERAÇÕES FINAIS E TRABALHOS FUTUROS.92 REFERÊNCIAS BIBLIOGRÁFICAS.95

14 INTRODUÇÃO Ao longo da história da humanidade, o acesso à informação tem exercido um papel fundamental nos processos de construção do conhecimento individual e coletivo. A jornada foi longa, desde a origem da linguagem falada até o surgimento da imprensa, passando pelo surgimento da escrita e as várias formas de registro. Há que se destacar a revolução cultural originada pelo surgimento da imprensa, a partir da qual se democratizou o acesso da informação em larga escala. O advento da internet, segundo Levy, promete provocar uma outra revolução, em escala superior à provocada pela imprensa. Agora o cidadão pode usar para as suas aprendizagens, informações que se renovam a cada segundo, providas por fontes dispersas em vários continentes. Por outro lado, sendo o volume muito grande, corremos o risco de sermos sufocados por tanta informação, sem descobrir onde obter os documentos que nos interessam. Nos ambientes virtuais, esse risco é maior e pode provocar uma debandada dos estudantes e um descrédito na tecnologia. Portanto, é fundamental que o freqüentador dos ambientes virtuais, principalmente o novato, disponha de facilidades de interação que facilite a sua integração (LEVY, 2004). O surgimento da World Wide Web (Web), no início dos anos 90, ocasionou mudanças de larga envergadura no direcionamento das pesquisas sobre Recuperação de Informação (RI). A Web se tornou um gigantesco repositório do conhecimento humano, que está possibilitando o compartilhamento de conhecimento em uma escala jamais observada anteriormente. Um dos grandes obstáculos na busca de informações na Web é a falta de um modelo de dados bem definido e estruturado. Devido ao grande volume de informações textuais não estruturadas na Internet, os sistemas de busca de informação existentes, não conseguem atender plenamente às necessidades de quem precisa localizar informação útil com precisão. Dentre as pesquisas que buscam alternativas para minimizar o problema de localização de informação útil na Internet merecem destaque as pesquisas relacionadas com a modelagem, classificação e categorização de documentos, interface de usuário, filtragem, linguagens específicas, recuperação de textos, sistemas de bibliotecas, recuperação de dados multimídia e bibliotecas digitais (BAEZA-YATES, 1999). Além dessas alternativas existem outras funcionalidades que buscam minimizar o problema de localização de informação que atenda às necessidades específicas dos usuários. Dentre essas alternativas, merece destaque o frequently ask questions (FAQ). O objetivo

15 14 desse serviço é oferecer uma determinada quantidade de perguntas e respostas para esclarecer dúvidas sobre um determinado assunto. No entanto, o FAQ só funciona bem quando a dúvida do usuário é básica e se refere a um domínio do conhecimento pequeno, pois é difícil para o mantenedor do serviço prever todas as possíveis variações de perguntas que o usuário pode fazer. Entretanto, na maioria dos casos o volume de informação é muito grande, tornando essa alternativa ineficiente. Além disso, o FAQ é estático, restrito e requer a leitura de todas as perguntas e respostas até encontrar a resposta que interessa. Além disso, nem sempre existe a resposta que interessa. Dentre as alternativas de apoio a localização de informação útil existente, associada à facilidade de integração, os Chatterbots merecem destaque. Esses sistemas são capazes de auxiliar na busca de informação em sites diversos e em ambientes de aprendizagem, usando uma forma de conversação que vem se mostrando bastante adequada. O uso de Chatterbots está sendo experimentado como solução alternativa aos FAQ. Por exemplo, a ferramenta de autoria AutoChatter propõe a construção do conhecimento de chatterbots através da inclusão de perguntas e respostas com o objetivo de auxiliar o processo de aprendizagem de conteúdos específicos (CASTANHO, 2002). As facilidades proporcionadas pelo crescimento da Internet aliadas aos avanços das tecnologias educacionais com custos mais acessíveis estimularam um elevado aumento no interesse pela busca por informação e conhecimento através da realização de cursos a distância. Devido a isso, essa modalidade de ensino está vivenciando um período de grande evidência por parte dos governos, instituições de ensino e empresas. Os ambientes de aprendizagem também enfrentam o problema do excesso de informação sobre o uso dos sistemas e principalmente sobre os conteúdos dos cursos a distância. Essa nova modalidade de ensino está ocasionando uma mudança no comportamento dos alunos e professores. Essa mudança de paradigma requerer soluções que ajudem a minimizar os impactos do excesso de informação, pois nesses ambientes o aluno deve ser o protagonista no processo de construção do conhecimento (PALLOFF, 2002).

16 MOTIVAÇÃO De acordo com uma pesquisa realizada pela University of California Berkeley - School of Information Management and Systems, em 2003, foi constatado um aumento estimado de 30% ao ano no fluxo de novas informações em meios eletrônicos, tais como, telefone, rádio, televisão e a Internet. Esse estudo analisou o armazenamento e o fluxo de novas informações geradas em 2002 e comparou os resultados com uma pesquisa similar realizada em 2000 com dados do ano de Além disso, em janeiro de 2003, foi constatado através do site SearchEngineWatch.com, que foram feitas 319 milhões de buscas por dia nas principais ferramentas de buscas. (BERKELEY, 2005). Esse crescimento em larga escala é maior do que os dados apresentados, pois estudos realizados por Bergman afirmam que a Internet é 500 vezes maior do que o segmento coberto pelos mecanismos de busca. Isso ocorre devido à existência de muitas informações disponíveis em banco de dados que não são acessíveis pelos mecanismos de busca (BERGMAN, 2005) (ALENCAR, 2001). Devido ao grande crescimento da Internet está ocorrendo um aumento nas pesquisas que buscam o desenvolvimento de soluções alternativas aos mecanismos de busca. O objetivo dos pesquisadores é propor alternativas para minimizar o esforço cognitivo na busca e recuperação de informação útil na Internet. Atualmente o usuário das ferramentas de busca tem muito trabalho para localizar a informação desejada, pois o excesso de informação é grande. O excesso de informação também está presente nos ambientes de aprendizagem. Os aprendizes precisam estudar um grande volume de informação. Por mais que um ambiente virtual seja amigável e eficiente, ele não substitui a interação presencial, que ainda é a forma mais natural para o ser humano. A ausência das interações síncronas, presenciais ou não, é um fator de desestímulo dos alunos de cursos virtuais. Essas interações são fundamentais para auxiliar o processo de construção do conhecimento, pois o volume de informação a ser estudado é grande. O grande desafio para os pesquisadores da área é o desenvolvimento de soluções que possam ajudar na administração do grande volume de informação. Apesar da existência de estratégias e ferramentas com o objetivo de minimizar as dificuldades, ainda existem muitas barreiras geradas pela falta de habilidade dos alunos na utilização das tecnologias disponibilizadas nos ambientes virtuais de aprendizagem (SALLORENZO, 2003).

17 16 Além do excesso de informação e dificuldade no uso das tecnologias, existe o problema da falta de disciplina no cumprimento do cronograma de estudo proposto nesses cursos. A maioria dos alunos desenvolve suas atividades próximas ao término previsto no cronograma desses cursos. Nesse período ocorre uma sobrecarga de trabalho para os professores, sendo que, muitas das dúvidas são simples, objetivas e, na maioria das vezes, já foram respondidas em algum fórum, sessão de chat ou para algum aluno. Os chatterbots podem ajudar a esclarecer dúvidas de aprendizes sobre assuntos específicos com um esforço cognitivo bem menor do que outros métodos tradicionais, tais como, ferramentas de busca e FAQs. Além disso, eles podem ajudar na redução da carga de trabalho de professores de cursos a distância, pois boa parte das suas atividades está relacionada ao esclarecimento de dúvidas de aprendizes, que geralmente são repetitivas e podem ser facilmente cadastradas na base de conhecimento do chatterbot. 1.2 OBJETIVOS O objetivo geral deste trabalho é contribuir para a melhoria do processo de construção dos sistemas chatterbot. O foco principal é o tempo de desenvolvimento e a qualidade das respostas que esses sistemas podem proporcionar aos seus interlocutores. De uma forma mais especifica, o trabalho busca contribuir com o processo de construção das bases de conhecimento destes sistemas. Neste sentido, é apresentada uma metodologia para a construção dessas bases e o desenvolvimento de ferramentas computacionais para apoiar a metodologia. A metodologia apresentada propõe uma alternativa para tratar o processo de construção de bases de conhecimento sobre um determinado domínio do conhecimento à luz dos fundamentos da lingüística de corpus. Foram desenvolvidas ferramentas computacionais a partir de métodos e algoritmos consagrados na literatura para a implementação da metodologia proposta. Foi utilizado o modelo vetorial e o método do Latent Semantic Indexing (LSI) para categorizar os padrões de conversação do chatterbot. Foi desenvolvido um Chatterbot intitulado Tuxbot para validar a metodologia e o suporte computacional proposto. O Tuxbot tem o objetivo de esclarecer dúvidas de aprendizes do Sistema Operacional Linux.

18 METODOLOGIA A estratégia adotada está apoiada na modelagem do conhecimento através da recuperação de padrões 1 de conversação baseada na lingüística de corpus 23, na categorização desses padrões com a utilização do modelo vetorial 4 ou do método Latent Semantic Indexing 5 (LSI) e na conversão supervisionada desses padrões em conhecimento de um Chatterbot. A utilização do modelo vetorial ou do método do LSI no processo de categorização se justifica devido à especificidade de determinados domínios do conhecimento. Dependendo dos dados recuperados para a transformação em bases de conhecimento, o modelo vetorial será o mais indicado. Por exemplo, não se justifica a utilização do método do LSI para categorizar padrões provenientes de textos pequenos sem a presença de dados latentes. Além disso, o custo computacional do método LSI é bem maior. Durante a construção das bases de conhecimento do Tuxbot foram utilizados ambos os métodos com o objetivo de comparar os resultados. Foi constatado que ambos os métodos apresentaram os mesmos resultados para o domínio do conhecimento selecionado. Entretanto, em outros domínios do conhecimento pode ser necessário utilizar o método do LSI. Por exemplo, a categorização de textos com a presença de dados latentes. Após a definição da utilização de Chattebot foram selecionados e discutidos diversos artigos científicos sobre Chatterbots, e principalmente na utilização em ambientes de aprendizagem. Em seguida, foram pesquisados e testados diversos chatterbots disponíveis na Internet. Foi constatado que a tecnologia ALICE é uma boa alternativa para a pesquisa científica e implementação de chatterbots por se tratar de um software livre de fácil utilização, tecnologia flexível desenvolvida exclusivamente para a criação de Chatterbots e 1 Padrão: conjunto de palavras ou dados lingüísticos que poderão auxiliar na identificação de formas de elaboração de perguntas ou respostas. 2 Lingüística de corpus: Área que estuda a coleta e exploração de conjuntos de dados lingüísticos textuais coletados criteriosamente. 3 Corpus: conjunto de textos autênticos, em linguagem natural, escritos por falantes nativos, com o propósito específico de pesquisa lingüística. Os textos devem ser selecionados de forma aleatória, obedecendo a um conjunto de regras pré-estabelecidas. 4 Modelo de recuperação de informação no qual documentos e consultas são representados por vetores no espaço euclidiano de t-dimensões (BAEZA-YATES, 1999). 5 Baseado no modelo vetorial, esse método faz o mapeamento dos vetores de documentos e consultas em um espaço vetorial reduzido associado aos conceitos. Esse modelo tende a realçar as relações semânticas ocultas entre termos e documentos. (DEERWESTER, 1990).

19 18 também devido à existência de diversos trabalhos científicos publicados com a utilização da tecnologia ALICE. Durante o desenvolvimento do trabalho e com a utilização de diversos chatterbots disponíveis na Internet foi constatado que os chatterbots pesquisados não tratam o problema de bases de conhecimento sobre um determinado domínio do conhecimento. Dessa forma, eles não são capazes de atender às expectativas dos usuários que buscam respostas de dúvidas sobre um determinado domínio do conhecimento. Por isso, foi definido que o foco do trabalho seria a pesquisa de alternativas para a construção de bases de conhecimento, mais especificamente, bases de conhecimento na linguagem AIML; desta forma, seria possível utilizar a tecnologia ALICE para implementar o chatterbot. Na utilização do chatterbot ALICE com o objetivo de experimentação, foi criado manualmente uma base de conhecimento sobre o AmCorA 6. Na conversação com o chatterbot ALICE sobre dúvidas de utilização do ambiente AmCorA, foi constatado que as pessoas elaboram as mesmas perguntas de formas diferentes, e o que uma pessoa acha que é importante ou pensa que o outro vai perguntar, normalmente não se concretiza. O grande desafio dos pesquisadores de Chatterbot é identificar a forma como as pessoas elaboram perguntas sobre um determinado domínio do conhecimento. A partir da definição mais detalhada do problema e após a revisão bibliográfica em diversos artigos sobre padrões de conversação, foi constatado que a lingüística de corpus poderia auxiliar na coleta e exploração de dados lingüísticos com o propósito de identificação de formas de conversação. Como não é possível prever o que as pessoas irão perguntar sobre um determinado domínio do conhecimento, verificou-se que existem muitas bases de dados com perguntas e respostas sobre diversos domínios do conhecimento na Internet. Através dos resultados obtidos com a implementação do Tuxbot foi constatado que é possível criar bases de conhecimento de chatterbots a partir da recuperação de informações que contenham conversação sobre um determinado domínio do conhecimento, à luz dos fundamentos da lingüística de corpus. O próximo passo foi a definição das etapas que iriam compor o processo de criação das bases de conhecimento na linguagem AIML. De acordo com o desenvolvimento do trabalho e conforme a identificação dos problemas, as etapas foram aos poucos sendo 6 Ambiente Cooperativo de Aprendizagem disponível em

20 19 definidas. Finalmente foi possível definir claramente o número de etapas e o que cada uma deveria executar. O momento estratégico na definição da proposta de construção das bases de conhecimento foi a constatação da necessidade de se utilizar o modelo vetorial ou o método do LSI para a categorização dos padrões de perguntas extraídos das bases de dados. Essa etapa eliminou a necessidade da categorização manual, o que poderia inviabilizar a proposta apresentada. Ao longo do desenvolvimento desse trabalho foram publicados dois artigos. O primeiro, foi publicado nos anais do XIV Simpósio Brasileiro de Informática na Educação SBIE , realizado no Rio de Janeiro, RJ, Brasil. O segundo, foi publicado nos anais do XXV Congresso da Sociedade Brasileira de Computação CSBC 2005, realizado em São Leopoldo, RS, Brasil. Além disso, foi publicado um artigo na revista Aprender Virtual, em 1 de Novembro de 2003 (TEIXEIRA, 2003) (TEIXEIRA, 2003b) (TEIXEIRA, 2005).

21 ORGANIZAÇÃO DO TRABALHO Esse trabalho está organizado da seguinte forma: Chatterbot - O que é e como se faz? apresenta os conceitos de Chatterbot, o funcionamento do Graphmaster (conjunto de todos os nós que compõem o conhecimento do ALICE), o que é e como funciona a tecnologia ALICE, a arquitetura de um Chatterbot baseado na Tecnologia ALICE, e trabalhos correlatos. Fundamentos de Recuperação de Informação apresenta os fundamentos da área de recuperação de informação, os modelos clássicos de recuperação de informação, o modelo vetorial e o método LSI. Metodologia de construção das bases de conhecimento apresenta os fundamentos da lingüística de corpus que nortearam esse trabalho e a metodologia da proposta de construção das bases de conhecimento através de 13 etapas. Suporte computacional para a metodologia proposta apresenta os programas desenvolvidos para atender às necessidades computacionais da metodologia proposta. Tuxbot um estudo de caso na aplicação da metodologia proposta - apresenta a aplicação da metodologia proposta e dos recursos computacionais para a construção de bases de conhecimento de um Chatterbot denominado Tuxbot. Além disso, são apresentados os resultados dos experimentos realizados nas 13 etapas. Considerações finais e trabalhos futuros apresenta as considerações finais sobre o trabalho e propõe trabalhos que poderão dar continuidade à proposta apresentada. Finalmente, Referências Bibliográficas apresenta as referências bibliográficas.

22 21 CHATTERBOT - O QUE É E COMO SE FAZ? Chatterbot 7 é um programa de computador que tenta simular um ser humano na conversação com as pessoas. O objetivo é responder as perguntas de tal forma que as pessoas tenham a impressão de estar conversando com outra pessoa e não com um programa de computador. Após o envio de perguntas em linguagem natural o programa consulta uma base de conhecimento e em seguida fornece uma resposta que tenta imitar o comportamento humano. Uma proposta de se estabelecer diálogo com computadores tem origem na década de 50 quando o famoso matemático britânico Alan Turing levantou a questão: As máquinas podem pensar? Com a publicação do artigo Computing Machinery and Intelligence (TURING, 1950), Turing propôs um jogo chamado Jogo da Imitação. O objetivo era confundir um interrogador que tenta descobrir se está conversando com um homem ou uma mulher. O interrogador elabora perguntas para X (supostamente um homem) e Y (supostamente uma mulher). Através das respostas fornecidas pelo computador o interrogador tentará identificar se X é homem ou mulher. O dilema central do questionamento de Turing está na pergunta: Se um computador pode pensar, como demonstrar?. Em 1966 o professor Joseph Weizenbaum do Instituto de Tecnologia de Massachusetts desenvolveu um programa chamado ELIZA (WEIZENBAUM, 1966). Este foi o primeiro chatterbot a ser desenvolvido e hoje é considerado a mãe de todos chatterbots. O objetivo do programa é responder as perguntas elaboradas por um ser humano em linguagem natural dando a impressão de que o bate-papo está ocorrendo entre duas pessoas, e não entre uma pessoa e um computador. ELIZA simula as respostas de um psicólogo rogeriano 8. Os fundamentos básicos do ELIZA são: Identificar palavras-chave; Encontrar um contexto mínimo; Fazer transformações no texto, se necessário; Gerar respostas na ausência de palavras chave; Concluir o bate-papo através de Scripts. 7 O termo Chatterbot surgiu da junção das palavras Chatter (a pessoa que conversa) e da palavra bot (abreviatura de robot), ou seja, um Robô (em forma de software) que conversa com as pessoas. 8 A psicologia rogeriana utiliza uma abordagem centrada na pessoa. Ela parte do pressuposto de que as respostas para as perguntas do paciente estão nele mesmo.

23 22 Ao elaborar uma pergunta sobre um assunto desconhecido para ELIZA, recebemos uma resposta em forma de pergunta. Isto faz com que a pessoa forneça mais detalhes sobre o assunto, para que o programa possa responder de forma Inteligente e causar algum tipo de surpresa para as pessoas que estão conversando. Portanto, o objetivo do ELIZA é obter informação do usuário através do envio de novas perguntas. Essa característica simula um diálogo e faz o usuário pensar que o ELIZA está entendendo as perguntas. O ELIZA faz parte da primeira geração de Chatterbots. Nessa época, usavam-se bases de conhecimento pequenas e não havia ainda linguagens e modelos apropriados. Na segunda geração os Chatterbots começaram a utilizar novas técnicas de Inteligência Artificial, tais como redes neurais. O destaque nesta época foi o JULIA. Além de possuir uma base de conhecimento sobre um determinado assunto, JULIA possui a capacidade de aprender durante o diálogo, gerando uma sensação de inteligência (SILVA, 2002). A terceira geração teve seu início marcado pelos Chatterbots que utilizam tecnologia desenvolvida com o propósito específico de conversação baseada em Extensible Markup Language (XML). O precursor desta geração é o Artificial Linguistic Internet Computer Entity (ALICE) (WALLACE, 2003). 2.1 TECNOLOGIA ALICE ALICE é uma tecnologia de desenvolvimento de Chatterbots em código aberto nos termos do General Public License (GPL) que utiliza a linguagem Artificial Intelligence Markup Language (AIML). A tecnologia ALICE se resume basicamente em três produtos: Especificações técnicas da linguagem AIML; Softwares que interpretam bases em AIML, serviços clientes via web e outras mídias; Bases de conhecimento em forma de arquivos AIML, as quais representam o conhecimento do ALICE. ALICE implementa o modelo de aprendizagem supervisionado, no qual o papel do botmaster 9 é fundamental. O botmaster analisa os logs dos diálogos, identifica as melhorias necessárias e cria novos conteúdos ou conhecimentos na forma de arquivos AIML, de tal forma que, as próximas respostas sejam mais apropriadas. 9 Pessoa que administra a base de conhecimento do chatterbot

24 23 Não existe nenhuma tecnologia sofisticada na concepção da ALICE. Não é utilizada nenhuma tecnologia do tipo: redes neurais, representação do conhecimento, busca em profundidade, algoritmos genéticos ou análise gramatical. ALICE é similar à tecnologia Case- Based Reasoning (CBR 10 ) que também implementa uma estrutura de estímulo-resposta, os casos do CBR correspondem às categorias do AIML. AIML é uma linguagem de marcação compatível com XML, concebida para armazenar o conhecimento dos chatterbots baseados na tecnologia ALICE. As tags da linguagem AIML consistem em unidades de conhecimento, que representam uma pergunta elaborada pelo usuário e sua respectiva resposta. A figura 1 apresenta um exemplo de unidade de conhecimento 11. <category> <pattern>o que e o Magic Filter?</pattern> <template> Magic filter é um filtro de impressão inteligente. Ele é acionado pelo spool de impressão (mais especificamente o arquivo /etc/printcap) e permite identificar e imprimir arquivos de diversos tipos diretamente através do comando lpr arquivo. Esse programa é altamente recomendado para quem deseja automatizar os trabalhos de impressão e spool. A maioria dos programas para ambiente gráfico x11, incluindo o netscape, word perfect, gimp e star office trabalham nativamente com o magic filter. </template> </category> Figura 1. Unidade de conhecimento escrita na linguagem AIML. As principais tags da linguagem AIML são: <aiml>: Identifica o início e fim de um documento AIML; <category>: Identifica uma unidade de conhecimento no arquivo AIML; <pattern>: Identifica o padrão digitado pelo usuário. Através desse padrão é que o sistema busca a resposta; <template>: Contém a resposta para o padrão contido na respectiva tag <pattern>; 10 É uma forma de se usar o conhecimento através de experiências anteriores baseadas em problemas concretos casos. 11 Cada unidade de conhecimento corresponde a uma pergunta e sua respectiva resposta.

25 24 <srai>: tag recursiva que permite a substituição de várias entradas em uma única saída; <star>: substitui o valor capturado na entrada que é representado pelo coringa * e _ ; <that>: é utilizada dentro do category, representa o que foi dito recentemente. Quando o diálogo é quebrado em várias sentenças esta tag é utilizada para referenciar o que já foi dito; <topic>: é utilizado fora do <category>, faz um agrupamento de <categories> relacionados com o mesmo tópico ou assunto. As bases em AIML guardam os <patterns> em uma estrutura de árvore gerenciada por um objeto chamado Graphmaster. Graphmaster fica residente em memória possibilitando uma rápida e eficiente busca de <patterns> (WALLACE, 2003c). 2.2 COMO FUNCIONA O GRAPHMASTER Graphmaster é o nome dado ao conjunto de todos os nós que compõem o conhecimento do ALICE. Na verdade o Graphmaster é uma árvore n-ária 12 que representa todo o conhecimento de um Chatterbot baseado na tecnologia ALICE. Cada nó da árvore armazena uma única palavra ou os coringas _ ou * e cada folha armazena a resposta ou os dados existentes entre as tags <template>. O número de folhas da árvore equivale ao total de unidades de conhecimentos do ALICE. Todo nó que contém o coringa _ terá maior prioridade em uma busca nos nós de um mesmo nível, em seguida a prioridade será das palavras e finalmente a menor prioridade será do coringa *. As unidades de conhecimento não precisam ficar em ordem alfabética, entretanto, todas as unidades de conhecimento, nas quais a pergunta, ou os dados entre as tags <pattern>, que começam com o coringa _ devem ser carregadas antes das perguntas que iniciam com palavras, e por último, devem ser carregadas as perguntas que iniciam com o coringa *. A busca de uma pergunta no Graphmaster é feita palavra por palavra e não pergunta por pergunta, cada palavra é armazenada em um nó da árvore. A busca das perguntas no Graphmaster utiliza uma versão mais restrita do algoritmo busca primeiro em profundidade. 12 Estrutura de dados em forma de árvore invertida, na qual cada nó tem, no máximo, N filhos.

26 25 Para localizar uma pergunta que inicie com a palavra X, o sistema seguirá três etapas conforme é apresentado abaixo: 1 Caso o nó contenha o coringa _ : será feita a busca nos nós filhos deste a procura das palavras subseqüentes a palavra X. Caso nenhuma palavra seja localizada o sistema passa para a próxima etapa. 2 Caso o nó contenha a palavra X : será feita a busca nos nós filhos deste a procura das palavras subseqüentes a palavra X. Caso nenhuma palavra seja localizada o sistema passa para a próxima etapa. 3 Caso o nó contenha o coringa * : será feita a busca nos nós filhos deste a procura das palavras subseqüentes a palavra X. Caso nenhuma palavra seja localizada o sistema retorna ao nó pai deste e substitui o valor do nó pela palavra X. Se o nó raiz contém o coringa * e logo em seguida temos uma folha, então, o algoritmo garante que uma resposta será fornecida. A figura 2 apresenta uma visão de ¼ do Graphmaster que representa o conhecimento da ALICE. Os círculos de cor amarela representam os nós terminais (nós que contêm as últimas palavras dos padrões) e os de cor magenta representam os nós que contêm as respostas (o conteúdo entre as tags template). Figura 2. Visão de ¼ do Graphmaster do conhecimento da ALICE.

27 ARQUITETURA DE UM CHATTERBOT BASEADO NA TECNOLOGIA ALICE A figura 3 apresenta uma visão geral do funcionamento do ALICE. A primeira etapa representa o encaminhamento da pergunta. Em seguida, o sistema realiza uma série de passos até que a pergunta fique pronta para a busca na base de conhecimento. Na segunda etapa, será feita a busca da pergunta nas bases de conhecimento contidas nos arquivos AIML. Após a localização o sistema apresenta a resposta catalogada. Figura 3. Arquitetura de um Chatterbot baseado na tecnologia ALICE. Para que o Chatterbot seja capaz de responder as perguntas dos padrões cadastrados nas bases de conhecimento em AIML, é preciso executar uma rotina que lê os arquivos AIML e, em seguida, carrega-os na memória, de acordo com a ordem em que eles são lidos. Conforme a recomendação descrita na documentação da ALICE, as bases de conhecimento devem ser carregadas em ordem alfabética, sendo que, as bases de conhecimento que possuem perguntas que iniciam com o coringa _, serão carregadas primeiro. Esse procedimento é importante para evitar problemas na busca de respostas e para auxiliar o botmaster na manutenção das bases de conhecimento. O funcionamento do mecanismo de inferência se dá através dos seguintes passos: 1º. PASSO: Simplificação e normalização Após o encaminhamento da pergunta o sistema fará um tratamento no texto digitado para que a sentença fale a mesma língua da base de conhecimento. Através da identificação de palavras-chaves o texto será convertido para o formato mais apropriado para a busca na base de conhecimento. Por exemplo, quando o aluno digitar Foca Gnu/Linux o sistema transformará essas palavras em Guia Foca, ou quando for digitada a palavra usar,

28 27 utilizar ou uso o sistema converterá para como funciona e caso seja digitado o comando o sistema converterá para comando. Exemplo de simplificação e normalização de uma pergunta feita ao chatterbot: Aluno: Favor informar como utilizo o comando find? A pergunta será substituída por: Favor informar como como funciona comando find. 2º. PASSO: Padronização É necessário padronizar a forma como a sentença será encaminhada ao passo seguinte. Serão identificadas as palavras-chaves que devem ser encaminhadas. O que não interessa será desprezado. O asterisco representa uma ou mais palavras. Toda pergunta do tipo: * como funciona * x (leia-se: uma ou mais palavras seguidas da expressão como funciona, seguida de uma ou mais palavras e encerrada por uma constante X) será transformada em: como funciona x Utilizando o exemplo do passo um, o sistema irá padronizar a sentença: Favor informar como como funciona comando find em como funciona find 3º. PASSO: Busca na base de conhecimento Com a pergunta devidamente padronizada, o sistema fará a busca na base de conhecimento. Caso seja localizada, o chatterbot fornecerá a resposta. Experiências com a ALICE indicam que aproximadamente palavras atendem 95% das opções escolhidas pelas pessoas como a primeira palavra no início de uma frase, a partir da segunda as opções diminuem bastante. Com aproximadamente unidades de conhecimento é possível estabelecer um bom diálogo. Apesar do grande avanço que ocorreu no processamento da linguagem natural (PLN), ainda existem muitas dificuldades que precisam ser vencidas para que a comunicação entre o homem e o computador possa ser efetiva. Dentre os maiores obstáculos estão as ambigüidades léxicas, semânticas e principalmente do contexto (OLIVEIRA, 1997). A Tecnologia ALICE traz avanços significativos, entretanto, ela não é suficiente para atender às demandas, pois depende muito da intervenção de especialistas para a criação das bases de conhecimento.

29 TRABALHOS CORRELATOS O aumento do interesse pelos Chatterbots incentivou a criação de torneios para avaliar o nível dos sistemas. Em 1990 o Professor Hugn Loebner com o aval do Centro de Estudos do Comportamento de Cambridge projetou uma competição denominada Loebner Prize, com o objetivo de se tornar a primeira implementação formal do teste de Turing. Foi estabelecido um prêmio de US$ e uma medalha de ouro para o primeiro programa que conseguir responder perguntas da mesma forma que um ser humano faria. Todo ano é oferecida uma medalha de bronze ao programa que melhor se aproxima das respostas humanas, até a presente data nenhum chatterbot conseguiu ganhar o prêmio (LOEBNER, 2003). Dentre muitos chatterbots existentes, alguns se destacaram nesses torneios. Por exemplo, o Chatterbot Ella utiliza uma mistura de algoritmos e técnicas. São feitas escolhas de funções, conteúdos e prioridades dependendo da cada pergunta (ELLA, 2003). O Albertone utiliza o método de força bruta baseado em conversas anteriores. Através da verificação da freqüência das palavras, o programa reduz as sentenças para buscar as respostas. São fornecidas respostas genéricas através da observação do comportamento das perguntas. O Chatterbot estipula uma determinada importância para cada palavra-chave identificada e em seguida utiliza um algoritmo de busca para as três palavras-chaves mais importantes. O resultado da busca é bom, entretanto, não funciona sempre (ALBERT-ONE, 2003). O Tinymud utiliza uma tecnologia de camadas baseada em prioridades, cada camada equivale a um mini-perito em um determinado assunto. O programa faz a seleção dentre várias respostas possíveis de acordo com alguns critérios (MAULDIN, 1994), tais como: Identificação de palavras chaves; Uso de rede de ativação com respostas orientadas a tópicos, com análise de peso de cada nó; Respostas sobre a personalidade do Chatterbot ou perguntas de senso comum. Essas respostas foram coletadas do log de interação do Chatterbot. Exemplo: Onde você mora?, Quanto é 2 vezes 23? e Qual a cor do seu cabelo? ; Pedidos de desculpas sobre algo que o Chatterbot não sabe ou respostas estratégicas para situações de falta de conhecimento sobre um determinado assunto. Com o uso da linguagem AIML e AIML Plus (NEVES, 2005), o Chatterbot Pixel mantém conversas genéricas com as pessoas com o objetivo de entretenimento. Na mesma

30 29 linha de trabalho, Silva desenvolveu novas tags de marcação em AIML Plus com o objetivo de gerar uma interface mais amigável de acesso a Internet, através do uso de linguagem natural, e para diminuir a complexidade da busca dos usuários. Este recurso vai permitir que o Chatterbot possa atualizar automaticamente suas respostas (SILVA, 2002). Com o objetivo de oferecer novas possibilidades para a linguagem AIML, a arquitetura Persona-AIML propõe uma extensão do AIML original, através da inclusão de traços, atitudes, humor, emoções e estados físicos na base de conhecimento do chatterbot com o objetivo de incluir personalidade ao chatterbot (GALVÃO, 2003). Alguns chatterbots com o propósito de apoio ao processo de aprendizagem merecem destaque, por exemplo, o projeto Virtusbot utiliza um chatterbot como ferramenta pedagógica para auxiliar a interação entre os usuários de comunidades virtuais de aprendizagem (VIRTUS, 2003). Na mesma linha de trabalho o ConsultBot auxilia no aprendizado de tópicos estudados por alunos de comunidades virtuais de aprendizagem (LAUREANO, 1999). A ferramenta de autoria AutoChatter propõe a construção do conhecimento de chatterbots através da inclusão de perguntas e respostas com o objetivo de auxiliar o processo de aprendizagem de conteúdos específicos (CASTANHO, 2002). O BonoBOT é utilizado no Semeai, ambiente de aprendizagem baseado em agentes inteligentes, para apoiar o processo de aprendizagem (SGANDERLA, 2003), e por último, o Chapa, chatterbot que identifica e armazena as contribuições mais interessantes de alunos nas sessões de bate-papo do ambiente de Educação à Distância TelEduc, com o objetivo de auxiliar o professor no acompanhamento do processo de aprendizagem dos alunos. As mensagens interessantes são selecionadas com base em um dicionário de dados específicos, criado para cada usuário, por meio das técnicas de aprendizagem inerentes ao conceito de agentes de interface (LACHI, 2003). O tratamento de intenção em Chatterbots proposto por Neves tem o objetivo de melhorar o desempenho de chatterbots em diálogos livres com os interlocutores (NEVES, 2005). O processo de Interpretação de mensagens ocorre em três níveis. O primeiro se refere ao tratamento sintático, que consiste essencialmente de relações estruturais da mensagem. O segundo se refere ao tratamento semântico, que consiste nas relações entre as mensagens e os objetos. Por fim, o terceiro se refere ao tratamento pragmático, que consiste nas relações entre as mensagens e os sujeitos. O trabalho foi baseado na teoria da análise da conversação (TAC) (MARCUSCHI, 1986). Essa teoria propõe o tratamento do contexto global de um diálogo para evitar problemas de mudanças de turnos (abertura, desenvolvimento e fechamento) sem observar a estrutura global do diálogo.

31 30 Dentre os diversos Chatterbots pesquisados, com exceção da ferramenta AutoChatter, que tem o objetivo de auxiliar a aprendizagem através da construção do conhecimento do chatterbot pelos alunos e o do chatterbot denominado Chapa, que tem o objetivo de auxiliar o acompanhamento do desempenho do aluno, foi possível constatar que, independente da tecnologia utilizada, a deficiência dos chatterbots está na modelagem da base de conhecimento. Técnicas sofisticadas não são garantia de um bom bate-papo. Toda vez que surgirem perguntas especificas sobre um determinado domínio do conhecimento, o Chatterbot vai falhar ou fugir do assunto. Através da interação com chatterbots disponíveis na Internet e da troca de informações com pesquisadores da área, tem-se observado que, quando um chatterbot não é capaz de responder a maioria das perguntas elaboradas, os usuários se sentem desmotivados e desistem da interação. Um chatterbot desenvolvido com o objetivo de auxiliar o processo de recuperação de informação na Internet ou em ambientes de aprendizagem precisa atender um nível mínimo das expectativas para não causar o desinteresse na utilização desse recurso.

32 31 FUNDAMENTOS DE RECUPERAÇÃO DE INFORMAÇÃO Há aproximadamente 4000 anos o homem já organizava e armazenava informações para uso futuro. Com a evolução das técnicas de registro do conhecimento, surgiu a escrita, que possibilitou a ampliação das formas de registro e recuperação de informação. Com o surgimento da imprensa e crescimento pela busca de informação, gerada pela revolução industrial, ocorreu uma grande expansão e evolução nas formas de registro do conhecimento. Em seguida, a palavra Informação ficou popularmente conhecida (BAEZA-YATES, 1999) (FERNEDA, 2003). Na década de 60 surgiu o conceito de Ciência da Informação como o resultado das conferências do Georgia Institute of technology. Ciência da Informação foi definida como a ciência que investiga as propriedades e o comportamento da informação, as formas que regem o fluxo da informação e os meios de processamento da informação para uma acessibilidade e usabilidade ótimas. Com a evolução e o crescimento do volume de informações armazenadas, os objetos rudimentares que as armazenavam foram aos poucos substituídos por estruturas de dados capazes de armazenar e recuperar informação rapidamente. Uma dessas estruturas populares criadas com o objetivo de recuperar informação com rapidez através de determinadas palavras e conceitos foi o índice. O índice é um elemento importante que está presente nas pesquisas atuais da área de recuperação de informação. O surgimento dos computadores digitais contribuiu expressivamente no processo evolutivo da Ciência da Informação. Os primeiros resultados no tratamento computacional da informação foram a indexação automática e a elaboração automática de resumos. Nessa mesma época surgiu o termo Information Retrieval ou Recuperação de informação (RI) que definiu a recuperação de informação como a área que trata dos aspectos intelectuais da descrição da informação e sua especificação para a busca, e também de qualquer sistema, técnicas ou máquinas que são empregadas para realizar esta operação. A recuperação de informação automática através de algum método computacional pode ser considerada como uma evolução tecnológica da Ciência da informação através dos recursos da Ciência da Computação. Nos últimos 20 anos a área de RI cresceu além dos objetivos básicos de indexação de textos e busca de documentos em uma coleção. Atualmente as pesquisas em RI incluem

33 32 modelagem, classificação e categorização de documentos, interface de usuário, visualização de dados, filtragem, linguagens e etc. O surgimento da World Wide Web (Web), no início dos anos 90, ocasionou mudanças de larga envergadura no direcionamento das pesquisas nessa área. A Web se tornou um gigantesco repositório de conhecimento humano, que está possibilitando o compartilhamento de conhecimento em uma escala jamais observada anteriormente. Esse avanço também ocasionou o surgimento de novos problemas. Achar informação útil na Web se tornou uma tarefa difícil. O maior obstáculo na busca de informações na Web é a falta de um modelo de dados bem definido e estruturado. Essas dificuldades renovaram os interesses dos pesquisadores da área. Atualmente as pesquisas na área de RI envolvem a integração de várias áreas relacionadas. As pesquisas englobam recuperação de textos, sistemas de bibliotecas, recuperação de dados multimídia e bibliotecas digitais. 3.1 MODELOS CLÁSSICOS DE RECUPERAÇÃO DE INFORMAÇÃO Os modelos clássicos de recuperação de informação são: O modelo booleano, o vetorial e o probabilístico. No modelo booleano, documentos e consultas são representados por um conjunto de termos de indexação para indexar e recuperar documentos. Esses termos, também conhecidos como keywords 13 podem estar presentes ou ausentes em um determinado documento. No modelo vetorial, documentos e consultas são representados por vetores no espaço euclidiano de t-dimensões. No modelo probabilístico, documentos e consultas são representados pelas teorias da probabilidade. Com o passar dos anos surgiram outros modelos baseados nos modelos clássicos. As pesquisas baseadas no modelo vetorial se destacam devido à simplicidade, velocidade e facilidade de computação do fator de similaridade entre termos e documentos. 3.2 MODELO VETORIAL No modelo vetorial, os documentos e consultas são representados por vetores no espaço euclidiano. Cada elemento do vetor de termos é considerado uma coordenada dimensional, na qual t é o número de termos e W é o peso que representa a posição do termo em cada dimensão do espaço euclidiano.