UM MODELO ALGÉBRICO PARA REPRESENTAÇÃO, INDEXAÇÃO E CLASSIFICAÇÃO AUTOMÁTICA DE DOCUMENTOS DIGITAIS *

Transcrição

1 UM MODELO ALGÉBRICO PARA REPRESENTAÇÃO, INDEXAÇÃO E CLASSIFICAÇÃO AUTOMÁTICA DE DOCUMENTOS DIGITAIS * Elias Oliveira Patrick Marques Ciarelli Marcos Hercules Santos Bruno Oliveira da Costa Resumo Apresenta-se idéia da representação, indexação e classificação automática de documentos digitais. A representação de documentos via o modelo vetorial é simples e permite-nos lidar com classificação de uma grande quantidade de documentos os quais estão sendo carregados diariamente nas quase 35 bibliotecas digitais de tese e dissertação no Brasil. A expectativa é de termos outras 20 bibliotecas a mais na lista para o fim deste ano. Comparou-se a metodologia de classificação automática descrita nesse artigo, usando uma amostra de documentos reais, com aquela feita pelo especialista humano. Os resultados mostram que esta metodologia é promissora em se reduzir o esforço dos especialistas na realização dessa tarefa. Palavras-chave: Indexação automática. Classificação automática. Inteligência Artificial. Modelos Estatísticos. AN ALGEBRAIC MODEL OF REPRESENTATION, INDEXATION AND AUTOMATIC CLASSIFICATION OF DIGITAL DOCUMENTS Abstract In this paper we introduce the idea of representing, indexing and automatically classifying digital documents. The vectorial model of representing documents is simple and allows us to deal with the classification of a great amount of digital documents which were loaded daily in almost 35 Brazilian Digital Library of Thesis and Dissertation. We expect to have another 20 libraries by the end of this year. Using a sample of real documents, we compare this methodology of classification to that done by specialists. The results show that this methodology is promising in reducing the effort of specialists when performing such task. KEYWORDS: Automatic Indexation. Automatic classification. Artificial Intelligence. Statistical models. Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

2 1 INTRODUÇÃO O volume de informação codificada disponível ao público, de maneira geral, vem crescendo vertiginosamente desde a iniciativa da imprensa de Gutemberg em 1455 (CHARTIER, 1998). Hoje, o fato de ter maior acesso a diversas informações via a rede Internet e a facilidade de publicar o que quiser nessa rede, vem inundando-nos de informação de uma forma jamais vista na história da humanidade (TEIXEIRA; SCHIEL, 1997). Por outro lado, o excedente informacional produzido nesses últimos anos, em particular, na Internet, trouxe junto consigo uma nova dificuldade aos usuários da informação eletrônica (MARCONDES; SAYÃO, 2002). Em conseqüência disso, vemos que cada vez mais se torna crítico o problema de identificação da informação relevante para um usuárioalvo. Isso nos leva ao caos organizacional, provocado por essa enxurrada de documentos disponíveis na rede e, ainda, pela falta de ferramental apropriado para o tratamento dessa informação. Essa carência evidencia-se nos atuais sistemas de busca, que ainda produzem uma alta revocação e apresentam baixa precisão na informação recuperada. A despeito de recentes esforços (CAMPOS et al., 2006), a Internet ainda não está organizada de forma a ser semanticamente tratável. Portanto, não há como se ter, já, uma estruturação da informação ali armazenada, dificultando, assim, o seu tratamento, para uma recuperação mais precisa. Nesse contexto, apresenta-se um dos grandes desafios aos profissionais da informação de hoje (CUNHA, 2005): lidar de forma produtiva com a informação dispersa na Internet. Não temos como ignorar esse grande repositório de informação que é a Internet, mas não podemos deixar somente por conta do usuário o árduo trabalho equivalente ao de garimpar pedras preciosas, por ele almejadas, nesse moderno repositório digital. Mesmo nessa nova estrutura do mundo moderno, devemos nos preocupar em fornecer a cada livro seu leitor, como nos diz a terceira lei fundamental de Ranganathan (1996), ou, reformulando essa lei para os novos meios eletrônicos, a cada porção de informação o seu consumidor. Com vistas à resolução dessa estruturação semântica dos repositórios eletrônicos de informação, para posteriormente facilitar sua recuperação, alguns autores vêm propondo a utilização de metadados. Um dos grandes problemas relacionados a essa metodologia está na escolha do momento da inserção dessa estruturação semântica nos documentos eletrônicos. Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

3 Alvarenga (2001) aponta a dificuldade que seria exigir que o usuário mude seu modus operandus de criar documentos, tendo de inserir a priori mais informações do que o próprio texto que ele cria. Por outro lado, concordamos com a autora que o tratamento a posteriori ao processo de produção do documento tem baixas chances de sucesso, em virtude da grande quantidade de documentos gerados a cada segundo. Na verdade, a metodologia do tratamento a posteriori é uma prática que vem sendo utilizada pelos profissionais de bibliotecas há mais de um século para a descrição e interpretação dos dados bibliográficos. Nos dias de hoje, temos presenciado a dificuldade que tem sido dar conta dessa atividade dentro de uma biblioteca de tamanho médio para grande, dado o grande volume de materiais informacionais que aportam a cada momento na biblioteca. Assim, este artigo trata da apresentação de uma metodologia que vem sendo utilizada para lidar automaticamente com uma grande massa de documentos no que diz respeito a sua indexação (BRIN; PAGE, 1998), utilizando-se da extração dos termos relevantes do documento. A partir dessa metodologia, utilizaremos um modelo vetorial de representação dos documentos, para avaliar similaridades entre os mesmos. Com isso produziremos classes de documentos segundo seus enfoques temáticos. Compararemos esses resultados, produzidos de forma automática, com aqueles gerados pelo especialista humano, para avaliar a eficácia e eficiência dessa metodologia automática. Este artigo está organizado da seguinte forma: na Seção 2, apresentamos de brevemente, as tecnologias recentes, relacionadas à criação de metadados, para, logo após, descrevermos um dos mais modernos tipos de repositórios de informações existentes hoje, os RSSs, onde as letras da sigla significam Rich Site Summary. A estrutura de metadados desse tipo de repositório é gerada a priori, o que facilitará os estudos feitos neste artigo. Na Seção 3, fazemos uma breve revisão da literatura relacionada com o trabalho desenvolvido aqui, além de apresentarmos alguns modelos para representação abstrata de documentos para manipulação automática. Nossos experimentos são apresentados na Seção 4. Nossa conclusão é apresentada na Seção 5, onde também lançamos algumas idéias para futuros trabalhos. Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

4 2 APLICAÇÕES DE METADADOS A utilização de metadados tem por objetivo facilitar a representação, consulta, transferência e recuperação da informação, mas seu uso tornou-se efetivamente prático pela primeira vez quando a Biblioteca do Congresso Norte-Americano desenvolveu o formato MARC na década de 60, com o propósito de explorar a utilização do computador para o intercâmbio de dados catalográficos (ANDRESEN, 2004). A partir do MARC, vários outros padrões de metadados foram desenvolvidos, por exemplo, o IAFA templates, Text Encoding Initiative (TEI), Encode Archival Descriptor (EAD) e outros novos que vêm sendo propostos (ALVARENGA, 2001). Metadado até então cumpria um papel estático no processo de recuperação da informação, pois, mesmo com o advento da Internet, o seu uso era tipicamente no ambiente das bibliotecas e entre bibliotecas. Com o recente surgimento da linguagem XML, essa característica estática do uso de metadados está prestes a ser deixada no passado. A linguagem XML é uma linguagem proposta para simplificar a complexidade de uma outra linguagem, a SGML, assim como para suprir as frustrações em relação à linguagem HTML, própria para formatação de documentos. As regras para se criar tags, atributos e estruturação de dados existentes no núcleo da linguagem XML, definida pela W3C, juntamente com outras tecnologias a ela associadas, tais como XSLT, XPath e etc (MANGANO, 2002), confere a esse padrão um certo poder de intercâmbio e modelagem da informação independente da plataforma tecnológica. A partir da XML, foi possível concretizar grandes projetos de compartilhamento e cooperação de informação com segurança e menos esforços. Exemplos como o Project Management Extensible Markup Language ( que estabelece a criação de um padrão único para acesso e troca de informações pertinentes a tarefas, condições e recursos a serem envolvidos nos portfólios de projetos a serem desenvolvidos pelas indústrias. No Brasil, temos a consolidação da Plataforma Lattes do CNPq (PACHECO; KERN, 2001a, 2001b) como um dos mais importantes conjuntos de base de dados do mundo em produção científica em virtude da adoção da linguagem XML para solução de problemas complexos. Um outro exemplo é a proposta apresentada por Santos et al. (2005a) para diminuir o esforço operacional e auxiliar nos processos de gestão de Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

5 bibliotecas, onde metadados, descritos via XML, são utilizados como uma ferramenta para apoio na tomada de decisão na área de desenvolvimento de coleções em bibliotecas universitárias. A seguir, daremos um enfoque especial a um recente recurso existente na Internet, o qual promete revolucionar a forma de se disponibilizar documentos de hoje em diante, sem dúvida uma ponta da Web Semântica. 2.1 RSS: Repositórios de documentos Esta é mais uma tecnologia que se torna disponível para a disseminação seletiva da informação em meio eletrônico. O RSS, nada mais é que um protocolo que usa XML. Dessa forma, podemos vê-lo como uma mera forma de descrição textual de documentos, a qual possibilita descrever conteúdos sumarizados dos mesmos. Todavia, por ser um protocolo, o RSS vai além de uma simples descrição de documentos (HAMMERSLEY, 2005). Talvez possamos entendê-lo como um método de disponibilização e, também, distribuição de links de conteúdos para um determinado segmento de usuários de informação. Funciona, portanto, como uma espécie altamente eficiente de filtro da informação demandada pelo usuário. Isso nos lembra a quarta Lei de Ranganathan: poupe o tempo do leitor (RANGANATHAN, 1996). A estrutura de descrição de um item em um RSS segue um conceito simples de apresentação do metadados do documento e da disponibilização da URL para acesso ao conteúdo completo do documento. Tomemos como exemplo de um item de informação a descrição na QuadroQuadro 1. <item> <disciplina> Recuperação Inteligente da Informação <link> </link> <descricao>esta disciplina tem por objetivo estudar técnicas modernas de recuperação da informação em meio eletrônico.</descricao> </disciplina> </item> Quadro 1- Exemplo de um item de RSS. Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

6 A tag inicia o nódulo de informação e termina esse nódulo. Logo a seguir, com, se inicia a apresentação de uma disciplina. Entre as tags e é feita uma breve descrição dessa disciplina e, entre e, é apontado um hiperdocumento onde encontraremos efetivamente maiores informações sobre essa disciplina, tais como ementa, bibliografia e etc. Como pode se perceber, as tags da linguagem XML se assemelham em estrutura as da linguagem HTML. A diferença é que na XML o usuário é quem as cria e dá significado a elas. 3 TRATAMENTO DE DOCUMENTOS DIGITAIS Muitas iniciativas têm surgido nos últimos anos no sentido de disponibilizar uma larga quantidade de materiais bibliográficos. Mais recentemente tivemos, também, iniciativa como a Google Book Search ( com o projeto de digitalizar o acervo de várias bibliotecas de universidades norte-americanas, incluindo algumas no Brasil. Indo em sentido semelhante, já há algum tempo, importantes editores de revistas científicas vêm disponibilizando seus acervos em meio digital. À parte esses projetos milionários, podemos constatar o crescente número de bibliotecas digitais de dissertações e teses que estão sendo implantadas recentemente (CUNHA; MCCARTHY, 2006) no Brasil. Entretanto, para realmente tirarmos proveito desse imenso acervo digital que está sendo formado aqui e no mundo, será necessário que processemos, de forma mais inteligente (POLTRONIERI; OLIVEIRA, 2005) as muitas páginas de esforço intelectual que estão sendo disponibilizadas e, também, muitas outras que estão a caminho. O processo manual de organização documental pode ser feito por profissionais da informação, como bibliotecários, ou por especialistas da área de conhecimento do corpus (FUJITA, 2003). Entretanto, esse processo é lento e requer a presença constante de um especialista, nem sempre disponível. Como fator-limite, Packer (1998) aponta o tempo gasto para a extração de elementos da estrutura de um documento para a construção dos metadados na publicação de uma revista eletrônica. Além disso, mesmo utilizando uma equipe de profissionais qualificados e uma política de indexação consistente, para a organização documental, a subjetividade desse Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

7 processo pode levar a situações em que um mesmo documento poderá ser representado de diferentes formas (FERNEDA; PINHEIRO, 2005). Em conseqüência desse inconveniente, usar uma metodologia automatizada pode auxiliar o profissional da informação a realizar o tratamento técnico documental trazendo, dessa forma, várias vantagens, por exemplo poupar do indexador o trabalho de realizar uma leitura exaustiva dos documentos para a escolha de seus descritores (DZIEKANIAK; KIRINUS, 2004). Diante disso, precisamos repensar o fazer tradicional de organização bibliográfico, para que possamos dar conta de acompanhar o crescimento dessa massa documental. Talvez por conta da história de formação da área de Ciência da Informação no Brasil e, em particular, a Biblioteconomia, as discussões sobre o uso das não tão novas tecnologias têm sido ainda muito tímidas. Os autores têm-se limitado a apenas mencionar e, conseqüentemente, pouca pesquisa tem, de fato, sido feita sobre o assunto. Nas próximas seções, introduziremos o assunto do tratamento automático de texto. Para isso, começaremos com o processo de indexação. Os modelos que iremos apresentar ainda estão longe de reproduzir o especialista humano quando fazendo a mesma tarefa, porém, o que desejamos é alcançar um resultado com qualidade aceitável em um tempo bem inferior àquele despendido quando um humano realiza a mesma tarefa. 3.1 Indexação automática A indexação é uma etapa importante do tratamento técnico documental para facilitar a recuperação da informação (PIEDADE, 1977). Essa etapa consiste em extrair termo(s) de um documento que melhor representem seu conteúdo. Há décadas os profissionais da informação vêm desempenhando essa atividade. Porém, com a explosão do número de documentos, surge a necessidade de utilizar métodos mais automatizados para a indexação (LANCASTER, 2003). Soma-se ao alto desempenho a redução da subjetividade nos processos manuais de indexação (MAMFRIM, 1991, p. 191). Indexação automática é, segundo Robredo, citado em (SILVA; FUJITA, 2004), qualquer procedimento que permita identificar e selecionar os termos que representem o conteúdo dos documentos, sem a intervenção direta do documentarista. Como no processo manual, os métodos automáticos de indexação consistem também em extrair os termos que se encontram em certa posição de um documento, por exemplo, no título ou no resumo (LANCASTER, 2003). Um outro método Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

8 alternativo de indexação consiste em se escolher os termos de indexação por meio da contagem de palavras que ocorram com uma determinada freqüência, em um documento como um todo. A indexação automática baseada na freqüência de termos surgiu na década de 50 (LANCASTER, 2003). Contudo, não são quaisquer palavras que servem como termo de indexação. O sistema automático utiliza-se de uma lista de palavras proibidas, as quais possuem pouco significado semântico. Tais palavras, portanto, não serão consideradas como termos de indexação. Às palavras relevantes para a indexação devemos encontrar pesos apropriados para distinguir umas das outras no contexto em estudo. Buscar os melhores pesos para tais termos não é uma tarefa trivial, entretanto, com ajuda de modelos matemáticos e técnicas de Inteligência Artificial poderemos obter bons resultados, como veremos a seguir. Na seção seguinte, iremos apresentar uma metodologia de representação algébrica de documentos. Nessa metodologia, os documentos são representados de forma vetorial, baseados na freqüência de ocorrência de seus termos. Como conseqüência dessa representação, seremos capazes de lidar com uma base de dados de documentos com instrumentos vindos da Matemática e Estatística. 3.2 Alguns modelos de Representação de documentos Em razão da massa documental existente no mundo contemporâneo, urge utilizarmos alguma forma abstrata para representação desses documentos (BRIN; PAGE, 1998) para, então, eles serem tratados. A literatura (BAEZA-YATES; RIBIERO-NETO, 1998) é rica em modelos de representação de documentos textuais. Entre muitos outros, podemos citar as Redes Neurais Artificiais (HAYKIN, 1998), os processos estatísticos Bayesianos (PEARL, 1988), a técnica Latent Semantic Indexing (LSI) (BERRY, 2003; BERRY et al., 1995), entre outras (SEBASTIANI, 2002, DHILLON; SVINGEN, 1998; MOONEY, 1996). A maioria dos métodos utilizados, em particular, o escolhido para os experimentos nesta pesquisa, fazem uso da comparação lexical entre as palavras existentes no índice dos textos, para a realização do processo de classificação dos documentos. Isso acontece por ainda serem muito custosas, do ponto de vista computacional, técnicas como as de extração automática de ontologia formal e análise conceitual desses documentos, como as apontadas Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

9 por Alvarenga (2001), ou mesmo da extração dos sintagmas, como propõem outros autores (KURAMOTO, 2002). Neste trabalho, adotaremos o modelo vetorial de representação de documentos textuais. Escolhemos esse modelo pela simplicidade de implementação e por atender bem aos propósitos ilustrativos deste trabalho. Entretanto, queremos apontar que o método LSI, mencionado anteriormente, também baseado no modelo vetorial de representação dos documentos, traz vantagens sobre o modelo escolhido neste trabalho (BERRY et al., 1995; RAMIRO et al., 2005) Representação vetorial de documentos No modelo que adotamos neste trabalho, o vetorial, os documentos são representados por vetores no espaço (BAEZA-YATES; RIBIERO-NETO, 1998), onde representa o número de termos-palavras nos documentos considerados. Cada documento é considerado, portanto, um vetor de termos. Formalizando o que foi dito, consideremos um conjunto de documentos, onde é um dos elementos desse conjunto. O documento será representado, portanto, por um vetor de pesos, sendo que é o número de todos os termos { } distintos que aparecem no documento. Os demais { }, associados aos pesos, são termos que aparecem em outros documentos. Portanto, { } são todos os termos do vetor do documento e a freqüência dos termos nesse vetor. Assim, podemos concluir que um termo (palavra no documento) pode aparecer em mais de um documento. Portanto, a cada termo será atribuído um peso. O peso que esse termo recebe leva em consideração dois aspectos: a quantidade de vezes que ele ocorre no próprio documento e a quantidade de vezes que ele aparece em outros documentos analisados. Através disso, ponderamos a importância desse termo no conjunto de documentos onde ele aparece. Uma das propostas de ponderação dessa importância apresentada na literatura (BAEZA-YATES; RIBIERO-NETO, 1998) é dada pela função Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

10 onde, inverse document frequency, é o valor dessa ponderação para o termo, é o total de documentos no conjunto e, o número de documentos em que o termo aparece. Assim, queremos tornar sensível o fato de que, se um termo aparece em todos os documentos, esta função assumirá valor próximo a zero. Tabela 1 - Representação vetorial de um documento Índice Peso Termo 1 3 campeonato 2 1 brasileiro 3 1 próximo 4 1 fim 5 1 foi 6 1 prejudicado 7 1 desorganização 8 2 times 9 1 famosos 10 1 poderão 11 1 rebaixados 12 1 entrando 13 1 justiça 14 1 pedir 15 1 anulação Fonte: Crédito dos pesquisadores Para dar uma ilustração do que acabamos de formalizar, vejamos um exemplo dos procedimentos de construção do vetor representativo do documento dado a seguir. Considere que tenhamos a seguinte notícia na área de esporte: : O campeonato brasileiro está próximo ao fim. Tal campeonato foi muito prejudicado pela desorganização e times famosos poderão ser rebaixados. Alguns times estão entrando na Justiça para pedir a anulação do campeonato. Primeiramente devemos excluir as palavras sem muito significado: os artigos e preposições, por exemplo são as stopwords (BAEZA-YATES; RIBIERO-NETO, 1998). Ficaremos com a lista de palavras apresentada na Tabela 1 quando analisarmos o documento. Para facilitar o entendimento, nesse exemplo, consideraremos a influência dos Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

11 para todos os pesos dos termos. Outra estratégia que estaremos adotando neste trabalho será, utilizar, na representação vetorial do documento, apenas as palavras que tiverem peso maior que 50% do termo de maior peso. No caso da Tabela 1, o termo de maior peso é a palavra campeonato, com peso 3. Assim, somente utilizaremos as palavras com peso igual ou superior a. Com isso, ficamos somente com campeonato e times para a representação vetorial desse documento. Agora, considere outros dois documentos que, depois do procedimento que acabamos de descrever, teriam os seguintes termos representativos: 1. : peso 5 para o termo campeonato, 4 para brasileiro e 3 para times; 2. : peso 2 para o termo campeonato, 3 para brasileiro e 1 para times; Através desse exemplo ilustrativo e sua representação, é possível, agora, visualizar os três documentos de forma gráfica. Na forma gráfica, podemos ver a relação de distância que existe entre os documentos quando olhamos o ângulo que um vetor tem com o outro. Esse conceito de distância será muito utilizado mais adiante. Figura 1 - Representação gráfica de três documentos de acordo com o modelo vetorial Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

12 Na Figura 1, apresentamos a representação vetorial, de forma gráfica, de três documentos ilustrativos dessa metodologia. Os eixos campeonato, brasileiro e times representam os pesos dos termos que aparecem nos documentos e, representados em vermelho, azul e cinza, respectivamente. No gráfico, o peso dado ao termo no documento foi 5, enquanto em foi 2, o que significa que esse termo tem uma importância maior para o segundo documento. Notamos que o termo não ocorre em, por isso, está com valor nulo na segunda posição do vetor representativo do documento. Essa forma de representar um documento nos mostra que enquanto nós, seres humanos, pensamos, as máquinas fazem contas. Portanto, o que está por trás de um modelo como esse é o fato de transformar o processo de indexação e classificação em um processo de contagem, para que o computador possa nos auxiliar a tratar grandes volumes de documentos. Dessa forma, consideraremos a pequena base ilustrativa de documentos. O que queremos agora é saber, precisamente, quão similar é um documento ao outro. O que desejamos é calcular o valor de entre quaisquer dois documentos da base. Uma vez que temos a representação vetorial dos documentos da base, como apresentado na Figura 2, a conta que agora devemos fazer é a seguinte (BAEZA-YATES; RIBIERO-NETO, 1998): (1) (2) onde é o módulo do vetor. é o cosseno do ângulo entre os vetores que representam os dois documentos e. O valor do cosseno de um ângulo varia em um intervalo de a. Esse fato nos dará uma interpretação de distância entre os documentos, onde significará o mais alto grau de dissimilaridade e, completa Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

13 similaridade. Já o valor indica o peso referente ao termo no documento, como descrito anteriormente. Vamos exemplificar utilizando os três documentos ilustrativos. Para os documentos e, a conta é a seguinte: As contas realizadas indicam-nos que os documentos e têm o mais alto grau de similaridade entre os três documentos: Note que, intuitivamente, podemos visualizar esse resultado no gráfico da Figura 2. Esse exemplo foi criado de forma a ilustrar as partes importantes do modelo que estamos abordando, por isso escolhemos situações em que apenas três termos foram utilizados. Na próxima seção, trabalharemos com documentos de mais de 600 termos, o que não nos permitirá representá-los graficamente. 4 SUBMETENDO À PROVA O MODELO APRESENTADO Esta seção está dividida em duas partes. Na primeira, Seção 4.1, mostrou-se como o modelo escolhido nesse trabalho pode ser ajustado à medida que os documentos forem sendo corretamente classificados. A expressão corretamente classificados se refere ao que o(s) especialista(s), ou grupo social local de indivíduos, definem como sendo similaridade, ou diferenciação, entre documentos que servirão de parâmetro para o modelo. É com base nessa escolha inicial que nosso modelo fará as futuras escolhas, agora, sim, de forma automática. Na Seção Representação vetorial de documentos, fazemos a validação do modelo, introduzindo novos documentos para serem testados de acordo com o modelo de classificação automática. Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

14 4.1 Calibrando o modelo Os experimentos realizados neste trabalho tiveram como objetivo principal a exemplificação das metodologias algébricas de representação e de indexação automáticas de documentos textuais, como mais uma ferramenta para o profissional da informação. Além disso, nosso objetivo secundário vai no sentido de mostrar que este conjunto de técnicas pode ser utilizado para classificar documentos de forma automática (ou semi-automática em certas circunstâncias em que a máquina não conseguir ter certeza) e, em conseqüência disso, muito mais rápido do que faria um ser humano. Entendemos que, em muitas situações do dia-a-dia, a máquina não será capaz de superar o especialista humano. Porém, também entendemos que o especialista está muitas vezes assoberbado com pequenas tarefas que, nos dias de hoje, a máquina poderia realizar mais rápido e com um bom nível de qualidade. Advogamos que agrupamento de documentos textuais, de interesse de um usuário particular, ou mesmo para outros fins (SANTOS et al., 2005b), seja uma dessas atividades. Utilizamos o repositório de notícias RSS do UOL para realização de nossos experimentos. A escolha desse repositório, assim como outros similares, deveu-se ao fato de caracterizar-se como uma boa fonte de documentos publicamente disponíveis e já classificados por especialistas humanos. Dessa forma, será possível comparar os resultados da classificação de documentos produzidos em nossos experimentos com os existentes no repositório. Desse repositório, extraímos, manualmente e ao acaso, cinco documentos de notícias sobre cada um dos seguintes assuntos: economia (eco), esporte (esp), e cinema (cin). Como os textos, por vezes, são longos, apenas indicamos aqui os hiperlinks onde eles poderão ser encontrados. 1. Na área de economia: 2. Na área de esportes: eco1: eco2: eco3: eco4: eco5: esp1: esp2: wt= uolnot&p=bndpzc0zodk5mdqtbm51bs0g esp3: esp4: Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

15 3. Na área de cinema: esp5: cin1: cin2: cin3: cin4: cin5: Quadro 2 Hiperlinks Fonte: Créditos dos pesquisadores Os algoritmos para extração dos termos de indexação dos documentos foram todos implementados na linguagem Java (NEWMAN et al., 1996). Para a indexação desconsideramos as palavras sem muito significado, ou seja, as stopwords (BAEZA-YATES; RIBIERO-NETO, 1998). Os índices, para cada um dos documentos, são os termos relevantes extraídos do próprio documento. Esses índices, em um sistema de recuperação de informação, funcionariam como chaves de entrada para recuperação de tais documentos (LANCASTER, 2003). Como estamos interessados no agrupamento de documentos semelhantes, fomos além de simplesmente prover mecanismos de resgate dos documentos armazenados. Após a indexação dos documentos, geramos, para cada uma das áreas acima, um documento artificial contendo somente os termos cuja freqüência seja de pelo menos 50% da freqüência do termo que mais ocorre no documento. Cada um desses documentos artificiais é dinâmico, ou seja, sempre que um novo documento vier a ser agrupado em uma dada classe, seus termos serão considerados para, possivelmente, compor a lista de termos já existente no documento artificial daquela classe. Dessa forma, buscamos acompanhar a linguagem correntemente utilizada em cada área, naquele tempo, uma vez que consideramos a linguagem como um sistema vivo e, portanto, dinâmico. A idéia por trás da criação destes documentos artificiais veio de uma técnica muito conhecida na Estatística como Análise Discriminante de dados Johnson e Wichern. Ou seja, estamos dizendo que os termos existentes em cada um destes documentos artificiais são termos que discriminam, ou separam, os documentos da classe relacionada ao documento de outras. Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

16 No modelo que adotamos neste trabalho, o vetorial, os documentos são representados por vetores, como descrito na Seção Para sabermos quão similar um documento será ao documento discriminante, utilizaremos um procedimento que consiste no cálculo do produto vetorial entre dois vetores (CALLIOLI et al., 1994) (veja Equações (1) e (2), na Seção 3.2.1). Com essa metodologia, transformamos o procedimento de análise de documentos em um procedimento de cálculo. Portanto, o espaço de busca por documentos similares se torna um subespaço do. Estaremos interessados em encontrar vetores que mais se assemelhem a um dado vetor, que no nosso experimento será o vetor representativo da classe, o documento discriminante. Tabela 2 - Cálculo de similaridade entre os documentos analisados e os das classes Parte I Classes de Documentos cinema economia esporte cin cin cin cin cin eco eco eco eco eco esp esp esp esp esp Fonte: Crédito dos pesquisadores Os resultados obtidos com esses experimentos estão apresentados na Tabela 2, na qual, as colunas cinema, economia e esporte representam os documentos discriminantes citados anteriormente. As linhas da tabela representam os documentos utilizados para este experimento. Assim, podemos ver que os documentos se agrupam com mais alto grau de similaridade em torno dos documentos discriminantes de suas respectivas classes. Por outro lado, o grau de similaridade desse documento com respeito às outras classes é bem mais baixo, quando não é nulo. Por exemplo, o documento cin5 tem uma similaridade de com o documento cinema, por outro lado, tem uma similaridade de com a classe de Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

17 economia, bem baixa, como podemos ver. Um outro exemplo é o documento eco2, que tem uma similaridade de com o documento discriminante de economia, e zero com as demais classes. Em dados não apresentados na Tabela 2, pudemos constatar que o documento eco4 obteve uma alta similaridade com eco1, 0.418, maior do que o valor apresentado em relação ao documento discriminante de economia. O que pudemos perceber analisando os dois documentos é que eco1 e eco4 falam sobre o mesmo assunto: bolsa de valores. Um outro exemplo curioso foi o documento esp2. Esse documento apresenta similaridade zero em relação a todos os outros documentos utilizados como exemplos, inclusive, alguns da classe de esporte. Em nosso entendimento, isso foi possível dada a grande variedade de esportes e modalidades dos mesmos. Portanto, ao analisar a notícia existente neste documento, esp2, descobrimos que o assunto se tratava de handebol, enquanto os documentos esp1, esp4 e esp5 relatam futebol e esp3, motovelocidade. Porém, isso não nos trouxe nenhuma dificuldade em classificá-lo corretamente como sendo de esporte, com um alto grau de similaridade de como mostra a Tabela 2. Para considerarmos um documento como pertencente a uma determinada classe, adotamos um ponto de corte pc. Dessa forma, bastará calcularmos a similaridade do novo documento em relação aos documentos discriminantes. Se a similaridade desse documento for menor que pc, significará que ele pode, ou não, pertencer à classe do documento discriminante. Se esse dado documento estiver abaixo do valor de pc de todas as outras classes, pode-se adotar a alternativa de se deixar a cargo do especialista humano a decisão de escolher em que classe esse documento melhor se enquadraria. O valor pc é calculado através do procedimento descrito a seguir. Considere a média, onde representa a classe sendo avaliada: similaridade dos documentos corretamente classificados em uma classe. Por exemplo, no caso apresentado na Tabela 2, nós temos cinco documentos corretamente classificados em economia. A média de similaridades desses documentos é, portanto, calculada da seguinte forma: Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

18 Agora, temos que adotar um limite inferior de similaridade que representará nosso ponto de corte pc. Para isso, calculamos o desvio padrão usando a fórmula: Finalmente, o ponto de corte é calculado da seguinte forma: Para o exemplo apresentado na Tabela 2, a Tabela 3 mostra os respectivos valores de ponto de corte para cada uma das classes. Tabela 3 - Cálculo dos valores de ponto de corte para cada uma das classes consideradas no experimento Ponto de Corte para as Classes cinema economia esporte pc: Fonte: Crédito dos pesquisadores Note que esses pontos de corte conseguem decidir que cin2, com similaridade com a classe de cinema, pertencem a essa classe, e não à classe de esporte, com uma similaridade de 0.039, já que o ponto de corte para esporte exigiria que o documento tivesse um grau de similaridade maior que Nesse sentido, é interessante notar que o documento esp5 estaria fora da classe de esporte, por ter um grau de similaridade de apenas com o documento discriminador da classe inferior, portanto, ao ponto de corte para essa classe. Esse é um caso em que o especialista humano deverá tomar a decisão de escolher em que classe esse documento melhor se enquadra. Todavia, o especialista humano tem agora uma pré-análise de acordo com a qual esse documento teria mais chances de pertencer à classe de esportes, e não às outras, com as quais não tem nenhuma aparente afinidade (Tabela 2). Nessa metodologia, quanto maior o número de documentos representativos de cada classe mais fácil será o processo decisório para os novos documentos. Isso se deve ao fato de que os documentos já classificados corretamente servirão de base, no tocante à Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

19 variabilidade de seus termos, para os cálculos feitos acima. Portanto, como já dissemos anteriormente, cada novo documento classificado em uma determinada classe ensina ao modelo novas lições, por meio da introdução de novos termos ao documento discriminante da classe. Para validar o processo que acabamos de descrever, na próxima seção, escolheremos outros três documentos para avaliar se a técnica apresentada consegue distinguilos em uma das três classes já apresentadas. 4.2 Classificando novos documentos Uma vez tendo gerado uma base de dados com documentos classificados corretamente, podemos, agora, utilizar o modelo/sistema para tentar classificar automaticamente outros documentos. Dessa forma, escolhemos outros três documentos, cada um se enquadrando em uma das três classes, para mostrar como se dá o processo como um todo. Os documentos escolhidos foram: cin6: eco6: esp6: Tabela 4 - Cálculo de similaridade entre os documentos analisados e os discriminantes das classes parte II. Classes de Documentos cinema economia esporte Cin Eco esp Fonte: Crédito dos pesquisadores O cálculo de similaridade foi suficiente para determinar a classe para dois dos três documentos selecionados. Os documentos nas áreas de economia e esportes, eco6 e esp6, respectivamente, têm seus valores de similaridades acima do ponto de corte determinado na tabela 3. Todavia, vemos que o modelo não foi capaz de identificar, com alto grau de Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun

20 precisão, as classes às quais eles pertencem. O documento cin6 tem um grau de similaridade de com a classe cinema, quando o ponto de corte para essa classe é de Esse é o momento em que, como já apontamos em outro caso anterior, a interferência humana se faz necessária. Mesmo quando não conseguimos com grande grau de certeza apontar uma classe para um determinado documento, o modelo que apresentamos aqui indicará com qual das classes tal documento terá maior afinidade. Assim, o especialista humano terá uma sugestão a mais para sua tomada de decisão. Quando esse especialista decidir colocar o documento cin6 associado à classe cinema, ele estará fazendo com que o modelo aprenda. Isso se dá pelo fato de que uma nova contagem deverá ser realizada com os termos existentes entre os documentos da classe e, em decorrência disso, o ponto de corte pc será alterado, dando assim, uma dinamicidade ao modelo. 5 CONCLUSÃO Assistimos a um crescimento vertiginoso de repositórios de informação no Brasil e também no mundo. O problema que surge daí é como recuperar de forma mais inteligente a informação necessária para o usuário/cliente. Os métodos tradicionais de tratamento da informação não são mais compatíveis com repositórios do tamanho da Internet. Portanto, para novos problemas, devemos buscar novas soluções. Esse artigo discute a representação abstrata de documentos. A representação vetorial escolhida nesse trabalho é tal que, permite-nos representar graficamente um documento, visualizando-o, em até três dimensões. Dessa representação, são extraídos os termos que servirão de índices para tais documentos. A representação dos documentos por meio de vetores permite-nos utilizar o cálculo do ângulo entre vetores, como medida de similaridade entre quaisquer dois documentos. Com isso, obtemos uma forma, automática, para agrupá-los em classes de semelhança. Para testar o modelo apresentado neste trabalho, escolhemos um conjunto de documentos já previamente classificado pelo especialista humano. Com isso, submetemos os documentos ao modelo de indexação e, posteriormente, a classificação. Os resultados mostraram que o modelo trouxe, de forma automática, a mesma classificação dada pelo especialista humano. Esses resultados apontam para possibilidade promissora de utilização Revista Brasileira de Biblioteconomia e Documentação, Nova Série, São Paulo, v.3, n.1, p.73-98, jan-jun