Criando um modelo para extração terminológica automática

Transcrição

1 UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL Instituto de Informática Departamento de Informática Aplicada INF Tópicos Especiais em Computação I - Mineração de Dados Professor: Paulo Martins Engel Criando um modelo para extração terminológica automática Carlos Eduardo Ramisch Daniel Emilio Beck Números: / Porto Alegre, 3 de julho de 2009

2 1 O Problema O Processamento de Linguagem Natural estuda o tratamento computacional dado à linguagem humana, ou seja, de que forma o computador interpreta informações expressas em português ou em inglês. Um dos problemas dessa área diz respeito à cobertura dos dicionários empregados pelos sistemas, os quais não contém entradas suficientes para cobrir, por exemplo, termos específicos às diversas áreas do conhecimento. Por isso mesmo, foram desenvolvidos métodos para o aprendizado automático de unidades lexicais a partir de corpora (conjuntos de textos) especializados e especificamente anotados para esse fim. Em lingüística tradicional, a contrapartida da aquisição lexical automática chama-se terminografia, e trata da construção manual de glossários e dicionários especializados. O problema abordado por esse trabalho tem por foco a classificação automática de seqüências de palavras, ou seja, de multi-palavras, em duas classes: termo multi-palavras (MWT) ou seqüência aleatória (NonMWT). Por exemplo, dadas as seqüências sistema operacional e sistema preferido, é desejado inferir de forma automática que a primeira é um termo específico em ciência da computação, cujo conceito representado é delimitado de forma não-ambígua, enquanto o segundo é apenas uma combinação randômica de um substantivo com um adjetivo. A metodologia empregada consiste em utilizar um conjunto de dados anotados por especialistas de determinada área do conhecimento para aprender modelos que permitam (a) prever a classe de uma nova instância, agilizando o trabalho de terminógrafos e terminólogos e (b) descrever (para melhor compreender) os fenômenos lingüísticos que permitem a uma combinação qualquer de palavras de receber o estatuto de termo. Para cada instância, um conjunto de atributos é calculado com base nas suas freqüências de ocorrência e de medidas que estimam a força da associação entre as suas palavras. Nesse trabalho, usar-se-á o termo candidato a termo e instância como sinônimos. Através da ferramenta de mineração e análise de dados WEKA, pretende-se avaliar um conjunto de algoritmos de aprendizado de máquina. A avaliação será realizada sobre uma parte específica para testes, separada do restante dos dados para esse fim. Para mensurá-la, será levada em conta a acurácia (precisão e cobertura por classe) dos classificadores ou dos agrupamentos aprendidos sobre os dados de treinamento. Os atributos usados não são lexicalizados, ou seja, as palavras que compõem uma instância não são levadas em conta, mas apenas as medidas de associação e o padrão de classes morfológicas seguido pelo candidato. Dessa forma, os modelos aprendidos tornam-se independentes da língua ou do domínio em questão, podendo ser aplicados a diversas configurações sem a necessidade de anotação adicional. Esse fato é uma grande vantagem visto que a anotação manual de candidatos é uma tarefa bastante onerosa e que seu reaproveitamento através de modelos suficientemente genéricos poderia diminuir ou eliminar esse custo. Dois tipos de aplicação são podem ser considerados para esses modelos: criação de dicionários e desenvolvimento de sistemas de PLN. O primeiro é um dos 1

3 objetivos dos profissionais em terminologia e, por se tratar de um trabalho dispendioso, poderia ter amplos benefícios através do ganho de tempo proporcionado pela identificação (semi-)automática de terminologias. O último é importante na adaptação de recursos lingüístico-computacionais para domínios específicos, por exemplo, para que um sistema de tradução automática tenha desempenho razoável sobre um conjunto de textos de direito ambiental, será necessário que o dicionário do sistema contenha entradas para um grande número de termos que descrevem as leis e os crimes do meio-ambiente. 2 Conjunto de dados Para o trabalho descrito, foi utilizado um corpus de domínio biomédico, o GE- NIA. Esse corpus é composto por resumos de artigos da área biomédica, onde os termos existentes foram anotados manualmente por especialistas. O trabalho consiste em extrair candidatos a termos, filtrá-los através de aprendizado de máquina e, então, avaliar os resultados através da comparação com o conjunto de termos anotados. Para isso, é construída uma base de dados utilizando o seguinte algoritmo: O corpus é rotulado, ou seja, cada palavra é associada à sua função morfossintática (substantivo, verbo, etc.). A lista de candidatos é criada, extraindo-se do corpus sequências de palavras que sigam determinados padrões morfossintáticos, como por exemplo seqüências de dois substantivos, substantivos seguidos de adjetivos, etc. Para cada candidato, obtêm-se sua frequência no corpus GENIA e na Web (utilizando o Yahoo). Medidas estatísticas são calculadas, utilizando a informação de frequência, conforme descrito abaixo. No trabalho, foram utilizadas as medidas prob, PMI, teste t e Dice; Constrói-se a base de dados, utlizando o padrão morfossintático, as medidas e a informação de classe (retirada da anotação manual) Para cada candidato w 1...w n e para cada corpus de tamanho N, a freqüência simples f (w 1...w n ) e as freqüências marginais f (w 1 )... f (w n ) são usadas para calcular as medidas abaixo: 2

4 prob = f (w 1...w n ) N f (w 1...w n ) PMI =log 2 N n 1 f /0 (w 1...w n ) t = f (w 1...w n ) N n 1 f /0 (w 1...w n ) f (w1...w n ) Dice = n f (w 1...w n ) n i=1 f (w i) (Estimativa de Máxima Verossimilhança) (Informação mútua pontual) (Teste t de Student) (Coeficiente de Dice) Em resumo, cada instância da base gerada corresponde a determinada seqüência de palavras e consiste em uma tupla contendo nove atributos preditivos e um atributo de classe. As palavras que compõem o candidato não são usadas como atributo de classificação para manter os modelos tão independentes de língua e de domínio quanto possível. Para fins de avaliação, separou-se candidatos para teste (correspondente aos últimos 100 resumos do corpus) enquanto o restante dos dados, ou seja, instâncias, foram usadas para treinar os modelos. A distribuição inicial é 37,15% de instâncias positivas no conjunto de treinamento e 24,16% de instâncias positivas no conjunto de teste. Os atributos usados, bem como seus tipos, são: Padrão POS - nominal Probabilidade (GENIA) - numérico PMI (GENIA) - numérico Teste T (GENIA) - numérico Dice (GENIA) - numérico Probabilidade (Web) - numérico PMI (Web) - numérico Teste T (Web) - numérico Dice (Web) - numérico ismwt - atributo nominal de avaliação, valores MWT ou NonMWT 3

5 3 Modelos baseados em classificação Para avaliar os diversos algoritmos de aprendizado testados, existem três dimensões possíveis. Primeiramente, gostaria-se que o desempenho geral do algoritmo fosse bom, ou seja, a quantidade de instâncias classificadas corretamente deve ser alta. Em segundo lugar, pode-se avaliar a acurácia dos algoritmos sobre cada classe. Aqui, no entanto, os dados não são balanceados de forma que os algoritmos, de maneira, geral, tendem a classificar os candidatos como NonMWT quando estão em dúvida, simplismente porque a probabilidade dessa classe é maior. Por isso, a segunda avaliação realizada leva em conta a acurácia apenas sobre a classe MWT, que é também aquela que mais interessa para as aplicações que venham a utilizar os modelos gerados. Finalmente, avalia-se o tempo gasto por cada um dos algoritmos para construir o modelo. 3.1 Algoritmos testados Os algoritmos usados podem ser divididos em dois sub-grupos: algoritmos simbólicos, baseados em regras de decisão, e algoritmos numéricos. Entre os primeiros, testou-se o aprendizado baseado em instâncias através do algoritmo dos K vizinhos mais próximos, chamado IBk no WEKA. Testou-se também um algoritmo de construção de árvore de decisão, o J48. Finalmente, o algoritmo JRip, que funciona por aprendizado de regras, foi testado, pois o algoritmo Prism não permite atributos numéricos. Dada a natureza essencialmente numérica dos atributos usados, testou-se um maior número de algoritmos numéricos com diversos parâmetros. Três deles pertencem à família do aprendizado Bayesiano, incluindo os algoritmos NaiveBayes e BayesNet. Com relação ao último, que constrói uma rede Bayesiana para modelar os dados e em seguida utiliza um algoritmo de busca heurística para maximizar a probabilidade das classes, variou-se a heurística de busca utilizada entre a árvore de cobertura mínima (spanning tree, chamada TAN no WEKA) e o algoritmo de busca por Simulated Annealing (SA). Diversos parâmetros foram tentados para o algoritmo de redes neurais de perceptron multicamadas (MLP). Primeiro, usou-se os parâmetros default do WEKA, que estabelece, entre outros, um número automático de neurônios na camada oculta. Depois, tentou-se um número fixo de neurônios na camada oculta (50) com uma taxa de treinamento menor (0.1) e um número maior de épocas de treinamento (1000). Por fim, a mesma configuração porém com 100 neurônios na camada oculta, foi tentada. Adicionalmente, avaliou-se um algoritmo simplificado de aprendizagem, chamado Voted Perceptron (VP). Finalmente, usou-se máquinas de vetor de suporte (SVM). O algoritmo de aprendizado para as máquinas de vetor de suporte realiza uma otimização escolhendo uma fronteira de decisão com distância máxima entre determinadas instâncias limítrofes, chamadas vetores de suporte. A forma da fronteira de decisão é um parâmetro do algoritmo, e corresponde a uma família de funções. Na avalia- 4

6 Algoritmo Instâncias corretas IBk 65.0% J % Jrip 74.9% NaiveBayes 26.1% BayesNet (busca SA) 76.5% BayesNet (busca TAN) 75.4% MLP h % MLP h % MLP default 75.6% Voted Perceptron 64.2% SVM (kernel polinomial) 63.2% SVM (kernel radial) 76.7% Tabela 1: Porcentagem de instâncias corretamente classificadas para cada algoritmo indica o desempenho global do mesmo. ção aqui realizada, usou-se dois tipos de funções de núcleo (kernel), polinomiais e radiais. 3.2 Avaliação global A tabela 3.2 mostra uma avaliação do desempenho de cada um dos algoritmos e parâmetros testados, medido através da proporção de instâncias classificadas corretamente. Apesar de a acurácia em uma das classes ser mais importante do que em outra, essa medida fornece uma idéia geral do desempenho dos algoritmos. No entanto, vale lembrar que a proporção inicial de candidatos da classe NonMWT é igual a 75,84%, portanto um algoritmo ignorante que classifique todas as instâncias com o mesmo rótulo de classe poderia ser considerado bom se apenas essa medida de avaliação fosse considerada. Os resultados mostram que, entre os métodos simbólicos, a árvore de decisão se sai melhor do que os demais algoritmos, superando em 10% o algoritmo IBk, que tem baixo desempenho. Esse resultado era esperado e ilustra uma das razões pelas quais os modelos de árvore de decisão são bastante populares em problemas de mineração de dados. No entanto, modelos numéricos são superiores à árvore de decisão, como se pode observar para ambos os tipos de rede Bayesiana. Apesar de o algoritmo Naive Bayes apresentar um desempenho baixíssimo, os algoritmos que realizam a busca na rede Bayesiana se saem bem, com destaque para a busca por Simulated Annealing. Os resultados dos testes para as redes neurais são bastante surpreendentes, pois ao que parece um número maior de neurônios na camada oculta pode gerar resultados piores, como se pode ver quando se compara as configurações h100 e h50. O 5

7 Algoritmo Precisão Cobertura F-measure Ibk 33.7% 46.4% 39.0% J % 19.7% 27.9% Jrip 46.1% 24.1% 31.7% NaiveBayes 23.3% 90.0% 37.1% BayesNet (busca SA) 52.4% 28.9% 37.2% BayesNet (busca TAN) 48.6% 32.1% 38.6% MLP h % 8.3% 13.2% MLP h % 4.9% 8.8% MLP default 27.3% 0.5% 1.0% Voted Perceptron 36.3% 63.8% 46.3% SVM (kernel polinomial) 34.9% 60.1% 44.1% SVM (kernel radial) 52.6% 35.4% 42.3% Tabela 2: que pode estar ocorrendo aí é um superaprendizado dos dados (overfit), de forma que o modelo aprendido generalize mal as observações pertencentes ao conjunto de treinamento. O algoritmo Voted Perceptron tem baixo desempenho com relação aos algoritmos mais simplificados, que realizam a propagação reversa dos pesos sobre a rede. Finalmente, o melhor desempenho global foi obtido com uma SVM de kernel radial, com desempenho ligeiramente superior ao algoritmo ignorante suposto acima. A máquina que utiliza fronteiras de decisão polinomiais se sai mal, com o segundo menor desempenho da tabela. No entanto, conforme esboçado anteriormente, é necessário encontrar uma maneira mais fina de avaliar os algoritmos, pois os dados desbalanceados fazem com que um algoritmo ignorante se saia tão bem, em número de instâncias classificadas corretamente, quanto um algoritmo sofisticado de aprendizado real. Um baixo desempenho global significa que o algoritmo é ruim, no entanto um alto desempenho global não é necessariamente ligado a um bom algoritmo. Dessa forma, exceto pelo algoritmo Naive Bayes, todos os algoritmos parecem aceitáveis. Por isso, a próxima seção explora a avaliação através da acurácia na classe minoritária, ou seja, os candidatos que realmente pertencem à classe dos MWT. 3.3 Acurácia da classe MWT O desempenho dos algoritmos de aprendizado de máquina é apresentada na tabela 2. Apenas a acurácia da classe MWT é mostrada, pois, como os dados não são balanceados, a classe NonMWT possui acurácia superior a 80% para todos os algoritmos. Os mesmos dados também foram plotados em forma de gráfico de barras na figura 1, em que a precisão e o recall possuem tons de cinza enquanto sua média harmônica, a f-measure, está destacada em azul por sumarizar as informações presentes 6

8 Figura 1: Representação gráfica da acurácia dos algoritmos de aprendizado testados nas outras duas barras. Curiosamente, a situação dos algoritmos simbólicos se inverte aqui: a pior F- measure é obtida pela árvore de decisão enquanto o algoritmo dos N vizinhos mais próximo é aquele que se sai melhor. A deficiência principal do algoritmo J48 é seu baixo recall, algo que poderia ser tolerado em certos casos porém acaba diminuindo bastante sua f-measure. No entanto, o desempenho dos três algoritmos pode ser bastante melhorado com o uso de modelos mais sofisticados ou baseados em distribuições de probabilidades. A vantagem de modelos simbólicos é, além do baixo custo computacional, o fato de que eles geram um modelo de dados facilmente interpretável (e.g. uma árvore com 484 nodos). É fácil perceber, por exemplo, que os atributos mais próximos da raiz (mais importantes) são os testes t nos dois corpora, enquanto o menos importante parece ser o padrão morfológico, geralmente nas folhas da árvore. O problema desse e da maioria dos outros algoritmos é considerar que ambas as classes possuem o mesmo peso, levando a um baixo desempenho sobre a classe MWT. Nesse sentido, o aprendizado através da rede Bayesiana é mais eficiente, sobretudo com a busca por árvore de dispersão mínima (TAN) ao invés de Simmulated Annealing, mais uma vez contrariando os resultados anteriores. A cobertura de ambos ainda é decepcionante e os métodos sofrem do mesmo problema que os algoritmos simbólicos, isto é, dão igual importância a ambas as classes. 7

9 Algoritmo Tempo (em segundos) IBk 0.02 J Jrip NaiveBayes 1.14 BayesNet (busca SA) (5,6 minutos) BayesNet (busca TAN) 2.69 MLP h (9 horas) MLP h (4,5 horas) MLP default (1,5 horas) Voted Perceptron (7,2 minutos) SVM (kernel polinomial) (2,8 horas) SVM (kernel radial) Desconhecido Tabela 3: Custo computacional em termos de tempo total de processamento na criação de cada modelo. A rede neural multi-camadas com 33 1 neurônios ocultos tem um desempenho muito ruim: captura apenas 5% dos candidatos positivos. O algoritmo Voted Perceptron (VP), apesar de mais simples do que os MLPs, tem desempenho surpreendentemente alto, com larga cobertura dos candidatos positivos. Esse foi o melhor desempenho obtido entre os algoritmos testados, apesar de que a proporção de instâncias bem classificadas é menor do que nos demais, mostrando que de alguma forma o algoritmo parece funcionar bem mesmo para dados não balanceados. Após o VP, os melhores resultados foram obtidos com algoritmos de máquinas de vetor de suporte com núcleo polinomial e radial. Cada uma das configurações testandas privilegia um dos aspectos: a primeira tem boa cobertura, enquanto a última tem uma precisão de 52,6%. Uma das vantagens desse algoritmo é a possibilidade de se atribuir pesos diferentes para as classes (algo que o algoritmo IBk, por exemplo, também permite). No entanto, após algumas tentativas de combinação de pesos, chegou-se à conclusão que o melhor resultado era obtido quando a máquina considerava ambas as classes igualmente importantes. 3.4 Custo computacional O custo computacional de cada um dos algoritmos foi medido através do tempo que ele leva para construir o modelo dos dados. A tabela 3 mostra o tempo em segundos, ou em minutos e horas quando mais conveniente. Todos os algoritmos simbólicos são baratos, com destaque para o algoritmo IBk em que os próprios dados são o modelo. Apesar de uma avaliação (teste) mais lenta, o custo não é elevado demais. Algoritmos mais sofisticados podem levar desde um ou dois segun- 1 Número de neurônios ocultos calculado automaticamente pelo WEKA. 8

10 Total de clusters Precisão Recall F-measure % 0.24% 0.49% % 0.45% 0.89% % 4.05% 7.52% % 7.53% 13.26% Tabela 4: Clusters gerados pelo algoritmo K-médias avaliados de acordo com a anotação existente. Total de clusters Precisão Recall F-measure % 5.86% 10.70% % 16.40% 25.49% % 22.90% 32.83% Tabela 5: Clusters gerados pelo algoritmo EM avaliados de acordo com a anotação existente. dos até várias horas. É interessante observar que, dependendo da busca heurística utilizada, o algoritmo Bayes Net pode levar 2,69 segundos (TAN) ou 5,6 minutos (SA). No entanto, os algoritmos mais caros são sem dúvida os de treinamento de redes neurais. A rede com parâmetros default leva uma hora e meia para ser treinada, porém quanto mais neurônios na camada oculta e épocas de treinamento, mais o algoritmo demora, chegando a levar 9 horas para treinar uma rede com 100 neurônios na camada oculta. Apesar de serem os mais caros, os algoritmos não têm o melhor desempenho. No entanto, o Voted Perceptron tem um custo relativamente baixo com relação ao desempenho que oferece, levando a crer que ele é o algoritmo ideal para esse conjunto de dados. Para uma das máquinas de vetor de suporte, não foi possível calcular o tempo de criação do modelo. No entanto, ele é similar ao da SVM com kernel polinomial, que levou quase 3 horas para ser construída. Apesar de ter um desempenho bastante bom, esses algoritmos também são caros e exigem bastante tempo de processamento. 4 Modelos baseados em clusterização A criação de uma base de dados com as classes já obtidas foi possível pelo fato do corpus utilizado possuir os termos anotados. No entanto, esse pode não ser o caso para outros corpora. A extração terminológica de corpora brutos (raw) é interessante quando não se dispõe de recursos para anotação manual dos termos. Nesse caso, foram utilizados como parâmetros somente a informação morfossintática e as medidas estatísticas, sendo que a informação de classe foi utilizada posteriormente 9

11 para avaliação de cada modelo gerado. Para a construção dos modelos, foram testados os algoritmos K-médias e Expectation Maximization (EM). Apesar de sabermos o número de classes de antemão (dois), esse número não necessariamente é igual ao número de clusters presentes no espaço do problema, já que ele pode não ser linearmente separável. Sendo assim, foram feitos testes variando o número de clusteres gerados (16,32,64 e 128). Para avaliar o modelo, os clusteres foram separados em dois grupos. Aqueles em que a quantidade de MWTs era maior do que os candidatos falsos foram para um grupo e os demais para outro. A informação sobre cada candidato foi retirada da anotação manual. Finalmente cada grupo foi avaliado com as métricas de precisão e cobertura. Os resultados são mostrados nas tabelas 4 e 5 5 Conclusões Os resultados apresentados neste trabalho demonstram que a extração terminológica automática pode se valer bastante dos algoritmos de mineração de dados. Apesar de, num primeiro momento, eles parecem baixos, são resultados melhores do que se obteria através dos métodos já existentes, que freqüentemente usam apenas regras heurísticas de padrões morfossintáticos e filtros de freqüência. Além disso, os resultados também dependem dos dados. A base utilizada possui apenas quatro métricas de associação para cada corpus, mas existem inúmeras outras que poderiam ser aplicadas, por exemplo, medidas mais robustas que usam tabelas de contingência. Além disso, poderíamos extrair frequências dos candidatos em outros corpora além do GENIA e da Web. Finalmente, outros atributos simbólicos além do padrão morfossintático poderiam ser utilizados, como por exemplo, informações relativas ao contexto de ocorrência das multi-palavras. Um número maior de atributos tem usualmente impacto positivo para os resultados, porém é sempre necessário ter em mente que um número exagerado de atributos pode levar a situações de super-treinamento em que os dados não são aprendidos mas decorados. No entanto, mesmo que se aprimore a base de dados, a escolha do algoritmo adequado para a criação do modelo também é importante. Isso é possível verificar pela diferença encontrada nos resultados entre os algoritmos testados. Os algoritmos simbólicos oferecem um bom custo-benefício, porém são inadequados quando se exige resultados mais precisos. Algoritmos como o BayesNet podem ter bom desempenho porém a escolha correta dos parâmetros é fundamental. Com relação ás redes neurais de múltiplas camadas, os resultados observados foram supreendentemente baixos, levando a duas hipóteses possíveis: (a) o algoritmo está mal configurado e oscila muito, levando a um comportamento praticamente aleatório ou (b) o modelo não possúi um número suficiente de neurônios nas camadas ocultas. Enquanto a primeira hipótese é sustentada pelo fato de que um algoritmo muito mais simples, o Voted Perceptron, possui desempenho superior ao MLP, a última é decorrência da observação de que o recall aumenta conforme o número de neurô- 10

12 nios da camada oculta aumenta. Uma investigação aprofundada sobre esse problema poderia ser feita se houvessem recursos computacionais disponíveis, visto que a rede com 100 neurônios levou 9 horas para ser treinada e que, por exemplo, dobrar o número de neurônios poderia dobrar o tempo necessário para treiná-los. Finalmente, as SVMs são populares no meio acadêmico em parte porque oferecem custo relativamente alto e resultados relativamente bons, parecendo também oferecer um bom compromisso entre precisão e recall. Dentre todos os algoritmos testados, a maior acurácia foi obtida pelo VP mas o desempenho global é melhor para o SVM de kernel radial. No entanto, não existe uma resposta única para escolher o algoritmo a ser usado para essa tarefa. A escolha do algoritmo deve levar em conta não somente a F-measure mas também as medidas de precisão e recall tomadas individualmente, pois as aplicações da terminologia possuem diferentes requisitos para os quais pode ser mais ou menos interessante privilegiar precisão ou recall. Além disso, os recursos computacionais e o tamanho dos conjuntos de dados podem impôr restrições que impeçam ou favoreçam o uso de determinado algoritmo em detrimento de um que ofereça melhor desempenho. 11