INF2981 Anotador de Papéis Semânticos para Português

Transcrição

1 INF2981 Anotador de Papéis Semânticos para Português Arthur Beltrão Castilho Neto 09 de julho de 2015 Resumo Este trabalho apresenta uma abordagem ao problema de anotação de papéis semânticos no idioma português utilizando um subconjunto de 10 atributos propostos por outros autores e mais 20 atributos de criação própria. O modelo foi gerado usando uma support vector machine (liblienar) com solver padrão e testado na base PropBank.Br apresentando aproximadamente 79,1% de precisão, 79,6% de cobertura e 79,4% de F1 na classificação. 1 Introdução A anotação de papéis semânticos (APS) é uma subárea do processamento de língua natural (PLN) que permite analisar parte do significado de sentenças escritas através da detecção de estruturas de predicador e argumentos. Tais estruturas correspondem a descrições de eventos (normalmente feitas por verbos); seus participantes, como agente e paciente; e circunstâncias, como tempo, local, etc. Esse trabalho da continuidade à dissertação Anotação automática semissupervisionada de papéis semânticos para o português do Brasil [Alva- Manchego 2013], que aborda a tarefa de forma supervisionada atingindo 80,0% de precisão, 79,3% de cobertura e 79,7% de F1; e de forma semissupervisionada atingindo 80,7% de precisão, 80,4% de cobertura e 80,5% de F1. Por não 1

2 considerar significativos os ganhos do aprendizado semissupervisionado este trabalho será focado apenas no aprendizado supervisionado. O corpus escolhido para a tarefa foi o PropBank.Br que é a porção brasileira do corpus Bosque, contento anotações semânticas manualmente revisadas [Afonso et al, 2002]. Neste trabalho apresentamos um Anotador de Papéis Semânticos e o avaliamos em um subconjunto do corpus anotado. O modelo foi gerado usando uma support vector machine (liblienar) com solver padrão atingindo resultados muito próximos aos do estado-da-arte. O restante do trabalho está organizado como a seguir. Seção 2 descreve a tarefa. A seção 3 detalha a base de dados selecionada. A seção 4 relata os experimentos e resultados do trabalho com duas métricas distintas. Na seção 5 está a discussão dos resultados e conclusões e na seção 6 estão as referências bibliográficas. 2 Tarefa A tarefa é a Anotação de Papéis Semânticos (APS) conforme definido pela Shared Task de 2005 da CoNLL. Um papel semântico, em linguística, é a relação que um constituinte sintático tem com um predicado. Tipicamente argumentos semânticos incluem Agente, Paciente, Instrumento, etc. além de argumentos complementares indicando circunstâncias como Local, Tempo, Causa, etc. Reconhecer e etiquetar argumentos semânticos é uma atividade chave para responder a perguntas como Quem, Quando, O que, Onde, Por que, entre outras, nas áreas de Extração da Informação, Perguntas e Respostas, Sumarização, e, em geral, qualquer tarefa de PLN que faça uso de algum tipo de interpretação semântica. A sentença a seguir, extraída do corpus PropBank, serve como exemplo para a anotação de papéis semânticos: [A0 Ele] [ARGM-NEG não] [ARGM-MODAL iria] [V aceitar] [A1 nada de valor] [A2 daqueles que estava escrevendo a respeito]. 2

3 Abaixo são relacionados os papéis para o predicado aceitar conforme definidos pelo esquema de frames do PropBank: V: verbo A0: aceitador A1: coisa aceita A2: aceitado-de A3: atributo AM-MOD: modal AM-NEG: negação De forma geral, trata-se a APS como um problema de classificação, no qual devese predizer uma etiqueta de papel semântico para cada palavra (ou conjunto de palavras) de uma sentença, considerando a sua relação com o verbo. A grande maioria da literatura na área realiza a tarefa em 3 grandes fases que são: identificação do verbo alvo, identificação dos argumentos e classificação dos argumentos. A identificação de argumentos é uma classificação binária que consiste em dizer se um candidato é ou não argumento do verbo, e sua motivação é a economia de tempo de treinamento do próximo classificador. Como neste trabalho estaremos usando um classificador extremamente rápido (liblinear) e como o dataset usado é pequeno, essa fase não será necessária. 3 Dataset O corpus escolhido para a tarefa é o PropBank.Br 1.1 que foi construído sobre a porção de textos brasileiros do corpus Bosque [Afonso et al., 2002], que possui anotação sintática e de dependência corrigidas. Sobre ele é acrescentada uma camada com anotação de argumentos semânticos com os mesmos conceitos do PropBank original, assim como os rótulos empregados. Os textos que compõem o Bosque foram extraídos do jornal Folha de São Paulo e incluem diversos assuntos. O PropBank-Br é disponibilizado em dois formatos: XML e texto plano com colunas (formato da CoNLL). Neste trabalho usaremos a segunda versão. O modelo de anotação do PropBank define um conjunto de argumentos para cada verbo individualmente e não atribui nomes aos mesmos, utilizando, em vez disso, rótulos numerados de A0 a A5. Cada verbo determina a quantidade de argumentos que podem acompanha-lo e seus significados. Além disso, o PropBank 3

4 define um conjunto de argumentos opcionais comuns a todos os verbos, os ArgM, que são expressões indicando tempo, local, modo, etc. A Tabela 1 apresenta uma lista com todos os argumentos do PropBank.Br. Etiqueta A0 A1 A2...A5 AM-ADV AM-CAU AM-DIR AM-DIS AM-EXT AM-LOC AM-MNR AM-NEG AM-PNC AM-PRD AM-REC AM-TMP Descrição Tipicamente o agente prototípico Tipicamente o paciente prototípico Não se pode generalizar Modificador adverbial Causa Direção Marcador discursivo Extensão Lugar Maneira Negação Propósito Predicação secundária Recíproco, referenciando outro argumento Temporal Tabela 1: lista completa de argumentos do PropBank.Br Conforme mencionado anteriormente estaremos usando os arquivos do corpus no formato de texto plano com colunas. Na versão 1.1 são disponibilizados dois arquivos de dados: o de constituintes, que, além dos atributos comuns, possui anotação da árvore sintática e o de dependência, que contém anotação de árvore de dependência e de função gramatical, mas não árvores sintáticas. Cada coluna contém algum tipo de anotação, associando uma etiqueta a cada palavra. A Tabela 2 apresenta os atributos presentes nos dois arquivos, a Figura 1 apresenta um exemplo de uma sentença anotada do arquivo de constituintes e a Figura 2 uma sentença do arquivo de dependência. Nome Descrição Const. Dep. ID Contador de tokens que inicia em 1 para cada nova Sim Sim sentença FORM Forma da palavra ou sinal de pontuação Sim Sim LEMMA Lema gold-standard da FORM Sim Sim GPOS Etiqueta part-of-speech gold-standard Sim Sim FEAT Atributos morfológicos gold-standard Sim Sim 4

5 CLAUSE Orações em formato início-fim Sim Não FCLAUSE Orações com informação de tipo em formato iníciofim Sim Não SYNT Árvore sintática gold-standard completa Sim Não PARENT Identificador do pai, 0 no caso de ser raiz Não Sim FUNC Função gramatical Não Sim PRED# Identificador do predicado alvo na sentença Sim Não PRED? Indica se esse token é ou não o predicado alvo Não Sim PRED Predicado alvo da sentença Sim Sim ARG Papel semântico do argumento Sim Sim Tabela 2: Colunas representando os atributos de cada token nos arquivos propbank.br 1.1 ID FORM LEMMA GPOS FEAT CLAUSE FCLAUSE SYNT PRED# PRED ARG 1 Agora agora ADV - (S* (FCL* (FCL(ADVP*) - - (AM-TMP*) 2, - PU - * * * - - * 3 os o ART M P * * (CU(NP* - - (A0* 4 soldados soldado N M P * * *) - - * 5 e e CONJ-C - * * * - - * 6 a o ART F S * * (NP* - - * 7 polícia polícia N F S * * *)) - - *) 8 estão estar V-FIN PR 3P IND * * (VP* - - * 9 trabalhando trabalhar V-GER - * * *) 1 trabalhar (V*) 10 juntos junto ADV M P * * (ADVP*) - - (AM-MNR*) 11 para para PRP - * * (PP* - - (AM-PNC* 12 prender prender V-INF - (S* (ICL* (ICL(VP*) - - * 13 os o ART M P * * (NP* - - * 14 traficantes traficante N M P *) *) *))) - - *) PU - *) *) *) - - * Figura 1: Sentença anotada do PropBank.Br 1.1, arquivo de constituintes, no formato plano de colunas. 5

6 ID FORM LEMMA GPOS FEAT PARENT FUNC PRED? PRED ARG 1 Agora agora adv - 9 ADVL - - AM-TMP 2,, pu - 8 PU os o art M P 4 >N soldados soldado n M P 8 SUBJ - - A0 5 e e conj-c - 4 CO a o art F S 7 >N polícia polícia n F S 4 CJT estão estar v-fin PR 3P IND 0 STA trabalhando trabalhar v-ger - 8 MV Y trabalhar - 10 juntos junto adv M P 9 ADVL - - AM-MNR 11 para para prp - 9 ADVL - - AM-PNC 12 prender prender v-inf - 11 P< os o art M P 14 >N traficantes traficante n M P 12 ACC pu - 8 PU Figura 2: Sentença anotada do PropBank.Br 1.1, arquivo de dependência, no formato plano de colunas Quanto a composição do corpus, o PropBank.Br além de ser pequeno é desbalanceado, possuindo muito mais exemplos para argumentos do tipo A0 e A1 do que para os demais. Para o Propbank.Br 1.1 adotamos o mesmo padrão de divisão entre Treino e Teste que era usado no 1.0, designando cerca de 95,5% dos exemplos para Treino e 4,5% para Teste. A Tabela 3 apresenta a distribuição das etiquetas nos conjuntos de Treino e Teste. Treinamento Teste Total Sentenças Tokens Verbos Diferentes Argumentos A A A A A A AM-ADV AM-CAU AM-DIR AM-DIS AM-EXT

7 AM-LOC AM-MNR AM-NEG AM-PNC AM-PRD AM-REC AM-TMP Tabela 3: distribuição das etiquetas nos conjuntos de Treino e Teste 4 Experimentos Os experimentos foram conduzidos seguindo uma sequência de 7 subtarefas, onde a saída de uma é a entrada da seguinte. Um esquema com o pipeline das subtarefas é apresentado na Figura 3. Figura 3: Esquema de funcionamento do sistema 4.1 Merge dos arquivos de constituintes e dependência Essa subtarefa consiste em unificar os dois arquivos do Propbank.Br 1.1 de forma a ter todas as informações Golden em um lugar só. Isso é importante pois iremos usar informações da árvore sintática e também da árvore de dependência para derivar nosso conjunto de atributos. 7

8 Figura 4: Sentenças originais do arquivo de constituintes (esquerda) e dependência (direita) O novo token será composto das seguintes colunas, mantidas na forma original e explicadas na Tabela 2, ID, FORM, LEMMA, GPOS, FEAT, CLAUSE, FCLAUSE, SYNT, PARENT, FUNC, PRED. A última coluna, ARG, será usada a informação do arquivo de dependência, porém formatada semelhante ao arquivo de constituintes, ou seja, AM-TMP será transformado em (AM-TMP*). Essa conversão se faz necessária pela opção de avaliar o trabalho usando o script oficial da competição. Durante a pesquisa foi averiguado que o script não funciona se o início ( e final *) dos argumentos não estiverem marcados. A Figura 4 e a Figura 5 ilustram esse processo. Figura 5: Formato do token após processo de unificação. 8

9 4.2 Parse das árvores sintáticas Esse subtarefa constrói uma árvore sintática a partir das anotações contidas na coluna SYNT. As regras são simples: Cada ( inicia um novo constituinte na árvore abaixo do nó atual, cada ) fecha um constituinte e atualiza o nó atual para o pai, Figura 6: Exemplo de construção de árvore sintática o texto é usado para nomear a etiqueta do constituinte no nó atual, e os * são a indicação de folha, colocando a informação da coluna FORM como filho do constituinte atual. A Figura 6 ilustra esse processo. 4.3 Parse das árvores de dependência Esse subtarefa constrói uma árvore de dependência a partir das anotações contidas na coluna PARENT. Cada palavra é apontada para a palavra cujo ID corresponde ao número do PARENT, com exceção do valor zero que indica a raiz. A Figura 7 ilustra o processo. Figura 7: Exemplo de construção de árvore de dependência 9

10 4.4 Extração e binarização de atributos Nosso melhor modelo foi obtido a partir de um subconjunto de 10 atributos dos propostos por Alva-Manchego em sua dissertação de mestrado, além de 20 outros atributos de criação própria. Abaixo é apresentada a lista com todos esses atributos, onde os em negrito são de criação própria: DepPath: caminho de etiquetas POS na árvore de dependência entre o token a ser classificado e o verbo alvo. DepPOSChild1, 2, 3: etiquetas POS dos 3 primeiros filhos do token na árvore de dependência. DepPOSGrandparent: etiqueta POS do avô do token na árvore de dependência. DepPOSLeftSibling1, 2, 3: etiquetas POS dos 3 primeiros irmãos a esquerda na árvore de dependência. DepPOSParent: etiqueta POS do pai do token na árvore de dependência. DepPOSRightSibling1, 2, 3: etiquetas POS dos 3 primeiros irmãos a direita na árvore de dependência. Feat: atributos morfológicos gold-standard conforme informação presente na coluna 5 do dataset. Form: palavra conforme escrita na coluna 2. LeftPOS1, 2, 3: POS das 3 primeiras palavras a esquerda. LeftPhraseType: categoria sintática (NP, VP, etc.) do irmão esquerdo. Lemma: lema gold-standard conforme informação da coluna 3. PartialPath: caminho na árvore sintática desde o constituinte a ser anotado até o primeiro ancestral comum com o verbo alvo. PassiveVoice: verdadeiro se o verbo alvo faz parte de uma composição do verbo ser com outro verbo no particípio (POS=V-PCP). Path: caminho na árvore sintática desde o verbo alvo até o constituinte a ser anotado passando pelo primeiro ancestral comum entre os dois. PhraseType: categoria sintática (NP, VP, etc.) do constituinte. POS: etiqueta part-of-speech gold-standard presente na coluna 4. Predicate: lema do verbo alvo, conforme informação da coluna 11. RightPOS1, 2, 3: POS das 3 primeiras palavras a direita. 10

11 RightPhraseType: categoria sintática (NP, VP, etc.) do irmão direito. PropositionID: É gerado um identificador sequencial para cada sentença a ser treinada/classificada, tentando passar uma ideia de contexto entre os exemplos da mesma sentença. Como todos os atributos do sistema são categóricos faz-se necessário um processo de binarização dos atributos antes de envia-los para o classificador. A binarização transforma um atributo categórico, digamos cores, em um vetor binário esparso onde cada posição indica a presença ou não de uma determinada cor. Logo no conjunto {vermelho, azul, verde} a cor azul pode ser representada como {0, 1, 0}. Nesse trabalho a binarização é atingida através do uso de um dicionário para cada atributo desse tipo. Figura 8: binarização de atributos categóricos 4.5 Treino e Teste O treino e classificação são feitos usando um classificador SVM (liblinear) com solver padrão. O arquivo de entrada do classificador é gerado a partir da binarização dos atributos conforme descrito anteriormente. O tempo de treino gira em torno de 13 segundos e o modelo resultante possui cerca de 124mil features binárias. 11

12 4.6 Avaliação A avaliação de resultados usa o script oficial da ConLL de 2005 para a Shared Task de SRL. Esse script calcula o desempenho em termos de precisão, cobertura e f1, cujo as fórmulas estão a seguir: etiquetas certas Precisão = etiquetas atribuídas etiquetas certas Cobertura = total etiquetas F1 = 2 Precisão Cobertura Precisão + Cobertura Foram usados como baseline e estado-da-arte os sistemas propostos por Alva- Manchego em sua dissertação. Os resultados são comparados na Tabela 4 e detalhados na Tabela 5. Sistema Precisão Cobertura F1 Manchego - Semi-supervisionado (2013) 80,70% 80,40% 80,50% Manchego - Supervisionado (2013) 80,00% 79,30% 79,70% Este trabalho 79,08% 79,62% 79,35% Projeto de Aprendizado de Máquina 1 69,80% 68,70% 69,20% Baseline 64,60% 40,90% 50,10% Tabela 4: resultados comparativos com baseline e estado-da-arte usando script da CoNLL no conjunto de teste Etiquetas Corretos Excedentes Faltantes Precisão Cobertura F1 Global ,08 79,62 79,35 A ,45 86,29 88,80 A ,27 88,89 89,08 A ,92 79,69 73,91 A ,00 0,00 0,00 A ,00 40,00 57,14 AM-ADV ,00 45,00 51,43 AM-CAU ,00 100,00 100,00 AM-DIR ,00 0,00 0,00 AM-DIS ,54 80,00 69,57 AM-EXT ,00 0,00 0,00 12

13 AM-LOC ,38 65,52 62,30 AM-MNR ,50 33,33 35,29 AM-NEG ,30 100,00 95,45 AM-PNC ,00 50,00 44,44 AM-PRD ,00 20,00 22,22 AM-TMP ,42 65,91 63,04 Tabela 5: resultados detalhados da avaliação pelo script CoNLL 4.7 Matriz de confusão A seguir apresentamos a matriz de confusão sobre os dados de treino, gerada pelo script da competição, como mostra a Figura 9. As linhas representam as etiquetas corretas e as predições estão distribuídas pelas colunas : : A : A : A : A : A : A : ADV : CAU : DIR : DIS : EXT : LOC : MED : MNR : NEG : PNC : PRD : REC : TMP Figura 9: Matriz de confusão dos dados de treino. 5 Conclusões O resultado que obtivemos no sistema está muito próximo ao estado-da-arte, e acreditamos que seja possível ultrapassa-lo muito em breve, usando apenas aprendizado supervisionado. Como trabalho futuro pretendemos criar uma lista com expressões multi-palavra (MWEs) verbais, extraídas automaticamente a partir dos corpora Floresta e Chave, 13

14 e utiliza-la na confecção de novos atributos que podem melhorar o desempenho do sistema como um todo. Além disso, conforme podemos ver na matriz de confusão, existe uma certa ambiguidade entra as classes AM-LOC e AM-TMP, que pretendemos endereçar através de novos atributos. Por fim pretendemos também incorporar informações da WordNet.Br em nosso dataset e ver como o sistema desempenha com mais essa fonte de conhecimento. 6 Referências Alva-Manchego, F. E. (2013). Anotação automática semissupervisionada de papéis semânticos para o português do Brasil. Dissertação de mestrado, Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo. Chang, Chih-Chung e Lin, Chih-Jen (2011). LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology Volume 2, número 3, página 27:1-27:27. Fonseca, E. R. (2013). Uma abordagem conexionista para anotação de papéis semânticos. Dissertação de mestrado, Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo. Gildea, D. e Jurafsky, D. (2002). Automatic labeling of semantic roles. Computational Linguistics Volume 28, número 3, páginas Llu ıs M`arquez, Xavier Carreras, Kenneth C.Litkowski, Suzanne Stevenson (2008). Semantic Role Labeling: An Introduction to the Special Issue. Computational Linguistics Volume 34, Número 2, páginas Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh, Xiang-Rui Wang e Chih-Jen Lin (2008). LIBLINEAR: A library for large linear classication. Journal of Machine Learning Research Volume 9, páginas Surdeanu et al. (2011). Learning to Rank Answers to Non-Factoid Questions from Web Collections. Computational Linguistics - Volume 37, número 2, páginas Xue, N. e Palmer, M. (2004). Calibrating Features for Semantic Role Labeling. In 2004 Conference on Empirical Methods in Natural Language Processing, páginas 88-94, Barcelona, Spain. ACL. 14