Novo dicionário de formas flexionadas do Unitex-PB: Avaliação da flexão verbal

Transcrição

1 Novo dicionário de formas flexionadas do Unitex-PB: Avaliação da flexão verbal Oto Araujo Vale Jorge Baptista

2 Plano Unitex Unitex-PB Adaptação à nova ortografia: revisão dos grafos de flexão nominal Criação dos grafos de flexão verbal Avaliação da flexão verbal 2

3 Unitex Plataforma OpenSource (Paumier, 2003; 2015) desenvolvimento de recursos linguísticos processador de corpus tecnologia de estados finitos utilização sistemática de recursos como dicionários e gramáticas locais 3

4 Unitex Versão 3.1 (por enquanto Beta em 2015): Recursos em 22 línguas: alemão, árabe, coreano, espanhol, finlandês, francês, georgiano antigo, grego antigo, grego moderno, inglês, italiano, latim, malgache, norueguês bokmal, norueguês nynorsk, polonês, português europeu, português do Brasil, russo, sérvio (alfabeto cirílico e alfabeto latino) e tailandês 4

5 Unitex Versão 3.1 (por enquanto Beta em 2015): Recursos em 22 línguas: alemão, árabe, coreano, espanhol, finlandês, francês, georgiano antigo, grego antigo, grego moderno, inglês, italiano, latim, malgache, norueguês bokmal, norueguês nynorsk, polonês, português europeu, português do Brasil, russo, sérvio (alfabeto cirílico e alfabeto latino) e tailandês 5

6 Unitex Versão 3.1 (por enquanto Beta em 2015): francês português do Brasil Disponibilidade dos dicionários completos e da totalidade dos modelos de flexão 6

7 Unitex-PB (2004) Recursos do português do Brasil Desenvolvido por Muniz et al (2005) a partir: dos dicionários do projeto ReGra (Nunes et al 1999) para os substantivos, adjetivos e advérbios; do dicionário de conjugação verbal de Vale (1990) para os verbos, que seguia a metodologia de Courtois (1990); 7

8 Unitex-PB (2004) Formas simples (lemas): DELAS_PB ( entradas) Formas simples flexionadas: DELAF_PB ( entradas) Formas compostas: DELACF_PB (~4.000 entradas) 8

9 Unitex-PB (2004) 392 modelos de flexão nominal 242 modelos de flexão adjetival 107 modelos de conjugação verbal 9

10 Acordo Ortográfico de 1990 Implementado a partir de 2009 Simplificação e unificação da ortografia 10

11 Atualização do dicionário Principais passos (Calcia et al, 2014) Adequação dos grafos de flexão nominal e adjetival Verificação das listas de entradas do DELAS-PB e DELAF-PB Construção dos grafos de conjugação verbal 11

12 Atualização do dicionário Comparação automática com listas de alguns softwares proprietários das formas, foram modificadas introdução de novas entradas 12

13 Atualização dos grafos Flexão nominal: 10 grafos modificados Flexão adjetival: 6 grafos modificados 13

14 Grafos de conjugação verbal Muniz (2004) havia adaptado diretamente os modelos de conjugação verbal de Vale (2009) sem passar pelos grafos Vale (2009) não levava em conta as formas com ênclise e mesóclise. 14

15 15

16 16

17 Grafos de conjugação verbal As formas enclíticas e mesoclíticas pertencem ao domínio da morfologia ou da sintaxe? Escolha: considerar cada forma enclítica ou mesoclítica como uma entrada do dicionário de formas flexionadas 17

18 18

19 19

20 20

21 21

22 22

23 23

24 24

25 DELAF-PB (2015) Explosão do número de formas verbais: formas ( formas diferentes) formas verbais ( formas diferentes).bin ocupa 778 KB 25

26 Avaliação Utilizou-se o conjunto de recursos produzidos para as Primeiras Morfolimpíadas para o Português (Santos, 2003): Lista Dourada Avaliação da flexão verbal: Referência: 510 linhas da Lista Dourada estavam anotadas como verbos 26

27 Avaliação Procedimentos: Conversão do formato da Lista Dourada para o formato DELA Apoiemos V apoiar PR_C P => apoiemos,apoiar.v:s1p Adequação dos códigos de tempo e modo verbais e dos clíticos V+CL => V+PRO 27

28 Avaliação Procedimentos: Conversão do formato da Lista Dourada para o formato DELA Apoiemos V apoiar PR_C P => apoiemos,apoiar.v:s1p Adequação dos códigos de tempo e modo verbais e dos clíticos V+CL => V+PRO 28

29 Avaliação Procedimentos: Conversão do formato da Lista Dourada para o formato DELA Apoiemos V apoiar PR_C P => apoiemos,apoiar.v:s1p Adequação dos códigos de tempo e modo verbais e dos clíticos V+CL => V+PRO 29

30 Avaliação Procedimentos: Limpeza das formas marcadamente lusitanas registar conetar Limpeza dos códigos não pertinentes à tarefa raro lus afr 30

31 Avaliação Retirada das 56 formas derivadas, que não são passíveis de análise pelo DELAF-PB deriv pref Das 510 linhas obteve-se 296 formas a serem analisadas 31

32 Avaliação Da comparação obteve-se os seguintes resultados: Corretos : saída do dicionário igual à referência; Errados : saída do dicionário diferente da referência; Lacunas : a forma e a sua análise na Lista Dourada não estão na saída do dicionário; Espúrios : a forma e a sua análise são produzidas pelo dicionário mas não estão na referência. 32

33 Medidas standard da avaliação Precisão : total de formas corretamente analisadas: corretos / (corretos + errados + espúrios) Abrangência : total de formas corretamente analisadas de entre todas as formas analisadas na Lista Dourada: corretos / (corretos + lacunas) Acurácia: total de formas corretamente analisadas: corretos / (corretos + errados + lacunas) Medida F : média harmónica entre a Precisão e a Abrangência: 2 x Precisão x Abrangência / (Precisão + Abrangência) 33

34 Tabela 1. resultados da avaliação Linha A - Resultados em bruto Linha B - Resultados corrigidos a partir da retirada da lista de formas que não correspondem à ortografia brasileira após o acordo ortográfico e da consideração de alguns aspectos referentes à Nomenclatura Gramatical Brasileira 34

35 alguns erros resultam da incompletude la Lista Dourada iriar presar rer revir valar vivar pega,pegar.v:kfs pegas,pegar.v:kfp o DELAF-PB leva em conta apenas a grafia brasileira outros casos de espúrios devem-se a opções do DELAF-PB que diferem sistematicamente da Lista dourada como a particularidades da NGB, como a existência de imperativos de 3ª pessoa aceite,aceitar.v:y3s peçam,pedir.v:y3p 35

36 Tabela 2. Avaliação do desempenho do DELAF-PB na análise das formas verbais da Lista Dourada usando as medidas das Morfolimpíadas 36

37 Resultados O desempenho do DELAF-PB (2015) é bastante satisfatório em relação aos desafios propostos pelas Morfolimpíadas: A precisão está dentro dos parâmetros dos demais sistemas A cobertura ficou acima dos valores médios 37

38 Resultados Esta avaliação possibilitou perceber algumas lacunas e inconsistências na primeira versão do DELAF-PB 2015 p.ex.: introdução indevida do pronome reflexivo de terceira pessoa -se em formas de primeira e segunda pessoa a forma enclítica de alguns tempos impedia a geração de formas corretas em verbos regulares 38

39 Próximos passos Revisar e adequar os grafos de flexão nominal e adjetival Resolver o problema da etiquetagem dos clíticos Melhorar o dicionário de formas compostas 39

40 Referências 1 Calcia, N. P.; Kucinskas, A. B.; Muniz, M.; Nunes, M. G. V. ;Vale, O. A. Révision et adaptation des dictionnaires et graphes de flexion d Unitex-PB à la nouvelle orthographe du portugais. 3rd UNITEX/GramLab Workshop, Université de Tours. 3rd UNITEX/GramLab Workshop, Tours, 2014 Courtois, B. Un système de dictionnaires électroniques pour les mots simples du français. Langue Française, (87):11 22, 1990 Mamede, N.; Baptista, J.; Diniz, C. String - an hybrid statistical and rule-based natural language processing chain for portuguese. In Demos, P.., editor, PROPOR 2012, Coimbra, Portugal. PROPOR, Martins, R. T., Hasegawa, R., Nunes, M. G. V., G. Montilha, G., and Oliveira, O. N. Linguistic issues in the development of REGRA: a grammar checker for Brazilian Portuguese. Natural Language Engineering, 4(4): , 1998 Muniz, M. C.M., Nunes, M. G. V and Laporte, E. UNITEX-PB, a set of flexible language resources for Brazilian Portuguese. Workshop on Technology on Information and Human Language (TIL), p , São Leopoldo, Brazil,

41 Referências 2 Nunes, M. G. V., F. M. C. Vieira, C. Zavaglia, C. R. C. Sossolote, & J. Hernandez (1996). A construção de um léxico de português do brasil: Lições aprendidas e perspectivas. In Anais do II Workshop de Processamento Computacional de Português Escrito e Falado (PROPOR 96), pp CEFET-PR, Curitiba, 1996 Paumier, S. (2003). De la reconnaissance de formes linguistiques à l analyse syntaxique. Thèse de doctorat, Université de Marne-la-Vallée, Paris. Paumier, S. (2015). Unitex User Manual. Université de Paris-Est/Marne-la-Vallée - Institut Gaspard Monge, Noisy-Champs. Ranchhod, E., Mota, C., and Baptista, J. A computational lexicon of Portuguese for automatic text parsing. In Proceedings of SIGLEX99: Standardizing Lexical Resources, 37th Annual Meeting of the ACL, pages College Park, Maryland, USA, 1996 Santos, D. and Costa, L.. Morfolimpíadas - apresentaçãoo detalhada da metodologia e dos problemas identificados. In AvalON 2003, Faro. Linguateca/Universidade do Algarve, 2003 Vale, O.V. Dictionnaire électronique des conjugaisons des verbes du portugais du Brésil. Rapport Technique du LADL n 27, Paris : Université Paris