GUIA PARA ANOTAÇÃO LINGUÍSTICA USANDO A FERRAMENTA SALTO

Transcrição

1 GUIA PARA ANOTAÇÃO LINGUÍSTICA USANDO A FERRAMENTA SALTO Por: Magali Sanches Duran Organizei este guia sob a forma de perguntas e respostas a fim de apoiar o minicurso "Anotação Semântica na prática: apresentação de ferramentas, manual de anotação, e teoria sobre anotação de papéis semânticos" que ministrarei na EBRALC 2012 ( Assim, à medida que novas perguntas surgirem no minicurso, pretendo acrescentá-las ao guia, com suas respectivas respostas. O que é anotação de corpus? Anotar um corpus consiste basicamente em delimitar um segmento do texto e atribuir-lhe um rótulo ou etiqueta. O conjunto de rótulos ou etiquetas deve atender o propósito da anotação. Definir conjunto de etiquetas é uma das partes mais complexas do processo de anotação, pois implica escolhas quanto à forma de modelar os dados do problema. Para que anotar um corpus? Existem duas finalidades básicas para anotarmos um corpus. A primeira finalidade é atender aos interesses da pesquisa linguística e é um sucedâneo do que há muito tempo se faz manualmente: ler, analisar, destacar partes do texto e atribuir comentários ou copiar em fichas as partes destacadas. Depois, reúnem-se os resultados a fim concluir a análise. A outra finalidade é atender às necessidades do processamento automático de línguas naturais. O corpus é analisado por humanos, recebe anotações num formato lógico e é utilizado como modelo (corpus de treinamento) para que a máquina aprenda a reproduzir automaticamente a tarefa humana. Qual a diferença entre etiqueta e comentário? O comentário é livre e a etiqueta é padronizada. Por exemplo, se SUJ SUBJ e SUJEITO são usados alternativamente na anotação para a mesma finalidade, temos uma comentário e não uma etiqueta. A etiqueta normalmente é pré-definida e atende ao propósito de permitir a recuperação automática dos segmentos anotados com ela. O que é um editor de anotação de corpus? Um editor de anotação é uma ferramenta com as seguintes funções: Antes da anotação: definição do conjunto de etiquetas

2 Durante a anotação disponibilização do conjunto de etiquetas para o anotador delimitação do segmento que receberá a etiqueta atribuição de etiqueta ao segmento delimitado Após a anotação Busca e exibição de sentenças com determinada etiqueta atribuída Contagem de etiquetas atribuídas, por tipo Busca e substituição de etiquetas atribuídas O que é a ferramenta SALTO? A SALTO é um editor de anotação serve tanto para anotações individuais quanto para anotações distribuídas. O uso individual é o default da ferramenta, mas ela prevê a possibilidade de diferentes tipos de usuários: usuário (anotador) e administrador (que cria subcorpus, distribui entre os anotadores, recolhe os subcorpus anotados e resolve as divergências entre as anotações (atividade chamada de adjudicação). O que é anotação distribuída? É a divisão da tarefa de anotação entre vários anotadores. Um administrador da tarefa distribui partes do corpus aos diversos anotadores, de forma que cada sentença seja anotada pelo menos por dois anotadores. A SALTO fornece um ambiente para administrar essa distribuição, pois cada usuário (anotador) tem três pastas: (1) uma de entrada, (2) uma de trabalho e (3) uma de saída. Na pasta de entrada encontra-se o subcorpus enviado pelo administrador. Ao abrir a pasta de entrada e iniciar a anotação, o subcorpus é gravado na pasta de trabalho. Ao terminar a anotação, o subcorpus é colocado na pasta de saída. Além de criar subcorpus e distribuí-los nas pastas de entrada dos anotadores, na SALTO o administrador tem o recurso de recolher os subcorpus que se encontram nas pastas de saída, confrontar as anotações e exibir as diferenças, iniciando a adjudicação, que consiste em aceitar uma ou outra anotação como certa ou propor uma nova anotação. Algumas ferramentas que fazem tarefas semelhantes chegam, inclusive, a calcular a concordância entre os anotadores por meio da estatística Kappa 1. No minicurso da EBRALC, exploraremos a anotação individual, pois não experimentamos a anotação distribuída ainda. Para que tipo de anotação serve a ferramenta SALTO? A SALTO 2 foi desenvolvida para atender as necessidades do projeto SALSA 3, que implementou a anotação de papéis semânticos no modelo da Framenet 4 para a língua alemã. 1 Carletta, J.: Assessing Agreement on Classification Tasks: The Kappa Statistic. Computational Linguistics, vol. 22, n. 2, pp (1996). 2 Burchardt, A.; Erk, K.; Frank, A.; Kowalski, A.; Pado, S. (2006) SALTO - A Versatile Multi-Level Annotation Tool. In: Proceedings of LREC 2006.

3 Contudo, o uso da ferramenta pode ser customizado a fim de suportar outros tipos de anotação, como a anotação de relações de correferência e de relações discursivas entre orações. Outro exemplo é projeto Propbank-Br 5, que utilizou a ferramenta SALTO para anotação de papéis semânticos nos moldes do Propbank 6. A principal característica que distingue a SALTO de outras ferramentas de anotação é o fato de ela tornar possível a anotação sobre árvores sintáticas. Isso significa que, na SALTO, construímos uma camada de anotação sobre duas outras camadas de anotação: a morfossintática (substantivo, verbo, adjetivo, artigo etc.) e a sintática (sujeito, predicado, adjunto adverbial etc.). Ao anotarmos sobre árvores sintáticas, aproveitamos os segmentos já delimitados na camada sintática de anotação. Por isso, a ferramenta SALTO não permite que se delimitem segmentos. Para que anotar sobre árvores sintáticas? A principal vantagem de fazer uma anotação sobre outras camadas de anotação é beneficiar o aprendizado de máquina. Parte-se do pressuposto de que etiquetas de uma camada de anotação possuem alguma correlação com etiquetas de outra camada. Por exemplo, existe grande correlação entre as etiquetas SUJEITO, da camada sintática e AGENTE, da camada de papéis semânticos. Esse tipo de correlação é uma informação relevante para que os programas de anotação automática obtenham melhor desempenho. Como instalar a ferramenta SALTO? O único requisito para a SALTO é que sua máquina já tenha o JAVA instalado (a Java Virtual Machine, ou JVM, ou Java Runtime Environment, JRE). Se sua máquina não tiver JAVA instalado, baixe do seguinte endereço: especificamente em: A ferramenta SALTO está disponível gratuitamente para uso de pesquisadores, mas não para uso comercial. Por isso, para baixá-la, é preciso preencher um pedido de autorização no site do projeto SALSA: informando seu , sua instituição de origem e a finalidade para que deseja a ferramenta. Após submeter a solicitação, dentro de poucas horas você receberá, no informado, um arquivo em formato. zip (arquivo comprimido). Faça o download do arquivo e descomprima-o (clique sobre ele com o botão direito e escolha extrair arquivo ), salvando-o na área de sua escolha Baker, C.F.; Fillmore, C. J.; Lowe. J. B. (1998).The Berkeley FrameNet Project. In: Proceedings of Computational Linguistics 1998 Conference Palmer, M.; Gildea, D.; Kingsbury, P. (2005) The Proposition Bank: An Annotated Corpus of Semantic Roles. Computational Linguistics, 31:1., pp , March, 2005.

4 Como habilitar um corpus para uso na ferramenta SALTO? Para editar a anotação de um corpus na ferramenta SALTO é preciso que seu corpus tenha algumas características: (1) tenha sido anotado automaticamente por um parser sintático, como o Palavras 7 (Bick, 2000); (2) esteja em formato Tiger e (3) seja adaptado para o formato Tiger-SALTO. As condições (1) e (2) dependem de você ter acesso ao parser Palavras (que não é de uso livre) e tenha alguns conhecimentos de computação. Caso você não tenha essas condições, poderá optar por um dos corpora disponíveis na Linguateca 8 que já estão anotados pelo parser Palavras e já possuem uma versão Tiger. Já para a característica (3), que é colocar o corpus no formato Tiger-SALTO, foram desenvolvidos dois scripts que se encontram disponíveis no site do do curso da EBRALC "Anotação Semântica na prática: apresentação de ferramentas, manual de anotação, e teoria sobre anotação de papéis semânticos" em além de já estarem nos micros dos laboratórios onde serão ministrados os cursos da EBRALC. O que fazem os scripts desenvolvidos no NILC para converter para o formato Tiger- SALTO? Esses scripts criam um cabeçalho e um rodapé no arquivo do corpus com as áreas onde serão armazenados os dados da anotação. Além disso, o script específico para anotação de papéis semânticos multiplica as sentenças que possuem mais de um verbo e dedica cada cópia à anotação de um desses verbos, evocando-o como centro de um frame (centro da estrutura argumental que será anotada). Cada cópia da sentença constitui uma instância de anotação. Essa medida é necessária para que as estruturas argumentais dos verbos não se sobreponham. Na figura abaixo mostramos como seria anotar várias estruturas argumentais em uma única cópia da sentença. Como se usa a ferramenta Salto? Inicialize a SALTO executando um dos seguintes subarquivos: Salto_bigmemory (se você trabalha no ambiente Windows) ou Salto_bigmemory.sh (se você trabalha no ambiente Linux). A tela de Login no sistema pede que você se identifique com seu nome de usuário. Ao fazer isso, o sistema vai criar seu usuário automaticamente. 7 Bick, E. (2000). The Parsing System Palavras Automatic Grammatical Analysis of Portuguese in a Constraint Grammar Framework. Aarhus, Denmark, Aarhus University Press. 8

5 Na tela a seguir, você deverá escolher com o mouse onde seu corpus está localizado e clicar em choose. A próxima é a tela de trabalho da ferramenta SALTO. Como carregar o corpus na área de trabalho? Clique em File e a seguir em Open File. Escolha o arquivo de seu corpus e ele será carregado na área de trabalho.

6 Como definir o conjunto de etiquetas? A primeira tarefa da anotação é definir o conjunto de etiquetas que será utilizado. Como a SALTO foi feita para a Framenet, ela permite que os frames definidos no formato Framenet sejam importados para o sistema. Para isso, escolha Corpus => Edit Frames => Add frames. Se for utilizar a SALTO para outra finalidade, escolha Corpus => Edit Frames => Create new frame. Defina um nome para seu conjunto de etiquetas e digite-o no campo name, substituindo o nome unknown. A seguir, escolha Add Element para inserir cada uma das etiquetas do seu conjunto. Digite o nome da etiqueta e clique em OK. No exemplo abaixo foi inserida a etiqueta agente.

7 Há um campo chamado Optional na frente da etiqueta criada. Se você assinalar o quadradinho, a etiqueta não aparecerá na sua tela de trabalho. Você poderá mudar essa preferência durante o processo de anotação. Esse recurso é muito útil, pois se o seu conjunto de etiquetas for muito grande, poderá poluir a tela de trabalho, como mostra a figura abaixo. Para evitar esse problema, marque como Optional as etiquetas menos usadas e deixe em branco apenas as mais usadas. As etiquetas que não aparecem na tela poderão ser selecionadas clicando com o botão direito sobre o nome que você deu a seu conjunto de etiquetas. Após fazer isso, escolha a opção Add element e todas as etiquetas definidas ficarão disponíveis para seleção. Uma vez selecionada, a etiqueta ficará visível na instância de anotação para ser atribuída. Após definir todas as etiquetas de seu conjunto, clique em OK.

8 A ferramenta SALTO permite que o conjunto de etiquetas seja editado durante o processo de anotação. É possível criar novas etiquetas e deletar as indesejadas, desde que não tenham sido atribuídas nenhuma vez no corpus. Como fazer a anotação? Atribuir uma etiqueta a um constituinte é simples: clique sobre a etiqueta e arraste-a até o nó da árvore sintática que representa o constituinte que deseja anotar, como mostrado na próxima figura. Como cancelar uma anotação? Se a etiqueta foi atribuída indevidamente, você pode desfazer a ação imediatamente, dando um Ctrl z. Se o erro for percebido mais tarde, clique com o botão direito sobre a etiqueta e escolha Delete element. É possível adicionar outras anotações? Sim. Além das etiquetas atribuídas aos constituintes da árvore sintática, é possível fazer dois outros tipos de anotação na ferramenta SALTO. Um é a atribuição de uma etiqueta à sentença como um todo ( sentence flag ) e o outro é a atribuição de uma etiqueta à palavra ( word tag ). Como se atribui uma etiqueta à sentença como um todo? Para anotação da sentença, o escolha Corpus => Flag Current Sentence. Há quatro flags pré-definidas na SALTO: Reexamine, Later, Wrongsubcorpus e Interesting.

9 A SALTO tem no alto da tela a opção de exibir todas as sentenças do corpus ou apenas as sentenças que foram anotadas com flags ou ainda todas as sentenças que receberam uma determinada flag. Cada uma das sentence flags tem um campo para subclassificação chamado parameter e um campo para comentário ( comment ). O nome do parameter deverá ser digitado toda vez, não ficando disponível para seleção. Por isso, se quiser utilizar o campo como se fosse uma etiqueta, deverá ter o cuidado de digitar o nome corretamente toda vez. Assim, futuramente, poderá fazer uma busca por determinado parâmetro a fim de recuperar todas as sentenças anotadas com ele. Como se atribui etiquetas às palavras do texto? A anotação de palavras deve ser feita com word tags definidas para a tarefa de anotação. Escolha Corpus => Edit word tag. No campo tag digite um nome para a etiqueta que você quer criar para palavras. Se for possível prever os valores que a word tag poderá apresentar, coloque-os no campo Values, caso contrário, deixe esse campo em branco.

10 A atribuição das word tags definidas deve ser feita clicando com o botão direito sobre a palavra a ser anotada. Selecione uma das word tags. A seguir, digite um value para ela ou, caso sejam apresentados values possíveis, apague os que não correspondem à sua opção, deixando apenas o value desejado.