Motivação e objectivos. Trabalho relacionado. Arquitectura. Contribuições. Avaliação. Conclusões

Transcrição

1 Extracção e classificação de entidades mencionadas Diogo Correia de Oliveira L 2 F - Spoken Language Systems Laboratory 1 L 2 F - Spoken Language Systems Laboratory 2 Motivação (1 / 3) Identificação e classificação de entidades em textos de língua portuguesa Tarefa importante em Processamento de Língua Natural Um dos primeiros passos para extrair significado de um texto Directivas de classificação Categorias: VALOR, HUMANO e LOCAL L 2 F - Spoken Language Systems Laboratory 3 4 Motivação (2 / 3) Motivação (3 / 3) Entrada: Entrada: O realizador James Cameron, natural do Canadá, escreveu, produziu e dirigiu o filme Avatar, cujo orçamento ultrapassou os 200 milhões de dólares. HUMANO LOCAL VALOR Saída: O realizador <EM CATEG= HUMANO TIPO= INDIVIDUAL SUBTIPO= PESSOA >James Cameron</EM>, natural do <EM CATEG= LOCAL TIPO= CRIADO SUBTIPO= PAIS >Canadá</EM>, escreveu, produziu e dirigiu o filme Avatar, cujo orçamento ultrapassou os <EM CATEG= VALOR TIPO= MOEDA >200 milhões de dólares</em>. 1143: Portugal consegue obter a independência VALOR? LOCAL? HUMANO? No segundo exemplo, estamos perante um caso de metonímia Estes casos passaram a ser tratados de forma especial no sistema 5 6

2 Objectivos Propor um novo conjunto de Directivas de Classificação Melhorar o sistema em questão nas categorias VALOR, HUMANO e LOCAL Estabelecer uma nova maneira de representar a metonímia e melhorar a capacidade do sistema em capturar entidades deste género Avaliar o trabalho efectuado, usando métricas de avaliação bem definidas 7 L 2 F - Spoken Language Systems Laboratory 8 Trabalho relacionado (1 / 2) Trabalho relacionado (2 / 2) conjunta: o Segundo HAREM (2008) Sistema Posição Medida F (ident.) Medida F (class.) # Categorias Priberam 1 71% 57% 9 9 participantes: 8 relevantes para este estudo Objectivo comum: REM em português Identificação e classificação de entidades Relação entre entidades: fora do âmbito deste trabalho R3M 2 68% 3 REMBRANDT 2 68% 57% 9 XIP 4 61% 54% 7 REMMA 5 55% 45% 9 CaGE 6 43% 34% 4 SEI-Geo 7 24% 20% 1 Abordagens diferentes Objectivo comum, construídos por motivos diferentes Categorias consideradas Tecnologia usada PorTexTO 8 16% 16% 1 Todos usam regras manuais R3M usa abordagem semi-supervisionada REMBRANDT e REMMA usam a Wikipedia Outras fontes externas: listas de palavras, ontologias 9 10 Arquitectura / Cadeia de processamento Input Segmentação Etiquetação morfossintáctica (Palavroso) Divisão em frases Desambiguador morfossintáctico (RuDriCo) Desambiguador estatístico (MARv) Análise sintáctica e semântica (XIP) Output L 2 F - Spoken Language Systems Laboratory 11 12

3 Arquitectura / XIP Arquitectura / XIP / Chunking (1 / 3) Recebe entradas textuais e fornece informação linguística Cálculo de chunks e de dependências Regras de chunking e regras de dependência Adicionamento de informação lexical, sintáctica e semântica Ficheiros de léxico Chunking Processo para agrupar sequências ordenadas de nós O 44.º Presidente dos EUA afirmou que... 1> noun[people=+, cargo=+, (num),?[title], prep[lemma:de], (art[def]),?[maj,location] Arquitectura / XIP / Chunking (2 / 3) Arquitectura / XIP / Chunking (3 / 3) Regras de dependência Servem para extrair dependências (relações) entre nós Providenciam um conhecimento mais rico relativo ao texto processado Exemplo Marcar um nó como entidade mencionada Partido Social Democrata São usadas no XIP para: Estabelecer relações de dependência entre os nós Marcar os nós como entidades mencionadas NP{?*, noun#1[partido]} if ( ~NE[partido](#1) ) Sintaxe padrão if ( condição ) NE[...] NE[collective=+, institution=+, partido=+](#1) Arquitectura / XIP / Léxico Ficheiros de léxico Ficheiros de texto, começam com a indicação Vocabulary: Atribuição de traços Exemplos: Palavras com traço local: cordilheira : noun += [location=+, geographic=+, mountain=+]. ilha : noun += [location=+, geographic=+, island=+]. Palavras com traço organizacional: NATO : noun += [collective=+, institution=+, acron=+]. Apple : noun += [collective=+, institution=+]. Entre muitos outros L 2 F - Spoken Language Systems Laboratory 18

4 Contribuições Contribuições / Directivas (1 / 4) Novas Directivas de Classificação Segmentação Novo conjunto de Directivas de Classificação Inspiradas pelas directivas do Segundo HAREM, mas com diferenças substanciais Consistência Adopção de Directivas mais focadas na utilização prática de sistemas que precisem de REM As antigas estavam demasiado afastadas destas necessidades Léxico e regras Metonímia Contribuições / Directivas (2 / 4) Contribuições / Directivas (3 / 4) Segundo HAREM Novas directivas Segundo HAREM Novas directivas Individual País Divisão País Divisão Cargo Pessoa Humano Região Criado Região GrupoCargo Construção Construção Pessoa GrupoMembro Individual Rua AguaMassa Rua AguaMassa Membro GrupoInd Povo Humano Cargo Local Físico AguaCurso Relevo Planeta Ilha Local Físico AguaCurso Relevo Planeta Ilha Organização Administração Empresa Colectivo Administração Instituição Região Outro Sítio RegiãoNatural Sítio Instituição Grupo Virtual Obra ComSocial Virtual Documentos Outro Contribuições / Directivas (4 / 4) Contribuições / Segmentação Segundo HAREM Quantidade Valor Moeda Novas directivas Quantidade Moeda Valor Classificação Números por extenso eram apanhados token a token e aglomerados mais tarde Script de segmentação alterado para suportar números por extenso De 1 até Misturas de dígitos com palavras também são aceites (e.g. 2 mil ) Dezenas, centenas e milhares também são aceites (e.g. duas centenas ) Classificação ResultadosDesportivos Mais tempo de processamento na fase inicial, mas menos trabalho em fases posteriores, porque existem menos tokens para analisar 0,11 mseg/palavra -> 0,20 mseg/palavra 23 24

5 Contribuições / Consistência Contribuições / Léxico e regras Cadeia de processamento muito longa Gera inconsistências pelo caminho Lemas desactualizados no XIP devido a mudanças no RuDriCo Regras não eram corridas, logo os nós não ganhavam os traços e as entidades não eram apanhadas Tarefa fundamental para acompanhar o desenvolvimento do RuDriCo regras em regras em 2010 Melhorias nas categorias VALOR, HUMANO e LOCAL Muito mais léxico (sobretudo na categoria Humano) Aproximadamente: 200 novas entradas para a categoria VALOR novas entradas para a categoria HUMANO 200 novas entradas para a categoria LOCAL Aproximadamente 450 regras corrigidas, melhoradas e/ou criadas Contribuições / Metonímia (1 / 5) Contribuições / Metonímia (2 / 5) O que é a metonímia? Literalmente, mudança de nome Designa a substituição de um nome por um outro nome, normalmente tendo ambos uma relação parte-todo (ou metonímica ) Exemplos Portugal votou a favor desta moção na ONU Portugal não conseguiu chegar aos quartos-de-final no Mundial de Futebol de 2010 Grande impacto em REM, bem como noutras tarefas de PLN Difícil capturar a relação entre um nome, explícito, e outro nome, implícito No Segundo HAREM, a metonímia estava espalhada por muitas categorias Se uma entidade fosse identificada e classificada como metonímica, o output mostrava a nova categoria, o novo tipo e o novo subtipo (se aplicável) Impossível perceber a alteração que se deu Adopção de uma nova propriedade XML particular para representar casos de metonímia <EM MET-CAT=... CATEG=... TIPO=... SUBTIPO=... > </EM> Novas regras de dependência para cobrir mais casos Existem cerca de 30 regras para cobrir casos de VALOR, HUMANO e LOCAL São necessárias muitas mais Contribuições / Metonímia (3 / 5) Contribuições / Metonímia (4 / 5) Exemplos Antes (Segundo HAREM) <EM CATEG= ORGANIZACAO TIPO= ADMINISTRACAO >Portugal</EM> ratificou o tratado Depois (novas directivas) <EM MET-CAT= HUMANO COLECTIVO CATEG= LOCAL TIPO= CRIADO SUBTIPO= PAIS >Portugal</EM> ratificou o tratado Abordagem seguida Uma entidade tem sempre uma classe base Em caso de metonímia, a entidade sofre uma transição metonímica entre classes Transições suportadas: LOCAL para HUMANO HUMANO COLECTIVO para HUMANO INDIVIDUAL HUMANO COLECTIVO para LOCAL Exemplos 29 30

6 Contribuições / Metonímia (5 / 5) LOCAL para HUMANO Cristiano Ronaldo conquistou a admiração da Inglaterra HUMANO COLECTIVO para HUMANO INDIVIDUAL O GNR constatou que eu ia em excesso de velocidade HUMANO COLECTIVO para LOCAL No ano passado estive na Google 31 L 2 F - Spoken Language Systems Laboratory 32 Avaliação / Contextualização Avaliação / Cenários de avaliação Detalhes do corpus de avaliação Foram usados os programas de avaliação do Segundo HAREM, adaptados às novas categorias Anotação feita por Tipo de anotação Corpus de avaliação (Colecção Dourada) Linguista Manual, de acordo com as novas directivas Número de palavras ~ Número de entidades ~ (~ 280 de metonímia) sem metonímia Avaliação de cada categoria em separado Avaliação global com metonímia Avaliação apenas das entidades metonímicas Avaliação global Estabelecer o impacto da metonímia nos resultados Avaliação / Métricas Avaliação / Resultados sem metonímia (1 / 2) Uma entidade mencionada pode estar Certa, Em falta, ou ser Espúria Identificação sem metonímia Foram usadas as seguintes métricas na avaliação: Precisão Abrangência Medida-F LOCAL HUMANO VALOR GLOBAL Precisão Abrangência Medida-F 35 36

7 Avaliação / Resultados sem metonímia (2 / 2) Avaliação / Resultados com metonímia (1 / 2) Classificação sem metonímia Identificação com metonímia LOCAL HUMANO VALOR GLOBAL 0 Metonímia GLOBAL Precisão Abrangência Medida-F Precisão Abrangência Medida-F Avaliação / Resultados com metonímia (2 / 2) Avaliação / Impacto da metonímia Classificação com metonímia Ao introduzirmos avaliação de metonímia: A identificação sofre um decréscimo de aproximadamente 1% na precisão, 2% na abrangência e 2% na medida-f A classificação sofre um decréscimo de 0.3% na precisão, 0.4% na abrangência e 0.4% na medida-f A metonímia tem um impacto negativo mínimo nos resultados Metonímia GLOBAL Precisão Abrangência Medida-F Conclusões / Comentários finais A contribuição para umas novas Directivas de Classificação foi muito positiva A metonímia é agora tratada de uma maneira uniforme, mas ainda há muito por melhorar No geral, os resultados da avaliação foram bons A precisão foi abaixo do esperado. Os problemas existem e são conhecidos, faltou tempo para os corrigir A abrangência foi acima do esperado L 2 F - Spoken Language Systems Laboratory 41 42

8 Conclusões / Trabalho futuro Melhorar a precisão da categoria VALOR Melhorar a abrangência da categoria HUMANO Criar mais regras de dependência para cobrir mais casos de metonímia O método de propagação de traços ficou por melhorar. É importante torná-lo uma realidade para mais casos do que apenas para nomes de pessoas L 2 F - Spoken Language Systems Laboratory 43