Deep Learning for Chinese Word Segmentation and POS Tagging

Transcrição

1 Deep Learning for Chinese Word Segmentation and POS Tagging Lin Yu Han Universidade Federal do Paraná Novembro 2015

2 Tagging: Sumário Sumário Introdução. Arquitetura da Rede Neural Experimentos Considerações Finais

3 Tagging: Introdução Introdução POS Tag: part of speech tag Explorar informações POS tag para ajudar na segmentação de palavras Descrição do algoritmo "Perceptron-style"para treinar redes neurais Segmentação de palavras chinesas e POS tagging pode ser efetivamente realizada por Deep Learning. A rede quase conquista o estado da arte de eficiência por transferir representações internas não supervisionadas de caracteres chineses em modelos supervisionados

4 Tagging: Arquitetura da Rede Arquitetura da Rede A primeira camada extraí características de cada caracter chinês. O próximo extraí características da janela de caracter. Os próximos níveis são níveis clássicos de uma rede neural. A saída da rede é um grafo

5 Tagging: Arquitetura da Rede

6 Tagging: Arquitetura da Rede Mapear os Caracteres me vetores de características: os caracteres são alimentados dentro da rede como indices que são utilizados por uma operação de pesquisa para transformar cada caracter em seu vetor de característica. Pontuação dos rótulos (Tag score): a pontuação é produzida por cada tag aplicando diversas camadas da rede neural sobre o vetor de características produzido pela camada da tabela de pesquisa. Abordagem da janela assume que a tag de um caracter depende principalmente dos seus caracteres vizinho.

7 Tagging: Arquitetura da Rede Tag Inference: grande dependência entre os rótulos dos caracters na sentença para as tarefas. Encorajar trajetos válidos de tag enquanto desencoraja os outros trajetos. Treinamento: Determinar todos os parâmetros sobre os dados de treinamento. Rede é treinada maximizando a probabilidade das sentenças no conjunto de treinamento.

8 Tagging: Arquitetura da Rede Novo método de treinamento

9 Tagging: Arquitetura da Rede onde Lθ é a nova função o qual deseja-se maximizar sobre todos os pares de treinamento (c,t), pode ser vista como a diferença entre a pontuação do trajeto correto com a incorreta. t é a maior pontuação para a entrada c.

10 Tagging: Arquitetura da Rede p (. ) probabilidade calculada do output da rede

11 Tagging: Experimentos Experimentos Sentence-level log-likelihood (SLL) vs Perceptron-style training algorithm (PSA) Word Segmentation (SEG) + Joint Word Segmentation and POS tagging (JWP)

12 Tagging: Experimentos

13 Tagging: Experimentos

14 Tagging: Experimentos

15 Tagging: Experimentos

16 Tagging: Experimentos

17 Tagging: Experimentos

18 Tagging: Experimentos

19 Tagging: Considerações finais Considerações finais: Evita-se soma exponenciais: excede o ponto flutuante aritmético das linguagens de programação. Não é usado informações extras (heurísticas/recursos) Introduzir características específicas da linguagem (características da revista) Usar a rede para tarefas de interesse.

20 Dúvidas???

21 Dúvidas??? Muito obrigado pela atenção.

22 Referências Zeng X., Chen H., Xu T. Deep Learning for Chinese Word Segmentation and POS Tagging Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pages