Introdução ao Processamento de Línguas Naturais. Thiago A. S. Pardo

Transcrição

1 Introdução ao Processamento de Línguas Naturais Thiago A. S. Pardo Núcleo Interinstitucional de Lingüística Computacional Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo 1 Meta HAL

2 Para construir um computador como HAL Requer um volume enorme de conhecimento de uma dada língua Reconhecimento (faz até leitura labial) e síntese de fala (fonética e fonologia) Conhecimento das palavras envolvidas (morfologia e vocabulário) Significado (semântica) e como combinam (uso das palavras) Como grupos de palavras de juntam (gramática) Manter um diálogo (discurso) É educado responder... mesmo que você queira matar alguém (HAL) É educado ser cooperativo... mesmo que esteja fingindo (HAL) O uso de língua natural também pressupõe conhecimento do mundo e de senso comum 3 Língua Natural Língua humana Em oposição às linguagens artificiais Matemática, lógica, linguagens de programação de computadores 4 2

3 PLN Processamento de Língua Natural Lingüística Computacional Processamento de Linguagem Natural Engenharia das Línguas Naturais No Brasil, tradicionalmente visto como subárea da Inteligência Artificial & Computação Habilidade lingüística é um tipo de inteligência 5 PLN Instruir o computador a lidar com a língua Entendimento Análise morfológica e sintática, semântica e discursiva Geração, síntese Tradução, produção de resumos Correção gramatical Busca de respostas para perguntas Recuperação de informação da Internet Auxílio a escrita e ao aprendizado de línguas Interdisciplinar Computação Lingüística 6 3

4 PLN: um pouco de história Nascimento na 2ª guerra mundial Tradução automática Possíveis nomes Computational Linguistics Mechanolinguistics Automatic Language Data Processing Natural Language Processing 7 PLN: um pouco de história Trajetória da Inteligência Artificial Primeiros trabalhos grande expectativa resultados pobres desilusão e hibernação da área novos horizontes Relatório da ALPAC (Automatic Language Processing Advisory Committee): Languages and Machines computers in translation and linguistics 8 4

5 PLN: um pouco de história Dicotomia Simbolismo vs. estatística Globalização, internet, tecnologia da informação, Google 9 PLN Auxílio às tarefas humanas Não substitui o humano Não é possível automatizar a língua, apenas aspectos dela O computador é uma máquina estúpida! VS. 10 5

6 PLN: Eliza Programa psicólogo dos anos 60 Muitas versões na Internet Parece muito esperto, mas se perde depois de algum tempo de conversa Muitas pessoas foram enganadas pelo programa!!! Muito simples Se baseia na fala da pessoa para formular sua pergunta/resposta 11 PLN Conversar com uma máquina não é tão difícil Fazer a máquina entender é difícil, talvez impossível Futuro distante Muitas pesquisas Programas especializados Recursos lingüísticos e lingüístico-computacionais 12 6

7 PLN De que um computador necessita para ser capaz de entender uma fala humana e interagir adequadamente? Como nós, humanos, fazemos isso? Quem é Lula? Que preguiça! Está calor aqui. Lingüista: O que Chomsky disse? Informata: O que Chomsky disse? Quem é Lula? Sei que não é o molusco. 13 PLN Vários níveis de conhecimento Tradicionalmente distinguidos em PLN, apesar dos limites entre eles serem nebulosos Abstração & Complexidade Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia 14 7

8 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Transcrição fonética/fonológica Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia 15 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Transcrição fonética/fonológica Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia Reconhecimento de de voz voz Síntese de de voz voz 16 8

9 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia Ele [ele] PERS M 3S NOM queria [querer] <fmc> V IMPF 3S IND VFIN jogar [jogar] V INF tênis [tênis] N M S/P com [com] PRP Janete [Janete] PROP M/F S, mas "mas" <co-vfin> <co-fmc> KC também [também] ADV queria [querer] <fmc> V IMPF 3S IND VFIN jantar [jantar] V INF com [com] PRP Suzana [Suzana] PROP F S. Sua [seu] <poss 3S> DET F S indecisão [indecisão] N F S o [ele] PERS M 3S ACC deixou [deixar] <fmc> V PS 3S IND VFIN louco [louco] ADJ M S 17. PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o Analisadores deixou sintáticos louco. Corretores gramaticais Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia Ele [ele] PERS M 3S NOM queria [querer] <fmc> V IMPF 3S IND VFIN jogar [jogar] V INF tênis [tênis] N M S/P com [com] PRP Janete [Janete] PROP M/F S, mas "mas" <co-vfin> <co-fmc> KC também [também] ADV queria [querer] <fmc> V IMPF 3S IND VFIN jantar [jantar] V INF com [com] PRP Suzana [Suzana] PROP F S. Sua [seu] <poss 3S> DET F S indecisão [indecisão] N F S o [ele] PERS M 3S ACC deixou [deixar] <fmc> V PS 3S IND VFIN louco [louco] ADJ M S 18. 9

10 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia 19 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia Análise sintática Corretores Gramaticais Sumarizadores Tradução Automática 20 10

11 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Ele, Janete e Suzana = humanos. Jogar tênis = praticar o esporte tênis arremessar o calçado.... Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia 21 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. queria(exper(ele),objetivo(jogar(tênis),comutativo(janete)))... Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia 22 11

12 PLN contraste [Ele queria jogar tênis com Janete], [mas também queria jantar com Suzana]. causa [Sua indecisão o deixou louco]. Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. 23 PLN contraste [Ele queria jogar tênis com Janete], [mas também queria jantar com Suzana]. causa Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia [Sua indecisão o deixou louco]. Analisadores semânticos Corretores gramaticais Sumarizadores Ele queria jogar Tradução tênis com Janete, automática mas também queria jantar com Suzana. Sua indecisão o deixou louco

13 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia 25 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. (Intend E (Believe L o desejo de fazer duas coisas incompatíveis o deixou louco )) Pragmática / Discurso Semântica Sintaxe Morfologia Fonética / Fonologia 26 13

14 PLN Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. (Intend E (Believe L o desejo de fazer duas coisas incompatíveis o deixou louco )) Analisadores discursivos Corretores estilísticos Categorizadores de de texto texto Pragmática / Discurso Sumarizadores Semântica Resolução anafórica Sintaxe Morfologia Fonética / Fonologia 27 PLN Considerações para uso por um computador Os níveis de conhecimento precisam ser representados (formalizados) e manipulados automaticamente Interação entre os níveis Morfologia e sintaxe Sintaxe e semântica Semântica e discurso 28 14

15 PLN Trabalho em PLN Fase lingüística Fase representacional Fase implementacional 29 PLN Trabalho em PLN Fase lingüística Sintaxe de sentenças da língua portuguesa Resumos de artigos de jornais Tradução espanholportuguês Fase representacional Regras sintáticas e formalismos sintáticos Formalização das regras para resumir Regras de tradução, dicionários bilíngues Fase implementacional Desenvolvimento do analisador sintático Desenvolvimento do sumarizador automático Desenvolvimento do tradutor automático 30 15

16 PLN Trabalho em PLN Fase lingüística Fase representacional Fase implementacional Teorias e dados lingüísticos Formalismos/esquemas de representação Métodos e modelos computacionais Aspectos da língua que são possíveis capturar e automatizar Maioria das teorias lingüísticas são sofisticadas demais para o PLN 31 PLN Interação delicada entre informatas e lingüistas Como na maioria das áreas interdisciplinares Informata: sujeito, predicado, relações semânticas e lógico-conceptuais, vozes do texto, Chomsky? Lingüista: scripts, GUI, usabilidade, autômato, Turing? 32 16

17 PLN & IA Classificações... nem sempre triviais Critérios Uso de conhecimento lingüístico Representação do conhecimento Obtenção do conhecimento Paradigmas Superficial, profundo e híbrido Simbólico, nãosimbólico e híbrido Manual, automática e híbrida Recursos, ferramentas e aplicações 33 Tendências do PLN No início, métodos superficiais e simbólicos Métodos profundos e simbólicos Atualmente, métodos estatísticos Em direção ao hibridismo E o ciclo recomeça, mas diferente

18 Recursos Córpus Vs. corpus e corpora Anotação: humana e/ou automática XML, XCES, TEI, etc. Paralelo, comparável, alinhado, etc. Dicionários monolíngües e bilíngües Léxicos Machine readable vs. machine tractable Vários paradigmas 35 Ferramentas Segmentadores textuais: palavras (tokenizador), sentenças, parágrafos, tópicos Stemmers, lematizadores, nominalizadores Etiquetadores morfossintáticos (taggers) Analisadores sintáticos shallow (chunkers) e deep (parsers) Analisadores semânticos e discursivos Alinhadores textuais: lexicais, sentenciais, etc. Concordanceadores, word counting, etc

19 Aplicações Tradutores automáticos Revisores ortográficos e gramaticais Ferramentas de auxílio à escrita Sumarizadores automáticos Simplificadores textuais 37 Recursos, ferramentas e aplicações Atenção Classificação difusa, às vezes Dependente do uso Sumarizador como passo intermediário para recuperação da informação ferramenta Dicionário eletrônico para consulta aplicação 38 19

20 Exemplos Revisão ortográfica Tokenizador Léxico Regras para ordenar sugestões 39 Exemplos Revisão gramatical Tokenizador Segmentador sentencial Etiquetador morfossintático Analisador sintático Léxico Regras gramaticais 40 20

21 Exemplos Revisão estilística Tokenizador Regras estilísticas Exemplos Análise sintática Léxico Regras sintáticas

22 43 Exemplos Sumarização automática Métodos profundos e superficiais

23 Exemplos Auxílio à escrita de textos científicos Regras de estruturação textual Exemplos da estruturas de outros textos Crítica de cada parte do texto

24

25 Exemplos WordNet Base de dados lexicais e conceituais Relações semânticas entre palavras Sinonímia Antonímia Acarretamento Etc. Relações ontológicas

26 Exemplos Tradução automática Métodos Regras Estatísticos Aprendizado automático a partir de textos originais e suas traduções Interlíngua UNL: Universal Networking Language Diversos países do mundo financiados pela Universidade das Nações Unidas por iniciativa do Japão 51 Exemplos Tradução por interlíngua Espanhol Português Interlíngua Árabe Inglês Japonês 52 26

27 Exemplos Tradução sem interlíngua? Espanhol Português? Árabe Inglês Japonês 53 Exemplos Tradução sem interlíngua! Espanhol Português Árabe Inglês Japonês 54 27

28 PLN Conhecimento lingüístico é a base para muitos sistemas que manipulam língua natural Extração de conhecimento de córpus Regras gramaticais, sintáticas e discursivas Estrutura textual Regras de tradução Critérios para resumir

29 Conhecimento de mundo 57 Senso comum 58 29

30 Ferramentas de Apoio ao PLN Diversas ferramentas e toolkits GATE NLTK (Natural Language Toolkit) Vários ambientes de processamento de córpus GIZA++ WEKA Etc. Prolog! Suporte à escrita e processamento de gramáticas Análise sintática, semântica, discursiva Tradução Etc. 59 Recentemente A área de PLN tem crescido no Brasil Tecnologia da Informação 60 30

31 Últimas notícias CHARLA 2008 Promoting Latin American Identity in a Digital World: Multilinguism and Information Access 61 31