Introdução ao Processamento de Línguas Naturais (PLN) SCC0230 Introdução à IA. Prof. Thiago A. S. Pardo. Em oposição às linguagens artificiais

Transcrição

1 Introdução ao Processamento de Línguas Naturais () SCC0230 Introdução à IA Prof. Thiago A. S. Pardo 1 Língua Natural Língua humana Em oposição às linguagens artificiais Matemática, lógica, linguagens de programação de computadores 2 1

2 Processamento de Língua Natural Lingüística Computacional Engenharia das Línguas Naturais No Brasil, tradicionalmente visto como subárea da Inteligência Artificial & Computação Habilidade lingüística é um tipo de inteligência 3 e IA O que tem a ver com IA? Utiliza conhecimento Usa formalismos de representação de conhecimento e raciocínio Pode usar técnicas de aprendizado de máquina 4 2

3 Instruir o computador a lidar com a língua Entendimento Análise morfológica e sintática, semântica e discursiva Geração, síntese Tradução, produção de resumos Correção gramatical Busca de respostas para perguntas Recuperação de informação da Internet Auxílio a escrita e ao aprendizado de línguas Interdisciplinar Computação Lingüística 5 : um pouco de história Nascimento na 2ª guerra mundial Tradução automática Possíveis nomes Computational Linguistics Mechanolinguistics Automatic Language Data Processing Natural Language Processing 6 3

4 : um pouco de história Trajetória da Inteligência Artificial Primeiros trabalhos grande expectativa resultados pobres desilusão e hibernação da área novos horizontes Relatório da ALPAC (Automatic Language Processing Advisory Committee): Languages and Machines computers in translation and linguistics 7 : um pouco de história Dicotomia Simbolismo vs. estatística (subsimbolismo) Globalização, internet, tecnologia da informação, Google 8 4

5 Auxílio às tarefas humanas Não substitui o humano Não é possível automatizar a língua, apenas aspectos dela O computador é uma máquina estúpida! VS. 9 : programas de diálogo De ELIZA a Ed Sistemas automatizados 10 5

6 Conversar com uma máquina não é tão difícil Fazer a máquina entender é difícil, talvez impossível Futuro distante Muitas pesquisas Programas especializados Recursos lingüísticos e lingüístico-computacionais 11 De que um computador necessita para ser capaz de entender uma fala humana e interagir adequadamente? Como nós, humanos, fazemos isso? Quem é Lula? Que preguiça! Está calor aqui. Quem é Lula? Sei que não é o molusco. 12 6

7 De que um computador necessita para ser capaz de entender uma fala humana e interagir adequadamente? Como nós, humanos, fazemos isso? Quem é Lula? Que preguiça! Está calor aqui. Quem é Lula? Sei que não é o molusco. Informata: O que Mark Zuckerberg fez? Cientista social: O que Mark Zuckerberg fez? Mãe: O que Mark Zuckerberg fez? 13 Vários níveis de conhecimento Tradicionalmente distinguidos em, apesar dos limites entre eles serem nebulosos na maioria dos casos Abstração & Complexidade 14 7

8 Fonética: estuda como os humanos produzem, transmitem e recebem sons, independente de língua; sistema físico Fonologia: estudo dos sons em uma língua específica, como os sons são construídos Fones, fonemas, local (bilabial, palatal, etc.) e modo de articulação (pausa, nasal, fricativo, etc.), etc. Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Transcrição fonética 16 8

9 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Transcrição fonética Reconhecimento de voz Síntese de voz 17 Palavra: construção, componentes de formação Morfema, grafema, raiz, afixo (prefixo, sufixo, etc.), vogal temática, desinência 18 9

10 Interação entre morfologia e sintaxe: classes gramaticais ou etiquetas morfossintáticas Substantivo/nome, verbo, adjetivo, advérbio, pronome, preposição, conjunção, interjeição, etc. 19 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Ele [ele] PERS M 3S NOM queria [querer] <fmc> V IMPF 3S IND VFIN jogar [jogar] V INF tênis [tênis] N M S/P com [com] PRP Janete [Janete] PROP M/F S, mas "mas" <co-vfin> <co-fmc> KC também [também] ADV queria [querer] <fmc> V IMPF 3S IND VFIN jantar [jantar] V INF com [com] PRP Suzana [Suzana] PROP F S. Sua [seu] <poss 3S> DET F S indecisão [indecisão] N F S o [ele] PERS M 3S ACC deixou [deixar] <fmc> V PS 3S IND VFIN louco [louco] ADJ M S

11 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o Analisadores sintáticos deixou Corretores louco. gramaticais Ele [ele] PERS M 3S NOM queria [querer] <fmc> V IMPF 3S IND VFIN jogar [jogar] V INF tênis [tênis] N M S/P com [com] PRP Janete [Janete] PROP M/F S, mas "mas" <co-vfin> <co-fmc> KC também [também] ADV queria [querer] <fmc> V IMPF 3S IND VFIN jantar [jantar] V INF com [com] PRP Suzana [Suzana] PROP F S. Sua [seu] <poss 3S> DET F S indecisão [indecisão] N F S o [ele] PERS M 3S ACC deixou [deixar] <fmc> V PS 3S IND VFIN louco [louco] ADJ M S 21. Como as sentenças são formadas, como as palavras podem se combinar Função: sujeito, predicado, objetos, predicativos, etc. Estruturação: sintagma nominal, sintagma verbal, etc

12 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. 23 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Análise sintática Corretores Gramaticais Sumarizadores Tradução Automática 24 12

13 Significado Palavras, expressões, orações, sentenças, textos Lexical, composicional, textual 25 Traços semânticos, classificações ontológicas Mesa Cavalo Garota Mulher Animado Humano Fêmea Adulto Tudo Concreto Abstrato Animado Inanimado 26 13

14 Papéis semânticos/temáticos Agente, tema, instrumento, experienciador, fonte, etc. [O menino] AGENTE chutou [a bola] TEMA 27 Classes/categorias/tipos semânticos Humano, local, data, organização, etc. O [menino] HUMANO chutou a bola Entidades nomeadas 28 14

15 Relações lexicais Sinonímia, antonímia, hiperonímia/hiponímia, meronímia/holonímia, etc. 29 Diversos fenômenos Metáforas, expressões idiomáticas, polissemia 30 15

16 composicional Análise de seqüência de palavras, sentenças 31 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. Ele, Janete e Suzana = humanos. Jogar tênis = praticar o esporte tênis arremessar o calçado

17 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. queria(exper(ele),objetivo(jogar(tênis),comutativo(janete))) contraste [Ele queria jogar tênis com Janete], [mas também queria jantar com Suzana]. causa [Sua indecisão o deixou louco]. Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco

18 contraste [Ele queria jogar tênis com Janete], [mas também queria jantar com Suzana]. causa [Sua indecisão o deixou louco]. Analisadores semânticos Corretores gramaticais Sumarizadores Ele queria jogar Tradução tênis automática com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. 35 Discurso Aquilo que está além da sentença textual Relacionamento proposicional, correferência e expressões referenciais, marcadores textuais, intenções, etc

19 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. 37 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco

20 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. (Intend E (Believe L o desejo de fazer duas coisas incompatíveis o deixou louco )) 39 Ele queria jogar tênis com Janete, mas também queria jantar com Suzana. Sua indecisão o deixou louco. (Intend E (Believe L o desejo de fazer duas coisas incompatíveis o deixou louco )) Analisadores discursivos Corretores estilísticos Categorizadores de texto Sumarizadores Resolução anafórica 40 20

21 Pragmática Língua em uso, interação, contexto Fatores como força, educação, hierarquia, crença, cooperação, atitude Estilos de escrita e de fala Suposições sobre produtor e receptor, nível de conhecimento, interesses Modelagem do usuário 41 Pragmática Língua em uso, interação, contexto Fatores como força, educação, hierarquia, crença, cooperação, atitude Estilos de escrita e de fala Suposições sobre produtor e receptor, nível de conhecimento, interesses Modelagem do usuário Corretores estilísticos Sistemas adaptativos 42 21

22 Considerações para uso por um computador Os níveis de conhecimento precisam ser representados (formalizados) e manipulados automaticamente Interação entre os níveis e sintaxe e semântica e discurso 43 Considerações para uso por um computador Os níveis de conhecimento precisam ser representados (formalizados) e manipulados automaticamente Interação entre níveis mais distantes e semântica (goleiro e porteiro vs. padeiro) e pragmática (são carlense vs. são carlino, laranjada e limonada vs. cajuada) e discurso (subordinadas) 44 22

23 e humanos Processamento sequencial vs. paralelo Arquiteturas em pipeline vs. integradas 45 e humanos Humanos lidam naturalmente com Ambigüidade Irregularidade Vagueza Dinamicidade Variabilidade... máquinas não! 46 23

24 Exemplos de dificuldades O homem viu a mulher na montanha de binóculos Filme recente: Knight and Day Você sabe as horas? O coelho foi servido O homem foi servido A caneta está na caixa A caixa está na caneta 47 Exemplos de dificuldades 48 24

25 Trabalho em Fase lingüística Fase representacional Fase implementacional 49 Trabalho em Fase lingüística de sentenças da língua portuguesa Resumos de artigos de jornais Tradução espanholportuguês Fase representacional Regras sintáticas e formalismos sintáticos Formalização das regras para resumir Regras de tradução, dicionários bilíngues Fase implementacional Desenvolvimento do analisador sintático Desenvolvimento do sumarizador automático Desenvolvimento do tradutor automático 50 25

26 Trabalho em Fase lingüística Fase representacional Fase implementacional Teorias e dados lingüísticos Formalismos/esquemas de representação Métodos e modelos computacionais Aspectos da língua que são possíveis capturar e automatizar Maioria das teorias lingüísticas são sofisticadas demais para o 51 NILC Revisão ortográfica Dicionários Regras para ordenar sugestões 52 26

27 NILC Revisão gramatical Analisador sintático Léxico Regras gramaticais 53 NILC Revisão estilística Regras estilísticas 54 27

28 NILC Análise sintática Léxico Regras sintáticas 55 NILC Sumarização automática Métodos profundos e superficiais 56 28

29 NILC Auxílio à escrita de textos científicos Regras de estrutura textual Exemplos da estrutura de outros textos Crítica de cada parte do texto

30

31 NILC Wordnet.Br: base de dados lexicais e conceituais Relações semânticas entre palavras Sinonímia Antonímia Etc. Relações ontológicas Hiperonímia Hiponímia Etc

32 Conhecimento de mundo 63 Senso comum 64 32

33 Recursos e ferramentas Portais de córpus Diversas ferramentas e toolkits GATE NLTK (Natural Language Toolkit) Vários ambientes de processamento de córpus GIZA++ WEKA Etc. Prolog! 65 e Prolog Suporte à escrita e processamento de gramáticas Análise sintática, semântica, discursiva Tradução Etc

34 Análise Sintática em Prolog Analisador sintático Léxico: composto por um conjunto de palavras e suas classes gramaticais Gramática: mecanismo formal usado para definir conjuntos de seqüências de símbolos, utilizando regras de produção 67 Análise Sintática em Prolog Gramáticas podem ser usadas para gerar um seqüência de símbolos, chamada sentença Uma gramática também pode ser usada para reconhecer uma dada sentença (parsing) 68 34

35 Análise Sintática em Prolog DCG (Definite Clause Grammar): notação especial de regras gramaticais Incorporada ao Prolog sintagma nominal sentença sintagma verbal Nós não terminais pronome ela verbo chorou Nós terminais 69 Análise Sintática em Prolog Exemplos mais interessantes vêm da língua natural sentenca --> sintagma_nominal, sintagma_verbal. sintagma_nominal --> artigo, substantivo. sintagma_verbal --> verbo, sintagma_nominal. artigo --> [o]. substantivo --> [gato]. substantivo --> [rato]. verbo --> [matou]. Sentenças geradas [o, gato, matou, o, gato] [o, gato, matou, o, rato] [o, rato, matou, o, gato] [o, rato, matou, o rato] 70 35

36 Análise Sintática em Prolog Quando interpretada, a gramática é mapeada automaticamente em cláusulas Prolog sentenca(list1,rest) :- sintagma_nominal(list1,list2), sintagma_verbal(lista2,rest). sintagma_nominal(list1,rest) :- artigo(list1,list2), substantivo(list2,rest). sintagma_verbal(list1,rest) :- verbo(list1,list2), sintagma_nominal(list2,rest). artigo([o Rest],Rest). substantivo([gato Rest],Rest). substantivo([rato Rest],Rest). verbo([matou Rest],Rest). 71 Análise Sintática em Prolog Para reconhecer sentença sentenca([o,gato,matou,o,rato],[]). Para gerar sentenças sentenca(s,[])

37 Análise Sintática em Prolog Expandindo a gramática com as formas no plural artigo --> [os]. substantivo --> [gatos]. substantivo --> [ratos]. verbo --> [mataram]. Algumas sentenças geradas [os, gatos, mataram, o, gato] OK [o, ratos, matou, os, gato] ERRADA [o, rato, mataram, o, ratos] ERRADA Análise Sintática em Prolog No exemplo dado, o verbo tem que concordar em gênero e número com o sujeito (dependência de contexto) sentenca(g,n) --> sintagma_nominal(g,n), sintagma_verbal(n). sintagma_nominal(g,n) --> artigo(g,n), substantivo(g,n). sintagma_verbal(n) --> verbo(n), sintagma_nominal(g1, N1). artigo(masculino, singular) --> [o]. artigo(masculino, plural) --> [os]. substantivo(masculino, singular) --> [gato]. substantivo(masculino, plural) --> [ratos]. verbo(singular) --> [matou]. verbo(plural) --> [mataram]

38 Análise Sintática em Prolog Sentenças geradas pela gramática anterior [o, gato, matou, o, gato] [o, gato, matou, os, ratos] [os, ratos, mataram, o, gato] [os, ratos, mataram, os, ratos] Análise Sintática em Prolog Mapeamento automático em cláusulas Prolog sentenca(g,n) --> sintagma_nominal(g,n), sintagma_verbal(n). é convertido em sentenca(g, N, List1, Rest) :- sintagma_nominal(g, N, List1, List2), sintagma_verbal(n, List2, Rest)