Processamento de Linguagem Natural. Linguagem: todo sistema do qual se pode extrair um significado. pode servir como meio de comunicação

Transcrição

1 Processamento de Linguagem Natural Linguagem: todo sistema do qual se pode extrair um significado pode servir como meio de comunicação De forma geral: Linguagens são todos os sistemas de comunicação humanos ou não, naturais ou artificiais, verbais ou não-verbais. Processamento de Linguagem Natural Toda linguagem possui: Elementos ou unidades que se combinam e produzem significado Exemplo: Elementos Língua humana - palavras Música - notas musicais Existem diferentes enfoques para a Linguagem Natural vista como objeto de estudo científico => não há conclusões definitivas sobre as suas: características; funcionamento; e uso. 1

2 1900 (pesquisas iniciais) França surge o estruturalismo linguístico Linguagem: estrutura - conjunto de ordenado de elementos, onde cada um tem função definida em relação aos demais ==> estrutura leva às idéias de totalidade e interdependência Exemplo: Mesa Elementos: Pé de mesa; Tampo de mesa Como escolher os elementos? Que critério se usa? Critério => função (valor de um elemento em uma estrutura decorre de sua função). Na linguagem: os elementos são as palavras cada palavra é definida em relação às outras na mesma estrutura => só tem valor dentro da estrutura Linguagem: Estudada como uma entidade autônoma de dependências internas. Ou seja, é uma estrutura constituída por uma rede de elementos em que cada um adquire um valor funcional. => Pesquisas descritivas sobre a linguagem, consistindo na observação e na classificação dos elementos. 2

3 Década 50 e 60 (EUA) Ampliação dos conhecimentos sobre a língua Surge a teoria da gramática gerativa transformacional (MIT) Maior valor ao indivíduo do que o grupo social. Linguagem vista como um objeto ideal para a comunicação por permitir: Liberdade; e Criatividade individual. Persiste o conceito de estrutura na teoria. Mecanismo (gramática) gera um número infinito de frases bem formadas ou adequadas. Intuição de quem fala decide se a frase é adequada ou não (um único falante é suficiente para avaliar a adequação de uma frase) Qualquer um poderia rejeitar frases como: O cachimbo resolver João. Violetas comeremos nós amanhã. Década 70 e 80 As linhas estruturalista e gerativista focalizam as pesquisas nos interlocutores do processo de comunicação: São consideradas: locutor; e ouvinte. experiências pessoais; crenças; e conhecimentos específicos. 3

4 Linha Pragmática Definida como o estudo das relações do usuário da linguagem com a própria linguagem, pois o usuário é um interlocutor (a subjetividade de cada um, as concepções de um sobre o outro, as expectativas interferem na interação social através da linguagem - um encontro entre interlocutores pode ser imaginado como uma ação dramática, um espaço de intersubjetividade) Importância à intenção do locutor e ao reconhecimento desta intenção pelo ouvinte. Objetivo: Processamento da Linguagem Natural (PLN) Fazer com que o computador se comunique usando Português, Inglês, etc. Necessidade: Descobrir como os homens se comunicam e tentar modelar os processos. Execução de PLN é complicada (Não existem conclusões definitivas sobre como o cérebro processa as línguas humanas). Processamento da Linguagem Natural (PLN) Linhas de pesquisa existente: Linguística Enfoque da gramática gerativa transformacional Psicologia Cognitiva Antes do processamento detecta as unidades temáticas: causas; consequências; metas; intenções no texto. 4

5 Gramática Normativa: Determina o padrão culto da linguagem (indica o que certo ou errado) Segundo estas normas: O correto é dizer: Há alunos na classe e não Tem alunos na classe. Em PLN usa-se Gramática Gerativa Transformacional e Pragmatismo para complementar a análise da linguagem. Conceitos básicos Frase: Organização, combinação de elementos, agrupados segundo princípios que a caracterizam como uma estrutura. Conceitos básicos Gramática: Conjunto finito de regras para organização das palavras de uma linguagem em frases. (Refere-se ao conjunto de regras que o falante de uma língua interiorizou, inconscientemente ou não, e que permite o entendimento e a produção de frases na língua). 5

6 Conceitos básicos Exemplo: Bloco 1 Bloco 2 Calipso Uma deusa Ela é uma deusa. ama Odisseus. mora em uma ilha. Calipso Uma deusa Ela é uma deusa. ama Odisseus. mora em uma ilha. Bloco 1 Elementos são equivalentes e podem ser substituídos um pelo outro Î são chamados de sintagmas nominais (agrupamento de palavras que exercem a função de um nome) (Sintagma = agrupamento) Calipso Uma deusa Ela é uma deusa. ama Odisseus. mora em uma ilha. Bloco 2 Cada sequência diz algo sobre a sequência do primeiro bloco Î são chamados de sintagmas verbais 6

7 Calipso Uma deusa Ela é uma deusa. ama Odisseus. mora em uma ilha. Cada bloco tem função específica Um deusa Sintagma Nominal ama Odisseus Sintagma Verbal => Frase é constituída por um sintagma nominal seguido de um sintagma verbal. Regra de estrutural frasal: Frase Æ Sintagma_nominal, Sintagma_verbal Gramática Conjunto de regras para gerar, produzir frases (SINTAXE) e que especifica a correspondência entre a forma da frase e o significado (SEMÂNTICA). Fenômenos formais, sintáticos, semânticos e pragmáticos estão ligados num funcionamento global. Conjunto de regras descreve o funcionamento total que constitui a gramática da linguagem. Sintaxe Estudo dos princípios e processos segundo os quais se constroem as frases da linguagem. Tem caráter criativo responsável pelas regras que regem todas as frases da linguagem. A regra de reescrita faz parte do componente sintático da linguagem. 7

8 Semântica Estudo das relações de significado/sentido entre as palavras da frase e das frases entre si. Componente semântico da gramática é constituído por um sistema de regras que define a interpretação das frases. Significado e Sentido são diferentes. Exemplo: A lua é um astro Lulu tem cara e lua A lua parece um queijo Lua tem significado próprio e possui sentido específico em cada frase. Semântica e pragmática (tratam do significado) Semântica é suficiente para interpretação em frases isoladas de contexto. Discurso (oral ou escrito) formado por frases As unidades semântico-pragmáticas repercutem diferente em cada ouvinte. Pragmática Descobrir a intenção com que algo é dito, ajuda a completar o significado da frase. 8

9 Sintaxe (Greco) montagem: Reconhecimento de um objeto necessita da Análise Sintática, ou seja, da verificação da organização de seus componentes. Análise Sintática Estudo minucioso da montagem e do modo de colocar em posições adequadas as várias partes de um todo. Está presente em um grande número dos processos mentais de reconhecimento Mecanismo de análise sintática é acionado na compreensão de frases e textos. Componente sintático (SINTAXE) da gramática gerativa transformacional possui: Subcomponentes De base (as regras de reescrita e as regras de inserção do léxico) e Transformacional (Cada subcomponente tem sistema de regras próprio) Notação de Regras Gramaticais (NRG) Recurso PROLOG Escreve um conjunto de regras denominado gramática Regras são adaptadas à PLN (divergem dos manuais de linguística) 9

10 (NRG) Palavras são classificadas em categorias gramaticais Artigos definidos - (o, a, os, as) Artigos indefinidos - (um, uma, uns, umas) Nomes próprios - (Grécia, Hércules, Penelope, João) Nomes comuns - ( poeta, deusa, centauro, carro) Verbos - (educou, matou) Adjetivos - (linda, forte) Preposições - (de, com, para, em) Pronomes pessoais - ( eu, tu, ele) Pronomes Relativos - ( que, quem, cujo, onde) Exemplo: Frase gramaticais Homero O poeta educou a Grécia. Um centauro Frase agramatical Com leite educou a Grécia. Especificação de regras de reescrita de sintagma nominal em NRG: Sintagma_nominal --> artigo, nome_comum. (artigo seguido de nome) => significa é constituído de ou é constituído com Sintagma_nominal --> nome_próprio. (qualquer nome próprio) Pode-se trocar educou a Grécia por outros elementos e a frase continua correta gramaticalmente. O poeta O poeta educou um centauro. matou um centauro. sintagmas verbais 10

11 Frase => sintagma_nominal, sintagma_verbal. Sintagma_verbal --> verbo, sintagma_nominal. Núcleo do sintagma nominal Nome Núcleo do sintagma verbal Verbo Sintagma_adjetival núcleo é o adjetivo. Ex.: O centauro é forte Sintagma_preposicional --> preposição, sintagma_nominal. Em NRG: (def definido; indef - indefinido) artigo(def) -> [o]. artigo(def) -> [a]. artigo(def) -> [os]. artigo(def) -> [as]. artigo(indef) -> [um]. artigo(indef) -> [uma]. nome_comum -> [poeta]. nome_comum -> [centauro]. nome_próprio (exige_artigo) -> [ Grécia ]. nome_próprio -> [ Hércules ]. nome_próprio -> [ Homero ]. verbo -> [educou]. verbo -> [matou]. Verbo é transitivo direto Quando o sintagma verbal é formado por um verbo seguido de um sintagma preposicional Ex.: Uma deusa protege a cidade. 11

12 Verbo é transitivo indireto Quando o verbo requer uma preposição, sendo portanto seguido por um sintagma preposicional Ex.: O poeta precisa de auxílio. Verbo intransitivo Não precisa de sintagma nominal, nem preposicional. Ex.: Pan morreu. Em NRG (do Prolog) Predicado à esquerda sintagma_nominal -> artigo(_),nome_comum. sintagma_nominal -> nome_próprio. sintagma_nominal -> artigo(def), nome_próprio (exige_artigo). Símbolos terminais sempre à direita da regra. nome_próprio -> [ Odisseus ]. verbo -> [partiu]. Regra é transformada pela máquina para realizar a análise. Regra Gramatical Frase -> sintagma_nominal, sintagma_verbal. 12

13 Exemplo (Prolog): frase(l0,l2) :- sintagma_nominal(l0,l1), sintagma_verbal(l1,l2). Os sintagmas recebem 2 argumentos extras chamados listas de diferenças.?- frase([o, poeta, educa,a, Grécia ],L1). L2=[] ->. Yes?- sintagma_nominal([o,poeta,educou,a, Grécia ],L1). L1=[educou,a, Grécia ] ->. Yes?- sintagma_verbal([educou,a, Grécia ],L2). L2=[]->. Yes Pelas respostas: A diferença entre os argumentos de uma frase é uma frase. A diferença entre dois argumentos de um sintagma_nominal é um sintagma nominal A diferença entre dois argumentos de um sintagma_verbal é um sintagma verbal. Seja a sentença de Horn: Interpretações: frase(l0,l2) :- sintagma_nominal(l0,l1), sintagma_verbal(l1,l2). A diferença entre L0 e L2 é uma frase se a diferença entre L0 e L1 for um sintagma. Existe uma frase em L0 e L2 se existe um sintagma_nominal entre L0 e L1 e existe um sintagma_verbal entre L1 e L2. 13

14 Interpretação Procedural: Para encontrar uma frase no início da sequência L0 abaixo o computador executa dois passos: Passo 1 L0=[o,poeta,educou,a, Grécia ] Executa sintagma_nominal (L0,L1) com L0=[o,poeta,educou,a, Grécia ] Consome o sintagma_nominal [o,poeta] de L0 e deixa em L1 [educou,a, Grécia ] Passo 2 Executa sintagma_verbal (L1,L2). Consome o sintagma_verbal que está em L1 e deixa a lista vazia em L2. Resultado: L2 é vazia e a diferença entre L0 e L2 é uma frase. Regras contendo terminais, em Prolog: Regras da gramática: artigo(def) -> [o]. verbo -> [educou]. nome_comum ->[poeta]. 14

15 Em Prolog: artigo(def,[o S],S). verbo([educou S],S). nome_comum([poeta S],S). A noção de listas de diferenças ainda é válida. Diferença entre [o S] e S é o artigo o. Diferença entre [educou S] e S é o verbo educou. /* Vocabulário */ artigo(def) -> [o]. artigo(def) -> [os]. artigo(def) -> [a]. artigo(def) -> [as]. artigo(indef) -> [um]. artigo(indef) -> [uma]. nome_comum -> [poeta]. nome_comum -> [centauro]. nome_proprio(exige_artigo) -> ['Grecia']. nome_proprio -> ['Hercules']. verbo -> [educou]. verbo -> [matou]. /* Regras de gramatica */ sintagma_nominal -> artigo(_),nome_comum. sintagma_nominal -> artigo(def), nome_proprio(exige_artigo). sintagma_nominal -> nome_proprio. sintagma_verbal -> verbo, sintagma_nominal. frase -> sintagma_nominal, sintagma_verbal. 15

16 ?- frase(x,[]). X = [o,poeta,educou,o,poeta] ; X = [o,poeta,educou,o,centauro] ; X = [o,poeta,educou,o,poeta] ; X = [o,poeta,educou,o,centauro] ; X = [o,poeta,educou,os,poeta] ; X = [o,poeta,educou,os,centauro] ; Yes Foram geradas frase agramaticais. => aperfeiçoar a gramática. Introdução de gênero, número. /* Vocabulário */ nome_comum(masc,pl) --> [gregos]. nome_comum(fem,sing) --> [deusa]. nome_proprio(exige_artigo,fem) --> ['Grecia']. nome_proprio --> ['Hercules']. verbo(sing) --> [educou]. verbo(sing) --> [matou]. sing singular; masc masculino; pl plural fem - feminino Foram geradas frase agramaticais. => aperfeiçoar a gramática. Introdução de gênero, número. /* Vocabulário */ artigo(def,masc,sing) -> [o]. artigo(def,masc,pl) -> [os]. artigo(def,fem,sing) -> [a]. artigo(def,fem,pl) -> [as]. artigo(indef,masc,sing) -> [um]. artigo(indef,fem,sing) -> [uma]. nome_comum(masc,sing) -> [poeta]. sing singular; masc masculino; pl plural fem - feminino 16

17 Foram geradas frase agramaticais. => aperfeiçoar a gramática. Introdução de gênero, número. sintagma_nominal(g,n) -> artigo_definido(g,n), nome_comum(g,n). 17