Comunicação. Capítulo 22 (Secções 1-3)

Transcrição

1 Comunicação Capítulo 22 (Secções 1-3)

2 Sumário Comunicação Gramática Análise sintáctica (Parsing)

3 Comunicação Perspectiva clássica (anterior a 1953) Linguagem consiste em frases que são V/F Wittgenstein (1953) Perspectiva moderna (posterior a 1953) Linguagem é uma forma de acção: o acto de falar através de sinais (palavras) Comunicação entre agentes Perguntas, troca de informação, pedidos,

4 Fundamentos da Linguagem Linguagem formal Palavra = concatenação de símbolos terminais Linguagens formais têm definições matemáticas rigorosas e.g. P Q em LPO é uma frase; PQ não é Linguagem natural Português, Inglês, Chinês, Não têm definições rigorosas Objectivo deste capítulo: estudar linguagem natural de um modo formal

5 Fundamentos da Linguagem Sintaxe / Gramática Conjunto de regras de uma linguagem E.g. se X e Y são expressões válidas, então X+Y é uma expressão válida Semântica Significado da linguagem E.g. X+Y denota a soma de X com Y Pragmática Significado em função do contexto: interpretação

6 Expressões Frases (S, Sentence) Nomes (NP, Noun Phrase) Verbos (VP, Verb Phrase) BNF (Bachus-Naur Form) S NP VP S é o símbolo de frase S, NP e VP são símbolos não terminais

7 Etapas na Comunicação Intenção: S quer informar H sobre P Geração: S selecciona palavras W para exprimir P no contexto C Síntese: S emite palavras W Percepção: H percebe W no contexto C Análise: H infere possíveis significados P 1,,P n Construção da árvore de parsing Interpretação semântica: eliminação de ambiguidades Desambiguação: H infere significado pretendido P i Incorporação: H incorpora P i na BC

8 Modelo de Comunicação

9 Comunicação: exemplo

10 Gramática Formal Animais usam símbolos isolados como palavras Não têm capacidade de gerar frases Gramática: especifica a estrutura de mensagens complexas Uma linguagem formal é um conjunto de palavras (símbolos terminais) Cada palavra pode ser gerada/analisada pela gramática Uma gramática é um conjunto de regras de escrita S NP VP Article the a an

11 Classificação de gramáticas Gramáticas são classificadas em função da capacidade gerativa (linguagens que podem representar) Regular: não terminal terminal [não terminal] S as S Livre de contexto: não terminal qualquer coisa S asb Sensível ao contexto: lado direito tem de ter pelo menos tantos símbolos como lado esquerdo Recursivamente enumerável: sem restrições nas regras Linguagens naturais tipicamente são livres de contexto e o parsing pode ser feito em tempo real

12 Construção de Gramáticas Léxico Palavras permitidas Agrupadas em categorias: nomes, verbos, adjectivos, advérbios, etc. que tipicamente terminam com Classes abertas: significa que é impossível listar todos os elementos, ou que novos elementos são adicionados frequentemente e.g. nomes, verbos, adjectivos, advérbios Classes fechadas: significa que tem muitos elementos, embora possam ser enumerados; evolução a longo prazo e.g. pronomes, artigos, proposições, conjunções

13 Léxico do Wumpus ( 0 )

14 Gramática do Wumpus

15 Avaliação de Gramáticas Linguagem formal L 1 pode diferir da linguagem natural L 2 Ajustar L 2 para ficar semelhante a L 1 é um problema de aprendizagem!

16 Avaliação de Gramáticas Problemas Supergeração: geração de frases incorrectas Me go Boston Subgeração: não é possível gerar frases que estão correctas I think the wumpus is smelly

17 Análise sintáctica: parsing Processo que gera uma árvore de parsing para os dados de entrada PARSE( I shoot the wumpus, 0,S) Parsing top-down Começar com S como raiz da árvore; gerar árvore com palavras como folhas Parsing bottom-up Começar com palavras como folhas

18 Parsing top-down Estado inicial [S:?] Função sucessores Selecciona o nó mais à esquerda na árvore Procura regras com o símbolo do nó do lado esquerdo Por cada regra cria um sucessor onde? é substituído pelo lado direito da regra correspondente [S: [S:?][Conjunction:?][S:?]] [S: [NP:?][VP:?]] Teste objectivo Folhas correspondem exactamente aos dados de entrada; nenhuma palavra dos dados de entrada está em aberto ou é desconhecida

19 Parsing bottom-up Estado inicial: lista de palavras nos dados de entrada [I,shoot,the,wumpus] Função sucessores Procura emparelhar lado direito de uma regra com cada posição na lista Pronoun I [[Pronoun: I],shoot,the,wumpus] Teste objectivo: estado com uma única árvore com S na raiz

20 Árvore de Parsing

21 Árvore de Parsing

22 Árvore de Parsing

23 Árvore de Parsing

24 Árvore de Parsing

25 Parsing Eficiente Ideia base é um exemplo de programação dinâmica Cada vez que analisamos uma palavra guardamos o resultado num diagrama para não ser necessário analisá-la novamente Combina vantagens do parsing bottom-up com vantagens do parsing top-down Diagrama para uma frase de n-palavras consiste em n+1 vértices e um número de arcos que faz a ligação entre vértices

26 Parsing eficiente: exemplo 6 vértices e 3 arcos Arco [0,5, S NP VP ] significa que a combinação de NP seguido por VP dá origem a S que abrange as palavras de 0 a 5 Arcos com símbolo no final são arcos completos

27 Parsing eficiente Função Parser-Diagrama(palavras,gramática) devolve diagrama diagrama array[0..comp(palavras)] de listas vazias AdicionaArco([0,0, S S]) para i 0:COMP(palavras) Scanner(i,palavras[i]) devolve diagrama Função AdicionaArco(arco) /* Adiciona arco ao diagrama, e vê se estende ou prediz outro arco.*/ se arco não está em diagrama[fim(arco)] junta arco a diagrama[fim(arco)] se arco não tem nada depois de então Estende(arco) senão Prediz(arco)

28 Parsing eficiente Função Scanner(j,palavra) /* Cada arco à espera de uma palavra desta categoria é estendido.*/ para cada [i, j, A B ] em diagrama[i] se palavra é da categoria de B então AdicionaArco([i, j+1, A B ]) Função Prediz([i, j, A B ] ) /* Adiciona ao diagrama as regras para B que podem estender este arco.*/ para cada (B ) em RegraPara(B,gramática) AdicionaArco([j, j, B ]) Função Estende([j, k, B ] ) /* Vê que arcos podem ser estendidos por este arco.*/ B arco recebido como argumento para cada [i, j, A B ] em diagrama[j] se B=B então AdicionaArco([i, k, A B ]

29 Parsing eficiente: exemplo

30 Parsing eficiente: exemplo Arco a b c d e f g h i j k l m Função Inicialização Prediz(a) Prediz(b) Scanner(c) Estende(b,d) Prediz(e) Prediz(e) Scanner(f) Estende(g,h) Prediz(g) Scanner(j) Estende(i,k) Estende(e,l) Derivação [0,0, S S] [0,0, S NP VP] [0,0, NP Pronoun] [0,1, NP Pronoun ] [0,1, S NP VP] [1,1, VP Verb] [1,1, VP VP NP] [1,2, VP Verb ] [1,2, VP VP NP] [2,2, NP Pronoun] [2,3, NP Pronoun ] [1,3, VP VP NP ] [0,3, S NP VP ]

31 Parsers canto-esquerdo Parser bottom-up: ride the horse classificado como VP Parsers canto-esquerdo: algoritmos que funcionam da esquerda para a direita evitam fazer parsing desnecessário

32 Parsing eficiente: complexidade Requer espaço e tempo polinomial Espaço O(kn 2 ) para guardar arcos n é o número de palavras k é uma constante que depende da gramática O algoritmo termina quando já não pode construir mais arcos Tempo O(n 3 ) no pior caso Estende é a função mais pesada (O(n 3 ))

33 Sumário Linguagens formais e gramáticas livres de contexto são ferramentas úteis para lidar com linguagem natural Parsing de uma frase numa linguagem livre de contexto pode ser feito em O(n 3 ) usando um diagrama