Marcos Castilho. DInf/UFPR. 21 de março de 2019

Transcrição

1 21 de março de 2019

2 Análise sintática: introdução Dada uma gramática G e uma palavra w Σ, como saber se w L(G)? Isto é, como saber se S = G w?

3 Derivações à esquerda e ambiguidade w L(G) se S = G w; Sabemos que podem haver várias derivações distintas para uma mesma palavra; Teoricamente, qualquer uma delas basta; Mas, para o computador, deve haver uma maneira de reduzir o espaço de busca; Para isto, o teorema seguinte é importante.

4 Teorema Seja G = (V, Σ, P, S) uma gramática livre de contexto. Uma palavra w L(G) se, e somente se, existe uma derivação mais à esquerda de w a partir de S. Prova A parte é trivial, pois se existe uma derivação mais à esquerda então existe uma derivação... A outra parte é mais complicada, conforme veremos a seguir.

5 Prova, continuação Seja S w 1 w 2... w n 1 w n = w uma derivação qualquer de w, não necessariamente mais à esquerda. Vamos mostrar como obter a partir desta uma que seja mais à esquerda. Seja w k a primeira forma sentencial nesta derivação para a qual a regra aplicada não tenha sido mais à esquerda Se não há este w k então não há nada mais a provar Logo, k < n. Vamos mostrar como obter a uma nova derivação de w, de tamanho n, de tal maneira que a primeira regra que não foi aplicada mais à esquerda ocorra após k. Seguinte esta ideia no máximo n k vezes obteremos uma derivação mais à esquerda de w.

6 Prova, continuação Assim, temos: S w 1... w k w k+1... w n = w Por construção, S = w k é uma derivação mais à esquerda Também por construção, w k = u 1 Au 2 Bu 3, onde: u 1 Σ w k+1 foi obtido por uma regra do tipo B v Portanto: S = w k = u 1 Au 2 Bu 3 u 1 Au 2 vu 3 = w k+1 = wn = w

7 Prova, continuação Mas w Σ, portanto em algum momento entre k + 1 e n 1 uma regra do tipo A p foi aplicada Seja este momento representado por j + 1, assim: w j = u 1 Aq u 1 pq = w j+1, na derivação original! De tal maneira que as regras aplicadas nos passos k + 2 até j transformaram a palavra u 2 vu 3 em q Finalmente, na derivação original certamente ocorreu que w j+1 = wn = w. Agora, com tudo isto detalhado, uma derivação mais a esquerda será construída.

8 Prova, continuação S k = w k = u 1 Au 2 Bu 3, que por construção é mais à esquerda u 1 pu 2 Bu 3, aplicando A p u 1 pu 2 vu 3, aplicando B v j k 1 ==== u 1 pq = w j+1, pois u 2 vu 3 n j 1 === w n = w, pois w j+1 = wn = q Esta derivação é mais à esquerda.

9 Observações O teorema só se aplica para palavras w Σ Pode-se mostrar um teorema equivalente para derivações mais à direita v = L w e v w = R são, respectivamente, as derivações mais à esquerda e mais à direita de w.

10 Observação Não é necessariamente verdade que existe uma única derivação mais à esquerda para uma palavra w. A consequência deste fato é a noção de ambiguidade Exemplo de frase ambígua: João ganhou o livro do Drummond do Drummond pode modificar o verbo (objeto indireto); ou pode modificar o nome (adjunto adnominal)

11 Em resumo Uma mesma árvore de derivação pode ter sido obtida por duas (ou mais) derivações mais à esquerda Como um compilador baseia-se na árvore de derivação para gerar código, é preciso definir gramáticas para linguagens de programação que não sejam ambíguas.

12 Definição Uma Gramática Livre de Contexto G é ambígua se existe uma palavra w L(G) que pode ser derivada por duas derivações mais à esquerda distintas. Se G não é ambígua, dizemos que ela é não ambígua.

13 Exemplo Seja G a gramática dada pelas regras: S as Sa a G é ambígua, pois as duas derivações abaixo são mais à esquerda para a palavra aa: S as aa S Sa aa Notar que L(G) = a +, que pode ser gerada pela gramática regular: S as a

14 Observações Portanto, ambiguidade é uma propriedade de gramáticas e não de linguagens! No entanto, existem linguagens que são inerentemente ambíguas, para as quais não é possível definir uma gramática não ambígua.

15 Exemplo 1 Seja G a gramática: S bs Sb a Evidentemente, L(G) = b ab. Existem duas derivações para bab: S bs bsb bab S Sb bsb bab Mas as gramáticas G 1 e G 2 abaixo são tais que L(G) = L(G 1 ) = L(G 2 ) e são não ambíguas. G 1 : { S bs aa A ba λ G 2 : { S bs A A Ab a

16 Exemplo 2 Seja G a gramática: S asb asbb λ L(G) = {a n b m 0 n m 2n}. G é ambígua, pois: S asb aasbbb aabbb S asbb aasbbb aabbb A estratégia para definir uma gramática G 1 que não seja ambígua é primeiro gerar os a s que casam com um b e somente depois gerar os a s que casam com dois b s: G 1 : { S asb A λ A aabb abb

17 O grafo de uma gramática Definiremos um grafo onde os nodos são formas sentenciais obtidas por derivações mais à esquerda (forma sentencial à esquerda), e as arestas são definidas assim: Se v = L w em G então w é adjacente a v no grafo.

18 Definição Seja G = (V, Σ, P, S) uma gramática livre de contexto. O grafo mais à esquerda da gramática G, denotado g(g), é o grafo dirigido rotulado (N, P, A) assim definido: N = {w (V Σ) S = L w} A = {[v, w, r] N N P v = L w por uma aplicação da regra r}.

19 Observações Um caminho de S até w em g(g) representa uma derivação de w a partir de S em G O rótulo do arco de v a w especifica a regra que foi aplicada em v para obter-se w Assim, para sabermos se w L(G), basta resolvermos o problema de encontrar um caminho de S até w em g(g). Isto pode ser feito recorrendo-se à Teoria do Grafos!

20 Definição Um grafo em que cada nodo tem um número finito de filhos é dito localmente finito, ainda que tenha um número infinito de nodos. É o caso de várias gramáticas livre de contexto interessantes.

21 Exemplo S S as S λ S bb as λ bb S as S bb S λ B ab B bs B bc aas abb a bab bbs bbc.....

22 Observações Se toda palavra no grafo tem apenas uma derivação mais à esquerda, o grafo é uma árvore; Se tem ciclos, a gramática é ambígua.

23 Observações Técnicas padrão de busca em grafos são empregadas, mas o grafo não precisa ser totalmente definido, pois é infinito; Usa-se a noção de grafo impĺıcito, que é obtido passo a passo, enquanto os caminhos são examinados; Assim, o mínimo possível do grafo é construído.

24 Observações Pode-se definir algoritmos que iniciam com S e buscam por w, ou seja, a busca é top-down; Também pode-se iniciar com w em busca de S, ou seja, a busca é bottom-up; Ainda é possível realizar buscas em amplitude (breadth-first) ou em profundidade (depth-first).

25 Formas normais A imposição de certas restrições na forma das regras de uma Gramática Livre de Contexto garantem algumas propriedades interessantes, por exemplo para analisadores sintáticos que terminam ou algumas outras caracterizações teóricas importantes.

26 Eliminação de regras-λ Veremos como construir uma gramática G L a partir de uma gramática G de tal maneira que as produções em G L não contêm regras-λ. Na verdade, pode haver uma única. Mas antes precisamos de alguns lemas e um algoritmo.

27 Eliminação de recursividade no símbolo de partida Lema 1: Seja G = (V, Σ, P, S) uma Gramática Livre de Contexto. Existe uma outra GLC G = (V, Σ, P, S ) que satisfaz: (i) L(G) = L(G ) (ii) As regras de P são da forma A w, onde A V e w ((V {S }) Σ)

28 Prova Se S não ocorre no lado direito de nenhuma regra de G então G = G. Portanto, considere que S é recursiva. Devemos fazer a seguinte alteração: G = (V {S }, Σ, P {S S}, S ) Onde S é o novo símbolo de partida (S V ). S serve apenas para iniciar a derivação. Obviamente L(G) = L(G ) pois se w L(G) então S = G w. Mas S 1 = G S = G w.

29 Exemplo S as AB AC A aa λ G : B bb bs C cc λ G : S S S as AB AC A aa λ B bb bs C cc λ

30 Observações Uma propriedade interessante para GLC s é que as derivações sempre aumentem de tamanho, ou que pelo menos mantenha o tamanho das formas sentenciais; Um tipo de regra que permite reduzir o tamanho das formas sentenciais é uma regra-λ; Chamamos de variáveis que constituem produções λ, ou produções vazias: Inicialmente, as produções-λ (A λ) Sucessivamente, as variáveis que geram λ indiretamente (por exemplo B A; A λ) Uma GLC que não contém estas variáveis é chamada de não contrativa (do inglês non contracting).

31 Eliminação de regras-λ Algoritmo para obtenção do conjunto de variáveis que constituem produções vazias: Entrada: Uma GLC G = (V, Σ, P, S) NULL := {A A λ P} REPEAT PREV := NULL FOR toda variável A V DO IF existe A w P E w PREV THEN NULL := NULL {A} UNTIL NULL = PREV

32 Exemplo S ACA A aaa B C G : B bb b C cc λ Iteração NULL PREV 0 {C} 1 {A, C} {C} 2 {S, A, C} {A, C} 3 {S, A, C} {S, A, C}

33 Lema Seja G = (V, Σ, P, S) uma Gramática Livre de Contexto. O algoritmo anterior gera o conjunto de variáveis que constituem produções vazias.

34 Prova Mostrar que, ao final do algoritmo, toda variável em NULL deriva λ; Mostrar que toda variável que constitui produções λ será inserida em NULL.

35 Prova, continuação A prova do primeiro ponto é por indução no número de iterações. Base: Suponha que uma variável A seja inserida em NULL no passo 1 do algoritmo. Então G contém A λ e a derivação é A λ. HI: Suponha que todas as variáveis que pertencem à NULL após n iterações do algoritmo constituem produções vazias. Passo indutivo: Seja A uma variável inserida em NULL na iteração n + 1.

36 Prova, continuação Então, por construção, existe uma regra do tipo: A A 1 A 2... A k Onde cada A i PREV na iteração n + 1. Mas A i i = 1,... k, pela HI. = λ, para Assim: A A 1 A 2... A k = A2... A k =... = Ak = λ O que mostra que A constitui produções vazias.

37 Prova, continuação Agora provaremos a parte 2, isto é, que toda variável que constitui produções λ será inserida em NULL. Suponha que A n = λ. Vamos mostrar que A é inserida em NULL no máximo na iteração n. De fato, por indução no tamanho da derivação: BASE: Se A 1 = λ, então A é inserida em NULL no passo 1 do algoritmo. HI: Suponha agora que todas as variáveis que derivam λ em no máximo n aplicações da regra foram inseridas em NULL no máximo na iteração n.

38 Prova, continuação Passo indutivo: Seja A uma variável que deriva λ em uma derivação de tamanho n + 1, isto é: A A 1 A 2... A k n = λ. Cada A i deriva λ em no máximo n passos (por construção). Logo, cada A i satisfaz a HI e assim está em NULL antes da iteração n + 1. Seja m n a iteração em que todos os A i s estão em NULL. Na iteração m + 1 a regra A A 1 A 2... A k permite inserir A em NULL.

39 Exemplo S as AB AC A aa λ G : B bb bs C cc λ NULL = {S, A, C} G 1 : S S S as AB AC A aa λ B bb bs C cc λ NULL = {S, S, A, C}

40 Lema 2 Seja G = (V, Σ, P, S) uma Gramática Livre de Contexto: Se A = G w, então G = (V, Σ, P {A w}, S) é equivalente à G (L(G) = L(G )). Prova Toda produção de G está em G. Assim, é fácil ver que L(G) L(G ). Veremos agora a prova de que L(G ) L(G)

41 Prova, continuação Seja w L(G ) e que a produção A w foi usada na derivação. Podemos obter w em G assim: S = G A = G w. Portanto, w L(G).

42 Aplicação do lema Uma gramática sem regras-λ é não contrativa. Suponha que B V constitui produções λ; Suponha uma regra do tipo: A BAa; Se B pode derivar λ, então: A BAa = Aa = w; Assim, basta substituir as regras-λ por A Aa; Se temos outra regra do tipo A BABa, basta substituir por quatro outras regras: A BABa; A ABa; A BAa e A Aa.

43 Teorema Seja G = (V, Σ, P, S) uma gramática livre de contexto. Existe um algoritmo que constrói uma GLC G L = (V L, Σ, P L, S L ) tal que: (i) L(G L ) = L(G) (ii) S L não é recursiva (iii) A λ P L se, e somente se, λ L(G) e A = S L.

44 Prova Aplica-se a técnica do lema 1, resolvemos (ii). Assim, V L = V {S } ou V L = V. Quanto às produções de G L, construimos: (i) Se λ L(G), então S L λ P L (ii) Seja A w P. Suponha que w = w 1 A 1 w 2 A 2... w k A k w k+1, onde A 1, A 2,..., A k são subconjuntos do conjunto de variáveis que constituem produções vazias que ocorrem em w. Assim: A w 1 w 2... w k w k+1 P L. (iii) A λ P L apenas se λ L(G) e A = S L. Devemos provar que a gramática G L assim construída é tal que L(G) = L(G L ).

45 Prova, continuação ( ) L(G L ) L(G), pois as derivações em G L usam regras de G e outras criadas em (ii), e cada uma destas regras é derivável em G.

46 Prova, continuação ( ) L(G) L(G L ), pois toda palavra não nula em L(G) é derivável em L(G L ). Seja A = n w uma derivação em G tal que G w Σ +. Se n = 1, A w P e como w λ também está em P L, assuma que toda palavra derivável a partir de A por n ou menos regras pode ser derivada a partir de A em G L. Seja A == n+1 w w Σ +. Isto é: G A w 1 A 1 w 2 A 2... w k A k w k+1 n = G w, onde A i V e w i Σ.

47 Prova, continuação Pelo lema da aula anterior: w = w 1 p 1 w 2 p 2... w k p k w k+1, Onde A i m = G p i, m n. Para cada p i Σ +, a hipótese de indução garante que A i = GL p i. Se p j = λ, A j constitui produção vazia e a construção (ii) gera a regra: A w 1 A 1 w 2 A 2... w k A k w k+1, em que cada A j que deriva λ é deletado. Uma derivação em G L pode ser construída começando-se por esta regra e derivando cada p i Σ + usando as derivações que existem dada a hipótese de indução.

48 Exemplo S ACA A aaa B C G : B bb b C cc λ NULL = {S, A, C}, portanto, por (i), S L λ P L (ii) C cc, onde {C} NULL, assim, C c P L A aaa, onde {A} NULL, assim, A aa P L S ACA, onde {A, C} NULL, assim, S AC CA AA A C P L C λ, mas C S L, portanto deleta a regra!

49 Exemplo, continuação G L : Exemplo de derivação em G para aba: S ACA aaaca abaca abaca abaa abac aba S L S λ S ACA AC CA AA C A A aaa aa B C B bb b C cc c Exemplo de derivação em G L para aba: S A aaa aba aba

50 Exemplo 2: a b c S ABC A aa λ G : B bb λ C cc λ G L : S L S λ S ABC AB AC BC A B C A aa a B bb b C cc c

51 Eliminação de regras de cadeia Regras de cadeia são as que têm a forma A B Exemplo: G: A aa a B B bb b c G 1 : A aa a bb b c B bb b c

52 Construção do conjunto cadeia(a) Entrada: Uma GLC G = (V, Σ, P, S) essencialmente não contrativa 1. cadeia(a) := {A} 2. PREV := 3. REPEAT 3.1 NEW := cadeia(a) PREV 3.2 PREV := cadeia(a) 3.3 FOR toda variável B NEW DO FOR toda regra B C DO cadeia(a) := cadeia(a) {C} UNTIL cadeia(a) = PREV

53 Lema Seja G = (V, Σ, P, S) uma Gramática Livre de Contexto essencialmente não contrativa. O algoritmo anterior gera o conjunto de variáveis que são deriváveis de A apenas usando regra de cadeia.

54 Teorema Seja G = (V, Σ, P, S) uma Gramática Livre de Contexto essencialmente não contrativa. Existe um algoritmo que constrói uma GLC G c tal que: (i) L(G c ) = L(G); (ii) G c não tem regras de cadeia.

55 Prova Construímos P c assim: Para cada variável A V, acrescentamos em P c as regras: Se existe uma variável B tal que: (i) B cadeia(a) (ii) B w P (iii) w V. Ainda: Mostraremos que L(G) = L(G c ) A w V c = V, Σ c = Σ, S c = S.

56 Prova, continuação O lema 2 garante que as palavras deriváveis em G c são também deriváveis em G. Seja w L(G) e A = B uma sequência maximal de regras de G cadeia usadas na derivação de w: S = G uav = G ubv = G upv = G w. Onde B p é uma regra que não é de cadeia. A regra A p pode substituir a sequência de derivações em cadeia. Usando-se esta técnica repetidas vezes, podemos remover todas as aplicações em cadeia na derivação de w, obtendo uma derivação de w em G c.

57 Exemplo S ACA CA AA AC A C λ A aaa aa B C G : B bb b C cc c G c é essencialmente não contrativa, portanto: cadeia(s) = {S, A, B, C} cadeia(a) = {A, B, C} cadeia(b) = {B} cadeia(c) = {C}

58 Exemplo, continuação Portanto: S ACA CA AA AC A C λ A aaa aa B C G : B bb b C cc c S ACA CA AA AC aaa aa bb b cc c λ A aaa aa bb b cc c P c : B bb b C cc c

59 Observações Eliminar regras de cadeia aumenta o número de regras, mas reduz o tamanho das derivações; G c também é essencialmente não contrativa; Cada regra em G c tem uma das seguintes formas: (i) S λ (ii) A a (iii) A w, onde w (V Σ) e w 2. Os analisadores bottom-up são completos para verificar se w L(G c ).

60 Símbolos inúteis Definição: Seja G uma Gramática Livre de Contexto. Um símbolo x (V Σ) é útil se existe uma derivação S = G uxv = G w, Onde u, v (Σ V ) e w Σ. Um símbolo que não é útil é inútil.

61 Exemplo: L(G) = b + G : S AC BS B A aa af B CF b C cc D D ad BD C E aa BSA F bb b

62 Algoritmo para encontrar as variáveis que geram terminais Entrada: Uma GLC G = (V, Σ, P, S) 1. TERM := {A existe A w P tal que w Σ } 2. REPEAT 2.1 PREV := TERM 2.2 FOR toda variável A V DO IF existe A w e w (PREV Σ) THEN TERM := TERM {A} UNTIL PREV = TERM

63 Teorema Seja G = (V, Σ, P, S) uma gramática livre de contexto. Existe um algoritmo que constrói uma GLC G T = (V T, Σ, P T, S) tal que: (i) L(G T ) = L(G) (ii) Toda variável em G T deriva uma palavra terminal em G T.

64 Prova P T é obtido assim: remove-se as regras que contêm variáveis de G que estão em V TERM. V T = TERM P T = {A w P A TERM e w (TERM Σ) } Σ T = {a Σ A uav P T } Resta provar a dupla inclusão: L(G T ) L(G) e L(G) L(G T )

65 Prova, continuação ( ) L(G T ) L(G). Seja w L(G T ). Então S P T P, e portanto S = G w. = GT w. Mas

66 Prova, continuação ( ) L(G) L(G L ). Seja w L(G). Então S = G contradição, que S = w. GT w. Suponha, por Então existe A (V TERM) que ocorre em um passo intermediário da derivação de w (em G). Mas uma derivação de A não pode gerar uma palavra terminal, pela construção do algoritmo. Assim, todas as regras aplicadas na derivação estão em P T e portanto w L(G T ).

67 Exemplo G : S AC BS B A aa af B CF b C cc D D ad BD C E aa BSA F bb b iteração TERM PREV 0 {B, F } 1 {B, F, A, S} { B,F } 2 {B, F, A, S, E} { B,F,A,S } 3 {B, F, A, S, E} { B,F,A,S,E }

68 Exemplo, continuação G : S AC BS B A aa af B CF b C cc D D ad BD C E aa BSA F bb b G T : S BS B A aa af B b E aa BSA F bb b

69 Algoritmo para encontrar as variáveis atingíveis Entrada: Uma GLC G = (V, Σ, P, S) 1. REACH := {S} 2. PREV := 3. REPEAT 3.1 NEW := REACH PREV 3.2 PREV := REACH 3.3 FOR A NEW DO FOR A w P DO adiciona variáveis em w a REACH UNTIL REACH = PREV

70 Lema Seja G = (V, Σ, P, S) uma Gramática Livre de Contexto O algoritmo anterior gera o conjunto de variáveis atingíveis a partir de S. Prova (I) Toda variável em REACH é derivável de S (II) Toda variável atingível a partir de S é adicionada ao conjunto REACH.

71 Prova, continuação I- Indução no número de iterações do algoritmo. BASE: na linha 1, REACH = {S}, e S é derivável a partir de S. HI: Suponha que todas as variáveis em REACH após n iterações são deriváveis de S. Passo indutivo: Seja B uma variável adicionada em REACH após n + 1 iterações. Então existe A ubv P A REACH após n iterações. Pela HI, existe uma derivação tal que S = xay. Aplicando a regra A ubv mostramos a derivação de B.

72 Prova, continuação II- Se S n = uav então A é adicionada em REACH no máximo na iteração n. Se A é atingível por uma derivação de tamanho zero, então ela entra em S no passo 1 do algoritmo. Suponha que se uma variável é atingível por uma derivação de tamanho n (ou menos) então A REACH na derivação n (ou antes). Seja S n = xay xubvy uma derivação de G. Pela HI, A REACH na derivação n e B é adicionado na iteração seguinte.

73 Teorema Seja G = (V, Σ, P, S) uma GLC. Existe um algoritmo que produz uma GLC G U tal que: (i) L(G U ) = L(G); (ii) G U não tem símbolos inúteis. Prova Construa G T a partir de G. Elimine de G T as variáveis que não são atingíveis de S, e consequentemente as regras que as contêm, assim obtendo G U.

74 Exemplo, continuação G : S AC BS B A aa af B CF b C cc D D ad BD C E aa BSA F bb b G T : S BS B A aa af B b E aa BSA F bb b { S BS B G U : B b

75 Observação A ordem de aplicação dos algoritmos é relevante. Primeiro deve-se eliminar as variáveis não geram terminais, e somente então encontrar os símbolos que não são atingíveis a partir de S. O exemplo a seguir ilustra este fato.

76 Exemplo { S a AB G : A b G T : { S a A b G T : { S a AB A b G U : { S a G U : { S a A b