Gramáticas LR. Simão Melo de Sousa. Computer Science Department University of Beira Interior, Portugal

Transcrição

1 Gramáticas LR Simão Melo de Sousa Computer Science Department University of Beira Interior, Portugal

2 Plano Princípios Gerais 1 Princípios Gerais Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios 2 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) 3 4 Gestão dos conflitos Gestão dos erros

3 Plano Princípios Gerais Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios 1 Princípios Gerais Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios 2 3 4

4 Comparar as classes gramaticais Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Uma mesma linguagem pode ser reconhecida por várias gramáticas. Identificamos nesta lição várias classes de gramáticas para as quais é possível construir analisadores eficazes.

5 Motivação para as analises ascendentes Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Para uma classe importante de gramáticas é possível construir um analisador sintáctico ascendente. Este é eficaz. Trata estritamente todas as gramáticas LL(1). Tem um comportamento satisfatório relativamente aos processamento dos erros. Ao contrário das gramáticas LL(k) que precisam de decidir que produção escolher ao ler k tokens da entrada, é possível adiar a escolha da regra de produção escolher até ter consumido todos os elementos necessários para formar a parte direita da produção.

6 Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Funcionamento Geral Vamos aqui considerar gramáticas: Com uma só produção com o símbolo inicial S no lhs. Em que as derivações α = β consideradas são direitas.

7 Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Funcionamento Geral Considerar um autómato de pilha: Ler a entrada da esquerda para a direita. Reconhecer os rhs (membros direitos) das produções com o objectivo de construir a árvore de derivação sintáctica das folhas até a raíz (o símbolo inicial). Pilha : palavra de (N T ) 2 tipos de transições = 2 acções: shift: leitura de um terminal (colocar na pilha - push) reduce: reconhecimento de um rhs da gramática considerada Estado inicial: pilha vazia

8 Funcionamento Geral (cont.) Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios O autómato pode ser executado enquanto for possível escolha entre acções (shift ou reduce). O autómato pára caso contrário. A análise é bem sucedida quando o autómato pára após leitura completa da entrada e que o estado da pilha é o símbolo inicial S. Caso contrário, a análise falhou. No caso de uma análise que conduz ao sucesso: Seja α i o estado da pilha Seja m i o estado da entrada no instante i da análise. Neste caso α i m i é o inverso da duma derivação direita que parte de S. Com m, palavra por reconhecer, m = m 0.

9 Ponto de Apoio Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Seja α uma palavra de (N T ) Um ponto de apoio de α é um par produção X ::= β, uma descomposição de α em α 1βm (m T ) tais que S = α 1Xm = α (onde, recordemos, α = α 1βm) Ou seja, um ponto de apoio permite fundamentar/apoiar um passo de uma derivação direita resultando em α.

10 Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Exemplo Gramática 1 S ::= aabe 2 A ::= Abc 3 A ::= b 4 B ::= d pilha entrada acção 1 ɛ abbcde shift 2 a bbcde shift 3 α = a b bcde reduce 4 a A bcde shift 5 a A b cde (shift) (reduce) No primeiro reduce: α = ab, Ponto de apoio = (A ::= b, α 1 = a, β = b, m = ɛ). No passo 5, a escolha entre um shift (ler um c) e beneficiar a regra 3 ou reduzir a regra 2 (ou seja, pop(rhs(regra 2)) e push(lhs(regra 2))). escolha : shift pilha entrada acção 6 aabc de reduce 7 aa de shift 8 aad e reduce 9 aab e shift 10 aabe ɛ reduce 11 S ɛ SUCESSO escolha : reduce pilha entrada acção 6 aaa cde shift 7 aaac de shift 8 aaacd e reduce 9 aaacb e shift 10 aaacbe ɛ FALHA

11 Algumas Considerações Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Escolher pontos de apoio não é sempre trivial. Reconhecer no topo da pilha um ponto de apoio não é simples... Por exemplo: Dois pontos de apoio podem ser candidatos numa mesma situação: Esta situação é sintomática de conflitos/ambiguidade na gramática.

12 Conflitos Princípios Gerais Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Vimos nos acetatos anteriores dois reconhecimentos sintácticos ascendentes da mesma palavra (um sucesso e uma falha). Queremos ser assim capazes de encontrar analises bem sucedidas que permitam apurar com toda a certeza o pertence á linguagem (language membership) da palavra analisada. Mas como reagir se existir duas analises ascendentes que resultam em árvores de derivação distintos?

13 Um exemplo Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Reconhecimento de id + id id por uma analise ascendente e pela gramática Gramática 1 S ::= E 2 E ::= E + E 3 E ::= E E 4 E ::= ( E ) 5 E ::= id pilha entrada acção 6 E + E id shift 7 E + E id shift 8 E + E id ɛ reduce 5 9 E + E E ɛ reduce 3 10 E + E ɛ reduce 2 11 E ɛ reduce 1 12 S ɛ SUCESSO E + (E E) pilha entrada acção 1 ɛ id + id id shift 2 id +id id reduce 5 3 E +id id shift 4 E+ id id shift 5 E + id id reduce 5 pilha entrada acção 6 E + E id reduce 2 7 E id shift 8 E id shift 9 E id ɛ reduce 5 10 E E ɛ reduce 3 11 E ɛ reduce 1 12 S ɛ SUCESSO (E + E) E

14 Coniderações Finais Considerações sobre as Gramáticas Livres de Contexto Motivação para as analises ascendentes Princípios Soluções ao problema anterior? Reescrever a gramática. Associar prioridades e associatividades aos operadores (permitam decidir localmente as ambiguidades). Um exemplo simples: imaginemos que tenhamos um conflito entre a redução por uma regra X ::= β e uma leitura de a. se prioridade(a) > prioridade(x ::= β) então leitura senão se prioridade(a) < prioridade(x ::= β) então redução X ::= β senão olhar para as regras de associatividade. Um argumento a favor das analises ascendentes: Permitam expressar gramáticas com um aspecto mais natural. Vamos agora ver no resto da lição como operacionalizar estas analises ascendentes coma ajuda das analises de tipo LR.

15 Plano Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) 1 Princípios Gerais 2 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) 3 4

16 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Analise ascendente ponderada por um autómato finito Vimos que a analise ascendente funciona com base em tomadas de decisões entre leituras ou reduções. Podemos imaginar que estas decisões possam ser tomadas graças a ajuda dum autómato finito sobre um conjunto Q de estados e sobre o alfabeto (N T ). Cada transição sobre um terminal pode ter como etiqueta uma indicação de leitura ou de redução duma determinada produção, ou ainda uma indicação de sucesso ou de insucesso.

17 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Funcionamento da análise com base no autómato A pilha é uma palavra s 0x 1s 1x 2s 2... x ns n com s i estado e x i (N T ). Seja s o estado no topo da pilha e a o primeiro caracter da entrada por reconhecer. Olha-se para a etiqueta da transição para o estado s e a entrada a. Se esta indica o sucesso ou um insucesso, paramos. Se indica uma leitura então acrescentamos à pilha a entrada a assim como o estado que resulta da transição. Se indica uma redução duma regra como A ::= α e se α tem por comprimento p então a pilha é da forma s 0 x 1 s 1... x n s n... x n+p s n+p. Substitui-se esta pilha por s 0 x 1 s 1... x n s n... x n s n As com s estado resultado da transição a partir do estado s n para o não-terminal A. Podemos assim notar que cada estado do autómato corresponde ao reconhecimento dum prefixo de uma das palavras que forma a derivação direita.

18 Tabela de acções e de deslocação Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Em prática, não se trabalha directamente com o autómato, prefere-se trabalhar com a tabela de transição que aqui se descompõe numa tabela de acção (action) e numa tabela de deslocação (goto). As linhas da tabela de deslocação são os estados e as colunas são os não-terminais. Cada célula contém a informação dum estado (eventualmente o estado de insucesso). Nota-se por goto(s, X ) o estado resultante da transição do estado s com o não-terminal X. A tabela de acção tem por linhas os estados e por colunas os terminais. Cada célula action(s, a) por um estado s e um terminal a é constituída da indicação de, alternativamente: shift s, que indica que é necessário ler um caracter e colocar s na pilha. reduce A ::= α que indica que é necessário reduzir a pilha com a produção A ::= α sucesso insucesso

19 Gramáticas LR(1) Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Uma gramática é LR(1) se respeita a seguinte propriedade: seja uma derivação direita S αxm αβm seja uma outra derivação direita conduzindo ao mesmo estado da pilha αβ, S γyp αβm se m e m começam pelo mesmo caracter então α = γ, X = Y e p = m Para tais gramáticas é possível construir um conjunto de estado e tabelas de acção e deslocação permitindo uma análise ascendente da linguagem.

20 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Construção do autómato com base em itens simples Construção simples e eficaz mas insuficiente para tratar todas as gramáticas LR(1). Hipótese inicial: o símbolo inicial da gramática G = (N, T, S, P) só aparece uma vez no lhs duma produção (lhs=left hand side) S ::= α, sendo o indicador de fim de entrada (logo, de ocorrência única). (É fácil transformar qualquer gramática por forma a respeitar esta hipótese) O princípios é o seguinte: considera-se como estados os itens de G que são os triplos [Y α.β] tais que Y αβ seja uma produção da gramática. As etiquetas das transições do autómato finito pertencem ao conjunto (N T ). As transições são: a [Y α.aβ] [Y αa.β] [Y α.x β] X [Y αx.β] ɛ [Y α.x β] [X.γ] se X ::= γ P O estado inicial é [S.α ]

21 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Gramática 1 S ::= S 2 S ::= a A B c 3 A ::= b B a 4 B ::= b B 5 B ::= c Conjunto dos itens 1 S ::=.S 4 S ::=.aabc 9 A ::=.bba 13 B ::=.bb 16 B ::=.c 2 S ::= S. 5 S ::= a.abc 10 A ::= b.ba 14 B ::= b.b 17 B ::= c. 3 S ::= S. 6 S ::= aa.bc 11 A ::= bb.a 15 B ::= bb. 7 S ::= aab.c 12 A ::= bba. 8 S ::= aabc.

22 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Figura: Autómato dos itens simples não determinístico

23 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Construção do autómato com base em itens simples (Cont.) Em cada estado do autómato reconheceu-se uma palavra que é um prefixo duma palavra aparecendo numa derivação direita. Vamos determinisar este autómato. Para tal agrupa-se todos os estados ligados por transições ɛ com base no fecho do conjunto de itens. Nota: é costume minorar a importância do item S α.. Pelo que a sua presença é opcional. Nas analises LR seguintes permitiremo-nos ignorar a sua existência (este item é atingido pela única transição com a etiqueta )

24 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Construção do autómato com base em itens simples (Cont.) O fecho de um conjunto I de itens é definido como o menor conjunto tal que I fecho(i ) Se [Y α.x β] fecho(i ) e X ::= γ P então [X.γ] fecho(i ) Assim as transições do autómato determinista são: a I fecho({[y αa.β] [Y α.aβ] I }) X I fecho({[y αx.β] [Y α.x β] I }) Em que o estado inicial é o fecho de {[S.α ]}

25 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Gramática 1 S ::= S 2 S ::= a A B c 3 A ::= b B a 4 B ::= b B 5 B ::= c Conjunto de itens por considerar (estados) S S ::= aa.bc ::=.S S ::= S. S S ::= a.abc ::= S. B ::=.bb S ::= aab.c S ::= aabc. S ::=.aabc A ::=.bba B ::=.c Conjunto de itens por considerar (estados) (cont.) B ::= b.b B ::=.bb B ::=.c B ::= bb. A ::= b.ba B ::=.bb B ::=.c A ::= bb.a A ::= bba. B ::= c.

26 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Gramática 1 S ::= S 2 S ::= a A B c 3 A ::= b B a 4 B ::= b B 5 B ::= c Figura: Autómato dos itens simples determinístico

27 Analisador LR(0) Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Ao construir o autómato precedente obtemos os estados I 0, I 1, I 2... I n. As transições determinam a tabela das deslocações goto: X goto(i, X ) = J se e só se I J a Se estamos num estado I e que X α.aβ e I J então podemos ler uma entrada a e o autómato vai para o estado J. Para reduzir precisamos de ter reconhecido a parte direita duma produção. Ou seja: estar num estado I que contém um item [X γ.] Constrói-se a tabela de acção da forma seguinte: accão(i, ) = sucesso se existe uma transição I J (note que esta transição se faz necessariamente para um estado reduzido a [S α.]) a accão(i, a) = shift(j) se a e I J accão(i, a) = reduce(x ::= γ) se X γ. I Nota-se que não há condições sobre a para a introdução duma acção de redução. Quando um estado contém um item terminal, a redução faz-se qualquer que seja o caracter de entrada.

28 Gramática LR(0) Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Uma gramática é designada de LR(0) quando não existem conflitos entre duas acções (entre duas acções de redução ou entre uma de leitura e uma de redução).

29 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) A gramática seguinte : 0 S ::= A 1 A ::= (L) 2 A ::= x 3 L ::= A 4 L ::= L, A é LR(0) e gera o autómato com 9 estados seguintes:

30 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) s 1 = s 5 = s 9 = [S.A ] [A.(L)] [A.x] [A (L.)] [L L., A] [L L, A.] s 2 = [A x.] s 3 = [A (.L)] [L.A] [L.L, A] [A.(L)] [A.x] s 4 = s 6 = [A (L).] s 7 = [L A.] s 8 = [S A. ] [L L,.A] [A.(L)] [A.x]

31 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) 0 S ::= A 1 A ::= (L) 2 A ::= x 3 L ::= A 4 L ::= L, A

32 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) As tabelas de acção e deslocação são as seguintes (vazio=insucesso): ( ) x, A L 1 shift 3 shift 2 goto 4 2 reduce 2 reduce 2 reduce 2 reduce 2 reduce 2 3 shift 3 shift 2 goto 7 goto 5 4 sucesso 5 shift 6 shift 8 6 reduce 1 reduce 1 reduce 1 reduce 1 reduce 1 7 reduce 3 reduce 3 reduce 3 reduce 3 reduce 3 8 shift 3 shift 2 goto 9 9 reduce 4 reduce 4 reduce 4 reduce 4 reduce 4

33 Exercício Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Mostre que a primeira gramática é LR(0) mas não a segunda 1 S ::= A S ::= B A ::= aab A ::= 0 B ::= abbb B ::= 1 2 (0) S ::= E (1) E ::= T + E (2) E ::= T (3) T ::= x

34 Princípios Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Vamos procurar limitar o número de reduções. O problema é decidir para qual entradaa efectuar a redução. A derivação terá a forma S αxm αγm A entrada começa pelo primeiro terminal de m que é forçosamente no conjunto SEG(X ). Junta-se assim: accão(i, a) = reduce(x ::= γ) se e só se [X γ.] I e a SEG(X ) A gramática é SLR(1) se a tabela de transição obtida não exibe conflitos.

35 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Da gramática anterior resultam os estados e as tabelas seguintes: [S.E ] [E.T + E] s 1 = [E.T ] [T.x] s 2 = [S E. ] [E T. + E] s 3 = [E T.] [E T +.E] [E.T + E] s 4 = [E.T ] [T.x] s 5 = [T x.] s 6 = [E T + E.]

36 Exemplo Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) x + E T 1 shift 5 goto 2 goto 3 2 sucesso 3 shift 4 reduce 2 4 shift 5 goto 6 goto 3 5 reduce 3 reduce 3 6 reduce 1

37 Mais um exemplo Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) O facto de contemplar uma redução quando a entrada é um seguinte do não-terminal em questão pode gerar conflitos mesmo se a gramática é LR(1). Por exemplo: S ::= E E ::= L = R E ::= R L ::= R L ::= id R ::= L No estado inicial temos os itens seguintes: [S.E], [E.L = R], [E.R], [R.L], [L.id], [L. R] Pela leitura L chega-se ao estado formado pelos itens seguinte: [E L. = R], [R L.] Como = SEG(R) temos um conflito leitura/redução (shift/reduce)

38 Princípios Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Para alagar o leque de gramáticas analisáveis vamos introduzir mais informação nos itens por forma a controlar melhor os caracteres que podem surgir a seguir. Chamemos assim de 1-itens os itens da forma [X α.β, a] que corresponde a situação: procurar derivar αβ a partir de X, o caracter seguinte sendo a. Consideremos o seguinte algoritmo para calcular o fecho (uma adaptação do algoritmo já apresentado). Seja I um conjunto de 1 itens Fecho(I ) = Ponto Fixo de (I {(X.γ, w) ([A α.x β, z] I ) (X γ, produção) (w Prim(βz)) }

39 Princípios Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Consideremos igualmente que temos sempre a produção inicial S S O estado inicial é o fecho dos 1 itens [S.α, ] (para cada produção S α), ou, equivalentemente [S.S, ɛ]. Notação I [Y α.β,b] significa o conjunto de itens I que contém o item [Y α.β, b]. Assim, as transições são: a I [Y α.aβ,b] fecho([y αa.β, b]) X I [Y α.x β,b] fecho([y αx.β, b])

40 Princípios Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) as tabelas de transição são construídas de forma análoga, no entanto introduz-se uma acção de redução em accão(i, a) desde que I contém um item [X γ., a] notação simplificadora: [X α.β, a 1]... [X α.β, a n] [X α.β, a 1a 2... a n] (junta-se no mesmo item todos os itens que diferem só pelo caracter de antevisão) As transições se reescrevem da seguinte forma: a I [Y α.aβ,b1...bp] fecho([y αa.β, b1... b p ]) X I [Y α.x β,b1...bp] fecho([y αx.β, b1... b p ])

41 Exemplo - Autómato LR(1) Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1)

42 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Exemplo - Tabelas Acção/Deslocação LR(1)

43 LR(k) Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) As gramáticas LR(1) generalizam-se para LR(k) onde são tomados em conta até k caracteres seguintes ao item considerado.

44 Princípios Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) O método precedente funciona para todas as gramáticas LR(1) mas gera tabelas enormes. Os estados formados de 1 item na analise LR(1) correspondem aos estados da analise LR(0) mas nos quais cada item ficou anotado com uma lista dos símbolos seguintes. Podemos ter um estado 0 item duplicado em vários estados da analise. Em prática o número de estados canónicos de LR(1) é bem maior do que o de analises como LR(0) ou SLR(1). A ideia aqui é assim actuar ao nível dos estados gerados numa analise LR(0) tentando agrupar todos os estados que partilham a mesma estrutura LR(0) subjacente. Aqui consideraremos a união dos caracteres seguintes.

45 Princípios Princípios Gerais Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Consideremos que os estados do autómato LR(1) são I 1... I n. Agrupamos todos os estados que tem a mesma estrutura LR(0), obtemos os estados J 1... J p. Determina-se a tabela de deslocação da mesma forma que no caso LR(0). As acções de redução são definidas como no caso LR(1). Uma gramática que não gera conflitos numa tabela LALR(1) é designada de gramática LALR(1).

46 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Exemplo - Autómato LALR(1) via LR(1)

47 Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Exemplo - Tabelas LALR(1) via LR(1)

48 LALR(1) vs. LR(1) Utilização de itens simples Analise LR(0) Analise SLR(1) Analise LR(1) Analise LALR(1) Conflitos. Os únicos conflitos que surgem relativamente a analise LR(1) são conflitos entre duas reduções. De facto se existe um conflito leitura/redução então significa que existem dois estados X γ., a e Y α.aβ, c, mas neste caso existe o item Y α.aβ, d já no estado do autómato LR(1) na origem. Contradição. As gramáticas LALR(1) são menos poderosas que as gramáticas LR(1) mas são em contrapartida mais eficientes, devido ao facto de construírem autómatos mais compactos. Ferramentas como o yacc e os seus derivados geram analizadores sintácticos ascendentes que aceitam gramáticas LALR(1).

49 Plano Princípios Gerais 1 Princípios Gerais 2 3 4

50 Legendas Princípios Gerais Para começar, umas notações para facilitar a apresentação das tabelas LR s n: leitura (shift) para o estado n g n: deslocação (goto) para o estado n r k : redução pela regra k a: aceitação/sucesso vazio: erro/insucesso

51 Um Exemplo - Gramática 1 1 S S; S 2 S id:=e 3 S print(l) 4 E id 5 E num 6 E E + E 7 E (S, E) 8 L E 9 L L, E

52 Tabela LR para a gramática 1 id num print ;, + := ( ) $ S E L 1 s 4 s 7 g 2 2 s 3 a 3 s 4 s 7 g 5 4 s 6 5 r 1 r 1 r 1 6 s 20 s 10 s 8 g 11 7 s 9 8 s 4 s 7 g 12 9 s 20 s 10 s 8 g 15 g r 5 r 5 r 5 r 5 r 5 11 r 2 r 2 s 16 r 2 12 s 3 s r 3 r 3 r 3 14 s 19 s r 8 r 8 16 s 20 s 10 s 8 g r 6 r 6 s 16 r 6 r 6 18 s 20 s 10 s 8 g s 20 s 10 s 8 g r 4 r 4 r 4 r 4 r 4 21 s r 7 r 7 r 7 r 7 r 7 23 r 9 s 16 r 9

53 Um Exemplo - Gramática 2 1 E id 2 E num 3 E E * E 4 E E / E 5 E E + E 6 E E - E 7 E ( E )

54 Um Exemplo - Gramática 3 1 E E + T 2 E E T 3 E T 4 T T F 5 E T /F 6 E F 7 F id 8 F num 9 F (E)

55 Um Exemplo - Gramática 4 1 S if E then S else S 2 S begin S L 3 S print E 4 L end 5 L ; S L 6 E num = num

56 Um Exemplo - Gramática 5 1 Z d 2 Z X Y Z 3 Y 4 Y c 5 X Y 6 X a

57 A tabela de Parsing LL(1) para a gramática 5 a b c X X a X Y X Y X Y Y Y Y Y c Y Z Z XYZ Z XYZ Z XYZ Z d

58 Um Exemplo - Gramática 6 3 E + T E 1 S E $ 2 E T E 4 E T E 5 E 6 T F T 7 T F T 8 T / F T 9 T 10 F id 11 F num 12 F ( E )

59 A tabela das funções NULL, PRIMEIRO e SEGUINTES para a Gramática 6 NULL PRIMEIRO SEGUINTE S ( id num E ( id num ) $ E + ) $ T ( id num ) + $ T + ) + $ F ( id num ) / + $

60 A tabela de parsing LL(1) para a gramática 6 + id ( ) $ S S E$ S E$ E E TE E TE E E +TE E E T T FT T FT T T T FT T T F F id F id

61 Um Exemplo - Gramática 7 0 S S $ 1 S ( L ) 2 S x 3 L S 4 L L, S

62 Estados LR(0) para a gramática 7

63 Tabela de parsing LR(0) para a gramática 7 ( ) x, $ S L 1 s 3 s 2 g 4 2 r 2 r 2 r 2 r 2 r 2 3 s 3 s 2 g 7 g 5 4 a 5 s 6 s 8 6 r 1 r 1 r 1 r 1 r 1 7 r 3 r 3 r 3 r 3 r 3 8 s 3 s 2 g 9 9 r 4 r 4 r 4 r 4 r 4

64 Um Exemplo - Gramática 8 0 S E $ 1 E T + E 2 E T 3 T x

65 Estados LR(0) para a gramática 8

66 Tabela de parsing LR(0) para a gramática 8 x + $ E T 1 s 5 g 2 g 3 2 a 3 r 2 s 4,r 2 r 2 4 s 5 g 6 g 3 5 r 3 r 3 r 3 6 r 1 r 1 r 1

67 Tabela de parsing SLR para a gramática 8 x + $ E T 1 s 5 g 2 g 3 2 a 3 s 4 r 2 4 s 5 g 6 g 3 5 r 3 r 3 6 r 1

68 Um Exemplo - Gramática 9 0 S S $ 1 S V = E 2 S E 3 E V 4 V x 5 V E

69 Estados LR(1) para a gramática 9

70 Tabela de parsing LR(1) para a gramática 9 x = $ S E V 1 s 8 s 6 g 2 g 5 g 3 2 a 3 s 4 r 3 4 s 11 s 13 g 9 g 7 5 r 2 6 s 8 s 6 g 10 g 12 7 r 3 8 r 4 r 4 9 r 1 10 r 5 r 5 11 r 4 12 r 3 r 3 13 s 11 s 11 g 14 g 7 14 r 5

71 Tabela de parsing LALR(1) para a gramática 9 x = $ S E V 1 s 8 s 6 g 2 g 5 g 3 2 a 3 s 4 r 3 4 s 8 s 6 g 9 g 7 5 r 2 6 s 8 s 6 g 10 g 7 7 r 3 r 3 8 r 4 r 4 9 r 1 10 r 5 r 5

72 Plano Princípios Gerais Gestão dos conflitos Gestão dos erros 1 Princípios Gerais Gestão dos conflitos Gestão dos erros

73 Gestão dos conflitos Gestão dos erros De tipo: if then else Consideremos as três regras: (1) S if E then S else S, (2) S if E then S e (3) S resto Em if a then if b then x else y = a que if pertence o else? Conflito shift/reduce com else entre (reduce) S if E then S. e (shift) S if E then S. else S uma solução: reescrever a gramática desta forma 1 S M 2 S U 3 M if E then M else M 4 M resto 5 U if E then S 6 U if E then M else U outra solução: deixar como está! De facto em caso de conflito shift/reduce, as ferramentas como yacc assumem a interpretação shift. Este truque deve ser usado com cuidado! Em caso de conflito verificar com cuidado se podem deixar o yacc decidir sempre pelo shift.

74 Gestão dos conflitos Gestão dos erros Em concreto...(ocamlyacc -v exemplo.mly) %{ %} %token ID WHILE BEGIN END DO IF THEN ELSE SEMI ASSIGN EOF %start prog %type <unit>prog %% prog: stmlist EOF {}; stmlist: stm {} stmlist SEMI stm {}; stm: ID ASSIGN ID {} WHILE ID DO stm {} BEGIN stmlist END {} IF ID THEN stm {} IF ID THEN stm ELSE stm {};

75 Gestão dos conflitos Gestão dos erros Em concreto...(ocamlyacc -v exemplo.mly) 0 $accept : %entry% $end 1 prog : stmlist EOF 2 stmlist : stm 3 stmlist SEMI stm 4 stm : ID ASSIGN ID 5 WHILE ID DO stm 6 BEGIN stmlist END 7 IF ID THEN stm 8 IF ID THEN stm ELSE stm 9 %entry% : \001 prog (...) 22: shift/reduce conflict (shift 23, reduce 7) on ELSE state 22 stm : IF ID THEN stm. (7) stm : IF ID THEN stm. ELSE stm (8) ELSE shift 23 END reduce 7 SEMI reduce 7 EOF reduce 7 (...) State 22 contains 1 shift/reduce conflict. 14 terminals, 5 nonterminals 10 grammar rules, 25 states

76 Precedência e Associatividade Gestão dos conflitos Gestão dos erros %{ %} %token INT PLUS MINUS TIMES DIV EOF %start expr %type <unit> expr %% expr: INT {} expr PLUS expr {} expr MINUS expr {} expr TIMES expr {} expr DIV expr {} MINUS expr {} ;

77 Precedência e Associatividade 0 $accept : %entry% $end 1 expr : INT 2 expr PLUS expr 3 expr MINUS expr 4 expr TIMES expr 5 expr DIV expr 6 MINUS expr 7 %entry% : \001 expr (...) 14: shift/reduce conflict (shift 7, reduce 5) on PLUS 14: shift/reduce conflict (shift 8, reduce 5) on MINUS 14: shift/reduce conflict (shift 9, reduce 5) on TIMES 14: shift/reduce conflict (shift 10, reduce 5) on DIV state 14 expr : expr. PLUS expr (2) expr : expr. MINUS expr (3) expr : expr. TIMES expr (4) expr : expr. DIV expr (5) expr : expr DIV expr. (5) Gestão dos conflitos Gestão dos erros PLUS shift 7 MINUS shift 8 TIMES shift 9 DIV shift 10 $end reduce 5 (...) State 14 contains 4 shift/reduce conflicts. 9 terminals, 3 nonterminals 8 grammar rules, 15 states

78 Gestão dos conflitos Gestão dos erros Precedência e Associatividade: a solução %{ %} %token INT PLUS MINUS TIMES DIV EOF %left PLUS MINUS %left TIMES DIV %left uminus %start expr %type <unit> expr %% expr: INT {} expr PLUS expr {} expr MINUS expr {} expr TIMES expr {} expr DIV expr {} MINUS expr %prec uminus {} ;

79 Conflitos reduce/reduce Gestão dos conflitos Gestão dos erros %{ %} %token ID PLUS MINUS AND OR EQUAL ASSIGN EOF %left OR %left AND %left PLUS %start stm %type <unit> stm %% stm: ID ASSIGN ae {} ID ASSIGN be {}; be: be OR be {} be AND be {} ae EQUAL ae {} ID {}; ae: ae PLUS ae {} ID {};

80 Conflitos reduce/reduce Gestão dos conflitos Gestão dos erros 0 $accept : %entry% $end 1 stm : ID ASSIGN ae 2 ID ASSIGN be 3 be : be OR be 4 be AND be 5 ae EQUAL ae 6 ID 7 ae : ae PLUS ae 8 ID 9 %entry% : \001 stm (...) 6: reduce/reduce conflict (reduce 6, reduce 8) on $end state 6 be : ID. (6) ae : ID. (8) $end reduce 6 PLUS reduce 8 AND reduce 6 OR reduce 6 EQUAL reduce 8 (...) State 6 contains 1 reduce/reduce conflict. 11 terminals, 5 nonterminals 10 grammar rules, 19 states

81 Conflitos reduce/reduce Gestão dos conflitos Gestão dos erros Aqui a dificuldade é que um identificador pode ocorrer tanto numa expressão booleana (be) como numa expressão aritmética (ae). Na analise dum identificador, que produção escolher para a redução? a regra 6 (identificador booleano) ou a regra 8 (identificador aritmético)? Nesta fase da compilação não temos forma fácil de inferir em que situação nos encontramos. Por isso o mais sensato é reescrever a gramática de tal forma que a escolha seja feita posteriormente: na análise semântica.

82 Conflitos reduce/reduce Gestão dos conflitos Gestão dos erros %{ %} %token ID PLUS MINUS AND OR EQUAL ASSIGN EOF %left OR %left AND %left PLUS %start stm %type <unit> stm %% stm: ID ASSIGN expr {}; expr: expr OR expr {} expr AND expr {} expr EQUAL expr {} expr PLUS expr {} ID {};

83 Gestão dos conflitos Gestão dos erros Gestão impĺıcita dos conflitos pelo Yacc (Documentação do OCamlYacc) The precedence declarations are used in the following way to resolve reduce/reduce and shift/reduce conflicts: Tokens and rules have precedences. By default, the precedence of a rule is the precedence of its rightmost terminal. You can override this default by using the %prec directive in the rule. A reduce/reduce conflict is resolved in favor of the first rule (in the order given by the source file), and ocamlyacc outputs a warning. A shift/reduce conflict is resolved by comparing the precedence of the rule to be reduced with the precedence of the token to be shifted. If the precedence of the rule is higher, then the rule will be reduced; if the precedence of the token is higher, then the token will be shifted. A shift/reduce conflict between a rule and a token with the same precedence will be resolved using the associativity: if the token is left-associative, then the parser will reduce; if the token is right-associative, then the parser will shift. If the token is non-associative, then the parser will declare a syntax error. When a shift/reduce conflict cannot be resolved using the above method, then ocamlyacc will output a warning and the parser will always shift.

84 Gestão dos conflitos Gestão dos erros Yacc: o token error O que acontece se o yacc detecta um erro (sintáctico) durante a análise sintáctica? Isto acontece quando a palavra actualmente analisada deixa de poder ter continuação que permita ser reconhecida. Neste caso ferramentas como yacc utilizam a técnica da correcção local do erro. Esta técnica baseia-se na introdução dum token especial, o token error, no local onde o erro foi detectado e na presença de tokens que desempenham um papel de sincronização. Esses tokens são em geral tokens de pontuação que permitam delimitar componentes importantes da linguagem em causa. o token error pode assim ser utilizado como um token normal na gramática. A sua utilização num local particular da gramática representa o facto que a produção em questão pretende tratar um eventual erro sintáctico onde o token error aparece.

85 Yacc: o token error Gestão dos conflitos Gestão dos erros Que faz o yacc com o símbolo error introduzido aquando da detecção efectiva dum erro? 1 Esvaziar a pilha de estados (se necessário) até chegar a um estado no qual uma acção para o token error seja shift. 2 Executar shift error 3 Descartar símbolos de entrada (se necessário) até atingir um estado que tenha uma acção normal (que não seja de erro ) sobre o token de antevisão (lookahead token). Este token é o token de sincronização. 4 Retomar o parsing normalmente.

86 Yacc: o token error Gestão dos conflitos Gestão dos erros Os tokens de sincronização podem ser pontuação que separam instruções. Neste caso se um erro ocorrer, vamos procurar o próximo ponto de sincronização e ignorar todo o input que ocorre entre o local de erro e este ponto. A análise pode recomeçar normalmente a seguir. I.e. deita fora toda a instrução onde o erro ocorreu e retoma a analise normalmente com a instrução seguinte.

87 Gestão dos erros pelo Yacc Gestão dos conflitos Gestão dos erros (Documentação do OCamlYacc) Error recovery is supported as follows: when the parser reaches an error state (no grammar rules can apply), it calls a function named parse error with the string syntax error as argument. The default parse error function does nothing and returns, thus initiating error recovery (see below). The user can define a customized parse error function in the header section of the grammar file. The parser also enters error recovery mode if one of the grammar actions raises the Parsing.Parse error exception. In error recovery mode, the parser discards states from the stack until it reaches a place where the error token can be shifted. It then discards tokens from the input until it finds three successive tokens that can be accepted, and starts processing with the first of these. If no state can be uncovered where the error token can be shifted, then the parser aborts by raising the Parsing.Parse error exception.