Capítulo 5. Linguagens livres de contexto

Transcrição

1 Capítulo 5 Linguagens livres de contexto 5.1. Gramáticas livres de contexto 5.2. Parsing e ambiguidade 5.3. CFG e linguagens de programação 221

2 5.1. 1Gramáticas ái livres de contexto na parte esquerda das produções existe apenas uma variável (tal como nas regulares) na parte direita podem existir diversas variáveis em qualquer posição combinadas com símbolos terminais. 222

3 Definição i CFG e CFL A gramática G = ( VTS V, T, S, P)di) diz-se livre de contexto t (CFG) se todas as suas produções P têm a forma A x em que A V e x (V T ) *, isto é, x é uma expressão qualquer composta por variáveis e/ou caracteres terminais. Uma linguagem é livre de contexto (CFL) se e só se existir uma gramática livre de contexto tal que L = L(G). As gramáticas regulares são um caso particular de CFG 223

4 Exemplo 1 G=({S}, {a,b}, S, P} com produções é livre de contexto. S asa S bsb S Uma derivação S asa aasaa aabsbaa aabbaa Ali linguagem desta gramática é L(G) = {ww R : w {a,b}*}, que não é regular (palíndromos de comprimento par). 224

5 Exemplo 2. AgramáticaG G com produções é livre de contexto S abb A aabb B bbaa A S abb abbbaa abbbaabba abbbaabbaaba abbbaabbaabbaba abbbaabbaabbaababa abbbaabbaabbaabbababa abbbaabbaabbaabbaabababa bba b b b abbbaabbaabbaabbaabbabababa b b b abbbaabbaabbaabbaabbaababababa abbbaabbaabbaabbaabbababababa L(G) = { ab(bbaa) n bba(ba) n : n 0 }. 225

6 Exemplo 3. Palíndromos em {0, 1} (pares ou ímpares) Definição por indução (Hopcroft, 170) Base da indução:, 0 e 1 são palíndromos Indução: se w é um palíndromo, também o são 0w0 e 1w1. Nenhuma cadeia é um palíndromo de 0 s e 1 s a menos que seja formada a partir destas regras. Daí as produções 1. S 2. S 0 3. S 1 4. S 0S0 5. S 1S1 226

7 Exemplo 4. Gramática dependente do contexto G=({S ({S, A, AB}{ab} B}, {a,b}, SP} S, com produções é dependente de contexto. Uma derivação S aaa aa bba bbb aab bb Ba bbb S aaa abba abbbb abaab abbbab abbbbbb abbbbbb 227

8 Exemplo 5. Considere-se se a gramática (não linear) com produções S asb SS Algumas cadeias geradas: S SS SSSS asbasbasbasb abababab S asb assb aasbsb aaasbbasbb aaassbbaasbbb aaaasbasbbbaasbbb aaaababbbaabbb Gera cadeias com um número de a s igual ao número de b s e em que o número de a s s em qualquer prefixo de qualquer cadeia é maior ou igual ao nº de b s. 228

9 Exemplo 5 (cont.) Substituindo a por ( e b por ), obtém-se a gramática Duas derivações possíveis: G=({S}, {(,)}, S, P) P: S (S) SS S (S) (SS) ((S)S) (( )S) (( )) S SS SSS (S)SS ( )SS ( )(S)S ( )( )S ( )( )(S ) ( )( )( ) - linguagem para descrever a regra dos parênteses nas linguagens de programação. Sug.: derivar ((( )( ))). 229

10 Derivação pela (extrema) direita e pela (extrema) esquerda Seja G=({A,B,S}, {a,b}, S, P} 1 com produções 1. S AB 2. A aaa 3. A 4. B Bb 5. B 2 3 S AB aaab aab aabb aab S AB ABb Ab aaab aab 5 3 L(G) = {a 2n b m : n 0, m 0 } 230

11 Definição 5.2. Uma derivação diz-se pela (extrema) esquerda se em cada passo se substitui a variável mais à esquerda na forma sentencial. Se se substituiu a variável mais à direita, a derivação diz-se pela (extrema) direita. 231

12 Árvores de derivação Árvore ordenada em que os nós são etiquetados pelo lado esquerdo das produções os filhos de um nó representam os lados direito correspondente ao nó pai. A A ababc a b A B c 232

13 Definição 5.3. Árvore de derivação de CFG, G = (V, T, S, P ) A árvore de derivação será de G se e só se: 1. A raiz é etiquetada por S. 2. Todas as folhas têm uma etiqueta de T { }, isto é, um símbolo terminal ou. 3. Todos os vértices interiores i (vértices que não são folhas) têm uma etiqueta de V 4. Se um vértice tem uma etiqueta t A V, e se os seus filhos são etiquetados (da esquerda para a direita) a 1, a 2,..., a n então P deve conter a produção da forma A a 1 a 2... a n Uma folha etiquetada não tem irmãs, i.e., um vértice com um filho não pode ter outros filhos 233

14 Árvore de derivação parcial verifica as propriedades 3, 4 e 5, a propriedade 1 não se verifica necessariamente a propriedade 2 é substituída por 2a. Todas as folhas têm etiquetas de V T { }, i.e., uma variável ou um símbolo terminal ou, diz-se uma árvore de derivação parcial, fazendo parte de uma árvore maior. 234

15 Lendo as folhas da árvore, da esquerda para a direita, omitindo quaisquer que se encontrem, obtém-se o fruto( yield) da árvore. O fruto é a cadeia de terminais que se obtém quando se percorre a árvore de cima para baixo, tomando sempre o ramo inexplorado mais à esquerda. 235

16 Exemplo 6: Gramática G=({SAB}{ab} G=({S,A,B}, {a,b}, SP} S, Produções : S S aab, A bbb, a A B B A b B b árvore de derivação parcial 236

17 Uma árvore de derivação total S a A B b B b A b B b Fruto: abbbb 237

18 Relação entre e formas sentenciais s e árvores de derivação Teorema 5.1. Seja G=(V, T, S, P) uma CFG. para toda a cadeia w L(G), existe uma árvore de derivação (total) t de G cujo fruto é w. inversamente, o fruto de qualquer árvore de derivação pertence a L(G). se t G é alguma árvore de derivação parcial de G cuja raiz é S, então o fruto de t G éumaforma sentencial de G. 238

19 As árvores de derivação não explicitam a ordem de aplicação das produções da gramática. Sendo capazes de representar qualquer derivação, elas indiciam que essa ordem (na mesma árvore) é irrelevante. Qualquer cadeia w L(G) ( ) tem uma derivação pela (extrema) esquerda e uma derivação pela (extrema) direita. 239

20 Parsing e ambiguidade idade Dada uma cadeia w, como saber se ela pertence a uma linguagem L(G)? problema da pertença. E se pertence, como foi gerada? Qual a sequência de produções que a gerou? problema de parsing : encontrar uma sequência de produções pelas quais se deriva w L(G). ( ) 240

21 Parsing epertença parsing por procura exaustiva : onde está w? 1ª volta - analisar as produções do tipo S x encontrando todos os x que se podem obter de S em um passo. Algum é w? 2ª volta aplicar todas as produções possíveis à variável mais à esquerda em cada x, obtendo-se um conjunto de formas sentenciais alcançáveis em dois passos. Alguma é w? 3ª volta aplicar todas as produções possíveis à variável mais à esquerda em cada forma sentencial, obtendo um novo conjunto de formas sentenciais alcançáveis em três passos. Alguma é w? E assim sucessivamente... até se encontrar a solução 241

22 Exemplo 7: Seja a gramática S SS asb bsa Fazer o parsing da cadeia w = aabb 242

23 1ª volta S w = aabb SS asb bsa Nenhuma cadeia é w. Pode-se desde já eliminar as folhas de bsa (dado que w se inicia por a) e (dado que w > 0). 243

24 2ª volta S w = aabb SS asb bsa SSS asbs bsas S assb aasbb absab ab Nenhuma cadeia é w. Podem-se desde já eliminar as folhas que começam por b ou cujo segunda carácter át éb. 244

25 3ª volta w = aabb S SS asb bsa SSS asbs bsas S assb aasbb absab ab SSSS asbss bsass SS asssb aasbsb absasb asb assbs aasbbs absabs abs aassbb aaasbbb aabsabb aabb 245

26 O parsing exaustivo tem algumas desvantagens: é fastidioso é ineficiente pode nunca terminar se a cadeia não está na linguagem, a menos que se introduza um mecanismo de paragem. 246

27 Como evitar a não paragem do parsing? introduzindo algumas restrições na forma da gramática as dificuldades advêm em geral de produções do tipo S (reduz o comprimento das FS) A B (mantém o comprimento das FS) e portanto produções deste tipo devem ser eliminadas. Se todas as produções aumentarem o comprimento da FS, pode-se parar quanto ela for maior do que o de w. 247

28 Exemplo 8: A gramática S SS asb bsa ab ba Produz a mesma linguagem do exemplo anterior, mas agora sem a cadeia vazia. Uma produção possível (de extrema esquerda): S SS asbs absabs abababs abababba Outra produção (de extrema direita) S SS SaSb SabSab SabbSaab Sabbabaab baabbabaab 248

29 Dada qualquer cadeia w {a,b} + O comprimento das formas sentenciais i aumenta, por cada volta, em pelo menos uma unidade. Depois de 2 w voltas, teremos ou o parsing concluído, ou então w L(G) o método de parsing exaustivo termina sempre em não mais do que 2 w voltas. 249

30 Teorema 5.2. Seja G uma CFG que não tem qualquer regra de produção da forma em que A, B V. A A B Então o parsing exaustivo pode ser feito por um algoritmo que, para qualquer w *, - ou produz o parsing de w, - ou conclui que não é possível qualquer parsing para w. 250

31 Seja G com produções S SS asb bsa ab ba Uma produção pela esquerda: S SS asbs absabs abssabs abbsasabs abbasbasabs abbaabbasabs abbaabbabaabs abbaabbabaabba Ou outra, S SS SSS SSSS SSSSS SSSSSS absssss abbassss abbabasss abbabaabss abbabaabbas abbabaabbaba 251

32 Analisando o comprimento e o número de símbolos terminais das formas sentenciais: cada volta na derivação aumenta em pelo menos uma unidade ou o comprimento da forma sentencial ou o número de caracteres terminais; nem o comprimento da forma sentencial nem o número de símbolos terminais pode exceder w (para que o parsing seja encontrado) uma derivação não pode assim ultrapassar mais do que 2 w voltas, findas as quais ou o parsing é encontrado ou a cadeia não pertence à linguagem. 252

33 No caso limite pode-se obter ao fim de w derivações, uma forma sentencial com w variáveis e nenhum símbolo terminal. nas w voltas seguintes cada variável é substituída por um símbolo terminal, após o que se obtêm w símbolos terminais. Qual o número máximo de formas sentenciais que se podem obter pelo parsing exaustivo??? 253

34 A gramática tem um número de produções distintas igual a P. Na 1ª volta obtêm-se P formas sentenciais, no máximo. Na 2ª volta obtêm-se P P = P 2 formas sentenciais, i no máximo. Na 3ª volta obtêm-se P 2 P = P 3 formas sentenciais, no máximo.... Na 2 w w volta obê obtêm-se P 2 w formas sentenciais, e s, no máximo. Somando agora ao longo de todas as voltas, obtém-se o limite superior para o número de formas sentenciais que se podem obter: F = P + P 2 + P P 2 w O trabalho de busca cresce exponencialmente com o comprimento da cadeia, podendo tornar proibitivo o custo (computacional) do método. 254

35 Para quaisquer gramáticas livres de contexto existe um algoritmo que faz o parsing de qualquer cadeia w num tempo proporcional a w 3 (ver algoritmo CYK Linz p. 172) Procura-se é um algoritmo de parsing gque demore um tempo linear com o comprimento da cadeia, Não existe nenhum geral para todas as gramáticas livres de contexto, mas apenas para algumas gramáticas especiais. 255

36 Definição 5.4. S Gramática ou gramática simples G = (V, T, S, P) ) livre de contexto é uma gramática simples ou uma s-gramática se todas as suas produções P são da forma: em cada produção substitui-se uma variável por um carácter e uma combinação de variáveis : A ax em que A Va V, T, x V* *, qualquer par (A, a) aparece no máximo uma vez em P. Em cada produção aumenta-se em uma e uma só unidade o número de caracteres terminais em cada forma sentencial. 256

37 Exemplo 9: A gramática é uma s-gramática. S as S bss S c Uma produção (pela direita): S as abss absas absac abcac Para se introduzir a, b ou c na forma sentencial há apenas uma possibilidade em cada volta. 257

38 Muitas características de linguagens de programação podem ser descritas por s-gramáticas. Um parsing numa s-gramática pode ser feito em w voltas (dado que se introduz um símbolo terminal em cada volta), e por isso o seu tempo é linear com o tamanho da cadeia. 258

39 Ambiguidade nas gramáticas e nas linguagens Podem existir diversas árvores de derivação para a mesma cadeia numa gramática, isto é, pode haver ambiguidade. Definição 5.5. Uma gramática livre de contexto é ambígua se existir alguma cadeia w L(G) ( )que tem pelo menos duas árvores de derivação possíveis. A ambiguidade implica a existência de duas ou mais derivações de (extrema) esquerda ou de (extrema) direita. 259

40 Exemplo 10: Considere-se a gramática G: S AS a b A BB ab B a b Desenhar a árvore de derivação da cadeia abb S S A S B B b A S a b a b b 260

41 Definição 5.6. Linguagem inerentemente ambígua Se L é uma linguagem livre de contexto para a qual existe it uma gramática não ambígua, então L diz-se não ambígua. Se toda a gramática que gera L é ambígua, neste caso a linguagem diz-se inerentemente ambígua. 261

42 Exemplo de linguagem inerentemente ambígua (Hopcroft, 212) L = {a n b n c m d m, n 1, m 1) {a n b m c m d n, n 1, m 1} Esta linguagem é composta por todas as cadeias a + b + c + d + tais que i) ou existem tantos a s e b s e tantos c s e d s ii) ou existem tantos t a s e d s e tantos t b s e c s Esta linguagem é não regular (porquê?). 262

43 Uma gramática para ela: a n b n c m d m S AB A aab ab B cbd cd E agora unem-se através de a n b m c m d n S C C acd add D bdc bc S AB C e juntando-lhe todas as outras produções. Et Esta gramática éinerentementet t ambígua: a p b p c p d p, p 1, tem que ser derivável por ambos os casos dado pertencer a ambas as linguagens. 263

44 A cadeia aabbccdd pode gerar-se por duas derivações de extrema esquerda,. 1. S AB aabb aabbb aabbcbd aabbccdd 2. S C acd aaddd aabdcdd aabbccdd S S C A B a C d a D d a A b c B d b D c a b c d b c 264

45 5.3. As CFG e as linguagens de programação A aplicação mais importante das teoria das gramáticas e linguagens: g definição de linguagens de programação construção de interpretadores e compiladores Qualquer linguagem de programação pode ser definida por uma gramática A gramática tem que ser não ambígua. 265

46 Gramáticas CFG (lexical e sintáctica) para a linguagem Java 266

47 Bibliografia An Introduction to Formal Languages and Automata, Peter Linz, 3rd Ed., Jones and Bartelett Computer Science, 2001 Introduction to Automata Theory, Languages and Computation, 2nd Ed., John Hopcroft, Rajeev Motwani, Jeffrey Ullman, Addison Wesley, Elements for the Theory of Computation, Harry Lewis and Christos Papadimitriou, it i 2nd Ed., Prentice Hall, Introduction to the Theory of Computation, Michael Sipser, PWS Publishing Co,