Como construir um compilador utilizando ferramentas Java

Transcrição

1 Como construir um compilador utilizando ferramentas Java p. 1/2 Como construir um compilador utilizando ferramentas Java Aula 4 Análise Léxica Prof. Márcio Delamaro delamaro@icmc.usp.br

2 Como construir um compilador utilizando ferramentas Java p. 2/2 O que é a tarefa do analisador léxico é quebrar a entrada em símbolos que façam sentido para a definição da linguagem e para o analisador sintático. Para identificarmos quais são esses símbolos, basta olharmos na definição da linguagem sua gramática ou grafo sintático e identificarmos quais são os seus símbolos terminais. No contexto da análise léxica, costumamos chamar esses símbolos de tokens.

3 Como construir um compilador utilizando ferramentas Java p. 3/2 Linguagens e alfabetos Os símbolos terminais compõem o alfabeto sobre o qual a nossa linguagem é definida. Esse conjunto de símbolos pode ser definido como uma linguagem. Muito mais simples que a linguagem alvo. Modelos simples como AFD e ER.

4 Como construir um compilador utilizando ferramentas Java p. 4/2 Autômato Finito Determinístico Um autômato finito determinístico (AFD) é um modelo para definição de linguagens regulares composto de cinco elementos Σ,S,s 0,δ,F, onde: Σ é o alfabeto sobre o qual a linguagem é definida; S é um conjunto finito não vazio de estados; s 0 é o estado inicial, s 0 S; δ é a função de transição de estados, δ : S Σ S; F é o conjunto de estados finais, F S.

5 Como construir um compilador utilizando ferramentas Java p. 5/2 Máquina de reconhecer cadeias Recebe como entrada uma cadeia e diz se ela pertence ou não à linguagem desejada. a b a c d b c Aceita Controle Finito de Não Aceita Estados

6 Como construir um compilador utilizando ferramentas Java p. 6/2 Representações δ s 0 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2

7 Como construir um compilador utilizando ferramentas Java p. 6/2 Representações δ s 0 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 0,3,6,9 0,3,6,9 1,4,7 S 0 2,5,8 S 1 2,5,8 1,4,7 1,4,7 2,5,8 S 2 0,3,6,9

8 Como construir um compilador utilizando ferramentas Java p. 7/2 Tabela de transição Uma das vantagens de se utilizar um AFD para definir quais são os tokens a serem reconhecidos pelo AL é que é fácil implementar um AL baseado na tabela de transição de estados. Tal analisador deve apenas ler uma letra da entrada e, baseado na tabela, fazer a mudança de estado. Se o estado em que o AFD se encontrar for um estado final, então a cadeia lida até aquele ponto é um token válido.

9 Como construir um compilador utilizando ferramentas Java p. 8/2 AFD com função parcial δ s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 2 s 0 s 1 s 2 s 0 s 1 s 2 s 0 s 1 s 2 3,6,9 0,3,6,9 1,4,7 S 0 2,5,8 S 1 2,5,8 1,4,7 1,4,7 2,5,8 S 2 0,3,6,9

10 Como construir um compilador utilizando ferramentas Java p. 9/2 Execução do AL Cadeia longa de símbolos.

11 Como construir um compilador utilizando ferramentas Java p. 9/2 Execução do AL Cadeia longa de símbolos. A cada execução do AFD (analisador léxico), um símbolo é reconhecido.

12 Como construir um compilador utilizando ferramentas Java p. 9/2 Execução do AL Cadeia longa de símbolos. A cada execução do AFD (analisador léxico), um símbolo é reconhecido. O AFD é executado até que não haja mais nenhuma transição possível

13 Como construir um compilador utilizando ferramentas Java p. 9/2 Execução do AL Cadeia longa de símbolos. A cada execução do AFD (analisador léxico), um símbolo é reconhecido. O AFD é executado até que não haja mais nenhuma transição possível Se o último estado for final, o símbolo é válido.

14 Como construir um compilador utilizando ferramentas Java p. 9/2 Execução do AL Cadeia longa de símbolos. A cada execução do AFD (analisador léxico), um símbolo é reconhecido. O AFD é executado até que não haja mais nenhuma transição possível Se o último estado for final, o símbolo é válido. Se não, um erro ocorreu.

15 Como construir um compilador utilizando ferramentas Java p. 10/2 Exemplo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra,

16 Como construir um compilador utilizando ferramentas Java p. 10/2 Exemplo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra, i f 1234

17 Como construir um compilador utilizando ferramentas Java p. 10/2 Exemplo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra, i f 1234 if 1234

18 Como construir um compilador utilizando ferramentas Java p. 10/2 Exemplo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra, i f 1234 if 1234 if1234

19 Como construir um compilador utilizando ferramentas Java p. 10/2 Exemplo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra, i f 1234 if 1234 if if1234

20 Como construir um compilador utilizando ferramentas Java p. 11/2 Tipo de símbolo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra, Associar a cada nó um tipo de token.

21 Como construir um compilador utilizando ferramentas Java p. 11/2 Tipo de símbolo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra, Associar a cada nó um tipo de token. Se execução termina no estado 2, um número foi reconhecido.

22 Como construir um compilador utilizando ferramentas Java p. 11/2 Tipo de símbolo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra, Associar a cada nó um tipo de token. Se execução termina no estado 2, um número foi reconhecido. Se termina nos estados 3 ou 5, um identificador foi reconhecido

23 Como construir um compilador utilizando ferramentas Java p. 11/2 Tipo de símbolo branco 2 1 i f 3 4 letra - {f}, letra - {i} 5 letra, letra, Associar a cada nó um tipo de token. Se execução termina no estado 2, um número foi reconhecido. Se termina nos estados 3 ou 5, um identificador foi reconhecido Se termina no estado 4, um if foi reconhecido

24 Como construir um compilador utilizando ferramentas Java p. 12/2 Tabela de transição Estado Letra: próximo estado Tipo 1 branco:1 digito:2 i:3 letra-{i}:5 ERRO 2 digito:2 NÚMERO 3 f:4 letra:5 digito:5 IDENT 4 letra:5 digito:5 IF 5 letra:5 digito:5 IDENT Ver programa 3.1 pag 43

25 Como construir um compilador utilizando ferramentas Java p. 13/2 Complexidade de um AFD Na linguagem X ++, que é bastante simples, temos nada menos que 39 símbolos terminais. A construção do AFD pode se tornar bastante complexa. Uma das maneiras de diminuir essa dificuldade é utilizando um autômato finito não determinístico (AFND)

26 Como construir um compilador utilizando ferramentas Java p. 14/2 Autômato finito não determinístico A função de transição de estados é definida δ : S Σ conjunto de subconjuntos finitos de ρ(s) Pode existir mais de uma transição saindo de um estado para a mesma letra do alfabeto.

27 Como construir um compilador utilizando ferramentas Java p. 15/2 Exemplo de autômato finito não determinísti branco 2 1 i f 3 4 letra 5 letra, if12 {1} i {3, 5} f {4, 5} 1 {5} 2 {5} if {1} i {3, 5} f {4, 5}

28 Como construir um compilador utilizando ferramentas Java p. 16/2 AFND com estados vários iniciais Um AFND pode também ter diversos estados iniciais branco 1 2 branco i f branco letra 6 7 letra, if12 {1, 3, 6} i {4, 7} f {5, 7} 1 {7} 2 {7} if {1, 3, 6} i {4, 7} f {5, 7}

29 Como construir um compilador utilizando ferramentas Java p. 17/2 Observações AFND facilita a descrição da linguagem reconhecida pelo analisador léxico.

30 Como construir um compilador utilizando ferramentas Java p. 17/2 Observações AFND facilita a descrição da linguagem reconhecida pelo analisador léxico. Por outro lado é difícil de implementar.

31 Como construir um compilador utilizando ferramentas Java p. 17/2 Observações AFND facilita a descrição da linguagem reconhecida pelo analisador léxico. Por outro lado é difícil de implementar. Não adiciona nenhum poder extra aos AFDs

32 Como construir um compilador utilizando ferramentas Java p. 17/2 Observações AFND facilita a descrição da linguagem reconhecida pelo analisador léxico. Por outro lado é difícil de implementar. Não adiciona nenhum poder extra aos AFDs Portanto podemos sempre transformar um AFND em um AFD.

33 Como construir um compilador utilizando ferramentas Java p. 18/2 Expressões regulares Usa operadores para combinar as letras do alfabeto e formar linguagens.

34 Como construir um compilador utilizando ferramentas Java p. 18/2 Expressões regulares Usa operadores para combinar as letras do alfabeto e formar linguagens. União ( ): dadas as linguagens L 1 e L 2, sobre o alfabeto Σ, define-se L 1 L 2 como {x Σ x L 1 x L 2 };

35 Como construir um compilador utilizando ferramentas Java p. 18/2 Expressões regulares Usa operadores para combinar as letras do alfabeto e formar linguagens. União ( ): dadas as linguagens L 1 e L 2, sobre o alfabeto Σ, define-se L 1 L 2 como {x Σ x L 1 x L 2 }; Concatenação ( ): dadas as linguagens L 1 e L 2, sobre o alfabeto Σ, define-se L 1 L 2 como {x.y Σ x L 1 y L 2 };

36 Como construir um compilador utilizando ferramentas Java p. 18/2 Expressões regulares Usa operadores para combinar as letras do alfabeto e formar linguagens. União ( ): dadas as linguagens L 1 e L 2, sobre o alfabeto Σ, define-se L 1 L 2 como {x Σ x L 1 x L 2 }; Concatenação ( ): dadas as linguagens L 1 e L 2, sobre o alfabeto Σ, define-se L 1 L 2 como {x.y Σ x L 1 y L 2 }; Fecho de Kleene ( ): dada a linguagem L sobre o alfabeto Σ, define-se L como sendo λ L (L L) (L L L) (L L L L)...

37 Como construir um compilador utilizando ferramentas Java p. 19/2 ER e o analisador léxico Cada item léxico pode ser definido através de uma ER.

38 Como construir um compilador utilizando ferramentas Java p. 19/2 ER e o analisador léxico Cada item léxico pode ser definido através de uma ER. NUMERO: digito digito ;

39 Como construir um compilador utilizando ferramentas Java p. 19/2 ER e o analisador léxico Cada item léxico pode ser definido através de uma ER. NUMERO: digito digito ; IF: i f;

40 Como construir um compilador utilizando ferramentas Java p. 19/2 ER e o analisador léxico Cada item léxico pode ser definido através de uma ER. NUMERO: digito digito ; IF: i f; IDENTIFICADOR: letra (letra digito).

41 Como construir um compilador utilizando ferramentas Java p. 19/2 ER e o analisador léxico Cada item léxico pode ser definido através de uma ER. NUMERO: digito digito ; IF: i f; IDENTIFICADOR: letra (letra digito). Uma (ou diversas) ER pode ser transformada em um AFND.

42 Como construir um compilador utilizando ferramentas Java p. 20/2 Exercício 1) Identifique cada símbolo terminal na gramática de X ++ e construa, para cada um uma ER e um AFND. 2) Baixe o JavaCC ( e sua doc. ( e tente entender como funciona este gerador de compiladores, que será usado para construir nosso analisador léxico. Veja também o Apêndice B do livro.