Compiladores 02 Analise léxica

Transcrição

1 Compiladores 02 Analise léxica

2 Sumário Análise Léxica Definição: Lexema, tokens Tabela símbolos Expressões regulares, automatos

3 Relembrando O compilador é dividido em duas etapas Análise Síntese Análise Análise léxica Quebra a entrada em pedaços conhecidos como tokens Análise sintática Analisa a estrura de frase do programa Análise semântica Verifica o significado do programa

4 Relembrando O compilador é dividido em duas etapas Análise Síntese Síntese Geração de código intermediário Otimização de código Geração de código objeto

5 Análise (Front-end) 1.1) Análise léxica Organiza caracteres de entrada em grupos, chamados tokens Erros: tamanho máximo da variável excedido, formação de identificadores, caracteres inválidos.. 1.2) Análise sintática Organiza tokens em uma estrutura hierárquica Erros: falta de (, ), =, identificador inválido ) Análise semântica Checa se o programa respeita regras básicas de consistência Erros: tipos inconsistentes atribuir uma string em uma variável

6 Análise Léxica Também chamado de scanner Tarefa principal: Ler o arquivo onde se encontra o programa fonte Agrupar em sequências o que chamamos de lexemas (tokens)

7 Análise Léxica Algumas Definições: Lexemes: sequência de caracteres que forma uma unidade léxica Tokens: um objeto que contém um par de informações Identificador do tipo da unidade léxica E um valor

8 Análise Léxica Exemplos de tokens: Identificadores nome_de_variavel Números reais 1.8, 2.9, 0.1 nome_de_classe Palavras reservadas if, while, class, for... Caracteres especiais $, º, ª Números inteiros sem sinal 10, 234, 0 Comentários /* isto é um comentário */

9 Análise Léxica Tokens: um objeto que contém um par de informações Identificador do tipo da unidade léxica E um valor Ao ler um identificador(nome_de_variável) gera os seguintes tokens: Tempo <IDENT, tempo> Soma <IDENT, Soma>

10 Análise Léxica Tokens: um objeto que contém um par de informações Identificador do tipo da unidade léxica E um valor Ao ler um identificador(nome_de_variável) gera os seguintes tokens: Tempo <IDENT, tempo> Soma <IDENT, Soma> Isto é um TOKEN!

11 Análise Léxica Tokens: um objeto que contém um par de informações Identificador do tipo da unidade léxica E um valor Ao ler uma palavra-chave, gera os seguintes tokens: If <KW_IF> while <KW_WHILE> Class <KW_CLASS> ( <LEFTPAR> Estes tokens, não precisam do valor

12 Análise Léxica Cada linguagem tem seu conjunto de tokens que são aceitos Por exemplo: Pascal: existe a palavra-chave then C++: não possui

13 Análise Léxica Cada linguagem tem seu conjunto de tokens que são aceitos Por exemplo: Pascal: existe a palavra-chave then C++: não possui A principal função do ANALISADOR LÉXICO é: Ler o arquivo E verificar se o que foi lido é um token válido Ao conjunto de tokens aceitos dá-se o nome: Tabela de símbolos

14 Análise Léxica Tabela de símbolos Conjunto de tokens aceitos Funciona como uma base de consulta para as fases seguintes do compilador Também utilizada para armazenar o tipo das variaveis o valor das variáveis e seu escopo

15 Análise Léxica Tabela de símbolos (exemplo de funcionamento) Seja o código: fi ( a < 10 ) { return a;

16 Análise Léxica Tabela de símbolos (exemplo de funcionamento) Seja o código: fi ( a < 10 ) { return a; Inicia a leitura do texto Captura as letras f e depois i O analisador léxico verifica na tabela de símbolos se: fi é uma palavra reservada?

17 Análise Léxica Tabela de símbolos (exemplo de funcionamento) Seja o código: fi ( a < 10 ) { return a; Inicia a leitura do texto Captura as letras f e depois i O analisador léxico verifica na tabela de símbolos se: fi é uma palavra reservada? Como não encontra informa que fi é um identificador <IDENT, fi >

18 Análise léxica Exemplo Soma = a + b * 40; Analisador léxico

19 Análise léxica Exemplo Soma = a + b * 40; <IDENT, apontador p/ posição soma na tabela de simbolos>, <OP_IGUAL>, <IDENT, apontador p/ posição a na tabela de simbolos>, <OP_SOMA>, <IDENT, apontador p/ posição b na tabela de simbolos>, <OP_MULT>, <NUM, valor 40> Analisador léxico

20 Análise léxica Exemplo Soma = a + b * 40; <IDENT, apontador p/ posição soma na tabela de simbolos>, <OP_IGUAL>, <IDENT, apontador p/ posição a na tabela de simbolos>, <OP_SOMA>, <IDENT, apontador p/ posição b na tabela de simbolos>, <OP_MULT>, <NUM, valor 40> Analisador léxico Tabela de simbolos Lexema (lido) token valor 1 soma <IDENT> - 2 = <OP_IGUAL> - 3 a <IDENT> <OP_SOMA> - 5 b <IDENT> - 6 * <OP_MULT> <NUM> 40

21 Análise léxica Exemplo Soma = a + b * 40; <IDENT, 1>, <OP_IGUAL>, <IDENT, 3>, <OP_SOMA>, <IDENT, 5>, <OP_MULT>, <NUM, valor 40> Analisador léxico Tabela de simbolos Lexema (lido) token valor 1 soma <IDENT> - 2 = <OP_IGUAL> - 3 a <IDENT> <OP_SOMA> - 5 b <IDENT> - 6 * <OP_MULT> <NUM> 40

22 Análise léxica Exemplo Soma = a + b * 40; <IDENT, 1>, <OP_IGUAL>, <IDENT, 3>, <OP_SOMA>, <IDENT, 5>, <OP_MULT>, <NUM, valor 40> Analisador léxico Tabela de simbolos Lexema (lido) token valor 1 soma <IDENT> - 2 = <OP_IGUAL> - 3 a <IDENT> <OP_SOMA> - 5 b <IDENT> - A partir da tabela pronta, todas fases 6 a consultam! * <OP_MULT> <NUM> 40

23 Análise léxica Exercicio: x1 = id2; flag2 = x1 * 2; Faça a analise léxica e construa a tabela de símbolos

24 Análise Léxica Seja este fonte: int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

25 Análise Léxica O analisador léxico, vê o código fonte como uma sequência de caracteres int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a; i n t sp g c d sp ( i n t sp a sp, sp i n t sp b ) { nl w h i l e (a! = b ) nl { i f sp ( a > b ) nl a = b ; nl e l s e nl b = a ; nl nl r e t u r n sp a ; nl

26 Análise Léxica O analisador léxico une os caracteres de acordo com os tokens da linguagem int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a; i n t sp g c d sp ( i n t sp a sp, sp i n t sp b ) { nl w h i l e (a! = b ) nl { i f sp ( a > b ) nl a = b ; nl e l s e nl b = a ; nl nl r e t u r n sp a ; nl

27 Análise Léxica O analisador léxico une os caracteres de acordo com os tokens da linguagem int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

28 Análise Léxica Note que: O Analisador Léxico ignora os espaços em branco int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

29 Análise Léxica Note que: O Analisador Léxico ignora os espaços em branco Também ignora comentários, newline... int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

30 Análise Léxica Note que: O Analisador Léxico ignora os espaços em branco Também ignora comentários, newline... Fica apenas os tokens int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

31 Análise léxica Lembrando que: Cada token tem um codigo/nome Ex: while <KW_WHILE> int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

32 Análise léxica Adiante veremos que, além do codigo/nome ele tem um numero que o identifica Ex: while <KW_WHILE> 12 int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

33 Análise Sintática Só para se ter uma idéia da análise sintática Cria-se uma arvore com os tokens Formalismo BNF int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

34 Análise Léxica - Perguntinha básica Como ele faz esse scanner(leitura) do arquivo? int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

35 Análise Léxica - Perguntinha básica Como ele faz esse scanner(leitura) do arquivo? Faça um programa para isso... int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

36 Análise Léxica - Perguntinha básica Como ele faz esse scanner(leitura) do arquivo? Autômatos!!! int gcd (int a, int b){ while(a!= b){ if(a > b) a = b; else b = a; return a;

37 Análise Léxica Exemplo dos formalismos: Expressão Regular Autômato Finito letra [A Z] [a z] digito [0 9] digitos digito digito* ident letra (letra digito)*

38 Análise Léxica Exemplo dos formalismos: Expressão Regular Autômato Finito letra [A Z] [a z] digito [0 9] digitos digito digito* ident letra (letra digito)* São eles os responsáveis por ler e validar o texto lido!

39 Análise léxica Algumas definições regulares dos tokens letra [A Z] [a z] digito [0 9] digitos digito digito* ident letra (letra digito)* fracao.digitos ε exponencial E ( + - ε) digitos ε num digitos fracao exponencial KW_INT int KW_WHILE while

40 Análise léxica Operadores * Zero ou mais instancias + Uma ou mais instancias? Zero ou uma instancia [... ] Classe de caracteres Ex: [A-Z] A B Instancia de A ou de B AB Instancia de A seguida da instancia B

41 Análise léxica Diagrama scanner-parser: Programa fonte Analisador léxico (Scanner) token Analisador sintático (Parser) semântico getnexttoken() Tabela de símbolos (identificadores e constantes)

42 Análise léxica Diagrama scanner-parser: Jflex e Jcup Expressões regulares regras léxicas regras sintáticas

43 Análise léxica Diagrama scanner-parser: Jflex e Jcup Expressões regulares regras léxicas Lex regras sintáticas Yacc Geradores automáticos Jflex e jcup

44 Análise léxica Diagrama scanner-parser: Jflex e Jcup Expressões regulares regras léxicas Lex regras sintáticas Yacc Geradores automáticos Jflex e jcup Analisador Léxico Analisador Sintático Classes geradas

45 Análise léxica Diagrama scanner-parser: Jflex e Jcup Expressões regulares entrada regras léxicas Lex Analisador Léxico regras sintáticas Yacc Analisador Sintático Geradores automáticos Jflex e jcup saída Classes geradas

46 Análise léxica Exercício Defina os tokens e faça a analise léxica do fonte C++ abaixo: int main (){ float altura, peso, imc; int i; cout << Informe altura e peso ; cin >> altura; cin >> peso; while(i <= 10){ imc = altura/(peso*peso); if(imc > 1.89) return altura; else return peso; i = i + 1;

47 Análise léxica Construa o automato para a seguinte linguagem L = { w w possui aa ou bb como subpalavra

48 Análise léxica Construa o automato para a seguinte linguagem L = { w w possui aa ou bb como subpalavra