Reconhecimento de Padrões. Prof. Flávio Humberto Cabral Nunes

Transcrição

1 Reconhecimento de Padrões Prof. Flávio Humberto Cabral Nunes

2 Conteúdo 1. Força Bruta 2. Knuth-Morris-Pratt 3. Boyer-Moore 4. Aho-Corasick Capítulo: 13 (APOSTILA).

3 Força Bruta Características principais Não há fase de pré-processamento Sempre avança apenas uma posição As comparações podem ser feitas em qualquer ordem A busca é de complexidade O(mn) São esperadas 2n comparações de caracteres

4 Força Bruta Checa, em todas as posições do texto entre 0 e m n, se uma ocorrência do padrão começa ali ou não Então, a cada tentativa, ele desloca o padrão exatamente uma posição para a direita

5 Código int forca_bruta( char *Y, char *X ) { int i, j, m,n; m = strlen( X ); n = strlen( Y ); } for( i = 0; i <= (n - m); i++) { j = 0; while( j < n && Y[i + j] == X[j]) j++; if( j == n ) return i; } return -1;

6 Exemplo Primeira tentativa: C A C A C A U C A C A U

7 Exemplo Segunda tentativa: C A C A C A U 0 C

8 Exemplo Terceira tentativa: C A C A C A U C A C A U

9 Prefixo Uma string W é um prefixo de uma string X se X = WY para alguma string Y, W X Exemplo: W = ab, X = abefac, Y = efac O string vazio é prefixo de qualquer string

10 Sufixo Uma string W é um sufixo de uma string X se X = YW para alguma string Y, W X Exemplo W = cdaa, X = acbecdaa, Y = acde O string vazio é um sufixo de qualquer string

11 Sobreposição de Sufixos Suponha X Z e Y Z. a) se X Y, então X Y b) se X Y, então Y X c) se X = Y, então X = Y X Z Y a) b) c)

12 O Algoritmo Knuth-Morris-Pratt Idéia chave Computação eficiente com base no cálculo de sufixos e prefixos Usa uma função auxiliar Função prefixo Alcança o custo O(n + m)

13 O Deslocamento Mínimo Texto T q matching chars s+1 s +1 s+q shift s 1 q Padrão P shift s (minimum) P Pergunta: Qual é o menor deslocamento s > s?

14 Função Prefixo O deslocamento depende do padrão e não do texto T P[1..q] = ababa P[1..k] = aba b a c b a b a b a a b c b a b a b a b a c a a b a b a c a shift by 2 π[5] = 3 Função Prefixo mede o comprimento do maior prefixo de P[1..m] que é também um sufixo próprio de P[1..q]. π[q] = max{ k: k < q e P[1..k] é sufixo de P[1..q] }

15 Exemplo π[ ] mede qual bom o padrão casa em relação a um deslocamento Ex. i P[1..i] a b a b a b a b c a π[i] a b a b a b a b c a a b a b a b a b c a a b a b a b a b c a a b a b a b a b c a P[1..8] a b a b a b a b c a P[1..6] a b a b a b a b c a π[8] = 6 P[1..4] a b a b a b a b c a π[6] = 4 P[1..2] a b a b a b a b c a π[4] = 2 P[] a b a b a b a b c a π[2] = 0

16 KMP - Exemplo i P[1..i] a b a b b a b a b a a π[i] abababbababbaababbababaa ababbababaa shift by q π[q] = 4 2 abababbababbaababbababaa ababbababaa shift by 9 4 = 5 abababbababbaababbababaa ababbababaa abababbababbaababbababaa ababbababaa abababbababbaababbababaa ababbababaa shift by 6 1 = 5 shift by 1 0 = 1

17 O Algoritmo Boyer-Moore O casamento de padrões Boyer-Moore é baseado em duas técnicas 1. A técnica looking-glass Encontre P em T movendo por P de trás para frente, começando do fim

18 O Algoritmo Boyer-Moore 2. A técnica character-jump Quando uma falha ocorre em T[i] = x O caractere no padrão P[j] não é o mesmo de T[i] Há 3 casos possíveis Tentados em ordem T P x a i b a j

19 Caso 1 Se P contém x em algum lugar, então tente deslocar P para a direita para alinhar a última ocorrência de x em P com T[i] T x a i T x a?? i novo P x c b a move i e j p/ direita, tal que j está no fim P x c b a j j novo

20 Caso 2 Se P contém x em algum lugar, mas o deslocamento para direita para a última ocorrência não é possível, então desloque P para direita de 1 caractere para T[i + 1] T P x i c w j a x a x T move i e j para direita, tal que j fique no fim x está depois da posição j P x a x? i novo c w a x j novo

21 Caso 3 Se os casos 1 e 2 não se aplicam, então desloque P para alinhar P[0] com T[i + 1] T P x a i d c b a j Nenhum x em P T move i e j para direita, tal que j fique no fim x a?? P? d c b a 0 i novo j novo

22 Boyer-Moore: Exemplo 1 T: a p a t t e r n m a t c h i n g a l g o r i t h m r i t h m r i t h m r i t h m r i t h m P: r i t h m r i t h m r i t h m

23 Função Última Ocorrência Algoritmo de Boyer-Moore preprocessa o padrão P e o alfabeto A para construir a função última ocorrência L() L() mapeia todas as letras de A para inteiros L(x) é definido como: // x é uma letra em A O maior índice i tal que P[i] = x ou -1 se tal índice não existe

24 L() - Exemplo A a b c d P abacab P a b a c a b x a b c d L(x) L() armazena índices em P[]

25 T: P: Boyer-Moore: Exemplo 2 a b a c a a b a d c a b a c a b a a b b a b a c a b a b a c a b a b a c a b a b a c a b a b a c a b a b a c a b x a b c d L(x)

26 Análise O pior caso do Boyer-Moore é O(nm + A) Mas, Boyer-Moore é rápido quando o alfabeto (A) é grande, lento quando o alfabeto é pequeno Bom para português, ruim para binário Boyer-Moore é significantemente mais rápido que o força bruta para busca em texto em português

27 Exemplo de Pior Caso T: "aaaaa a" P: "baaaaa" T: P: a a a a a a a a a b a a a a a b a a a a a b a a a a a b a a a a a

28 Aho-Corasick Algoritmo apresentado por Alfred Aho e Margaret Corasick Otimização de um sistema de banco de dados de referências bibliográficas Excelentes resultados em relação aos algoritmos da época

29 Aho-Corasick Envolve a construção de um autômato finito determinístico que representa as palavras em K Para essa construção são aplicadas algumas idéias do algoritmo KMP Resolve o problema de busca de padrões para o caso em que o padrão é uma palavra

30 O Problema Seja K = {y 1, y 2,..., y k } um conjunto finito de palavras em * chamadas palavras-chave Seja x, também em *, uma palavra qualquer chamada texto O problema a resolver é localizar e identificar todos os fatores de x que são também palavras-chave Em outras palavras, se quer saber quais palavras do dicionário K ocorrem no texto x

31 Modelo de Solução de Aho e Corasick Utiliza um autômato que reconhece a linguagem * K O autômato recebe como entrada o texto x e gera uma saída contendo as posições em x onde alguma palavra-chave aparece como fator Essa é a fase de busca (O(x), mas pode depender de )

32 Modelo de Solução de Aho e Corasick Há uma fase de construção do autômato feita em duas etapas 1. Construir, a partir de K, uma máquina de estados 2. A partir da máquina de estados, obtém-se o autômato finito determinístico que reconhece *K

33 O Algoritmo de Aho e Corasick Inicialmente, constrói um autômato que reconhece *K A construção é feita em etapas A primeira constrói um autômato que reconhece as palavras-chave Para K = {he, she, her, his}

34 O Algoritmo de Aho e Corasick

35 O Algoritmo de Aho e Corasick A partir dessa estrutura, o algoritmo constrói uma máquina de estados semelhante a um autômato A diferença dessa máquina é que ela possui uma segunda função de transição, chamada falha Essa função utiliza as mesmas idéias do algoritmo KMP

36 O Algoritmo de Aho e Corasick

37 O Algoritmo de Aho e Corasick Numa busca do texto na máquina de estados, a transição de falha de um estado é usada quando a transição δ não está definida para esse estado Ela indica o estado para o qual devemos voltar e repetir a busca

38 O Algoritmo de Aho e Corasick Por exemplo Busca pelo texto shine 0, s, 3, h, 4, i, 1, i, 8, n, 0, e, 0 Note que a máquina já é capaz de reconhecer *K, ou seja, resolver o problema

39 O Algoritmo de Aho e Corasick A última fase é a construção de um autômato finito determinístico a partir da máquina de estados

40 O Algoritmo de Aho e Corasick