Seminários de pesquisa do DAINF Transformações de imagens baseadas em morfologia

Transcrição

1 Universidade Tecnológica Federal do Paraná - UTFPR Departamento Acadêmico de Informática - DAINF Seminários de pesquisa do DAINF Transformações de imagens baseadas em morfologia matemática e aplicações Leyza Baldo Dorini 23/Jun/2009 (DAINF - UTFPR) 23/Jun/ / 53

2 Roteiro Introdução Morfologia matemática: principais definições Aplicações Considerações finais (DAINF - UTFPR) 23/Jun/ / 53

3 Introdução O processamento/análise de imagens é uma área que aborda um grande número de aplicações práticas. Dentre seus principais objetivos: representar uma imagem de maneira mais apropriada; extrair características significativas para o problema específico sendo considerado. (DAINF - UTFPR) 23/Jun/ / 53

4 Introdução O processamento/análise de imagens é uma área que aborda um grande número de aplicações práticas. Dentre seus principais objetivos: representar uma imagem de maneira mais apropriada; extrair características significativas para o problema específico sendo considerado. Foco: técnicas baseadas em morfologia matemática. (DAINF - UTFPR) 23/Jun/ / 53

5 Morfologia matemática Introduzida na década de 60; Consiste em uma abordagem não-linear de processamento de imagens que se fundamenta em áreas tais como teoria dos conjuntos e geometria integral; Seu principal objetivo é extrair informações significativas de uma imagem com base na análise da sua geometria e da forma de seus objetos. (DAINF - UTFPR) 23/Jun/ / 53

6 Morfologia matemática É importante definir o conceito de elemento estruturante. De maneira simplificada, define o tamanho e a forma da região a ser considerada por uma transformação morfológica. Tais elementos podem ser classificadas em duas categorias: planares ou não-planares. (a) (b) (c) Figura: Exemplos de elementos estruturantes planares abrangendo uma vizinhança 3 3. O ponto branco denota o centro do elemento estruturante. (DAINF - UTFPR) 23/Jun/ / 53

7 Morfologia matemática Embora amplamente utilizadas, as funções estruturantes planares não conseguem extrair algumas propriedades específicas das imagens. Nestes casos, pode-se utilizar as funções estruturantes não-planares, denotadas aqui por B σ, as quais possuem o seguinte formato: B σ (x) = σ B ( σ 1 x) x B σ, σ 0. (1) (a) (b) (c) Figura: Exemplos de funções estruturantes não-planares: (a) parabólica (b) cônica e (c) pirâmide. (DAINF - UTFPR) 23/Jun/ / 53

8 Operações básicas de morfologia matemática A erosão e a dilatação são as operações fundamentais da morfologia matemática, constituindo a base para a definição de transformações mais complexas. Para imagens binárias, a dilatação dos pontos da forma, X, por um elemento estruturante B, denotada por δ B (X ), é definida como o conjunto de pontos x tal que B intercepta X quando sua origem está centrada em x: δ B (X ) = {x B x X }, (2) em que B x denota a translação do centro do elemento estruturante B para a posição x. (a) (b) (c) (DAINF - UTFPR) 23/Jun/ / 53

9 Operações básicas de morfologia matemática De maneira análoga, a erosão de um conjunto X por um elemento estruturante B, ε B (X ), é definida como o conjunto de pontos x tal que B está incluído em X quando sua origem está centrada em x: ε B (X ) = {x B x X }, (3) em que, novamente, B x denota a translação do centro do elemento estruturante B para a posição x. (a) (b) (c) (DAINF - UTFPR) 23/Jun/ / 53

10 Operações básicas de morfologia matemática Definição (Dilatação) A dilatação de uma imagem f pela função estruturante planar B, [δ B (f )](x), é dada por: [δ B (f )](x) = max{f (x + b)}, (4) b B ou seja, o valor dilatado de um pixel x é o máximo na vizinhança definida por B. Definição (Erosão) A erosão de uma imagem f pela função estruturante planar B, [ε B (f )](x), é dada por: [ε B (f )](x) = min{f (x + b)}, (5) b B ou seja, o valor erodido de um pixel x é o mínimo na vizinhança definida por B. (DAINF - UTFPR) 23/Jun/ / 53

11 Operações básicas de morfologia matemática Portanto, as operações de dilatação e erosão para imagens em níveis de cinza podem ser definidas em termos do máximo e mínimo na vizinhança definida pelo elemento estruturante transladado. Exemplo: (a) (b) (c) Figura: (a) Imagem original, (b) dilatação e (c) erosão de (a) utilizando um elemento estruturante quadrado de tamanho 3 3. (DAINF - UTFPR) 23/Jun/ / 53

12 Outras operações de morfologia matemática Abertura e fechamento (a) (b) (c) (DAINF - UTFPR) 23/Jun/ / 53 (d)

13 Transformações envolvendo operações de morfologia matemática Operadores toggle. (DAINF - UTFPR) 23/Jun/ / 53

14 Transformações envolvendo operações de morfologia matemática Operadores toggle. Exemplo: Dadas duas primitivas, ϕ 1 e ϕ 2, a regra de decisão escolhe como valor transformado aquele que mais se aproxima do valor original do pixel sendo analisado. ϕ 1 (x), se ϕ 1 (x) f (x) < f (x) ϕ 2 (x), T (x) = f (x), se ϕ 1 (x) f (x) = f (x) ϕ 2 (x), (6) ϕ 2 (x), em outros casos. (DAINF - UTFPR) 23/Jun/ / 53

15 Transformações envolvendo operações de morfologia matemática Segmentação de imagens baseada em morfologia matemática: Transformada de Watershed. (DAINF - UTFPR) 23/Jun/ / 53

16 Transformações envolvendo operações de morfologia matemática Segmentação de imagens baseada em morfologia matemática: Transformada de Watershed. (a) (b) (c) (d) (DAINF - UTFPR) 23/Jun/ / 53 (e)

17 Problema: super-segmentação (a) (b) (c) (d) (e) Figura: Transformada de watershed: (a) imagem original, (b) máximos regionais, (c) segmentação utilizando máximos como marcadores, (d) pontos que possuem um contraste maior que 15 (e) segmentação resultante ao considerar pontos selecionados em (d) como marcadores. (DAINF - UTFPR) 23/Jun/ / 53

18 Algumas considerações A seguir, é definido um conjunto de transformações de imagens que possam ser utilizadas como uma etapa adicional em diversas aplicações. (DAINF - UTFPR) 23/Jun/ / 53

19 Algumas considerações A seguir, é definido um conjunto de transformações de imagens que possam ser utilizadas como uma etapa adicional em diversas aplicações. Utilização de operações de morfologia matemática. (DAINF - UTFPR) 23/Jun/ / 53

20 Algumas considerações A seguir, é definido um conjunto de transformações de imagens que possam ser utilizadas como uma etapa adicional em diversas aplicações. Utilização de operações de morfologia matemática. São exploradas diferentes formas de aplicação de um operador toggle ϕ 1, se ψ(x) f (x) < f (x) φ(x), T (x) = f (x), se ψ(x) f (x) = f (x) φ(x), (7) ϕ 2, caso contrário. (DAINF - UTFPR) 23/Jun/ / 53

21 Aplicações Serão discutidos brevemente: operador com propriedades espaço-escala; (DAINF - UTFPR) 23/Jun/ / 53

22 Aplicações Serão discutidos brevemente: operador com propriedades espaço-escala; operação de limiarização adaptativa multi-escala; (DAINF - UTFPR) 23/Jun/ / 53

23 Aplicações Serão discutidos brevemente: operador com propriedades espaço-escala; operação de limiarização adaptativa multi-escala; método de filtragem. (DAINF - UTFPR) 23/Jun/ / 53

24 Abordagens multi-escala Abordagens multi-escala (DAINF - UTFPR) 23/Jun/ / 53

25 Abordagens multi-escala Abordagens multi-escala Espaço-escala: permite relacionar informações presentes em diferentes escalas a escala é vista como uma variável contínua, não um parâmetro outras propriedades: monotonicidade, fidelidade, invariância Euclidiana (2D: causalidade) (DAINF - UTFPR) 23/Jun/ / 53

26 Abordagens multi-escala Abordagens multi-escala Espaço-escala: permite relacionar informações presentes em diferentes escalas a escala é vista como uma variável contínua, não um parâmetro outras propriedades: monotonicidade, fidelidade, invariância Euclidiana (2D: causalidade) Abordagens espaço-escala (DAINF - UTFPR) 23/Jun/ / 53

27 Espaços-escala morfológicos Operações utilizam uma função estruturante dependente de escala, B σ : D σ R 2 R, tal que B σ (x) = σ B( σ 1 x) x D σ, σ 0 (8) em que D σ = {x : x < R} é a região de suporte de B σ. (DAINF - UTFPR) 23/Jun/ / 53

28 Espaços-escala morfológicos Operações utilizam uma função estruturante dependente de escala, B σ : D σ R 2 R, tal que B σ (x) = σ B( σ 1 x) x D σ, σ 0 (8) em que D σ = {x : x < R} é a região de suporte de B σ. Exemplo: B σ (x, y) = 1 max{ x, y } (9) σ (DAINF - UTFPR) 23/Jun/ / 53

29 Erosão e dilatação utilizando elementos estruturantes não-planares Definição (Dilatação) A dilatação de uma imagem f pela função estruturante B σ (x), [ε Bσ(f )](x), é dada por: Definição [δ Bσ (f )](x) = max b B σ {f (x + b) + B σ (b)}. (10) (Erosão) A erosão de uma imagem f pela função estruturante B σ (x), [δ Bσ(f )](x), é dada por: [ε Bσ (f )](x) = min b B σ {f (x + b) B σ (b)}. (11) (DAINF - UTFPR) 23/Jun/ / 53

30 Operador Proposto Seja φ k 1 (x) = [δ B σ (f )] k (x), isto é, a dilatação de f (x) com a função estruturante dependente de escala B σ k vezes. De forma análoga, φ k 2 (x) = [ε B σ (f )] k (x). Denomina-se operador SMMT (Self-dual Mustiscale Morphological Toggle) a função: φ k [τ Bσ (f )] k 1 (x), se φk 1 (x) f (x) < f (x) φk 2 (x), (x) = f (x), se φ k 1 (x) f (x) = f (x) φk 2 (x), (12) φ k 2 (x), caso contrário. (DAINF - UTFPR) 23/Jun/ / 53

31 Propriedade espaço-escala do operador Das propriedades das funções estruturantes, segue que: { 0, se x = 0; σ 0 B σ (x), caso contrário o que conduz diretamente ao requisito de fidelidade. (DAINF - UTFPR) 23/Jun/ / 53

32 Propriedade espaço-escala do operador Das propriedades das funções estruturantes, segue que: { 0, se x = 0; σ 0 B σ (x), caso contrário o que conduz diretamente ao requisito de fidelidade. Invariância Euclidiana. (DAINF - UTFPR) 23/Jun/ / 53

33 Propriedades espaço-escala do operador Pontualmente, existe a convergência para uma única primitiva. (DAINF - UTFPR) 23/Jun/ / 53

34 Propriedades espaço-escala do operador Pontualmente, existe a convergência para uma única primitiva. Preserva causalidade (para um número fixo de iterações) considerando máximos e mínimos ao mesmo tempo. (DAINF - UTFPR) 23/Jun/ / 53

35 Propriedades espaço-escala do operador Pontualmente, existe a convergência para uma única primitiva. Preserva causalidade (para um número fixo de iterações) considerando máximos e mínimos ao mesmo tempo. Caso a monotonicidade estrita seja desejada, é preciso realizar um pós-processamento para garantir que novos extremos não serão criados. (DAINF - UTFPR) 23/Jun/ / 53

36 Propriedade do operador Ao fixar a escala e mudar o número de iterações, temos que o operador define quasi-flat zones. (a) (b) (c) Figura: Simplificação obtida pelo operador ao considerar sucessivas aplicações (k = 1, 3 e 5) das primitivas na escala σ = 1. (DAINF - UTFPR) 23/Jun/ / 53

37 Propriedade do operador Ao fixar a escala e mudar o número de iterações, temos que o operador define quasi-flat zones. (a) (b) (c) Figura: Simplificação obtida pelo operador ao considerar sucessivas aplicações (k = 1, 3 e 5) das primitivas na escala σ = 1. [τ Bσ3 (f )] k (x) == [τ Bσ2k+1 (f )] 1 (x), (13) (DAINF - UTFPR) 23/Jun/ / 53

38 Resultados I - segmentação de imagens em níveis de cinza Problemas de super-segmentação. (DAINF - UTFPR) 23/Jun/ / 53

39 Resultados I - segmentação de imagens em níveis de cinza Problemas de super-segmentação. Segmentação utilizando h-extremos como marcadores 1 dada uma altura h e uma imagem de entrada I ; 2 gerar uma imagem transformada, I 1, aplicando SMMT em I ; 3 calcula o h-maxima de I ; 4 extrair os máximos regionais; 5 calcular a transformada watershed usando esses extremos como marcadores. (DAINF - UTFPR) 23/Jun/ / 53

40 Resultados I - segmentação de imagens em níveis de cinza Problemas de super-segmentação. Segmentação utilizando h-extremos como marcadores 1 dada uma altura h e uma imagem de entrada I ; 2 gerar uma imagem transformada, I 1, aplicando SMMT em I ; 3 calcula o h-maxima de I 1; 4 extrair os máximos regionais; 5 calcular a transformada watershed usando esses extremos como marcadores. (DAINF - UTFPR) 23/Jun/ / 53

41 Resultados (a) (b) (c) (d) Figura: Resultados de segmentação para a imagem skyg. (a) imagem original, e usando imagens transformadas (b) σ 1 = 60 e k = 1, com h = 2; (c) σ 1 = 60 e k = 1, com h = 10, e (d) com base na imagem original usando h = 10. (DAINF - UTFPR) 23/Jun/ / 53

42 Resultados Avaliação dos resultados: comparação com uma base segmentada manualmente. (DAINF - UTFPR) 23/Jun/ / 53

43 Resultados Avaliação dos resultados: comparação com uma base segmentada manualmente. Imagem de Entrada F-score Revocação Precisão Original Processada pelo SMMT Tabela: Medida F-score ao considerar um único segmento que melhor se ajusta ao foreground. (DAINF - UTFPR) 23/Jun/ / 53

44 Resultados Avaliação dos resultados: comparação com uma base segmentada manualmente. Imagem de Entrada F-score Revocação Precisão Original Processada pelo SMMT Tabela: Medida F-score ao considerar um único segmento que melhor se ajusta ao foreground. Imagem de Entrada F-score Revocação Precisão Fragmentação Original Processada pelo SMMT Tabela: Medida F-score ao considerar a união de segmentos que melhor corresponde (se sobrepõe) ao objeto do foreground. (DAINF - UTFPR) 23/Jun/ / 53

45 Resultados Oiginal Base Seg. SMMT Seg. Original (DAINF - UTFPR) 23/Jun/ / 53

46 Resultados II - segmentação do núcleo de células (a) (b) (c) (d) (e) (f) Figura: Melhoria na imagem gradiente após aplicação do operador SMMT: (a,d) versões original e processada, (b,e) imagens gradiente e (c,f) resultados da segmentação. (DAINF - UTFPR) 23/Jun/ / 53

47 Resultados Figura: Segmentação do núcleo de WBC em imagens com múltiplas células. (DAINF - UTFPR) 23/Jun/ / 53

48 Resultados (a) (b) (c) Figura: Segmentação com Normalized Cuts: (a) imagem original e resultados considerando a imagem (b) processada pelo SMMT (σ 1 = 5, k = 15) e (c) a partir da original. (DAINF - UTFPR) 23/Jun/ / 53

49 Resultados III - simplificação de imagens (a) (b) (c) Figura: (a) Imagem original e simplificações quando utilizando (b) operador SMMT e (c) abertura por reconstrução (com idempotência dos operadores). (DAINF - UTFPR) 23/Jun/ / 53

50 Comportamento do operador σ 1 = 1 σ 1 = 5 k = 1 k = 5 k = 10 k = 15 (DAINF - UTFPR) 23/Jun/ / 53

51 Comportamento do operador k = 5 k = 1 σ 1 = 15 σ 1 = 10 σ 1 = 5 σ 1 = 1 (DAINF - UTFPR) 23/Jun/ / 53

52 Comportamento do operador σ 1 = 15, k = 1 σ 1 = 15, k = 5 σ 1 = 1, k = 1 σ 1 = 1, k = 5 Figura: Transformação do SMMT ao considerar diferentes parâmetros. (DAINF - UTFPR) 23/Jun/ / 53

53 Comportamento do operador σ 1 = 15, k = 1 σ 1 = 15, k = 5 σ 1 = 1, k = 1 σ 1 = 1, k = 5 Figura: Transformação do SMMT ao considerar diferentes parâmetros. Os pixels tendem a convergir para extremos significativos. (DAINF - UTFPR) 23/Jun/ / 53

54 Operador Proposto (Binário) Seja φ k 1 (x) = [δ B σ (f )] k (x), isto é, a dilatação de f (x) com a função estruturante dependente de escala B σ k vezes. De forma análoga, φ k 2 (x) = [ε B σ (f )] k (x). Denomina-se operador BSMMT (Binary Self-dual Mustiscale Morphological Toggle) a função: { [τ Bσ (f )] k 1, se φ k (x) = 1 (x) f (x) f (x) φ k 2 (x), 0, caso contrário. (14) (DAINF - UTFPR) 23/Jun/ / 53

55 Comportamento do operador Original σ 1 = 1, k = 25 σ 1 = 40, k = 5 Figura: Efeito da alteração dos parâmetros no operador de binarização. (DAINF - UTFPR) 23/Jun/ / 53

56 Figura: (DAINF Resultados - UTFPR) de binarização para imagens com diferentes condições 23/Jun/2009de 38 / 53 Resultados IV - binarização de imagens com iluminação não-uniforme Original Otsu Niblack Sauvola MD

57 Resultados IV - binarização de imagens com iluminação não-uniforme k = 50, σ 1 = 1 k = 50, σ 1 = 2 k = 10, σ 1 = 1 k = 2, σ 1 = 8 k = 2, σ 1 = 25 k = 5, σ 1 = 20 Figura: Resultados do operador de binarização proposto utilizando imagens com diferentes condições de iluminação. (DAINF - UTFPR) 23/Jun/ / 53

58 Resultados V - binarização de imagens de documentos Original σ 1 = 1, k = 1 σ 1 = 10, k = 1 σ 1 = 1, k = 10 σ 1 = 5, k = 10 Figura: Influência dos parâmetros escala e número de iterações no binarização. (DAINF - UTFPR) 23/Jun/ / 53

59 Resultados V - binarização de imagens de documentos Original MD Gatos SMMT σ 1 = 15, k = 5 Figura: Resultados de binarização. (DAINF - UTFPR) 23/Jun/ / 53

60 Resultados V - binarização de imagens de documentos Original Otsu MD Niblack Sauvola SMMT Figura: Resultados de binarização. (DAINF - UTFPR) 23/Jun/ / 53

61 Resultados V - binarização de imagens de documentos (a) (b) Figura: Utilizando: (a) abordagem proposta e (b) MD. (DAINF - UTFPR) 23/Jun/ / 53

62 Resultados V - binarização de imagens de documentos (a) (b) Figura: Utilizando: (a) abordagem proposta e (b) MD. (a) (b) (c) Figura: Resultados para um procedimento de OCR. (a) Imagem original e textos extraídos a partir dos resultados de (b) MD e (c) SMMT. (DAINF - UTFPR) 23/Jun/ / 53

63 Resultados Figura: Imagens utilizadas para testes de OCR: (a) Doc 01, (b) Doc 02 e (c) Doc 03. (DAINF - UTFPR) 23/Jun/ / 53

64 Resultados Método Doc 01 Doc 02 Doc 03 Sauvola Gatos et al. SMMT SMMT + Gatos et al. Precisão Revocação Precisão Revocação Precisão Revocação Tabela: Índices de Precisão e Revocação. (DAINF - UTFPR) 23/Jun/ / 53

65 Resultados VI - segmentação de movimento em vídeo Método baseado na abordagem de modelagem e subtração de background. (DAINF - UTFPR) 23/Jun/ / 53

66 Resultados VI - segmentação de movimento em vídeo Método baseado na abordagem de modelagem e subtração de background. (a) (b) (c) (d) (e) Figura: Abordagem proposta: imagem de referência do fundo (a) original e (b) processada; quadro da sequência (c) original e (d) processado; (e) resultado final. (DAINF - UTFPR) 23/Jun/ / 53

67 Filtragem de imagens com ruído Filtro morfológico: crescente e idempotente (DAINF - UTFPR) 23/Jun/ / 53

68 Filtragem de imagens com ruído Filtro morfológico: crescente e idempotente Definição (Filtros derivados) Um operador crescente ρ é denominado 1 um superfiltro se ρ 2 ρ; 2 um subfiltro se ρ 2 ρ; 3 um inf-superfiltro se ρ(id ρ) = ρ; 4 um sup-subfiltro se ρ(id ρ) = ρ; 5 um inf-filtro se ρ é um filtro e um inf-superfiltro; 6 um sup-filtro se ρ é um filtro e um sup-subfiltro; 7 um filtro forte se ρ é tanto um sup-filtro quanto um inf-filtro. (DAINF - UTFPR) 23/Jun/ / 53

69 Operador Proposto Estendemos alguns resultados estabelecidos para centros morfológicos a uma classe diferente de operadores do tipo toggle (DAINF - UTFPR) 23/Jun/ / 53

70 Operador Proposto Estendemos alguns resultados estabelecidos para centros morfológicos a uma classe diferente de operadores do tipo toggle Seja φ 1 um sup-filtro e φ 2 um inf-filtro. Denomina-se filtro toggle a seguinte transformação [φ 1 (f k )](x), se [φ 1 (f k )](x) f k (x) < f k (x) [φ 2 (f k )](x), f k+1 (x) = f k (x), se [φ 1 (f k )](x) f k (x) = f k (x) [φ 2 (f k )](x), [φ 2 (f k )](x), caso contrário, (15) em que k representa o número de iterações. (DAINF - UTFPR) 23/Jun/ / 53

71 Resultados VII - ruídos do tipo gaussiano e impulsivo (a) (b) (c) Figura: Imagens utilizadas nos experimentos: (a) original e corrompidas por ruído do tipo (b) gaussiano e (c) impulsivo. (DAINF - UTFPR) 23/Jun/ / 53

72 Resultados A Tabela 4 indica as primitivas consideradas nos testes. φ 1 φ 2 Primitiva Propriedade Primitiva Propriedade ξ φ sup-filtro ξ γ inf-filtro γφ sup-filtro φγ inf-filtro φγφ sup-filtro γφγ inf-filtro δ inf-superfiltro ε sup-subfiltro δγ inf-superfiltro εφ sup-subfiltro ξγ superfiltro γξ inf-superfiltro ξφ subfiltro ξγ inf-superfiltro Tabela: Primitivas consideradas nos testes. em que ε denota a erosão, δ, a dilatação, γ, a abertura, φ, o fechamento e { f (x), se f (x) < f (x) ξ(f (x)) = n n, f (x) (16) n n, caso contrário, (DAINF - UTFPR) 23/Jun/ / 53

73 Resultados IX - filtragem de imagens SAR (a) (b) (c) (d) (e) Figura: Análise da qualidade dos contornos: (a) imagem original e contornos estimados a partir da filtragem obtida (b,c) com o algoritmo SRAD e (d,e) com o filtro toggle combinado com difusão anisotrópica. (DAINF - UTFPR) 23/Jun/ / 53

74 Conclusões e trabalhos futuros Conclusões gerais. (DAINF - UTFPR) 23/Jun/ / 53

75 Conclusões e trabalhos futuros Conclusões gerais. Trabalhos futuros: outras aplicações; (DAINF - UTFPR) 23/Jun/ / 53

76 Conclusões e trabalhos futuros Conclusões gerais. Trabalhos futuros: outras aplicações; outros pares de primitivas: que conduzam a um espaço-escala morfológico que considerem de forma mais apropriada a natureza do ruído (DAINF - UTFPR) 23/Jun/ / 53

77 Conclusões e trabalhos futuros Conclusões gerais. Trabalhos futuros: outras aplicações; outros pares de primitivas: que conduzam a um espaço-escala morfológico que considerem de forma mais apropriada a natureza do ruído união do SMMT com técnicas de análise multi-resolução. (DAINF - UTFPR) 23/Jun/ / 53

78 Perguntas... (DAINF - UTFPR) 23/Jun/ / 53