Processamento de Sinal e Imagem Engenharia Electrotécnica e de Computadores

Transcrição

1 António M. Gonçalves Pinheiro Departamento de Física Covilhã - Portugal pinheiro@ubi.pt

2 Algoritmos básicos de Processamento de Imagem Contagem do Número de Objectos numa Imagem Binária. Cantos Externos Um canto externo é contabilizado cada vez que um pixel e a sua vizinhança coincida com uma destas máscaras: 2. Cantos Internos Um canto interno é contabilizado cada vez que um pixel e a sua vizinhança coincida com uma destas máscaras: Número de Objectos = Núm. de Cantos Externos Núm. de Cantos Internos /4

3 Algoritmos básicos de Processamento de Imagem Etiquetar Componentes Conectadas Permite definir áreas conectadas entre si e referi-las por uma Etiqueta. Dois Algoritmos: ) Algoritmo Recursivo Faz pesquisa numa vizinhança de quatro pixels das componentes conectadas, até que todos os pixels conectados tenham a mesma etiqueta. 2) Algoritmo Linha a Linha Vai pesquisar pixel a pixel, linha a linha por conexões. Depois de executado, faz uma re-etiquetagem de regiões, que sendo contíguas, e tendo o mesmo valor de pixel, foram colocadas em etiquetas diferentes.

4 Algoritmos básicos de Processamento de Imagem Histograma da imagem Gráfico que contabiliza o número de vezes que aparece cada cor.

5 Quantificação de imagem Algoritmos básicos de Processamento de Imagem Um algoritmo de quantificação selecciona as zonas do histograma que vão ser quantificados na mesma cor, baseada na distribuição de cores. Exemplo: M. I. Sezan, A peak detection algorithm and it s application to histogram-based image data reduction, Computer Vision, Graphics, and Image Processing, vol. 49, pp. 36 5, 99. original 2 níveis 8 regiões

6 Algoritmos básicos de Processamento de Imagem Quantificação de imagem original 3 níveis 24 regiões

7 Técnicas de Enriquecimento de Imagem Mapeamento dos Cinzentos Alterar o mapeamento dos cinzentos pode tornar uma imagem muito mais nítida: Espalhamento do mapa de cores Correcção Gama (e outras) Equalização do histograma Definição de Operador de Pixel Um Operador de Pixel determina cada pixel da imagem resultante como uma função do Pixel da imagem original, ou seja, I r (m, n) = f (I(m, n))

8 Técnicas de Enriquecimento de Imagem Espalhamento do mapa de cores Quando uma imagem é representada por um número de cores inferior ao número total de cores, concentradas entre uma valor Min {I(m, n)} e Max {I(m, n)}, estas cores são espalhadas pelo conjunto de cores disponíveis. Isto permite que as diferentes cores sejam realçadas entre si. Operador de Pixel: I r (m, n) = (I(m, n) Min {I(m, n)}) 255 Max {I(m, n)} Min {I(m, n)} Imagem representada por 6 cores. Imagem representada com espalhamento das 6 cores.

9 Técnicas de Enriquecimento de Imagem Correcção Gamma Muitas vezes devido às condições de aquisição as imagens aparecem muito escurecidas. A correcção Gamma atribui às cores mais escuras cores mais claras. Operador de Pixel: x /5 x /2 ( I(m, n) f(x) = x /γ I r (m, n) = ) /γ Imagem original. Transformação gamma (γ = 2). Transformação gamma (γ = 5).

10 Técnicas de Enriquecimento de Imagem Equalização de imagem Um algoritmo de quantificação selecciona as zonas do histograma que vão ser quantificados na mesma cor, baseada na distribuição de cores. Exemplo: M. I. Sezan, A peak detection algorithm and it s application to histogram-based image data reduction, Computer Vision, Graphics, and Image Processing, vol. 49, pp. 36 5, 99. Imagem original. Equalização em 26 cores. Equalização em 43 cores.

11 Enriquecimento e Filtragem de Imagem Remoção de Ruído Imagens binárias são muitas vezes corrompidas por ruído Salt & Pepper. Usa-se uma máscara com os oito vizinhos; Se os oito vizinhos são da mesma cor e o pixel tiver uma cor diferente é considerado que se está na presença de ruído e a cor do pixel é alterada. Imagem original. Imagem com Ruído Salt & Pepper. Imagem depois da remoção do Ruído

12 Enriquecimento e Filtragem de Imagem Suavização da Imagem Suavizar uma imagem permite suavizar o efeito do ruído. Filtro box (médio): I r (m, n) = i= 2 j= 2 I(m j, n i) Imagem original Imagem filtrada (janela de 5 pixels)

13 Enriquecimento e Filtragem de Imagem Suavização da Imagem Imagem original corrompida com Ruído Gaussiano Imagem com ruído filtrada (janela de 5 pixels)

14 Enriquecimento e Filtragem de Imagem Filtro Gaussiano O filtro Gaussiano faz uma média ponderada pela função gaussiana g(x, y) = 2πσ e d2 /(2σ 2 ) com d = (x x c ) 2 + (y y c ) 2 Imagem original Imagem filtrada (σ = 2)

15 Enriquecimento e Filtragem de Imagem Filtro Gaussiano Imagem original Imagem filtrada (σ = 2 2)

16 Enriquecimento e Filtragem de Imagem Filtro Gaussiano Imagem original Imagem filtrada (σ = 4)

17 Morfologia de Imagem Binária Multinível Elementos Estruturantes - S Baseia-se num elemento estruturante S que representa uma forma Exemplos de elementos estruturantes binários.

18 Morfologia de Imagem Morfologia de Imagem Binária As Operações Morfológicas sob Imagens Binárias mais importantes são: Dilatação Alarga as regiões Erosão Diminui as regiões Fecho ( Closing ) Tende a fechar buracos interiores interiores à região e a eliminar as baías nos limiares da região Abertura ( Opening ) Tende a retirar pequenas porções ou regiões que saem dos limiares

19 Morfologia de Imagem Morfologia de Imagem Binária - Dilatação A dilatação binária coloca cada pixel de imagem resultante a desde que a imagem original tenha dentro do Elemento Estruturante um pixel a. Imagem Original Elemento Estruturante Imagem Dilatada Exemplo de Dilatação Morfológica Binária.

20 Morfologia de Imagem Morfologia de Imagem Binária - Dilatação Elemento Estruturante Exemplo de Dilatação Morfológica Binária.

21 Morfologia de Imagem Morfologia de Imagem Binária - Erosão A Erosão Binária coloca cada pixel de imagem resultante a desde que a imagem original tenha dentro do Elemento Estruturante um pixel a. Imagem Original Elemento Estruturante Imagem Erodida Exemplo de Erosão Morfológica Binária.

22 Morfologia de Imagem Morfologia de Imagem Binária - Erosão Elemento Estruturante Exemplo de Erosão Morfológica Binária.

23 Morfologia de Imagem Morfologia de Imagem Binária - Fecho ( Closing ) A Operação Morfológica de Fecho consiste na Aplicação da Operação de Dilatação seguida da Operação de Erosão sobre a imagem Dilatada. Origina o Fecho de Buracos nas Regiões e a Eliminação de Baías nos limiares da regiões Elemento Estruturante Exemplo de Fecho Morfológico Binário.

24 Morfologia de Imagem Morfologia de Imagem Binária - Abertura ( Opening ) A Operação Morfológica de Abertura consiste na Aplicação da Operação de Erosão seguida da Operação de Dilatação sobre a imagem Erodida. Retira pequenas porções ou regiões que saem dos limiares Elemento Estruturante Exemplo de Abertura Morfológica Binária.

25 Morfologia de Imagem Morfologia de Imagem Multinível As Operações Morfológicas sob Imagens Multinível mais importantes são: Dilatação, Erosão, Fecho ( Closing ) e Abertura ( Opening ) Gradiente Realça os limites das Regiões Elementos Estruturantes São imagens Multinível com uma forma arbitrária.

26 Morfologia de Imagem Morfologia de Imagem Multinível - Dilatação D(Img, S) = max [j, i] S {Img[y j, x i] + S[j, i]} Elemento Estruturante Exemplo de Dilatação Morfológica Multinível.

27 Morfologia de Imagem Multinível - Erosão Morfologia de Imagem E(Img, S) = min [j, i] S {Img[y + j, x + i] S[j, i]} Elemento Estruturante Exemplo de Erosão Morfológica Multinível.

28 Morfologia de Imagem Morfologia de Imagem Multinível - Fecho ( Closing ) F (Img, S) = E(D(Img, S), S) Elemento Estruturante Exemplo de Fecho Morfológico Multinível.

29 Morfologia de Imagem Morfologia de Imagem Multinível - Abertura ( Opening ) F (Img, S) = D(E(Img, S), S) Elemento Estruturante Exemplo de Abertura Morfológica Multinível.

30 Morfologia de Imagem Morfologia de Imagem Multinível - Gradiente A Operação Morfológica Gradiente consiste na subtracção da imagem Dilatada pela imagem Erodida. Realça os limites das regiões F (Img, S) = D(Img, S) E(Img, S) Elemento Estruturante Exemplo de Gradiente Morfológico.

31 Morfologia de Imagem Morfologia de Imagem Multinível - Exemplo Original Dilatada Erodida Fecho Abertura Gradiente

32 Detecção de Limiares A detecção de limiares permite separar as diferentes zonas de uma imagem. Entre os diferentes métodos vamos considerar aqueles que provavelmente são os mais utilizados: Operador Diferenciais O Detector de Canny

33 Detecção de Limiares Operadores Diferenciais f Uma máscara calcula uma aproximação das derivadas y, f Um ponto representa x ( f ) 2 ( ) 2 f um ponto limiar se o módulo do gradiente f = + tiver um y x máximo segundo a direcção do gradiente ( ) ( ) f f θ = arctg / y x Mx My Operador de Prewitt Mx My Operador de Sobel Operadores Diferenciais - - Mx My Operador de Roberts Nota: O operador de Sobel é o operador diferencial mais popular

34 Detecção de Limiares Exemplo de Aplicação do Operador de Sobel Imagem original Módulo do Gradiente

35 Detecção de Limiares Exemplo de Aplicação do Operador de Sobel Imagem original Não Máximos Suprimidos

36 Detecção de Limiares Exemplo de Aplicação do Operador de Sobel Imagem original Limiares da Imagem

37 Detecção de Limiares Detector de Limiares de Canny Pretende seguir estes critérios de funcionamento: Boa Detecção Boa Localização Uma só resposta para um único limiar

38 Detecção de Limiares Detector de Limiares de Canny Pode ser definido pelos seguintes passos: Filtragem Gaussiana Diferenciação Usualmente apenas se usa f y = I(m +, n) I(m, n) e f x = I(m, n + ) I(m, n ) Supressão de não máximos (Só se consideram máximos na direcção do gradiente) Os máximos são seleccionados para limiares por um processo de histerese

39 Detecção de Limiares Detector de Limiares de Canny Processo de histerese Só são considerados limiares que contenham pelo menos um ponto acima de uma valor ht. Este valor é escolhido de forma a que uma percentagem F h de pontos máximos (usualmente cerca de 8%) estejam acima desse limiar. Todos os pontos conectados aos limiares com um ponto acima de ht e que tenham um valor acima de um valor lt são também considerados como pontos limiares. lt é escolhido como uma fracção de ht (lt = F l ht).

40 Detecção de Limiares Detector de Limiares de Canny Imagem original Módulo do Gradiente (σ = 2) Não Máximos Suprimidos Limiares da Imagem (ht=7% e lt=2%) Módulo do Gradiente (σ = 4) Não Máximos Suprimidos Limiares da Imagem (ht=7% e lt=2%)

41 Segmentação de Imagem Introdução Segmentação Identificação de Regiões Estratégias de Segmentação Técnicas de Segmentação Quantificação de Cores Difusão Anisotrópica Segmentação por Watershed Snakes- Modelos de Contornos Activos Métodos baseados nos Limiares Técnicas de Reconhecimento de Padrões Aplicadas à Segmentação Reconhecimento Supervisionado Reconhecimento Não-supervisionado Clustering

42 Segmentação de Imagem Objectivos. Decompor a imagem em partes para análise posterior; 2. Proporcional uma alteração da representação, que tenha maior significado ou permita um análise mais eficiente. Exemplos de Aplicações Localizar um Tumor Medir a dimensão de um Tumor

43 Segmentação de Imagem Identificação de Regiões As Regiões devem ser uniformes relativamente a uma (ou mais) característica(s), como sejam, o nível de cinzento, a cor ou a textura. Os interiores das Regiões devem ser simples e não conterem vários pequenos buracos. Regiões adjacentes devem ter valores significativamente diferentes da(s) característica(s) que as identificam. Os limites das regiões devem ser suaves, e devem ser espacialmente precisos.

44 Segmentação de Imagem Estratégias de Segmentação Métodos baseados na Região (conectada) As regiões são localmente homogéneas relativamente a um propriedade. As regiões satisfazem uma determinada propriedade. Métodos baseados nos Limiares Regiões são limitadas por uma determinada característica. As características contêm uma elevado contraste duma propriedade.

45 Segmentação de Imagem Características usadas na Classificação dos Pixels Intensidade Derivadas (eventualmente tiradas em Diferentes Escalas) Estatísticas da Vizinhança Média, Variância Histograma da Vizinhança Textura (baseada em filtros Passa-Banda: Gabor, Wavelets ) Dados multivariados Cor MRI Espectrais

46 Segmentação de Imagem Exemplo de Classificação baseada no MRI Espectral T, T2, PD Espaço de Características Classificação Retirado de Tasdizen et al

47 Segmentação de Imagem - Métodos baseados na Região Separação de Cores Baseada no Histograma ALGORITMO. Usa-se um Algoritmo de Quantificação de imagem baseado no histograma. Exemplo: M. I. Sezan, A peak detection algorithm and it s application to histogram-based image data reduction, Computer Vision, Graphics, and Image Processing, vol. 49, pp. 36 5, 99. No fundo, a quantificação estabelece um conjunto de Clusters e atribui uma classe a cada pixel. 2. Um algoritmo de Etiquetagem das componentes conectadas estabelece as regiões. 3. Regiões pequenas podem ser eliminadas por inclusão noutras.

48 Segmentação de Imagem - Métodos baseados na Região Separação de Cores Baseada no Histograma original níveis 38 regiões 4 níveis 2 regiões

49 Segmentação de Imagem - Métodos baseados na Região Separação de Cores Baseada no Histograma original 4 níveis 5 regiões

50 Difusão Não Linear Segmentação de Imagem - Métodos baseados na Região Baseado em: P. Perona and J. Malik, Scale-space and edge detection using anisotropic diffusion, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-2, no. 7, pp , July 99. Equação de Difusão: I t (y, x) =.(f( I(y, x) ) I(y, x)), Se f( I ) for constante resulta numa filtragem gaussiana! Sugestão: ou f(w) = e ( w K) 2 f(w) = + ( w K ) 2 f(w) exp(-(w/k) ) 2 /(+(w/k) ).25 w -5k -3k -2k -k k 2k 3k 5k Funções de Difusão propostas por Perona e Malik.

51 Segmentação de Imagem - Métodos baseados na Região Difusão Não Linear original Perona & Malik Pinheiro 26

52 Segmentação de Imagem - Métodos baseados na Região Watershed Algoritmo que vê a imagem como um mapa topográfico. Primeiro Aplica-se um Gradiente à imagem. Consiste no enchimento dos vales do mapa. Quando duas regiões de enchimento se tocam, constroi-se uma barragem. No final, várias regiões foram definidas, separada por um conjunto de barragens (contornos das regiões). Enchimento e Barragens Exemplo

53 Segmentação de Imagem - Métodos baseados nos Limiares Snakes - Contornos Activos M. Kass, A. Witkin, and D. Terzopoulos, Snakes - Active Contour Models International Journal of Computer Vision, (4): 32-33, 987. Um Contorno inicial vai convergir iterativamente para uma zona de elevado gradiente. Formulação Matemática: Considerando a Snakes dada por v(s) = (y(s), x(s)), pode-se escrever a sua energia por: E Snakes = E Snakes ( v(s)) ds = em que E int representa a energia interna, E imag representa as forças da imagem e E con representa as forças externas de constrangimento. [E int ( v(s)) + E imag ( v(s)) + E con ( v(s))] ds

54 Segmentação de Imagem - Métodos baseados nos Limiares Snakes - Contornos Activos Exemplo (João Machado)

55 Segmentação de Imagem - Métodos baseados nos Limiares Snakes - Contornos Activos Exemplo (João Machado)

56 Segmentação de Imagem - Métodos baseados nos Limiares Snakes - Contornos Activos Exemplo (João Machado)

57 Segmentação de Imagem - Métodos baseados nos Limiares Técnicas de multiresolução Baseia-se na determinação dos limiares em diferentes resoluções: Alta resolução implica muitos limiares posicionalmente precisos. Baixa resolução implica limiares menos importantes suprimidos (com importância local) mas limiares resultantes posicionalmente imprecisos. Usar Imagem de limiares de baixa resolução para seleccionar limiares mais importantes, e desloca-los para a posição na imagem de alta resolução, de forma a serem mais precisos.

58 Segmentação de Imagem Técnicas de Reconhecimento de Padrões Aplicadas Noção Geral Da imagem retira-se um vector característico x = (x, x,..., x M ) R n que representa um conjunto de medidas de uma imagem. Tipicamente, estabelece-se uma função f, que pondera os diferentes características medidas, tendo em conta o seu custo relativo: Domínio x 2 f( x) : R n R Exemplo: f( x) = M k= ω k x k, em que ω k representa o peso relativo da característica x k. x Espaço de Características x

59 Segmentação de Imagem Reconhecimento Supervisionado Exemplos previamente classificados são usados para estabelecer f. Uso de Protótipos: A classificação é feita usando o protótipo mais próximo. Estatístico: Usam-se funções de Densidade de Probabilidade, escolhendo-se a classificação mais provável para o vector x. Redes Neuronais (como a Perceptron ): Programada por um processo de aprendizagem que estabelece valores para os pesos. Não-supervisionado: Decisão é feita exclusivamente a partir dos dados usando função predefinida de f.

60 Segmentação de Imagem Rede Neuronal Baseadas no modelo simplificado de um neurónio humano. x[] x[2] w[2] w[] Célula y Entradas para outros Neurónios x[] x[] w ij 2 w jk y[] y[2] x[d] w[d] y = g d w[j]x[j] j= onde g(α) { pode ser dado por: se α > t g(α) = c. c. g(α) = /( + e β(α t) ) x[d] Nível Nível de Entrada Nível 2 Nível Escondido REDE NEURONAL Nível 3 Nível de Saída y[m]

61 Segmentação de Imagem Reconhecimento Não-supervisionado Decisão é feita exclusivamente a partir dos dados usando função predefinida de f. Baseado em estruturas naturais dos dados - Ex.: Clustering. Algoritmo de Clustering K-means.

62 Segmentação de Imagem Clustering x Processo de partição dos vectores característicos em subconjuntos, chamados Clusters. Uma forma normal de formar Clusters é associar pontos que estão próximos entre si no espaço euclideano considerado. Pretende-se portanto, criar partições de um conjunto de vectores, em grupos que apresentam valores similares. x EXEMPLOS DE Clusters NUM ESPAÇO BIDIMENSIONAL.

63 Segmentação de Imagem Algoritmos Clássicos de Clustering Os vectores característicos, podem incluir componentes como: Valores de Intensidade Valores das componentes de Cor (RGB, HSV,...) Propriedades calculadas Medidas de Texturas A escolha dos CLUSTERS pode ser definida com base no número de Clusters, K. mantendo a variância para cada Clusters, abaixo de um determinado valor.

64 Segmentação de Imagem Algoritmos Clássicos de Clustering Tipicamente existem K clusters, C, C 2,... C K, com médias m, m 2,... m K. A medida do erro quadrático mínimo pode ser definida como: D = K k= x i C k x i m k 2, que mede a proximidade dos dados aos clusters que lhe foram atribuidos. ALGORITMO BASE Pixels são agrupados em Clusters. Um algoritmo de Etiquetagem permite encontrar regiões conectadas.

65 Segmentação de Imagem Algoritmo de Clustering por K-means Iterativo. Fazer o número de iterações i C =. 2. Escolher aleatóriamente um conjunto de K Clusters com médias m (), m 2 (),... m K (). 3. Para cada vector x i calcular D(x i, m k (i C ), para cada k =, 2,... K e atribuir x i ao cluster C j com a média mais próxima. 4. Incrementar i C, somando, e actualizar as médias para obter um novo conjunto m (i C ), m 2 (i C ),... m K (i C ). 5. Repetir os passos 3. e 4. até que C k (i C ) = C k (i C + ) para todos os k. NOTA: O algoritmo é convergente, embora possa não levar à solução óptima. Usualmente para-se quando C k (i C ) C k (i C + ) é menor que um determinado limiar.

66 Segmentação de Imagem Algoritmo de Clustering por K-means Iterativo Original Máscara Exemplo de Clustering por K-means