Filtros de Gabor Da Teoria à Aplicação Ricardo J. Ferrari, Ph.D. rferrari@icmc.usp.br Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo São Carlos, Brasil
Introdução Sumário Sistema visual & Escala-espaço Teoria Breve revisão da Transformada de Fourier Gabor filters Aplicações Filtro direcional Análise de textura
Motivação: Filtros de Gabor e sua relação com a neurofisiologia da visão
Visão computacional : problema completo de Inteligência Artificial envolve a pesquisa de representações visuais robustas e flexíveis do mundo Visão Computacional Objetivo: gerar descrições úteis e inteligentes de cenas visuais e dos objetos nelas contidas, através de operações sobre as imagens adquiridas (capturadas)
Sistema visual: percepção do brilho não é uma simples função da Busca por uma representação do sistema visual Décadas 60-80 : experimentos com mamíferos (gatos e macacos). Estudos neurofisiologia Tentativa de se obter uma representação plausível do sistema visual
Busca por uma representação do sistema visual Not so simple!!!
Sistema Visual Humano Retina / Fotosensores Bastonetes (10mi ) Cones ( 6mi ) Curiosidades Porque extintor de incêndio vermelho (???) Visão noturna / diurna
Sistema Visual humano Image processada na retina é transmitida para o cortex visual Cortex visual (células primárias + complexas)
Sistema visual de mamíferos Família de Gabor functions Pesquisas décadas de 60-80 Campo receptivo (receptive field) de um neurônio sensorial é uma região do espaço na qual a presença de um estímulo irá alterar a ativação daquele neurônio.
Sistema visual de mamíferos Responses of receptive-fields & their approximation via Gabor functions
Breve revisão sobre algumas propriedades da Transformada de Fourier
FFT de função quadrada
Função Par Função Ímpar
FFT de trem de pulsos amostragem relação entre resoluções
FFT de uma função de amplitude constante Nível DC
Missing piece Vazamento espectral ( Spectral Leakage ) = ideal amostragem real life = *
Vazamento espectral ( Spectral Leakage ) Efeito devido Componentes de alta freq. Funções de janelamento Objetivo = redução dos side lobes
Vazamento espectral ( Spectral Leakage ) resolução é afetada
Principal limitação da Transformada de Fourier Transformada não possui suporte compacto integral que define a transformada se estende a toda a reta real F() informa apenas que a freq., ou freqs. próximas a, estão presentes na função f(t) Transformada de Fourier é mais eficiente no estudo de sinais estacionários
Principal limitação da Transformada de Fourier Exemplo: através da TF é possível localizar com precisão se uma determinada nota musical (freqüência) está presente em uma música, mas não quando ela ocorreu (tempo??) Como resolver isso? Idéia intuitiva: analisar o sinal usando janelas temporais (ou espaciais no caso D) Fourier janelada!!! F(, ) g( t ) f janela ( t) e j t dt
Princípio da Incerteza Com que precisão podemos localizar as informações sobre f no domínio tempo-freqüência?? Noutras palavras podemos definir funções janelas com boas propriedades de localização no domínio (,t) ou (,s) de modo a obter qualquer precisão deseja na análise de f? Intuição: boa localização na freq. t Fourier janelada: fixa-se a janela e então realiza-se a análise
Localização: tempo / freq. Sabemos que a janela retangular nos causa problemas, pois apresenta bordas abruptas. Então, qual janela nos fornece a melhor localização em ambos os domínios??? Dennis Gabor : GAUSSIANA
Filtro de Gabor -D Definida como Gaussiana modulada por uma senóide complexa: 1 1 x y g( x, y) exp exp jwx x y x y onde x e ysão os desvios padrões da Gaussiana; W é a frequência da senóide. FFT apenas parte real
Filtro de Gabor -D
Filtro de Gabor -D cos sin sin cos cos exp ), (,,,, y x y y x x x y x y x g Representação: coordenadas polares Parâmetros: - comprimento de onda (wavelength) [pixels] ( ) - orientação [degrees] ( ) - fase [degrees] ( ) - razão de aspecto (aspect ratio) ( ) - largura de banda (bandwidth) [octaves] ( b = / )
Filtro de Gabor Comprimento de onda (wavelength) [pixels] ( ) 100x100 = 5, 10 e 15 pixels
Filtro de Gabor Orientação [degrees] ( ) = 0, 45 e 90 o
Filtro de Gabor Ângulo de fase [degrees] ( ) * * = 0, 180, -90 e 90 o
Filtro de Gabor Razão de aspecto (aspect ratio) ( ) = 0.5, 1.0
Filtro de Gabor Largura de banda (bandwidth) [octaves] ( b = / ) = 0.5, 1.0,.0 octaves
Filtros de Gabor Largura de banda com metade da resposta de freqüência [octaves] 1 1 ln 1, ln ln log b b b Se b = 1, neste caso σ e λ são conectados como σ = 0.56 λ. Quanto menor a largura de banda, maior será o valor de σ, o suporte da função Gabor, e o número de zonas paralelas excitatórias e inibitórias
Banco de filtros de Gabor de orientaçõe s desejadas total número / espacial no domínio do filtro centro ), ( ] )cos ( )sin ( [ ] )sin ( )cos [( inteiros, 1, ),, ( ), ( exp 1 exp 1 ), ( 0 0 0 0, k K n y x y y x x a y y y x x a x n m a y x g a y x g jwx y x y x g o m o m m m n y x y x
Banco de filtros de Gabor ) ( 1 exp 1 ), ( )}, ( FFT{ v u v u v W u v G u y x g
Aplicações
Filtragem directional 1) Detecção do músculo peitoral em mamogramas IEEE TMI, 3(), pp. 3-45, 004 ) Análise de assimetrias bilaterais entre mamogramas IEEE TMI, 0(9), pp. 953-964, 001 3) Análise de assimetrias imagens de MRI SIBGRAPI - 008
Limite superior da borda da mama Seleção da região de interesse (ROI) -1 * 1 imagens filtradas
ROI propagação de magnitude filtragem linhas improváveis
Exemplos: segmentação final da borda da mama e do músculo peitoral
Análise de assimetrias bilaterais Informação direcional usando Gabor wavelets : -1 PCA filtered images orientação magnitude
Caso assimétrico distorção arquitet. mdb119 - mdb10
Log-Gabor filter radial component angular component = log-gabor IFFT Even symmetric filter log o o G k (, ) = exp exp log o (, ) - center of the channel, o o - controls the freq. bandwidth and angular bandwidth Odd symmetric filter
D filtering process Individual slice S log[ 1 F( u, v) ] FFT Real valued Complex valued A Re Im IFFT Complex valued Real valued Complex valued
Análise de Textura
Análise de osteoporose Parte real Parte imaginária Energia resultante
Análise de textura via Edgeflow
Obrigado pela atenção!!!
Bibliografia Digital Image Processing, Jähne, 4th edition Digital Image Processing, Gonzalez, 3rd edition Ferrari et al, IEEE TMI, 0(9), pp. 953-964, 001
Sistema visual Campo receptivo (receptive field) de um neurônio sensorial é uma região do espaço na qual a presença de um estímulo irá alterar a ativação daquele neurônio.
Sistema Visual humano Retina / Fotosensores Bastonetes (10 mi) Cones ( 6 mi )