RESTAURAÇÃO DE IMAGENS: OUTROS FILTROS E NOVAS TÉCNICAS PARA FILTRAGEM DE RUÍDO (DENOISING)

Transcrição

1 RESTAURAÇÃO DE IMAGENS: OUTROS FILTROS E NOVAS TÉCNICAS PARA FILTRAGEM DE RUÍDO (DENOISING) Non-local Means Wavelets Block-matching 3D POLYANA F. NUNES HELDER C. R. DE OLIVEIRA

2 Realce: método subjetivo baseado em operações que supostamente irão melhorar a qualidade da imagem. Restauração: método objetivo baseado no conhecimento sobre o processo de degradação da imagem. Métodos de Filtragem Imagem ruidosa Imagem restaurada Imagem Original

3 MODELO DE DEGRADAÇÃO/RESTAURAÇÃO DE IMAGENS n (x, y) Domínio do espaço Domínio da frequência

4 O QUE É RUÍDO O ruído em uma imagem é toda informação que prejudica seu processamento. A maioria dos ruídos em imagens digitais são advindos no momento da aquisição e transmissão das imagens. Ruído branco: White Noise Randômico ou Periódico Randômico: Domínio do Espaço Gaussiano Gamma Exponencial Uniforme Impulsivo Rayleigh

5 O QUE É RUÍDO O ruído em uma imagem é toda informação que prejudica seu processamento. A maioria dos ruídos em imagens digitais são advindos no momento da aquisição e transmissão das imagens. Ruído branco: White Noise Randômico ou Periódico Periódico: Domínio da Frequência Interferência elétrica ou eletrônica Ruído espacialmente dependente; Reduzido por filtragem no domínio da frequência Imagem com ruído periódico

6

7 RUÍDO GAUSSIANO Domínio espacial e domínio da frequência Aditivo Independente sinal Média = 0 Variância = 1 p Y = 1 2πR (Y Y)2 e 2σ 2 FDP de uma variável aleatória gaussiana (Y) Y é a intens. do ruído; Y é o valor médio; σ o desvio padrão. Imagem Original Imagem Ruído Gaussiano

8 RUÍDO QUÂNTICO Randômico Não Aditivo Dependente sinal Difícil de ser tratado Segue a Distribuição de Poisson Variância = Taxa Média de fótons SNR = y i y i = SNR y i Taxa de fótons O ruído quântico diminui com o aumento do do número de fótons

9 FILTRAGEM Conceitos: Processamento de imagens que visa o realce e a suavização de imagens. Processo de remover ou minimizar as degradações conhecidas em uma imagem. TIPOS DE FILTROS Filtragem espacial - operam diretamente sobre os pixels. Filtragem no domínio da frequência modificações nas transformadas de Fourier da imagem. Filtro Imagem ruidosa Imagem Filtrada

10 FILTRAGEM NO DOMÍNIO DO ESPAÇO Filtros de realce Enfatiza detalhes finos Realçam detalhes de que tenham sido borrados São utilizadas matrizes (máscaras) de filtragem lineares e não lineares Filtro da Média Aritmética Filtro da Média geométrica Filtro da Mediana Filtro de Max e Min Filtro Passa baixa (Filtro de média) g(x,y)=t[f(x,y)] T é um operador em f, definido em uma vizinhança de (x,y) Filtros adaptativos (Filtros Locais)

11 FILTRAGEM NO DOMÍNIO DA FREQUÊNCIA Redução de ruído Periódico Causado por interferências eletromagnéticas ou mecânicas É necessário calcular uma transformada da imagem (Fourier) Filtro da Rejeita Banda Filtro Passa Banda Notch Imagem Original f Espectro F(u,v) IFFT

12 Problemas da Filtragem Considera apenas a presença de ruído como forma de degradação da Imagem. Média de várias observações (Um observação ruidosa acessível). Alternativa: Buscar valores livres de ruído

13 FILTROS LOCAIS Filtros Locais: Estimam o valor livre de ruído de um pixel, com base em sua vizinhança local P. Médias Faz média de toda imagem Wiener Bilateral Gaussiano

14 FILTRAGEM DE WIENER Domínio da Frequência e do Espaço Conhecimento a priori do ruído ou do sinal livre de ruído no processo de filtragem. Se não está disponível, faz-se uma estimativa desses parâmetros a partir da imagem ruidosa F u, v = 1 H u, v H u, v H u, v S η u, v S f u, v G u, v S n (u, v) S f (u, v) = 0 Filtro Inverso H u, v Transf. Fç. Degradação G u, v Transf. da Imagem Degradada

15 FILTRO BILATERAL Filtro bilateral (TOMASI; MANDUCHI, 1998) W i = b p W b : é um fator responsável pela normalização dos coeficientes do filtro. σ r e σ d : controlam a influência das distâncias fotométrica Semelhante ao algoritmo NLM, porém: Leva em conta a distância entre as amostras. Compara a similaridade entre pixels (e não vizinhanças de pixels).

16

17 ALGORITMO NON-LOCAL MEANS Algoritmo Non-Local Means Proposto por Buades, Coll e Morel (2005)* Filtro Adaptativo Preserva bordas e pequenos detalhes da imagem Estimativa da Imagem sem ruído Estimativa NL[v](i) Similaridades entre i e j depende da Similaridade de tons de cinza dos pixels i e j; 0 w i, j 1 w i, j = 1 j NL[v](i) = j Є I w i, j v(j)

18 ALGORITMO NON-LOCAL MEANS Pesos W ij = 1 W i e Z ni Z nj 2 2,a h 2 Distância Euclidiana d (p, q) = V(N i N j ) 2 2,F Adaptada, NL-Means, Buades (2004) * Buades, A. et. al. Multiscale Modeling Simulation (2005)

19 ALGORITMO NON-LOCAL MEANS Busca por amostras em toda a imagem. Por que comparar patches ao invés de comparar pixels individuais? Técnica de similaridade mais robusta

20 ALGORITMO NON-LOCAL MEANS Três Parâmetros 1) Janela 2) Patch 3) Parâmetro de Filtragem (h)

21 ALGORITMO NON-LOCAL MEANS 1) Patch Define-se uma vizinhança quadrada N p de tamanho fixo com os vizinhos ao pixel P Patches Buades (2005): 7x7 Mascarenhas (2013): 7x7 Marcelo/Mascarenhas (2013): 3x3 N p Quanto maior o patch Maior a robustez (ruído) Contudo, ao introduzir conteúdo não local no patch, a capacidade de filtragem do algoritmo é comprometida.

22 ALGORITMO NON-LOCAL MEANS 2) Janela A janela está centrada no pixel atual que está sendo calculado. Evita a procura em toda da imagem. Janelas Buades (2005): 21x21 Mascarenhas (2013): 15x15 Marcelo/Mascarenhas (2013): 11x11 Adaptada, NL-Means, Buades (2004)

23 ALGORITMO NON-LOCAL MEANS 3) Parâmetro de filtragem (h) h: Parâmetro de Controle dos Pesos/Filtragem O quanto cai o Peso em função da Distância Peso : W ij = 1 W i e Z ni Z nj 2 2,a h 2 h 0 (Filtrada = Ruidosa) h (Imagem borrada)

24 ALGORITMO NON-LOCAL MEANS

25 MATERIAIS Imagens mamográficas sintéticas geradas a partir de um simulador computacional da anatomia mamária desenvolvido na University of Pennsylvania*. 6 Imagens (5 recortes cada) 3 Imagens Ruidosas: 100% 50% 25% 5 Recortes de 256 x Imagens Sem Ruído: 100% 50% 25% 6 Imagens Total de 30 Recortes *Bakic PR, Med. Phys. (2011)

26 AVALIAÇÕES QUANTITATIVAS UTILIZADAS Parâmetros de Qualidade: PSNR*: Pico da relação sinal ruído PSNR db = 10 log 10 L 2 MSE MSE = 1 MN M 1 X=0 N 1 Y=0 f x, y f (x, y) 2 SSIM**: Índice de similaridade estrutural -1 < SSIM < 1 * Wang Z., Bovik AC, IEEE Signal Proc Mag, (2009) ** Wang Z, et al. IEEE T Image Process, (2004)

27 RESULTADOS Antes da aplicação do Filtro Auxiliar no ajuste dos parâmetros do NLM Doses PSNR (db) SSIM 100% 41,53 NLM 0, % NLM 38,49 0, % 35,53 0,8111 Parâmetros de Qualidade (Recortes Ruidosos)

28 RESULTADOS Janela 7x7 Patch 3x3 NLM NLM + Anscombe Doses PSNR (db) SSIM Parâmetro (h) 50% 41,55 0,9383 h = 0,021 25% 41,47 0,9467 h = 0,050 50% 43,18 0,9614 h = 0,021 25% 40,00 0,9186 h = 0,050

29 25% dose +N LM 25% dose + Anscombe + N L M 100% dose 25% dose

30 30

31 31 TRANSFORMADA WAVELET Funções utilizadas para modular um sinal; Cada função tem suas particularidades, por isso tantas famílias de funções:

32 32 TRANSFORMADA WAVELET Basicamente dois tipos de transformada: Decimada (DWT) subsampling: Decomposição 1º nível Independente da transformada, são gerados 2 n sub-bandas. Onde n é a dimensão (1D, 2D) do sinal.

33 33 TRANSFORMADA WAVELET Não decimada (SWT): ideal para remoção de ruídos pois, é invariante a translações*; Decomposição 1º nível Aproximação Detalhes Horizontais * Fugal, D. L.; Conceptual Wavelets, 2009; * Fowler J. E.; IEEE Signal Processing Letters, 2005; Detalhes Verticais Detalhes Diagonais

34 34 TRANSFORMADA WAVELET São tantas funções! P: Qualquer uma vai servir ao meu propósito? R: Não! Ex.) Considere o sinal 1D*: * Donoho, D., Johnstone I., et al; J. Roy. Statist. Soc., 1995.

35 35 TRANSFORMADA WAVELET Decompondo ambos os sinais:

36 36 TRANSFORMADA WAVELET - DENOISING Framework para denoising proposto por Donoho*: 1. Aplica a transformada wavelet ao sinal (I): Y = W(I) 2. Executa a atenuação (thresholding) dos coeficientes: Z = D(Y, λ) 3. Aplica a transformada inversa: Y = W 1 (Z) * Donoho, D.; IEEE Trans. on Information Theory, 1995;

37 TRANSFORMADA WAVELET - THRESHOLDING Funções de thresholding (𝑫) mais populares: Hard-thresholding: 𝑫ℎ 𝑌, 𝜆 = 𝑫𝑠 𝑌, 𝜆 = 𝑌, 0, 𝑠𝑒 𝑌 > 𝜆 𝑐𝑎𝑠𝑜 𝑐𝑜𝑛𝑡𝑟á𝑟𝑖𝑜 Soft-thresholding: 𝑠𝑔𝑛(𝑌)( 𝑌 𝜆), 𝑠𝑒 𝑌 > 𝜆 0, 𝑐𝑎𝑠𝑜 𝑐𝑜𝑛𝑡𝑟á𝑟𝑖𝑜 37

38 38 TRANSFORMADA WAVELET - THRESHOLDING Métodos para estimar o valor de threshold (λ): VisuShrink (Threshold fundamental): λ = 2 ln (n) σ MAD (Median Absolute Deviation): MAD = median i ( X i median j (X j ) )

39 39 TRANSFORMADA WAVELET - EXEMPLO Decomposição com Daubechies-8, 5 níveis e λ=38 (valor encontrado pelo MATLAB). Sem ruído Com ruído PSNR (db) MSSIM Antes 27,4017 0,6553

40 40 TRANSFORMADA WAVELET - EXEMPLO Decomposição com Daubechies-8, 5 níveis e λ=38 (valor encontrado pelo MATLAB). Sem ruído Com ruído Hard-thresholding Soft-thresholding PSNR (db) MSSIM Antes 27,4017 0,6553 Hard 30,7508 0,8579 Soft 26,5896 0,7999

41 41

42 42 BLOCK-MATCHING 3D * Explora a redundância dos pixels na imagem; Todos os blocos são versões do mesmo bloco sem ruído*; Agrupa os blocos similares em pilhas 3D: * Foi, A. et al; SPIE Electronic Imaging, 2006;

43 43 BLOCK-MATCHING 3D O processo de filtragem é realizado em 2 etapas: Imagem ruidosa Pré - Estimativa? Estimativa final #1 Filtragem Wavelet #2 Filtragem Wiener

44 44 BLOCK-MATCHING 3D 1ª Etapa: Estimativa básica Imagem ruidosa? * Foi, A. et al; SPIE Electronic Imaging, 2006;

45 45 BLOCK-MATCHING 3D 1ª ETAPA Block-matching: Busca por blocos similares. Critérios: Seleção para a pilha: P P = {Q: d P, Q τ h } Distância entre os blocos: d P, Q = γ P γ Q 2 k h2 Janela de busca (n n); Bloco de referência (P k k ); Quantidade de blocos: N h

46 46 BLOCK-MATCHING 3D 1ª Etapa: Estimativa básica Imagem ruidosa? * Foi, A. et al; SPIE Electronic Imaging, 2006;

47 BLOCK-MATCHING 3D 1ª ETAPA Filtragem colaborativa: Explora a redundância entre os blocos 1. A cada pilha são aplicadas 3 transformadas: 𝒉 a. DCT aos blocos (𝜏2𝐷 ); 𝒉 b. Walsh-Hadamard (𝜏1𝐷 ); c. ℙ 𝑃 Wavelet com hard-thresholding (𝛾). 𝒉 1 1 𝒉 𝒉 𝒉 𝒉 = 𝜏2𝐷 (𝜏1𝐷 (𝛾 (𝜏1𝐷 (𝜏2𝐷 (ℙ 𝑃 )))) 2. Operador de hard-thresholding: 0, 𝛾 𝑥 = 𝑥, ℙ 𝑃 𝑥 𝜆𝒉3𝐷 𝝈 𝑐𝑎𝑠𝑜 𝑐𝑜𝑛𝑡𝑟á𝑟𝑖𝑜 3. Os coeficientes que restaram são usados como pesos na próxima etapa; 47

48 48 BLOCK-MATCHING 3D 1ª Etapa: Estimativa básica Imagem ruidosa? * Foi, A. et al; SPIE Electronic Imaging, 2006;

49 49 BLOCK-MATCHING 3D 1ª ETAPA Agregação: Os blocos são reposicionados nos locais de origem; 1. Tratamento da sobreposição dos blocos: a. Uma estimativa para cada bloco; b. Várias estimativas para cada pixel. Q P P, x Q, v x = v x + w P h u h Q,P (x) h δ x = δ x + w P onde: w P h = 1 h N, N P h 1 P 1, caso contrário O objetivo dos pesos é dar prioridade para blocos uniformes, sem bordas.

50 50 BLOCK-MATCHING 3D 1ª ETAPA Redução dos efeitos de borda : Janela Kaiser; Estimativa básica: Imagem ruidosa Pré - Estimativa #1 Filtragem Wavelet

51 51 BLOCK-MATCHING 3D O processo de filtragem é realizado em 2 etapas: Imagem ruidosa Pré - Estimativa? Estimativa final #1 Filtragem Wavelet #2 Filtragem Wiener

52 52 BLOCK-MATCHING 3D 2ª Etapa: Estimativa final Estimativa básica? Imagem ruidosa * Foi, A. et al; SPIE Electronic Imaging, 2006;

53 53 BLOCK-MATCHING 3D 2ª ETAPA Filtragem colaborativa: Cálculo dos coeficientes Wiener no domínio 3D: Agregação:

54 54 BLOCK-MATCHING 3D 2ª ETAPA Estimativa final: Imagem ruidosa Estimativa final Pré - Estimativa Filtro de Wiener

55 BLOCK-MATCHING 3D EXEMPLOS Imagem ruidosa. σ = 60 Pré-estimativa Imagem filtrada PSNR (db) MSSIM 21,2682 0,1202 PSNR (db) MSSIM 26,5022 0,6433 PSNR (db) MSSIM 27,9082 0,7611 Imagem ruidosa. σ = 30 Pré-estimativa Imagem filtrada PSNR (db) MSSIM 18,6947 0,2648 PSNR (db) MSSIM 30,3356 0,8072 PSNR (db) MSSIM 30,8458 0,8424

56 56 Polyana F. Nunes Helder C. R. de Oliveira Departamento de Engenharia Elétrica Universidade de São Paulo - USP São Carlos