Processamento Digital de Imagens. Restauração de Imagens

Transcrição

1 Processamento Digital de Imagens Eduardo A. B. da Silva Programa de Engenharia Elétrica - COPPE/UFRJ Laboratório de Sinais, Multimídia e Telecomunicações eduardo@smt.ufrj.br Sergio L. Netto Programa de Engenharia Elétrica - COPPE/UFRJ Laboratório de Sinais, Multimídia e Telecomunicações sergioln@smt.ufrj.br Abril de 2017 (SMT COPPE/UFRJ) UFRJ Abril de / 51

2 Sumário Sumário 1 Filtragem Inversa Filtragem de Wiener (SMT COPPE/UFRJ) UFRJ Abril de / 51

3 Recuperação de degradações na imagem causadas pelo ambiente de aquisição de imagem: Ruído de sensores; Embaçamento devido à falta de foco da câmera; Movimento relativo entre câmera e objeto; Turbulência atmosférica aleatória; Etc... Sua validade depende da acurácia com que se conhece o processo de degradação e do processo do projeto de filtros. A medida de fidelidade utilizada é, usualmente, o erro médio quadrático (MSE). Se usa às vezes os critérios de máxima entropia e weighted MSE. (SMT COPPE/UFRJ) UFRJ Abril de / 51

4 Qual a diferença para Image Enhancement? Enhancement envolve mais o realce ou extração de características da imagem do que restauração de degradações; Problemas de restauração de imagens podem ser quantificados precisamente, enquanto critérios de realce são difíceis de representar matematicamente; Técnicas de restauração de imagens frequentemente dependem das propriedades de uma classe ou conjunto de dados, enquanto as técnicas de realce dependem muito mais de cada imagem. (SMT COPPE/UFRJ) UFRJ Abril de / 51

5 Modelos de Observação de Imagens u(x,y) sistema linear h(x,y;x,y ) w(x,y) nao linearidade g( ) v(x,y) modelos de formacao de imagem modelos dos detectores e gravadores nao linearidade f( ) n(x,y) n1(x,y) n2(x,y) modelo de ruido (SMT COPPE/UFRJ) UFRJ Abril de / 51

6 Tipicamente: Restauração: (SMT COPPE/UFRJ) UFRJ Abril de / 51

7 Modelos de Formação de Imagens Exemplo: Motion Blur movimento no eixo x com velocidade ϑ. v(x, y) = 1 T v(x, y) = 1 T Seja P a (α) = v(x, y) = T 0 ϑt v(x ϑt, y)dt, v(x α, y) dα { 0 ϑ 1 a, 0 α a 0, n.d.p. α = ϑt P ϑt (α)v(x α, y)dα = P ϑt (α)δ(β)v(x α, y β)dαdβ Equivale a filtrar com um filtro com resposta ao impulso h(x, y) = P ϑt (x)δ(y) (sinc na frquência); Para movimento linear uniforme em direções arbitrárias, temos (na frequência): H(m, n) = T sin(π(αm + βn))e jπ(αm+βn) π(αm + βn) (SMT COPPE/UFRJ) UFRJ Abril de / 51

8 Exemplo: Turbulência atmosférica (SMT COPPE/UFRJ) UFRJ Abril de / 51

9 Outros Modelos de Formação de Imagens (SMT COPPE/UFRJ) UFRJ Abril de / 51

10 Exemplos: (SMT COPPE/UFRJ) UFRJ Abril de / 51

11 Modelos de Detectores e Gravadores Para filmes fotográficos, scanners e displays, a resposta a uma entrada w é geralmente não-linear: g = αω β Ex: Para filmes, um modelo mais acurado é d = γ log 10 ω d 0 ω : intensidade de luz incidente; d : densidade ótica; γ : intensidade de luz incidente; Luz refletida ou transmitida g = 10 d (SMT COPPE/UFRJ) UFRJ Abril de / 51

12 Modelos de Ruído Ruído aparece tipicamente durante a aquisição de imagens e/ou trasmissão; ; Ex: ruído num feixe de elétrons: η(x, y) = g(x, y)η 1 (x, y) + η 2 (x, y) }{{}}{{} emissão aleatória de elétrons ruído térmico Podemos assumir (simplificadamente) que: O ruído é independente das coordenadas espaciais; Não há correlação entre os valores dos pixels e os valores do ruído (não é verdade para ruído periódico); (SMT COPPE/UFRJ) UFRJ Abril de / 51

13 Principais modelos de ruído: (SMT COPPE/UFRJ) UFRJ Abril de / 51

14 Diferentes modelos de ruído podem surgir devido à efeitos de ruído térmico, de circuitos eletrônicos, em range imaging, imageamento por laser, erro de chaveamento de circuitos ou registradores, etc.. (SMT COPPE/UFRJ) UFRJ Abril de / 51

15 Exemplo: considere a seguinte imagem: Qual a aparência de seu histograma? Adicione ruído com diferentes distribuições. (SMT COPPE/UFRJ) UFRJ Abril de / 51

16 (SMT COPPE/UFRJ) UFRJ Abril de / 51

18 Estimação de modelos de ruído Dada uma imagem, como posso estimar o modelo do ruído? (SMT COPPE/UFRJ) UFRJ Abril de / 51

19 Ruído periódico Surge devido à interferência elétrica ou eletromecânica durante aquisição. (SMT COPPE/UFRJ) UFRJ Abril de / 51

20 Restauração de Ruído Periódico Operamos no domínio da frequência. (SMT COPPE/UFRJ) UFRJ Abril de / 51

22 Filtros: (SMT COPPE/UFRJ) UFRJ Abril de / 51

23 Filtros: (SMT COPPE/UFRJ) UFRJ Abril de / 51

24 Filtragem Inversa Filtragem Inversa Filtro Inverso Considere nosso modelo típico de distorção: Na ausência de ruído (η(x, y) = 0), temos:. V (ω 1, ω 2 ) = H(ω 1, ω 2 )U(ω 1, ω 2 ) Uma solução para corrigir as distorções introduzidas pelo sistema H(ω 1, ω 2 ) é então utilizar um filtro de restauração inverso: H I (ω 1, ω 2 ) = 1 H(ω 1, ω 2 ) (SMT COPPE/UFRJ) UFRJ Abril de / 51

25 Filtragem Inversa Assim: Û(ω 1, ω 2 ) = H I (ω 1, ω 2 )V (ω 1, ω 2 ) = 1 H(ω 1, ω 2 ) H(ω 1, ω 2 )U(ω 1, ω 2 ) = F (ω 1, ω 2 ) Problema: o projeto de filtros inversos é difícil porque eles são usualmente instáveis (H I (ω 1, ω 2 ) não existe se H(ω 1, ω 2 ) = 0); (SMT COPPE/UFRJ) UFRJ Abril de / 51

26 Filtragem Inversa (SMT COPPE/UFRJ) UFRJ Abril de / 51

27 Filtragem Inversa (SMT COPPE/UFRJ) UFRJ Abril de / 51

28 Filtragem Inversa Na presença de ruído, nosso modelo é:. Utilizando o filtro inverso: V (ω 1, ω 2 ) = H(ω 1, ω 2 )U(ω 1, ω 2 ) + N(ω 1, ω 2 ). Û(ω 1, ω 2 ) = V (ω 1, ω 2 )H I (ω 1, ω 2 ) = U(ω 1, ω 2 ) + N(ω 1, ω 2 ) H(ω 1, ω 2 ) Se H(ω 1, ω 2 ) é pequeno, amplifico (muito) o ruído; (SMT COPPE/UFRJ) UFRJ Abril de / 51

29 Filtragem Inversa Ex: (SMT COPPE/UFRJ) UFRJ Abril de / 51

30 Filtragem Inversa Filtro Pseudo-Inverso Uma solução é fazer: 1 H (ω 1, ω 2 ) = H(ω 1, ω 2 ), H(ω 1, ω 2 ) 0 0, H(ω 1, ω 2 ) = 0 Na prática, considero H(ω 1, ω 2 ) < ε Seja V (ω 1, ω 2 ) = H(ω 1, ω 2 )U(ω 1, ω 2 ) Û(ω 1, ω 2 ) = V (ω 1, ω 2 ) H(ω 1, ω 2 ) Se adiciono ruído Û(ω 1, ω 2 ) = V (ω 1, ω 2 ) H(ω 1, ω 2 ) + N(ω 1, ω 2 ) H(ω 1, ω 2 ) Ainda assim, se H(ω 1, ω 2 ) é muito pequeno, mesmo uma pequena quantidade de ruído pode ser muito amplificada. Posso aumentar ε, piorando o desempenho do filtro; (SMT COPPE/UFRJ) UFRJ Abril de / 51

31 Ex: Na ausência de ruído: Filtragem Inversa (SMT COPPE/UFRJ) UFRJ Abril de / 51

32 Filtragem Inversa Ex: Na presença de ruído: (SMT COPPE/UFRJ) UFRJ Abril de / 51

33 Filtragem de Wiener Filtragem de Wiener Usada para restaurar imagens na presença de embaçamento e ruído. Olha a imagem e o ruído como dois processos estocásticos: v(m, n) é uma observação do processo u(m, n), E[u(m, n)] = E[v(m, n)] = 0. Nosso problema é: a partir da observação de v(m, n), qual a estimativa û(m, n) de u(m, n) que minimiza o erro médio quadrático σ 2 e = E[ u(m, n) û(m, n) 2 ] A estimativa que minimiza o erro é dada por: û(m, n) = E[u(m, n) v(k, l)], k, l. }{{} difícil de calcular (preciso de p u v ) (SMT COPPE/UFRJ) UFRJ Abril de / 51

34 Filtragem de Wiener Uma solução é trabalhar com a melhor estimativa linear para û(m, n): Assumo que û(m, n) é do tipo g(m, n; k, l)v(k, l) k l Acho g(m, n; k, l) tal que σ 2 e é mínimo. Assumindo que os procesos u(m, n) e v(m, n) são gaussianos, do princípio da ortogonalidade temos que: E{[(u(m, n) û(m, n)]v(m, n )} = 0, m, n, m, n (o erro de estimação é ortogonal à estimativa) k g(m, n; k, l)r vv (k, l; m, n ) = r uv (m, n; m, n ) l Equação de Wiener (SMT COPPE/UFRJ) UFRJ Abril de / 51

35 Filtragem de Wiener Se u e v são conjuntamente estacionários: r uv (m, n; m, n ) = r uv (m m, n n ) g(m k, n l)r vv (k, l) = r uv (m, n) k l Calculando a transformada de Fourier: G(ω 1, ω 2 )S vv (ω 1, ω 2 ) = S uv (ω 1, ω 2 ) G(ω 1, ω 2 ) = S uv (ω 1, ω 2 )S 1 vv (ω 1, ω 2 ) Temos ainda que: û(m, n) = k g(m k, n l)v(k, l) Û(ω 1, ω 2 ) = G(ω 1, ω 2 )V (ω 1, ω 2 ) l Supondo o sistema linear com ruído aditivo: v(m, n) = h(m k, n l)u(k, l) + η(m, n), k l Assim, temos que: S vv (ω 1, ω 2 ) = H(ω 1, ω 2 ) 2 S uu (ω 1, ω 2 ) + S ηη (ω 1, ω 2 ) S uv (ω 1, ω 2 ) = H (ω 1, ω 2 )S uu (ω 1, ω 2 ) (Se η é descorrelatado de u) (SMT COPPE/UFRJ) UFRJ Abril de / 51

36 Filtragem de Wiener G(ω 1, ω 2 ) = H (ω 1, ω 2 )S uu (ω 1, ω 2 ) H(ω 1, ω 2 ) 2 S uu (ω 1, ω 2 ) + S ηη (ω 1, ω 2 ) Filtro de Wiener O filtro é completamente determinado pela densidade espectral de potência do objeto (processo) e do ruído e da resposta em frequência do sistema de imagem; O filtro de Wiener é em geral não separável; (SMT COPPE/UFRJ) UFRJ Abril de / 51

37 Filtragem de Wiener Filtro de Wiener para Imagens com Médias Não Nulas Como µ v (m, n) = h(m, n) µ u (m, n) + µ η (m, n), Se x(m, n) = x(m, n) µ x (m, n), v(m, n) = h(m, n) ū(m, n) + η(m, n) Posso estimar µ(m, n) fazendo médias locais. Posso aplicar o filtro de Wiener nas imagens sem média Se µ u e µ η são constantes, só uma constante é adicionada à imagem processada. Fase: H S uu G = H 2 G = H = 1 S uu + S ηη H A fase do filtro de Wiener é igual à fase do filtro inverso; O filtro de Wiener não compensa distorções de fase causadas pelo ruído. (SMT COPPE/UFRJ) UFRJ Abril de / 51

38 Filtragem de Wiener Filtro de Wiener para Ruído Sem embaçamento: H = 1 G = S uu H 2 = SNR S uu + S ηη SNR + 1 SNR grande G 1 (não preciso atenuar o sinal) SNR pequeno G SNR (Atenuo o sinal de acordo com a sua realção sinal ruído: quanto mais ruído, mais atenuo) Para imagens naturais, SNR tende a ser grande em baixas frequências e pequeno em altas frequências: o filtro de Wiener se comporta como um passa-baixas; (SMT COPPE/UFRJ) UFRJ Abril de / 51

39 Filtragem de Wiener Relação com filtragem inversa Se S ηη = 0 G = lim G = S ηη 0 lim S ηη 0 S uu H 2 S uu + S ηη = H S uu H 2 S uu = 1 H H S uu H 2 S uu + S ηη = é igual ao filtro inverso. 1 H, H 0 Filtro Pseudo-Inverso 0, H = 0 (SMT COPPE/UFRJ) UFRJ Abril de / 51

40 Filtragem de Wiener Resposta em frequência do filtro de Wiener (SMT COPPE/UFRJ) UFRJ Abril de / 51

41 Filtragem de Wiener Exemplo: (SMT COPPE/UFRJ) UFRJ Abril de / 51

42 Filtragem de Wiener PSDs desconhecidas E se não conheço S ηη e S uu? Faço S ηη S uu = K: G = H S uu H 2 S uu + S ηη = H H 2 + Sηη S uu = K pode ser determinado manualmente; H H 2 +K (SMT COPPE/UFRJ) UFRJ Abril de / 51

43 Exemplo (K escolhido manualmente para melhores resultados) Filtragem de Wiener (SMT COPPE/UFRJ) UFRJ Abril de / 51

44 Filtragem de Wiener Exemplo: Detecção de placas (pré-processamento) (SMT COPPE/UFRJ) UFRJ Abril de / 51

45 Filtragem de Wiener (SMT COPPE/UFRJ) UFRJ Abril de / 51

46 Filtragem de Wiener Filtragem de Wiener FIR A equação do filtro de Wiener é: G(ω 1, ω 2 ) = H (ω 1, ω 2 )S uu (ω 1, ω 2 ) H(ω 1, ω 2 ) 2 S uu (ω 1, ω 2 ) + S ηη (ω 1, ω 2 ) g(n 1, n 2 ) é em geral IIR. Entretanto, sua resposta efetiva tem, em geral, tamanho bem menor que a imagem; Filtros FIR ótimos podem aproximar o desempenho do filtro de Wiener; O filtro de Wiener é implementado como um filtro de resposta ao impulso g(m, n) que minimiza o erro quadrático: û(m, n) = g(i, j)v(m i, n j), i,j W W = M i, j M (SMT COPPE/UFRJ) UFRJ Abril de / 51

47 Filtragem de Wiener Da expressão do filtro de Wiener temos que: G H 2 S uu + GS ηη = HS uu seja a(k, l) = (h h)(k, l) [g a r uu + g r ηη ](k, l) = h r uu (k, l) [a r uu + r ηη ] g(k, l) = h r uu (k, l) Se g é FIR com (2M + 1) (2M + 1) coeficientes, resolvo o sistema acima com (2M + 1) (2M + 1) incógnitas (coeficientes de g). Exemplo: Supondo r ηη (k, l) = σ 2 nδ(k, l) (ruído branco) Definindo r uu (k, l) = σ 2 r 0 (k, l) [(a σ 2 r 0 )(k, l) + σ 2 ηδ(k, l)] g(k, l) = h (σ 2 r 0 )(k, l) (SMT COPPE/UFRJ) UFRJ Abril de / 51

48 Filtragem de Wiener [ σ 2 η σ 2 δ(k, l) + r 0(k, l) a(k, l) ] g(k, l) = h(k, l) r 0 (k, l) Empilhando as linhas e as colunas [ ] σ 2 η σ 2 I + R g = r }{{} uv truncado para (2M + 1) 2 amostras. }{{} (2M+1) 2 coefs truncado para (2M + 1) 2 (2M + 1) 2 Sem embaçamento: H = 1 h(k, l) = δ(k, l) = a(k, l) filtro FIR ótimo de ruído. O tamanho do filtro FIR cresce com a quantidade de embaçamento e com o ruído. [ ] σ 2 η Sem embaçamento: σ 2 δ(k, l) + r 0(k, l) g(k, l) = r 0 (k, l) (SMT COPPE/UFRJ) UFRJ Abril de / 51

49 Filtragem de Wiener SNR g(k, l) = δ(k, l) g possui 1 pixel. SNR 0 σηg(k, 2 g possui tantas amostras quanto a l) = r 0 (k, l) região de suporte de r 0 (k, l) Se r 0 (k, l) = 0.95 k 2 +l 2 g de tamanho 32 é suficiente. (SMT COPPE/UFRJ) UFRJ Abril de / 51

50 Filtragem de Wiener Filtros FIR Variantes com o Deslocamento Filtragem de imagens com embaçamento variantes no deslocamento: Um bom modelo é assumir média e variâncias não-estacionárias e autocovariâncias estacionárias, isto é: { E[u(m, n)] = µ(m, n) E{[u(m, n) µ(m, n)][u(m k, n l) µ(m k, n l)]} = σ 2 (m, n)r 0 (k, l) Supondo que a PSF possui região de suporte contida em W e h, µ e σ 2 variam lentamente: û(m, n) = g m,n (i, j)v(m i, n j) (i,j) W g m,n (i, j) = g m,n (i, j) (2M + 1) 2 (k,l) W g m,n (k, l) [ ] σ 2 η g m,n (i, j) é a solução da equação σm,n 2 I + R g = r uv, com σm,n 2 estimado da observação. (SMT COPPE/UFRJ) UFRJ Abril de / 51

51 Filtragem de Wiener Outros Filtros no Domínio da Frequência Filtro de média geométrica: ( G s = (H ) s S uu H ) 1 s S uu H 2, 0 s 1, H = filtro pseudo-inverso. +S ηη se s = 1 2 PSD da saída = PSD do objeto. (SMT COPPE/UFRJ) UFRJ Abril de / 51