Avaliação de Nitidez em Imagens por Aprendizagem

Transcrição

1 Avaliação de Nitidez em Imagens por Aprendizagem Rafael Anaice CCET Pontifícia Universidade Católica do Paraná, PUCPR Curitiba, Brasil Jacques Facon PPGIA Pontifícia Universidade Católica do Paraná, PUCPR Curitiba, Brasil Abstract A sharpness recognition approach applied to grayscale images is presented. The recognition approach is supervised and based on a comparative study of sharpness metrics available in the literature. Experimental results onto synthetic and real images have permitted to evaluate if the proposed approach is able to evaluate if an image is blurred or not. Keywords-blur metric, sharpness, supervised recognition Resumo Uma abordagem de reconhecimento de nitidez em imagens em níveis de cinza é apresentada. A abordagem de reconhecimento supervisionada baseia-se num estudo comparativo de métricas de nitidez existentes na literatura. Dos resultados experimentais realizados numa base de imagens reais pôde-se não somente descobrir quais são as métricas realmente eficientes como também verificar as condições necessárias para que a abordagem proposta seja capaz de avaliar com segurança se uma imagem é nítida ou borrada. Palavras-chave-nitidez, métrica, reconhecimento I. INTRODUÇÃO Em plena era digital, a exigência em relação à qualidade de imagens e videos digitais é bastante acentuada. Apesar da disponibilidade de recursos (técnicas de aquisição e softwares para otimização e correção de brilho, contraste, cor e nitidez para o consumidor, muitas vezes tais recursos podem ocasionar distorções e ruídos. Por isso, o ideal seria não só dispor de ferramentas de aprimoramento, mas também de um meio de avaliar e quantificar as características da imagem. No que se refere à qualidade de imagens a nitidez i.e., a clareza de detalhes - é um ponto-chave, que tem como referenciais a capacidade de percepção humana e a formalização matemática para dispositivos digitais. E é justamente a dificuldade de se aliar esses dois aspectos (subjetivo e objetivo que torna a avaliação da nitidez uma tarefa não trivial, refletindo-se na carência de ferramentas para sua medição. Por tudo isso, este trabalho tem como objetivo estudar algumas métricas existentes e propor uma abordagem computacional de avaliação de nitidez. II. MÉTRICAS DE NITIDEZ NA LITERATURA Em sua maioria, as métricas existentes na literatura tentam quantificar a nitidez pela análise das bordas dos objetos presentes em uma imagem através de algoritmos de detecção de bordas. Aqui estão descritas várias métricas populares disponíveis na literatura. Nos estudos realizados em [1] e [2], os autores discutem as medidas de foco chamadas de Tenengrad consideradas medidas de referência na área. Segundo eles, uma imagem bem focada deve apresentar bordas nítidas, o que justifica o uso de imagens de gradiente como um instrumento para determinar uma medida confiável de foco. Então, em relação a uma imagem I (em níveis de cinza de tamanho M N e a um pixel I(m, n nas coordenadas (m, n, com m = 1,..., M e n = 1,..., N, os autores propõem quatro métricas de nitidez: T EN(I e SOB V AR(I - baseadas no cálculo do gradiente - e LAP (I e LAP V AR(I, baseadas no cálculo do Laplaciano. As métricas são especificadas da seguinte forma (como definidas em [1]: Métrica de Tenengrad: sendo T EN(I = M N [S(m, n] 2 (1 S(m, n = [G x (m, n 2 ] + [G y (m, n 2 ] a magnitude do gradiente em cada pixel (m, n da imagem I. As máscaras aplicadas à imagem I para ( obter os gradientes G x e G y são, respectivamente: S x = e S y =. ( Métrica da Variância do Operador Sobel: SOB V AR(I = M N [S(m, n S] 2 (2 para S(m, n > T (onde T é o limiar escolhido. Além disso,

2 S representa o valor médio da magnitude do gradiente: 1 S = NM M N S(m, n Quanto às métricas baseadas no Laplaciano, tem-se: Métrica do Operador Laplaciano: M N LAP (I = L(m, n (3 sendo L(m, n o módulo do Laplaciano no pixel (m, n da imagem I. A máscara do Laplaciano em (m, n é dada por: L = 1 ( E ainda Métrica da Variância do Operador Laplaciano: M N LAP V AR(I = [ L(m, n L] 2 (4 com L representando o valor médio da magnitude do Laplaciano: L = 1 M N L(m, n NM Em outro estudo realizado por Tizhoosh [3] são propostas duas métricas de nitidez chamadas Edginess e Logical Sharpness, ambas baseadas no cálculo do gradiente g xy em janelas de tamanho variável (w w. Segundo o autor, a métrica Edginess garante que a nitidez é parcialmente ponderada em cada pixel (e as regiões homogêneas são descartadas e, também, que Logical Sharpness representa quão nebulosa é a vizinhança de cada pixel. Portanto, para uma imagem em nível de cinza I de tamanho M N, as métricas Edginess e Logical Sharpness no pixel (m, n (com m = 1,..., M e n = 1,..., N expressam-se da seguinta forma: i j Edginess mn = g xy g mn C + i j g (5 xy g mn i j LSharpness mn = 1 min(g xy, 1 g xy w 2 (6 C onde (C = L 1, (x = m + i, (y = n + j. E ainda w e L são, respectivamente, o tamanho da janela e quantidade de níveis de cinza. Tizhoosh definem, também, uma métrica única S mn para cada pixel (m, n da seguinte maneira: S mn = [Edginess mn LSharpness mn ] 2 (7 A medida global de nitidez S para uma imagem I é: S(I = V alormediano(s mn (8 para (m = 1,..., M e n = 1,..., N e Edginess mn 0. Na abordagem apresentada em [4], os autores afirmam que a falta de nitidez é perceptivelmente aparente ao longo das bordas ou em áreas texturizadas e, por isso, buscam medir a propagação da falta de nas bordas pela medição da largura. Na prática, obtém-se os gradientes de uma imagem I através ( ( das máscaras S x = e S y = para, então, percorrer as imagens geradas e medir as larguras das bordas. Por meio das larguras locais, um valor global para a imagem é encontrado, denominados de No Reference Blur Metric G x (NR Gx - que mede a largura das bordas verticais da imagem - e No Reference Blur Metric G y (NR Gy, que leva em consideração a largura das bordas horizontais. III. ESTRATÉGIA DE COMPARAÇÃO DAS MÉTRICAS A dificuldade de quantificar matematicamente algo que é, em grande parte, subjetivo torna necessário o uso de um artifício matemático para o estudo da nitidez. Como é difícil atribuir um valor que represente quão nítida é uma imagem, pode-se através da degração artificial da máscara da média estabelecer uma escala de nitidez relativa. Portanto, dada uma imagem I, ao se aplicar a máscara da média com tamanho N N, a imagem resultante será menos nítida que a original - e isto acontece gradativamente à medida que N cresce, logo a escala de nitidez é especificada através da função de nitidez N f é: N f (I > N f (I 3 > N f (I 5 > N f (I 7 >... > N f (I n, onde n é o tamanho da máscara da média aplicada na imagem. Certamente, essa escala de nitidez não se aplica às degradações reais (bem mais complexas, mas oferece um ponto de partida para estudar a eficiência das métricas existentes em uma base preparada segundo essa escala. A. Base de Imagens para Comparação das Métricas Imagens reais são geralmente complexas, podendo misturar objetos simples e complexos, diferenciados ou não, bem como variados tipos de fundos homogêneos e heterogêneos (contrastes, texturas, etc.. Por tudo isso, decidiu-se inicialmente realizar o estudo comparativo das métricas existentes sobre uma base de imagens sintéticas, na tentativa de garantir uma maior exatidão nos resultados. A base de teste utilizada foi gerada com imagens simples no que diz respeito a contraste, conteúdo e fundo. A Fig. 1 ilustra três exemplos de imagens de referência usadas no estudo, a base de teste é composta de 15 imagens sintéticas de referência e, para cada uma, foram geradas imagens com a máscara da média no tamanho (w w, onde w = {3, 5, 7,..., 13}, totalizando 105 imagens. Parte das imagens borradas está na Fig. 2 da família quadrados, um exemplo simples que ajuda a evidenciar a dificuldade de discernir o grau de nitidez.

3 Figura 1. (a 3x3 (c 7x7 (a Elipses (b Retângulos (c Triângulos Imagens sintéticas de referência. (b 5x5 (d 9x9 mostra os resultados para uma imagem da família quadrados, ressaltando-se que comportamentos similares foram obtidos para as outras famílias do estudo. A partir dos resultados obtidos foi possível constatar que os valores das métricas SOB V AR, LAP, LAP V AR e S não evoluem seguindo uma tendência única, comportamento este diferente do apresentado na Seção III, em que uma métrica N f deve apresentar medidas menores de nitidez na proporção que o tamanho (w w da máscara da média aumenta. Por outro lado, a métrica T EN seguiu a tendência esperada, assim como NR Gx e NR Gy - que medem, ao invés da nitidez, a falta da mesma (i.e. conforme o tamanho da máscara da média aumenta o mesmo acontece com o valor da falta de nitidez da imagem, o inverso de N f. Portanto, apenas as métricas Tenengrad, No Reference Blur Metric G x e No Reference Blur Metric G y foram consideradas totalmente confiáveis enquanto que as outras, por apresentarem um comportamento instável, foram desconsideradas para a próxima fase do estudo. IV. AVALIAÇÃO DE NITIDEZ POR APRENDIZAGEM Após a análise das métricas, um método de avaliação de nitidez por aprendizagem - baseado nas métricas estudadas - foi empregado. O mecanismo de reconhecimento escolhido foi o classificador supervisionado dos k vizinhos mais próximos knn - de acordo com [5], conhecido pela eficiência já demonstrada em vários estudos. A. Bases de Treino e Teste Para aplicação do método supervisionado foram utilizadas as 105 imagens de validação das métricas existentes (Seção III-A para gerar os vetores de treino do knn. Além disso, oito imagens reais foram selecionadas para compor a base de teste do experimento e, partir das imagens de referência, suas versões com aplicação da máscara da média também foram geradas com w = {3, 5, 7,..., 13} (a Fig. 4 mostra algumas destas imagens retiradas da Web. Desta forma, as bases de treino e teste são compostas, respectivamente, de 105 e 56 imagens. Figura 2. (e 11x11 B. Avaliação das Métricas (f 13x13 Família quadrados com as versões borradas. Através da base de teste foram computadas as métricas No Reference Blur Metric G x, No Reference Blur Metric G y, Tenengrad (Eq. 1, Variância do Operador Sobel (Eq. 2, Operador Laplaciano (Eq. 3, Variância do Operador Laplaciano (Eq. 4 e Global Sharpness (Eq. 8. A Fig. 3 B. Características Devido à diferença de medição entre Tenengrad e as métricas de falta de nitidez NR Gx e NR Gy, optou-se por criar dois grupos de experimentos: um para medir a nitidez e outro para a falta da mesma. Portanto, o primeiro grupo é composto por vetores de características na forma V et nitidez = ( T EN Classe, enquanto que o segundo grupo tem vetores na forma V et nitidez = ( NR Gx NR Gy Classe. Vale ressaltar que (Classe = 0 representa que a imagem é nítida e (Classe = 1 imagem pouco nítida. C. Experimentos e Resultados Como a estratégia de validação inicialmente conta apenas com duas classes, foram realizados seis grupos

4 (a NR Gx (b NR Gy (c T EN Figura 4. Exemplos de imagens da base de teste. Figura 3. (d SOB V AR (e LAP (f LAP V AR (g S Métricas para família quadrados. de experimentos para corresponder as imagens borradas (I 3, I 5, I 7,..., I 13 com (Classe = 1 - enquanto que as imagens com originais têm (Classe = 0. E por existir diferença entre os tipos de métricas, um total de 12 experimentos foi realizado. A influência do parâmetro k do classificador knn, com k = {1, 3, 5} foi também testada. A Fig. 5 ilustra as taxas de reconhecimento dos experimentos realizados. Constata-se na Fig. 5(a que o módulo de reconhecimento baseado nas métricas Blur Metric Gx, Blur Metric Gy não conseguiu reconhecer com altos níveis de certeza as imagens que apresentavam falta de nitidez. E, ainda, que este módulo de reconhecimento teve mais êxito e regularidade em caso de grande falta de nitidez simulada pelas filtragens da média 9x9 e 11x11 com uma taxa de 62,5%. Além disso, as taxas de reconhecimento foram menores em caso de menor falta de nitidez (filtragens da média 3x3, 5x5 e 7x7 ou de falta de nitidez excessiva (simulada pela filtragem da média 13x13. É importante atentar que o parâmetro k do knn teve uma influência pequena nos resultados. De acordo com a base de imagens usada e as taxas de reconhecimento da Fig. 5(b, os testes realizados permitem concluir que o módulo de reconhecimento baseado na métrica T EN mostrou ser mais eficiente em reconhecer as imagens que apresentavam nitidez. Entretanto, o que surpreende é o fato que qualquer que seja o tipo de filtragem, a taxa de reconhecimento de nitidez foi a mesma, seja 81,25%. O parâmetro k do knn demonstrou ter influência nenhuma no reconhecimento, o que sugere que, qualquer que

5 se baseiam na falta de nitidez; além disso, é importante que as métricas inicialmente desconsideradas para a fase de classificação sejam analisadas para outras imagens mais complexas, no intuito de refinar o estudo das curvas de valores. Por fim, é essencial que no futuro outras métricas disponíveis na literatura sejam investigadas - preferencialmente com uma base maior de imagens naturalmente borradas e envolvendo imagens coloridas. REFERÊNCIAS (a Reconhecimento da falta de nitidez [1] J. L. Pech-Pacheco, G. Cristóbal, J. Chamorro-Martínez, and J. Fernández-Valdivia, Diatom autofocusing in brightfield microscopy: a comparative study, Pattern Recognition, International Conference on, vol. 3, p. 3318, [2] E. Krotkov, Focusing, in Int. J. Comp. Vision, vol. 1, 1987, pp [3] H. R. Tizhoosh, Observer-dependent sharpening, in ICIP (1, 2002, pp [4] P. M. Frederic, F. Dufaux, S. Winkler, T. Ebrahimi, and G. Sa, A no-reference perceptual blur metric, in IEEE 2002 International Conference on Image Processing, 2002, pp [5] D. W. Aha and D. Kibler, Instance-based learning algorithms, in Machine Learning, 1991, pp (b Reconhecimento da nitidez Figura 5. Taxas de reconhecimento. seja a base usada, se ela incluir imagens nítidas e borradas de qualquer tipo, o módulo baseado na métrica T EN tende a reconhecer com 81,25% de êxito as imagens nítidas. V. CONCLUSÃO Uma abordagem de avaliação de nitidez de imagens baseada em reconhecimento supervisionado foi apresentada - tendo como base características herdadas de métricas de nitidez existentes na literatura. Os experimentos realizados com uma base de imagens sintéticas e uma base de imagens reais em níveis de cinza encontradas na Web permitem tirar várias conclusões: Nem todas as métricas de nitidez existentes na literatura demonstraram ser robustas. Averiguar a nitidez é computacionalmente mais eficiente que averiguar a falta de nitidez: enquanto que o reconhecimento de nitidez atingiu uma taxa promissora, no caso do reconhecimento de falta de nitidez a taxa foi baixa. O módulo de reconhecimento baseado na métrica T EN não conseguiu - com 100% de acerto - reconhecer as imagens que apresentavam total nitidez. A partir deste estudo notou-se a necessidade de investigar a relação entre as métricas que medem nitidez e as que