Super-Resolução de Imagens Aplicada à Área Médica

Transcrição

1 Super-Resolução de Imagens Aplicada à Área Médica Ana Carolina Correia Rézio 1 William Robson Schwartz 2 Hélio Pedrini 1 1 Instituto de Computação - Universidade Estadual de Campinas Campinas, SP, Brasil, Departmento de Ciência da Computação - Universidade Federal de Minas Gerais Belo Horizonte, MG, Brasil, Resumo Várias aplicações requerem o uso de imagens em níveis cada vez mais altos de resolução, de modo a favorecer as tarefas de interpretação e visualização dos dados presentes nas imagens. Devido ao elevado custo dos sensores empregados na captura de imagens de alta resolução, torna-se importante melhorar a qualidade e aumentar a resolução das imagens geradas pelos dispositivos de aquisição. Este trabalho apresenta e analisa algumas técnicas de superresolução aplicadas a imagens médicas. Medidas quantitativas e qualitativas são utilizadas na comparação dos resultados obtidos com as técnicas de super-resolução consideradas nos experimentos. Abstract Several applications demand the use of images in increasingly higher levels of resolution, in order to benefit the tasks of interpretation and visualization of data present in the images. Due to the high cost of sensors used to capture high resolution images, it is important to improve quality and increase the resolution of images generated by acquisition devices. This paper presents and analyzes some superresolution techniques applied to medical images. Quantitative and qualitative measures are used to compare the results obtained with the super-resolution techniques considered in the experiments. 1. Introdução Em diversas aplicações, tais como medicina, biologia, automação industrial, vigilância, sensoriamento remoto, há uma grande demanda de imagens com alta resolução espacial [5, 23, 3, 19, 25]. Essas imagens possibilitam a análise e a visualização mais precisas dos detalhes presentes nos dados. Em virtude de fatores associados ao custo e às limitações dos dispositivos de aquisição, uma alternativa é aumentar a resolução e melhora da qualidade psicovisual das imagens por meio da aplicação de técnicas conhecidas como superresolução (SR). Técnicas de SR têm recebido crescente interesse nos últimos anos [1], cujo objetivo principal é aumentar a resolução espacial das imagens, favorecendo a precisão na análise e interpretação das imagens, melhorando a qualidade da visualização e preservando as informações originais sem a adição de artefatos às imagens resultantes [12, 4, 21, 13]. Técnicas de SR podem ser aplicadas tanto em uma única imagem quanto em uma sequência de imagens ou vídeos [20]. Métodos de super-resolução em uma única imagem visam aumentar à resolução da imagem a partir do realce de suas informações mais relevantes, sem a introdução de borramento. Métodos de super-resolução em múltiplas imagens procuram criar uma imagem com mais alta resolução (HR) a partir da fusão de informações presentes nas imagens de baixa resolução (LR). Em [18] é apresentado um algoritmo de super-resolução baseado em amostras de treinamento para estimar detalhes em altas frequências nas imagens reamostradas. O algoritmo opera apenas na componente de luminância Y do espaco de cores YUV, a fim de estimar as altas frequências perdidas no processo de reamostragem das imagens. Os resultados apresentaram mais vantagem devido à redução da dimensionalidade das amostras, ou seja, o algoritmo é computacionalmente mais rápido. O método utilizado em [22, 23] é baseado no método das projeções em conjuntos convexos (POCS, do inglês convex set projection method), modificado para utilizar um interpolador sinc, ao invés dos interpoladores tradicionalmente utilizados, tais como vizinho mais próximo ou bilinear. A interpolação sinc é aplicada para produzir a grade de alta resolução inicial do algoritmo POCS. Informações das imagens são preservadas nas imagens obtidas com a super-

2 resolução. Em [15] foram propostas melhorias nos métodos de reconstrução por super-resolução baseado no método POCS. Primeiro, a discretização do modelo de formação de imagens contínuas é melhorada para permitir o uso de métodos de interpolação de alta ordem. Segundo, os conjuntos de restrição são modificados para reduzir a quantidade de bordas presentes na imagem de alta resolução estimada. O método proposto em [2] recupera em alta resolução a imagem de baixa resolução fornecida utilizando um conjunto de modelos de treinamento. Este método foi inspirado no LLE (do inglês Locally Linear Embedding). Os experimentos reportam bons resultados empíricos. Destobbeleire [6] propõe um método de super-resolução dividido em dois passos: preparação do conjunto de treinamento e a construção da banda de alta frequência que falta na imagem de entrada. Destobbeleire aplicou o algoritmo de único passo proposto em [7]. A técnica gerou bons resultados, principalmente no que se refere à textura. No entanto, em alguns casos, artefatos foram produzidos e ampliados quando se aumenta a imagem por um fator 4. Neste trabalho, algumas técnicas de super-resolução aplicadas a imagens médicas são apresentadas e analisadas. Uma comparação dos resultados é realizada com base em medidas quantitativas e qualitativas. O texto está organizado da seguinte forma. A seção 2 descreve brevemente os métodos de super-resolução utilizados nos experimentos. Os resultados experimentais obtidos a partir da aplicação dos métodos em imagens médicas são apresentados e analisados na seção 3. Finalmente, a seção 4 conclui o trabalho e indica propostas para trabalhos futuros. 2. Métodos de Reamostragem e Super- Resolução Esta seção descreve alguns métodos de interpolação e super-resolução utilizados para aumentar a resolução espacial de imagens Métodos de Reamostragem Na interpolação da imagem, os novos pixels são atribuídos a partir dos dados dos pixels já existentes. Há vários métodos de interpolação existentes na literatura [14]. Dentre os mais comumente utilizados, destacam-se a interpolação por vizinho mais próximo, a bilinear e a bicúbica [8, 16]. O interpolador por vizinho mais próximo é um método simples que apresenta baixo custo computacional. Um bom desempenho é obtido quanto à preservação do contraste, além de assegurar que o valor reamostrado seja um dos valores originais. Suas desvantagens consistem em gerar distorções em detalhes finos e a apresentar bordas serrilhadas. Na imagem reamostrada, o valor original do pixel é atribuído ao pixel p (x, y ) mais próximo da posição (x, y). O interpolador bilinear calcula a intensidade do valor de cada pixel p (x, y ) por meio da média ponderada de distância dos quatro pixels vizinhos mais próximos. A imagem resultante apresenta uma suavização nas bordas e distorção de fase (efeito de borramento). A interpolação bicúbica para obter uma estimativa suave do nível de cinza em cada pixel p (x, y ) apresenta um número maior de pontos vizinhos. Na imagem resultante, os detalhes finos são preservados, bordas são suavizadas e as distorções são minimizadas. Ela possui uma melhor preservação das bordas entre os métodos de interpolação apresentados anteriormente Iterative Back-Projection A técnica de super-resolução Iterative Back-Projection (IBP), criada a partir de variações da técnica de backprojection originalmente proposta para reconstrução de vistas tomográficas de imagens médicas, utiliza um procedimento iterativo para minimização do erro entre os dados originais e a saída do modelo [25, 9], conforme equação HR n+1 k = HR n k + L j=1 H BP k,j (LR j C j,k HR n k ) (1) em que HR n+1 k é uma imagem de alta resolução no instante k, Hk,j BP é o operador de back-projection, n é a iteração corrente, L é o número de imagens de baixa resolução, essas representadas por LR, C j,k é a matriz de transformação conjunta de movimento e aquisição. Este método é similar aos métodos iterativos para solução de mínimos quadrados. Uma de suas vantagens é a velocidade de convergência, a qual está associada ao operador back-projection [9] Gradient Profile Prior O método de super-resolução Gradient Profile Prior (GPP) é uma distribuição paramétrica que descreve a forma e a nitidez dos perfis de gradiente na imagem natural. Uma das observações apresentadas em [10, 11] é que a forma estatística desses perfis é estável e invariante na resolução da imagem. A partir dessa informação, pode-se aprender a relação estatística de nitidez do perfil de gradiente entre a imagem HR e a imagem LR. Utilizando-se relacionamento e o perfil de gradiente aprendido, é possível fornecer uma restrição sobre o gradiente de campo da imagem HR. Combinando com a restrição

3 de reconstrução pode-se então recuperar uma imagem de HR de alta qualidade. As vantagens do GPP citadas em [11, 10] incluem: a) o perfil de gradiente não é uma restrição de suavidade. Assim, tanto em pequena escala quanto em grande escala, as bordas podem ser bem recuperadas na imagem HR; (b) os artefatos comuns em super-resolução, tais como serrilhamento de bordas, podem ser evitados com o trabalho no domínio do gradiente. A imagem de alta resolução na técnica GPP pode ser obtida da seguinte equação HR t+1 = HR t τ E(HR) HR em que E(HR) = ((HR G) LR) G HR β( 2 HR 2 HR T ), 2 HR T (x) = r(d(x, x 0 )) 2 LR u, G representa o filtro espacial Gaussiano, é o operador de convolução, é o operador down-sampling 2 HR T representa o gradiente de campo transformado da imagem HR, 2 LR u representa o gradiente de campo da imagem LR e é o operador up-sampling. O termo 2 HR T transforma o gradiente de campo observado para o gradiente de campo alvo por meio do mapeamento da forma e da nitidez do perfil de gradiente observado. 3. Resultados Experimentais O processo de avaliação da qualidade da imagem de super-resolução (SR) obtida em relação à imagem de referência (LR) não é uma tarefa simples, uma vez que essas imagens possuem resoluções diferentes. As técnicas apresentadas na seção 2 foram utilizadas na avaliação dos resultados da super-resolução por meio de uma métrica quantitativa e uma métrica qualitativa, a raiz do erro médio quadrático e índice de similaridade estrutural, respetivamente, definidos a seguir Raiz do Erro Médio Quadrático A raiz do erro médio quadrático (RMSE, do inglês Root Mean Square Error) corresponde à soma da raiz quadrada da soma do quadrado das diferenças de cada ponto das imagens LR e HR. Essa medida indica o grau de similaridade entre as imagens LR e HR, tendo valor igual a zero quando as duas imagens são idênticas. A medida é dada por RMSE = 1 MN M 1 x=0 (2) N 1 [LR(x, y) HR(x, y)] 2 (3) y=0 em que M e N são as dimensões das imagens Índice de Similaridade Estrutural O índice de similaridade estrutural (SSIM, do inglês Structural SIMilarity) foi proposto em [24]. Este índice também é utilizado para mensurar a similaridade entre duas imagens. A qualidade é medida comparando-se as correlações locais em luminância, contraste e estrutura entre a imagem de referência e a imagem a ser avaliada [19]. O SSIM é dado por SSIM(x, y) = (2µ xµ y + C 1 )(2σxy + C 2 ) (µ 2 x + µ 2 y + C 1 )(σ 2 xσ 2 y + C 2 ) em que as constantes C 1 e C 2 são utilizadas para estabilizar a equação quando (µ 2 x + µ 2 y) e (σ 2 xσ 2 y) são próximos de zero. Como sugerido por [24], utilizou-se C 1 = 0.01 e C 2 = Amostras de Dados e Avaliação A tabela 1 apresenta algumas amostras de imagens, extraídas de [17], utilizadas nos experimentos. Essas imagens foram subamostradas pelo método de interpolação bicúbica em duas, quatro e em oito vezes, resultando, para cada amostra, em outras três imagens em baixa resolução (LR). Imagens Tamanho (pixels) Tipo Amostra 1 352x352 Níveis de Cinza Amostra 2 464x464 Níveis de Cinza Amostra 3 480x480 Colorida Amostra 4 480x480 Colorida Tabela 1. Amostras de imagens utilizadas nos experimentos. A partir das imagens LR reamostradas foram aplicados os métodos de interpolação e super-resolução. Alguns resultados são ilustrados na figura 1. Cada linha da figura referese a uma das amostras indicadas na tabela 1. A Amostra 1 foi reduzida em duas vezes, a Amostra 2 em quatro vezes e as Amostras 3 e 4 foram reduzidas em oito vezes. Para realizar a avaliação de carácter objetivo a partir das medidas estatísticas RMSE e SSMI, apresentadas nas subseções 3.1 e 3.2, as imagens resultantes foram comparadas com as imagens originais antes de serem reamostradas. Os resultados podem ser observados na tabela 2. A análise quantitativa demonstra que, em geral, os métodos bilinear e GPP apresentam melhor eficácia. Com base na avaliação visual dos resultados obtidos, pode-se também observar que o método GPP apresenta melhor nitidez e realce de bordas. (4)

4 (a) (b) (c) (d) (e) (f) Figura 1. Alguns resultados obtidos a partir das te cnicas avaliadas. (a) imagens de baixa resoluc a o; (b) imagens originais; (c) interpolac a o por vizinho mais pro ximo; (d) interpolac a o bilinear; (e) superresoluc a o por iterative back-projection; (f) super-resoluc a o por GPP. 4. Concluso es e Trabalhos Futuros 5. Agradecimentos Te cnicas de interpolac a o e super-resoluc a o te m como objetivo aumentar a resoluc a o espacial de uma imagem ou uma seque ncia de imagens. Os autores sa o gratos a FAPESP, a FAPEMIG, ao CNPq, a CAPES e ao Instituto Nacional de Cie ncia e Tecnologia - Medicina Assistida por Computac a o Cientı fica (INCTMACC), pelo apoio financeiro (Processo / Edital MCT/CNPq No 015/2008). Este artigo apresentou uma ana lise comparativa entre diferentes me todos de super-resoluc a o e de reamostragem aplicados a imagens me dicas. Os me todos de interpolac a o utilizados foram o vizinho mais pro ximo e o bilinear, enquanto para os me todos de super-resoluc a o foram utilizados o me todo IBP e o me todo GPP. Propostas para trabalhos futuros incluem uma avaliac a o minuciosa, com a participac a o de especialistas me dicos, dos me todos de super-resoluc a o aplicados em imagens de mamografia, bem como o uso dos me todos em vı deos na a rea de telemedicina. Refere ncias [1] N. A. V. Bec a. Construc a o de uma Ca mara de Alta Sensibilidade e Baixa Resoluc a o para Super Resoluc a o. Master s thesis, Faculdade de Cie ncias e Tecnologia de Coimbra, Departamento de Fı sica, [2] H. Chang, D.-Y. Yeung, and Y. Xiong. Super-Resolution through Neighbor Embedding. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition, pages , Washington, DC, Estados Unidos, 2004.

5 Imagem Fator Medidas Vizinho Bilinear IBP GPP mais próximo 2x RMSE 6,7955 5,1357 7,7817 9,9761 SSIM 0,9972 0,9984 0,9963 0,9942 Amostra 1 4x RMSE 12,3795 9, , ,4269 SSIM 0,9908 0,9940 0,9884 0,9924 8x RMSE 20, , , ,4572 SSIM 0,9743 0,9819 0,9701 0,9841 2x RMSE 10,2151 8, , ,4159 SSIM 0,9834 0,9869 0,9771 0,9805 Amostra 2 4x RMSE 17, , , ,9530 SSIM 0,9494 0,9565 0,9400 0,9608 8x RMSE 24, , , ,2199 SSIM 0,8975 0,9052 0,8893 0,9213 2x RMSE 8,7286 7,5044 9, ,1199 SSIM 0,9962 0,9973 0,9956 0,9927 Amostra 3 4x RMSE 15, , , ,8747 SSIM 0,9881 0,9917 0,9871 0,9905 8x RMSE 22, , , ,7325 SSIM 0,9714 0,9776 0,9713 0,9809 2x RMSE 6,0729 4,9881 6,3095 8,7532 SSIM 0,9917 0,9938 0,9872 0,9859 Amostra 4 4x RMSE 11, , , ,1130 SSIM 0,9743 0,9784 0,9643 0,9755 8x RMSE 16, , , ,2664 SSIM 0,9491 0,9567 0,9364 0,9577 Tabela 2. Resultados da avaliação das amostras obtidas com as técnicas de interpolação e superresolução. [3] S. Chaudhuri. Super-Resolution Imaging. Kluwer Academic Publishers, Boston, MA, Estados Unidos, [4] F. B. da Silva. Super-Resolução Utilizando Quadros Chaves em Sequências de Vídeo de Resolução Mista. Master s thesis, Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, [5] L. L. de Almeida and A. M. G. Tommaselli. Melhoramento da Resolução a partir de Sequências de Imagens. Boletim de Ciências Geodésicas, 9(2): , Julho-Dezembro [6] R. Destobbeleire. Super-Resolution. Technical report, Instituto de Matemática Pura e Aplicada, Rio de Janeiro-RJ, [7] W. T. Freeman, T. R. Jones, and E. C. Pasztor. Examplebased Super-Resolution. IEEE Computer Graphics and Appications, 22(2):56 65, Março [8] R. C. Gonzalez and R. E. Woods. Processamento de Imagens Digitais. Edgard Blucher Ltda, São Paulo, SP, Brasil, [9] M. Irani and S. Peleg. Improving Resolution by Image Registration. Graphical Models and Image Processing, 53(3): , Maio [10] Z. X. Jian Sun, Jian Sun and H.-Y. Shum. Image Super- Resolution using Gradient Profile Prior. IEEE Conference on Computer Vision and Pattern Recognition, [11] Z. X. Jian Sun, Jian Sun and H.-Y. Shum. Gradient Profile Prior and Its Applications in Image Super-Resolution and Enhancement. IEEE Transactions on Image Processing, [12] X. Liu, D. Song, C. Dong, and H. Li. MAP-Based Image Super-Resolution Reconstruction. Proceedings of World Academy of Science, Engineering and Tecnology, 37: , [13] W. Lucien. Definitions and Terms of Reference in Data Fusion. IEEE Transactions on Geosciences and Remote Sensing, 37(3): , [14] W. Lucien, T. Ranchin, and M. Mangolini. Fusion of Satellite Images of Different Spatial Resolutions: Assessing the

6 Quality of Resulting Images. Photogrammetric Engineering & Remote Sensing, 63: , [15] A. J. Patti and Y. Altunbasak. Artifact Reduction for Set Theoretic Super Resolution Image Reconstruction with Edge Adaptive Constraints and Higher-Order Interpolants. IEEE Transactions on Image Processing, 10(1): , Janeiro [16] H. Pedrini and W. Schwartz. Análise de Imagens Digitais - Princípios, Algoritmos e Aplicações. Pioneira Thomson, [17] RadPath. Radiology/Pathology Correlation Module (Rad- Path), Cases/bwh/hcache/group0-index.html. [18] C. Rubert, L. Fonseca, and L. Velho. Super-Resolução de Imagens de Sensores Remotos Usando a Transformada de Cor YUV para Estimação das Altas Frequências. In IV Workshop dos Cursos de Computação Aplicada. INPE, [19] A. Rézio and H. Pedrini. Avaliação de Interpoladores para Super-Resolução de Vídeos. In VI Workshop de Visão Computacional (WVC 2010), pages , Presidente Prudente-SP, Julho [20] R. R. Schultz and R. L. Stevenson. Extraction of High- Resolution Frames from Video Sequences. IEEE Transactions on Image Processing, 5(6): , Junho [21] M. A. B. G. Telles Jr. Fusão de Imagens de Sensoriamento Remoto Utilizando a Transformada Wavelet. Master s thesis, Universidade de Brasília, [22] M. A. B. G. Telles Junior. Super-Resolução de Imagens de Sensoriamento Remoto. PhD thesis, Universidade de Brasília, [23] M. A. B. G. Telles Junior and A. Santa Rosa. Super- Resolução de Imagens CBERS 2. In XIII Simpósio Brasileiro de Sensoriamento Remoto, pages , Florianópolis, SC, Brasil, Abril [24] H. S. Z. Wang, A. Bovik and E. Simoncelli. Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Transactions on Image Processing, 13(4): , Abril [25] M. V. W. Zibetti. Super-Resolução Simultânea para Sequência de Imagens. PhD thesis, Universidade Federal de Santa Catarina, Departamento de Engenharia Elétrica, 2007.