Abstract. 1. Introdução

Transcrição

1 Registro de Imagens por Correlação de Fase para Geração de Imagens Coloridas em Retinógrafos Digitais Utilizando Câmera CCD Monocromática de Alta Resolução José A. Stuchi Marcelo A.C. Vieira Evandro L. L. Rodrigues Departamento de Engenharia Elétrica - Escola de Engenharia de São Carlos Universidade de São Paulo - USP jose.stuchi@.usp.br mvieira@sc.usp.br evandro@sc.usp.br Abstract The analysis of retina allows the diagnostic of several pathologies related to the human eye. Image quality is an important factor since the physician often examines the retina small vessels and its color. Thus, aiming at improving image quality, a fundus camera can be developed using a high resolution monochromatic CCD camera, where RGB color images are acquired by switching the eye illumination with chromatic light: red, green and blue. However, the short period between the flashes may cause misalignment among the channels because of the small movements of the eye. Thus, this work presents a image registration technique, based on phase correlation, to acquire high resolution color images of the retina by aligning monochromatic channels R, G and B. Results using 50 misaligned images of an ocular imaging eye model showed that the registration method proposed in this work can produce high quality color images of the retina. 1. Introdução Várias doenças oculares podem ser diagnosticadas através da observação das imagens da retina, tais como retinopatia diabética, glaucoma, retinose pigmentar e degeneração macular relacionada à idade. Além dessas doenças, a análise dos vasos sanguíneos (artérias e veias da retina) possibilita a detecção de outras patologias, como hipertensão, toxoplasmose, diabetes, câncer e leucemia [1]. Isto se deve ao fato da retina ser a única região do corpo humano em que a condição vascular do paciente pode ser observada ao vivo [2], de maneira não invasiva, e as características dos vasos podem revelar bastante informação a respeito da saúde do paciente. Dentre os equipamentos para observação do fundo do olho, destaca-se o retinógrafo digital. Esse equipamento é composto por um conjunto de lentes, espelhos, filtros e câmeras que têm por objetivo aplicar uma iluminação homogênea na retina e, após o alinhamento, realizar a captura de uma imagem ou vídeo da região iluminada [3]. Na maior parte dos casos, o retinógrafo permite a realização de dois tipos de exame: as angiografias e as retinografias [3]. Como as estruturas do olho são muito pequenas e um minúsculo vazamento em algum vaso, se não detectado a tempo, pode provocar graves lesões e até mesmo a perda da visão, existe a necessidade de aumentar a resolução e qualidade das imagens capturadas, permitindo ao médico visualizar pequenas estruturas com mais detalhes e zoom e, dessa forma, melhorar o tratamento e evitar que as lesões atinjam estados mais graves. Assim, um dos desafios no desenvolvimento de um retinógrafo é o aumento da resolução espacial das imagens capturadas, o que está bastante relacionado à qualidade óptica e ao tipo de sensor utilizado [3]. Dentre os retinógrafos digitais, destacam-se os retinógrafos com CCDs coloridos e com CCDs monocromáticos. Nos CCDs coloridos, normalmente a imagem é formada a partir de uma técnica conhecida como filtro de Bayer [4]. Neste caso, um filtro espectral é depositado de modo que apenas uma faixa específica do espectro visível atinja cada elemento sensível do CCD. Dessa forma, cada pixel do CCD recebe apenas a informação de um canal de cor e, para a formação da imagem colorida final, é necessário um processo de interpolação matemática, o que causa perda de resolução espacial. No caso de retinógrafos que utilizam CCDs monocromáticos, a imagem é capturada diretamente sem a utilização do filtro de Bayer e, dessa forma, o processo de interpolação não é necessário. Nesse caso, as imagens apresentam maior resolução espacial. Para se obter imagens coloridas utilizando esse tipo de sensor, duas técnicas podem ser empregadas: uso de três sensores e flash branco ou uso de um único sensor e chaveamento de flashes coloridos RGB. Na primeira solução, utilizam-se três CCDs monocromáticos, um para cada canal de cor, e o objeto é iluminado com um único flash branco, cujo sinal refletido é filtrado em três componentes (vermelha,

2 verde e azul) que é capturado por seu respectivo CCD. Nesse caso, o custo deve ser levado em conta, uma vez que os sensores de alta resolução e grande sensibilidade, normalmente utilizados em retinografia, apresentam alto custo. Já para a segunda solução, utiliza-se apenas um CCD e, nesse caso, é necessária a captura de três imagens iluminadas com flash vermelho, verde e azul, espaçados por um pequeno intervalo de tempo (Figura 1). A grande vantagem do CCD monocromático em relação ao colorido é o fato do primeiro não utilizar o filtro de Bayer e, nesse caso, não há perda de resolução espacial por interpolação na obtenção das imagens [5]. Além disso, no contexto dos principais exames da retina, apenas um exame necessita da imagem colorida, sendo que os outros são realizados usando imagens em níveis de cinza. Dessa forma, o uso de sensores monocromáticos torna-se uma solução bastante viável para reduzir os custos e melhorar a qualidade das imagens produzidas por retinógrafos digitais. No entanto, existem várias dificuldades ao se utilizar um único sensor monocromático para a obtenção de imagens coloridas da retina. Os principais problemas observados se resumem na calibração da potência da iluminação, normalmente realizada com LEDs, e no fato do olho movimentar-se durante os três flashes. Figura 1: Captura usando CCD monocromático para composição de imagem colorida O tempo entre cada flash depende, na maioria dos casos, da taxa de aquisição da câmera. Como, normalmente, câmeras de alta resolução são utilizadas nos equipamentos para aumentar a qualidade da imagem, a quantidade de quadros por segundo que ela pode capturar é baixa, o que faz com que o tempo entre os flashes seja, comumente, maior que 100 ms. Nesse intervalo, o olho pode movimentar-se, voluntária ou involuntariamente, e desalinhamentos entre os canais podem ser observados. Para resolver problemas deste tipo, existem vários métodos de registro de imagens, que consistem na sobreposição de duas ou mais imagens capturadas em tempos diferentes da mesma cena, de pontos de vista diferentes e, ainda, podendo ser de diferentes sensores ou com iluminação diferente. Esses métodos são cruciais em sistemas em que a informação final depende da combinação de várias fontes de dados, como é o caso de fusão e mosaico de imagens, detecção de movimento, criação de imagens com super-resolução e restauração de imagens multicanal [6], na qual se concentra o tema desse trabalho. A maioria das técnicas de registro de imagens consiste em quatro fases: detecção de características, busca e localização das características, estimativa do modelo de transformação e formação da nova imagem. Na detecção das características, objetos salientes e distintos, como bordas, contornos e cantos, são detectados na imagem referência, formando o conjunto de características consideradas razoáveis para a busca nas próximas imagens. Obtido esse conjunto, inicia-se o processo de localização das características. Nessa fase, a correspondência entre as características da imagem referência e a imagem a ser sobreposta são estabelecidas. Tendo sido feita a correspondência, inicia-se a fase que estima o modelo de transformação, que consiste na estimativa dos tipos e parâmetros da função de mapeamento que faz a imagem referência ser alinhada com a nova imagem. Por fim, tendo sido estimado o modelo de transformação, a nova imagem é transformada e alinhada em relação à referência utilizando as funções de mapeamento e as técnicas de interpolação apropriadas [6]. No entanto, o método de alinhamento das imagens da retina obtidas com diferentes fontes iluminadoras, como é o caso desse trabalho, apresenta certos problemas e deve ser robusto a alguns fatores, tais como: mudanças de intensidade introduzidas por ruídos, a não-uniformidade da imagem, à variação da iluminação e também ao borramento da imagem pela perda de foco. Tais fatores devem ser considerados, uma vez que as imagens, por serem iluminadas com fontes de diferentes comprimentos de onda (vermelho, verde e azul), possuem informações e intensidades diferentes, conforme pode ser observado na Figura 2, na qual a diferença de informação entre os três canais é nítida, principalmente do canal vermelho em relação aos demais. Dessa forma, se tais fatores não forem levados em conta no desenvolvimento do método, a eficiência do mesmo pode ser baixa no processo de alinhamento entre os canais. Figura 2: Imagens da retina iluminadas com R (à esquerda), G (no centro) e B (à direita)

3 Assim, métodos clássicos como o de correlação cruzada (cross correlation) que exploram a busca direta das intensidades da imagem, sem análise estrutural, estão muito sujeitos aos fatores citados [6] e apresentam baixa eficiência no processo de alinhamento dos canais da retina. Além disso, esses métodos dependem de um alto poder computacional, principalmente se as imagens são grandes, uma vez que se baseiam na busca exaustiva e por comparação pixel a pixel de um template pré-definido da imagem referência na imagem a ser alinhada. Nesse contexto, o método de correlação de fase (phase correlation) apresenta-se como uma boa solução ao problema de alinhamento dos canais da retina. Este método explora as características da imagem no domínio da frequência e, além de possuir um menor custo computacional, possui forte robustez contra ruídos dependentes da frequência, não uniformidade e alterações na iluminação com o tempo [6]. O método de correlação de fase já foi utilizado em trabalho recente [7] para o registro de duas imagens da retina obtidas com a mesma fonte de luz (infravermelha). No entanto, a abordagem de realizar o registro de três imagens provenientes de diferentes fontes de luz (vermelho, verde e azul), é inédita, uma vez que as imagens a serem alinhadas apresentam diferenças significativas, conforme pode ser visualizado na Figura 2. Dessa forma, o objetivo deste trabalho é apresentar um método para registro de imagens da retina, iluminadas com luz vermelha, verde e azul em diferentes e pequenos intervalos de tempo entre os flashes, utilizando correlação de fase. Isso possibilita tanto a realização dos exames monocromáticos citados quantos os coloridos, utilizando apenas um sensor monocromático. Como esses intervalos são pequenos, neste trabalho está sendo proposto um método para corrigir a translação causada pelo movimento do olho durante a captura das três imagens, sendo que a rotação e escala serão tratados em trabalho futuro. 2. Metodologia O método de registro por correlação de fase é aplicado no domínio da frequência e se baseia no Teorema do Deslocamento de Fourier [7]. Basicamente, calcula-se o produto espectral cruzado entre a imagem de referência e a imagem a ser alinhada e procura-se pela localização de picos na matriz resultante no domínio do espaço. Considere o par de imagens F 1 (imagem referência) e F 2 (imagem a ser alinhada), sendo que F 2 é caracterizada pela translação de F 1 por um offset de (x 0, y 0 ) [8]:, =, (1) A propriedade do deslocamento de Fourier afirma que um deslocamento da imagem do espaço resulta em um deslocamento na fase do sinal na frequência:, F, e (2) Dessa forma, temos no domínio da frequência: F, =F, e (3) O fator de deslocamento de fase exponencial pode ser computado pelo produto espectral cruzado, que é dado por:, = F, F, F, F, =e (4) Fazendo a transformada inversa de Fourier do produto espectral cruzado, chega-se na matriz de offset espacial:, =, (5) Com a matriz do produto espectral no espaço,,, basta localizar o ponto máximo da matriz, que caracteriza o pico de correlação. Para remover problemas causados por imperfeições no CCD ou no conjunto de lentes, como pequenos pontos de poeira, o qual caracteriza concentração de pontos na origem do produto espectral calculado, um filtro notch foi aplicado suprimindo uma região de raio 2 em torno da origem do espaço,. O desenvolvimento das rotinas presentes no método proposto foi realizado utilizando a IDE C++ Builder 2010 e a biblioteca de processamento de imagens OpenCV 1.0. As imagens utilizadas para o alinhamento são obtidas por um retinógrafo Opto com CCD monocromático de 11 Megapixels aproximadamente (4008 x 2672 pixels), sendo que imagens coloridas são formadas pelo chaveamento e captura de três imagens monocromáticas distintas, iluminadas com LEDs com comprimentos de onda 626 nm (vermelho), 528 nm (verde) e 463 nm (azul). 3. Resultados A seguir segue um exemplo da aplicação do método proposto. A Figura 3 mostra a imagem original do olho humano obtida pelo retinógrafo, sem o alinhamento proposto nesse trabalho. Nessa figura, pode-se observar o desalinhamento entre os canais, que forma um efeito de sombra nos vasos retinianos e degrada a qualidade da imagem.

4 Figura 5: Canal G (à esquerda) e B (ao centro) antes da correção e a representação espacial do produto espectral cruzado entre eles (à direita) Figura 3: Imagem original com canais desalinhados A imagem capturada é, então, separada nos canais vermelho, verde e azul. Como, geralmente, o canal verde possui maior contraste para imagens do fundo do olho, esse foi considerado como canal base e o canal vermelho e azul são alinhados em relação a ele. Na Figura 4, podem-se visualizar os canais G e R extraídos da imagem. Também é notável a diferença de informação e intensidade entre as duas imagens, sendo que no canal vermelho existe pouca informação dos vasos retinianos se comparado ao verde. Com os dois canais, o produto espectral cruzado entre eles é calculado e é também exibido na Figura 4 (à direita). Nessa representação, o ponto vermelho foi introduzido apenas como referência para indicar o centro da imagem, local em que o deslocamento horizontal e vertical é zero. O produto espectral foi normalizado de 0 a 255 e um threshold foi aplicado para remover pontos inferiores ao nível de cinza 200, facilitando, dessa forma, a visualização dos picos, que indicam o deslocamento entre os canais. Nessa representação do produto espectral, pode-se visualizar um ponto branco à esquerda do centro e, depois de calculado o deslocamento usando o método proposto, conclui-se que o canal vermelho está deslocado 95 pixels na horizontal e 4 pixels na vertical em relação ao canal verde. Figura 4: Canal G (à esquerda) e R (no centro) antes da correção e a representação espacial do produto espectral cruzado entre eles (à direita) Na Figura 5, os canais G e B são exibidos. Diferentemente do canal vermelho, o canal azul apresenta informação bastante parecida com o canal verde, o que melhora o resultado da correlação de fase. Ao calcular o produto espectral cruzado entre ambos, temos o resultado exibido à direita da Figura 5. Nessa, observa-se o ponto de pico também à esquerda do centro, indicando que o canal azul está deslocado 77 pixels na horizontal e 11 pixels na vertical em relação ao canal verde. Tendo sido obtidos os deslocamentos entre os canais, a imagem é corrigida aplicando translação. Na Figura 6, a imagem com os canais alinhados é exibida. Nota-se, nessa imagem, que o efeito de sombra criado pelo desalinhamento não está mais presente, além da imagem apresentar uma maior definição dos vasos. Figura 6: Imagem corrigida com canais alinhados Na Figura 7 é apresentada uma comparação entre duas imagens de uma região do nervo óptico; uma obtida em um retinógrafo Canon CX-1 com câmera CCD colorida de 16 Megapixels e outra obtida no sistema proposto nesse trabalho. A figura tem apenas caráter ilustrativo, uma vez que não são imagens do mesmo olho. Além disso, a definição da imagem não depende apenas da característica do sensor, mas também do projeto e qualidade dos componentes ópticos dos dois equipamentos, além da quantidade de iluminação e acoplamento no paciente.

5 Figura 7: Imagens do nervo óptico. À esquerda: obtida com uma câmera colorida de 16 Megapixels no equipamento Canon CX-1; à direita: obtida com uma câmera monocromática de 11 Megapixels considerando a arquitetura proposta nesse trabalho. 4. Avaliação dos Resultados Para a avaliação do método proposto, foi utilizado um modelo de olho mecânico da Ocular Instruments Inc. Não foi possível utilizar o olho humano paraa essa avaliação, uma vez que se torna impossível conseguir duas imagens da retina na mesma condição, sendo uma obtida com o sistema proposto e a outra com a arquitetura tradicional (câmera colorida e flash branco). Como o olho mecânico está fixo e não apresenta movimentação entre os flashes, como ocorre no olho humano, não houve desalinhamento entre os canais e uma imagem referência (ground-truth) pôde ser gerada para a avaliação do desempenho do método. Para a avaliação, foram obtidos 50 conjuntos de imagens do olho mecânico com diferentes configurações de iluminação, foco e posicionamento. Cada conjunto contêm duas imagens: uma imagem colorida obtida com o olho parado (referência) e outra obtida com a movimentação feita manualmente entree os flashes. A imagem do olho desalinhada é então corrigida pelo método proposto e comparada com a imagem referência. Figura 8: Imagem referência do olho mecânico (esquerda), imagem desalinhada (centro) e imagem corrigida (direita) Na Figura 8 é apresentada uma imagem original do olho mecânico, a imagem com o desalinhamento entre os canais e a imagem corrigida após a aplicação do método proposto. Com o conjunto de imagens, o métodoo de correção foi aplicado a cada imagem desalinhada e o resultado obtido foi comparado com a imagem original. Nessa comparação, um quadrado de lado 1200 pixels do centro de cada uma das imagens foi tomado para o cálculo do erro. Esse quadrado foi utilizado para remover a região da máscara circular preta (visível nas imagens da Figura 8) inserida via software na imagem que, depois da correção, é diminuída para remover o efeito do desalinhamento fora da região útil da imagem. Para a avaliação dos resultados, a imagem colorida foi convertida para grayscale, uma vez que a informação de cor não é relevante para o cálculo do erro do desalinhamento. Métodos objetivos de avaliação de qualidade da imagem foram calculados considerando medidas de similaridade entre as imagens de referência e as corrigidas. Nesse trabalho, foram considerados os seguintes parâmetros: o NMSE (Normalized Mean Square Error) [9], o PSNR (Peak Signal-to-Noise Ratio) [9] e o MSSIM (Mean Structural Similarity Index) [10]. Para o conjunto mostrado na Figura 8, o NMSE encontrado foi 0,00123, o PSNR foi 45,60 db e o MSSIM foi 0,9880, mostrando grande similaridade entre elas. Da mesma forma, os cálculos acima foram realizados para todos os 50 conjuntos de imagens e o valor médio e o desvio padrão obtidos foram: é =0,00175 ã = 0,00304 é =42,69 ã = 3,91 é =0,9823 ã = 0,0050 Considerando os valores encontrados, nota-se que o método foi bastante eficiente para a correção do desalinhamento entre os canais das imagens do olho mecânico. O valor médio de NMSE e o PSNR mostraram que o erro entre as imagens foi bastante baixo. Além disso, a medida do MSSIM com valor médio próximo de 1 mostra que as imagens corrigidas são bastante similares às imagens de referência, comprovando à eficiência do método de alinhamento proposto. Em relação ao tempo de processamento do método, ao ser executado em uma máquina Intel Core 2 Duo de 2.2 GHz com 2 Gb de memória RAM, a média foi de 1,2 s, o que permite que a foto seja alinhada e exibida durante o exame, sendo, dessa forma, um processo transparente ao usuário devido ao pequeno tempo de processamento para o alinhamento. 5. Conclusão O método proposto se caracteriza como uma ferramenta automática e bastante robusta para o alinhamento de imagens coloridas da retina formadas através de três imagens monocromáticas do olho, iluminado com vermelho, verde e azul.

6 Um fator bastante interessante do método é a capacidade de alinhar imagens com diferenças significativas de informação, como é o caso do canal vermelho que apresenta bastante diferença em relação ao azul e verde. Tal fato ocorre devido à robustez do método de correlação de fase em relação a diferenças de iluminação nas imagens a serem alinhadas. Os resultados obtidos foram bastante satisfatórios. Quando testado para corrigir desalinhamento no olho mecânico, o método resultou em uma taxa de erro baixa, conforme apresentado na seção anterior, o que o caracteriza como bastante confiável para o alinhamento. Para casos clínicos reais, o mesmo se comporta da mesma forma e casos de erro de alinhamento não foram detectados por análise visual de três especialistas em mais de 500 imagens obtidas. Outro importante fator dessa nova arquitetura usando um sensor monocromático e LEDs cromáticos para a obtenção da imagem colorida é o fato de que uma única imagem colorida possibilita disponibilizar para o médico, além da imagem original, os três canais RGB separadamente. Como o exame de red free é realizado iluminando a retina com iluminação verde, esse não é mais necessário de ser realizado, dado que basta obter da imagem colorida o frame que representa o canal verde, diminuindo assim o tempo de exame e desgaste do paciente. Devido às características apresentadas, o método de correção proposto viabiliza o projeto de utilizar apenas um CCD monocromático para a obtenção de imagens coloridas da retina, uma vez que consegue, satisfatoriamente, corrigir os pequenos movimentos do olho entre os flashes em um tempo aceitável. Tal fato propicia benefícios quanto à qualidade da imagem, uma vez que o uso do sensor monocromático possibilita o aumento da resolução espacial em relação a equipamentos com CCDs coloridos que utilizam o filtro de Bayer. Outro fator bastante interessante é o fato de que, a maioria dos exames da retina utiliza imagens em níveis de cinza e, conforme apresentado na validação e no trabalho de Yotam [5], o sensor colorido apresenta perda significativa de resolução espacial em relação ao monocromático. Dessa forma, consegue-se uma imagem com maior resolução espacial, tanto para imagens coloridas quanto para imagens em níveis de cinza. Outro fator que se deve levar em consideração é a redução no custo, uma vez que o preço dos sensores de alta resolução é geralmente muito alto, sendo, dessa forma, responsável por uma parcela significativa no valor final do produto. Ao se utilizar apenas um CCD monocromático, há uma economia significativa em relação ao uso de um sensor colorido ou três sensores monocromáticos para o mesmo fim. Tal fato possibilita maior acesso ao equipamento pela comunidade oftalmológica e, consequentemente, melhor detecção e tratamento de doenças. 6. Referências [1] T. B. Oliveira, L. C. Trevelin, F. M. A. Moreira, V. S. Bagnato, P. Schor e L. A. V. Carvalho, Desenvolvimento e resultados preliminares de um sistema cromático de iluminação para oftalmoscópios indiretos, Arquivos Brasileiros de Oftalmologia, pp , Março [2] J. Chen e J. Tian, Retina Vessel Enhancement Based on Directional Field, Proceedings of SPIE Medical Imaging 6914, , [3] F. P. Viera e E. L. Rodrigues, Influência do Uso de Sensores Coloridos em Retinógrafos, VII Workshop de Visão Computacional, pp , [4] R. G. Modugno, Uma Contribuição ao Projeto de Retinógrafos Digitais (Mestrado), São Carlos: EESC-USP, [5] E. Yotam, P. Ephi e Y. Ami, MTF for color Bayer pattern detector, Proceedings of SPIE 6567, [6] B. Zitová e J. Flusser, Image registration methods: a survey, Image and Vision Computing 21, pp , [7] L. Schardosim, J. Scharcanski, D. Santos e J. A. Stuchi, Motion Detection in Infrared Retinal Image Sequences, Instrumentation and Measurement Technology Conference 10, pp. 1-5, 12 Maio [8] R. C. Gonzales, R. E. Woods e S. L. Eddins, Digital Image Processing Using Matlab, Prentice Hall, [9] W. K. Pratt, Digital Image Processing, Los Altos - California: Wiley, [10] Z. Wang e A. C. Bovik, Mean squared error: Love it or leave it? A new look at Signal Fidelity Measures, IEEE Signal Processing Mag, vol. 26, n. 1, pp , [11] Z. Wang, A. C. Bovik, H. R. Sheikh e E. P. Simoncelli, Image Quality Assessment: From Error Visibility to Structural Similarity, IEEE Transactions on Image Processing, vol. 13, n. 4, pp , 2004.