AVALIAÇÃO DO REGISTRO DAS BANDAS DE IMAGENS OBTIDAS POR CÂMARAS MULTIESPECTRAIS

Transcrição

1 AVALIAÇÃO DO REGISTRO DAS BANDAS DE IMAGENS OBTIDAS POR CÂMARAS MULTIESPECTRAIS UNESP, Universidade Estadual Paulista, Faculdade de Ciências e Tecnologia, Dep. de Cartografia , Presidente Prudente, (galo, hasegawa, tomaseli, nnimai)@prudente.unesp.br RESUMO O uso de câmaras digitais é crescente em uma série de atividades de natureza métrica. Dentre as câmaras disponíveis têm-se as câmaras multiespectrais, nas quais a parte sensora é composta, normalmente, por mais de um dispositivo do tipo CCD (Charge-Coupled Device) ou CMOS (Complementary Metal Oxide Semiconductor). Como exemplo de uma câmara digital multiespectral tem-se a câmara infravermelha DuncanTech MS CIR, composta por três sensores CCD, sendo um para a banda Infravermelha (IV), outro para a banda do Vermelho (R) e outra na região Verde (G) do espectro eletromagnético. Uma vez que entre o sistema de lentes e cada um dos sensores têm-se elementos ópticos como prismas e filtros, dentre outros, que provocam desvios do feixe incidente, este trabalho tem como propósito principal avaliar o registro entre as bandas, a partir de medidas com qualidade subpixel, realizadas para cada uma das bandas. A partir destas medidas é feita uma avaliação estatística das discrepâncias nas componentes (coluna, linha) para as bandas IV-R e IV-G. Os experimentos realizados e os testes estatísticos indicam a existência de translações não nulas entre as bandas, sendo importante a sua consideração em algumas aplicações de natureza métrica, principalmente aquelas nas quais se pretende fazer a reconstrução da geometria 3D dos objetos, a partir do uso de múltiplas imagens. PALAVRAS CHAVE: Câmaras Multiespectrais, Registro de Imagens, Sensor CCD, Subpixel, Câmaras Digitais. ABSTRACT - The use of digital cameras is increasing in several metric applications, and one kind of camera is the multispectral one, in which one or more CCD (Charge-Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensors are usually available. The DuncanTech MS3100 CIR camera is one example of a multiespectral camera. This camera is composed by three CCD sensors: Infra Red (IV), Red (R) and another for the Green (G) region of spectrum. Since that between the lens objective and the CCD sensors there are optical elements like prisms and filters, some additional deviation in the bundle of rays is expected. So, the aim of this paper is to evaluate the registration between the channels, by measures that were obtained from images by using a semi-automatic subpixel point extraction technique. From the coordinates available in each channel, for a set of target (corner points and center of circular symmetry), the discrepancies on the components (columns, lines) are computed. The carried out experiments and the statistical tests indicate the existence of translations between the channels, being important its consideration in some applications, mainly those where images are used to recover the 3D geometry of objects. KEYWORDS: Multispectral Cameras; Image Registration; CCD Sensor; Subpixel; Digital Cameras. 1 INTRODUÇÃO E OBJETIVOS O uso de câmaras digitais é crescente em uma série de aplicações e áreas do conhecimento. Dentre elas pode-se destacar a inspeção industrial, segurança, mapeamento, agricultura de precisão, dentre outras. Dos tipos de sensores de imageamento disponíveis, de especial interesse em aplicações ligadas à agricultura de precisão são as câmaras multiespectrais. Em função da maior amplitude espectral destas câmaras, várias informações podem ser extraídas destas imagens, desde que conhecidos os padrões de interação entre os alvos de interesse, para os intervalos espectrais considerados. Como exemplo de câmara multiespectral pode-se mencionar a câmara DuncanTech MS3100 CIR (Color- InfraRed). Esta câmara é composta por três sensores CCD, como apresentado na próxima seção. Nesta câmara, entre os sensores e a objetiva têm-se alguns dispositivos

2 ópticos e quando o modo CIR é escolhido, as imagens são salvas fazendo-se a combinação dos níveis digitais das bandas IV, R e G; cada uma gerada por um sensor. Deste modo, este trabalho tem como objetivo a avaliação do registro entre estas três bandas. Esta análise é possível a partir da disponibilidade das coordenadas dos alvos medidos nas três bandas, sendo para isso usado um procedimento semi-automático no qual inicialmente é feita uma pontaria manual, e posteriormente um refinamento com qualidade subpixel, descrito na seção 3. É importante lembrar que em algumas aplicações em Fotogrametria, o uso de observações com qualidade subpixel é necessária, como ressaltado por Tang e Heipke (1996). Este tipo de refinamento, entretanto, não é necessário em todas as aplicações. CÂMARAS MULTIESPECTRAIS E O REGISTRO ENTRE BANDAS Nesta seção é feita uma descrição sucinta da câmara e da objetiva utilizada..1 Câmara Multiespectral DuncanTech MS3100 A câmara multiespectral DuncanTech MS CIR (Figura 1) é uma câmara que possui três sensores: na banda infra-vermelho (IV), vermelho (R) e verde (G) do espectro. Estes sensores são chips de silício do tipo CCD (Charge-Coupled Device). Além dos componentes mencionados, o sistema óptico inclui películas que têm a função de filtrar alguns comprimentos de onda, permitindo sua separação e direcionamento, para os diferentes sensores CCD da câmara. Estas películas, denominadas películas dicróicas (dicrhoic coating), são localizadas entre os prismas do sistema (Hi-Tech, 005). Na seqüência são apresentadas algumas características técnicas básicas, tanto da câmara quando da objetiva que compõe o sistema utilizado neste trabalho: Câmara Multiespectral DuncanTech; Modelo MS3100 CIR (Part N o , N o. Série 15); Dispositivo sensor composto por 3 CCDs de ½ (6,4 4,8mm); Dimensão das imagens: 139(h)x1039(v); Objetiva Tokina AT-X Pro (N o série: ), φ77mm; Lentes asféricas; Distância focal nominal 17mm.. Registro entre os canais IV, R e G O aplicativo disponibilizado pelo fabricante da câmara permite o controle e a escolha do modo como as imagens obtidas com a câmara DuncanTech MS3100 CIR podem ser salvas. Uma vez que o modo infravermelho é de grande interesse em Sensoriamento Remoto, mais especificamente em aplicações na agricultura de precisão, este será o modo considerado neste trabalho. Na Figura 3 são apresentadas duas regiões, de uma imagem aérea adquirida com esta câmara. Figura 1. Câmara DuncanTech MS3100. Fonte: Redlake (003). Através da Figura pode ser observada a estrutura desta câmara, sendo mostrados a objetiva, os três sensores CCD, bem como os prismas e filtros situados entre a objetiva e os sensores. a) b) Figura 3. Dois trechos de uma imagem obtida com a câmara Duncantech MS3100 CIR. Figura. Componentes básicos da câmara Duncantech MS CIR. Fonte: Hi-Tech (005). Pode-se observar que estas imagens estão ampliadas e apresentam naturalmente um certo grau de suavização. Além disso, pode-se notar, principalmente nas bordas de algumas feições, uma leve modificação nas cores, que pode ser decorrente, dentre outros fatores, do registro entre as bandas.

3 Com o intuito de avaliar se existe, ou não, diferenças no registro entre as bandas, bem como a sua significância, apresenta-se na seção 3 o procedimento adotado para esta análise. Objeto Quina 3 PROPOSTA PARA A QUANTIFICAÇÃO DO REGISTRO ENTRE OS CANAIS IV, R E G Ampliação Para a avaliação do registro entre as bandas, as seguintes etapas são consideradas: i Aquisição das imagens, no modo CIR; ii Seleção dos pontos a serem usados na análise; iii Medição das coordenadas aproximadas dos pontos selecionados (pontaria manual), em todas as imagens; iv Para as imagens adquiridas, fazer a separação dos canais, gerando imagens nas bandas IV, R e G; v Para todas as imagens obtidas na etapa (iv) fazer a aplicação da extração de pontos, com qualidade subpixel, usando os pontos medidos na etapa (iii) como valores aproximados; vi A partir destas coordenadas, calcular as discrepâncias nas componentes C, entre as bandas IV e R, bem como para as bandas as IV e G; vii Repetir os cálculos da etapa (vi) para a componente L; viii Realizar a análise estatística das discrepâncias em C e L, obtendo os valores C e L. Na etapa (vi) e (vii) são calculadas as discrepâncias entre as bandas R e G, com relação à banda IV. Neste caso, a banda considerada de referência foi a IV, mas poderia ser outra qualquer. Deste modo, caso as discrepâncias obtidas sejam significativas, as bandas R e G poderão ser registradas à banda IV. Na seção 3.1 é apresentado o principio da medição com qualidade subpixel utilizado neste trabalho, baseado em Haralick e Shapiro (1993), Förstner (1986) e Galo e Tozzi (00). 3.1 Princípio da medição de pontos com qualidade subpixel Para a obtenção da posição de quinas com acurácia subpixel pode-se usar o fato de que uma quina é formada pela interseção de dois (ou mais) segmentos lineares ou, em outras palavras, como sendo localizada na interseção dos vetores perpendiculares às direções de máximo gradiente sobre as bordas (Figura 4). g(l i,c i) - Direção de máximo gradiente (sobre as bordas). g o(l i,c i) Vetores perpendiculares a g(l i,c i). Figura 4. Princípio da obtenção de quinas a partir dos vetores perpendiculares aos vetores de máximo gradiente g(l,c). Adaptado de Galo e Tozzi (00). Designando a direção de máximo gradiente em um determinado pixel de posição (Linha,Coluna)=(L,C) por g(l,c) e o vetor ortogonal à direção de máximo gradiente por g o (L,C), pode-se observar que a interseção dos vetores g o (L,C), obtidos sobre cada ponto da borda, se dá na interseção procurada, ou seja, na quina. Representando por (L i,c j ) a posição de um ponto genérico i da borda e por (L o,c o ) a posição da quina a ser determinada, e considerando ainda que as bordas sejam representadas pela equação da reta na forma polar, a seguinte equação pode ser escrita: ni = ρ( Li, Ci) Locosθ Cosen θ = 0, (1) onde n i representa a distância entre a quina (L o,c o ) e a feição reta determinada por (ρ, θ), como pode-se ver na Figura 5. O θ i L ρ i. (L i,c i ) C Quina situada na posição (L o,c o ) Ponto situado sobre uma das bordas Figura 5. Posição da quina procurada (L o,c o ) e reta passante pelo ponto (L i,c i ) da borda. Se dentro de uma dada janela composta por m elementos (pixels) existir uma quina cuja posição seja dada por (L o,c o ), pode-se escrever um sistema de m equações na forma da Equação 1 e os parâmetros L o e C o

4 podem ser estimados num processo de ajustamento pelo Método dos Quadrados Mínimos. Ao utilizar no ajustamento todos os m pixels desta janela, é coerente considerar que os pontos situados nas bordas devem ter uma influência maior do que os demais. Uma maneira natural de considerar a maior influência dos pontos da borda é utilizar como fator de peso a magnitude do gradiente. Uma vez que os pontos de borda possuem maior gradiente, pode-se utilizar a Equação 1 com a ponderação sugerida por Haralick e Shapiro (1993, p. 336), podendo-se escrever a seguinte função: m ( Lˆ o, Ĉo) = o ( ρ( Li, Ci) Lˆ ocosθi Ĉ senθi ) w i Ω. () i= 1 onde w i = gi = gli + gci, sendo g Li e g Ci os componentes do gradiente ao longo das linhas e colunas, respectivamente. Deste modo, a estimativa da posição da quina, representada por ( Lˆ o,ĉo) pode ser feita considerando o fato de que o ponto de quina é aquele que minimiza a função definida na Equação. Este desenvolvimento pode ser visto em Haralick e Shapiro (1993, p. 341) e Galo e Tozzi (00, p. 99). Fazendo as derivadas parciais iguais a zero, bem como as simplificações adequadas, chega-se a uma solução simples para os parâmetros ( Lˆ o,ĉo). Esta solução pode ser obtida diretamente por Lˆ o g + Li gligci ( Lig Li Cig LigCi ) =.(3) Ĉo gcigli gci ( CigCi + Lig LigCi ) Observando a Equação 3 pode-se notar que para o cálculo de ( Lˆ o,ĉo) basta que se conheçam as posições dos pixels (L i,c i ) bem como os gradientes em cada ponto. Os gradientes ao longo das linhas ( g Li ) e colunas ( g Ci ) podem ser obtidos a partir das máscaras de SOBEL (Gonzales e Woods, 1993), por exemplo. O resultado obtido pela Equação 3 depende da inversão de uma matriz x e esta matriz pode ser associada à MVC - matriz variância-covariância do ajustamento, podendo ser utilizada para obter a elipse dos erros associada à quina ( Lˆ o,ĉo). A partir da dimensão e excentricidade desta elipse pode-se fazer a discriminação de pontos com diferentes características (Haralick e Shapiro, 1993, p. 341). É relevante também ressaltar que esta matriz é exatamente a matriz utilizada no operador de Förstner, como pode ser -se observador em Förstner (1986, p. 136), Luhmann e Altrogge (1986, p. 467) e Rohr (1997, p. 0), por exemplo. O método descrito acima é baseado em Haralick e Shapiro (1993) e Förstner (1986), e pode ser estendido, após algumas modificações, para a localização de centros de simetria circular (CSC). 1 Deste modo, para a aplicação deste procedimento, basta que seja definida a posição de uma pequena região de uma imagem, onde existe uma quina (ou um arco de circunferência - para o caso de CSC). Esta posição pode ser a obtida pela pontaria manual. 4 EXPERIMENTOS E DISCUSSÃO DOS RESULTADOS Para fazer a avaliação do registro entre as bandas, usando o procedimento descrito na seção anterior, foram utilizadas quatro imagens no modo CIR, formado basicamente por feições lineares, quinas e cinco alvos circulares (dentro do quadrado menor), como mostra a Figura 6. Figura 6. Imagens infravermelhas utilizadas nos experimentos. Sobre as imagens originais foram realizadas medidas em uma série de pontos, de modo manual. Posteriormente, usando as coordenadas destes pontos como valores aproximados, foi aplicado o algoritmo descrito na seção 3.1, obtendo a estimativa das coordenadas dos pontos com qualidade subpixel, para as bandas IV, R e G. A Figura 7 mostra a distribuição de todos os pontos medidos. Figura 7. Distribuição dos pontos medidos nas quatro imagens mostradas na Figura 6. A partir destas observações (nos 138 pontos) foram calculadas as discrepâncias médias entre as bandas IV e R, sendo obtidos os valores de C e L,

5 respectivamente para as colunas e linhas. Posteriormente, estes cálculos foram repetidos para as bandas IV e G. A Tabela 1 traz uma síntese destes cálculos. Discrepâncias entre as bandas IV e R C [pixel] L [pixel] Média e desviopadrão -0,783 ± 0,304-1,466 ± 0,77 Mínimo e máximo -1,734-0,075 -,136-0,651 Discrepâncias entre as bandas IV e G Média e desviopadrão -0,678 ± 0,70 0,600 ± 0,3 Mínimo e máximo -1,45-0,058 0,031 1,609 N. de pontos N=138 Tabela 1. Síntese das estatísticas para os valores de C e L, entre as bandas IV - R e IV- G. Os valores de C e L para o caso em que são considerados apenas os pontos de uma imagem (N=36) não são muito diferentes do apresentado na Tabela 1. A Tabela traz os intervalos de confiança para os valores de C e L, considerando uma probabilidade de 99%, para os dois conjuntos de pontos utilizados. Intervalo de confiança para as translações C e L entre as bandas IV e R N=36 P( -0,97 C -0,694 )=99% P( -1,637 L -1,396 )=99% N=138 P(-0,850 C -0,715 )=99% P(-1,57 L -1,404 )=99% Intervalo de confiança para as translações C e L entre as bandas IV e G N=36 P( -0,875 C -0,640 )= 99% P( 0,516 L 0,63 )= 99% N=138 P(-0,738 C -0,618 )=99% P(0,548 L 0,65 )=99% Tabela. Intervalos de confiança para as translações C e L, para uma probabilidade de P=99%. Como pode ser observado pela Tabela, uma vez que o valor nulo não faz parte dos intervalos calculados, pode-se inferir que existem tendências entre as bandas IV e R, e também entre IV e G. Estas tendências são aquelas apresentadas na Tabela 1 e correspondem às translações entre as bandas consideradas. A Figura 8 mostra um dos alvos medidos, sendo mostradas as posições obtidas para cada uma das bandas, bem como para a imagem original. A imagem de fundo corresponde à imagem da banda R. Os pontos indicados pela seta são os medidos na banda R, os pontos marcados com (+) são os medidos fazendo a pontaria manual (na imagem original), os pontos marcados por um triângulo são os medidos na banda IV e os marcados por um pequeno círculo são os medidos na banda G. Figura 8. Pontos medidos sobrepostos à banda R. Na Figura 9 os pontos resultantes do processo de medição são sobrepostos à banda IV. Os pontos indicados pelas setas são os pontos obtidos pelo procedimento semi-automático. Figura 9. Pontos medidos sobrepostos à banda IV. Como poder ser percebido visualmente, as diferenças médias (Tabela 1) podem ser notadas pela distribuição dos pontos nas Figuras 8 e 9. A partir dos valores obtidos na Tabela 1, pode-se considerar a aplicação destas translações às bandas R e G, sendo necessário, portanto, a reamostragem destas bandas. Este procedimento foi aplicado a algumas imagens não utilizadas na estimativa de C e L. A Figura 10 traz o resultado do registro e a reamostragem das bandas R e G, para as imagens mostradas na Figura 3. a) b) Figura 10. Imagens da Figura 3, após o registro das bandas R e G usando as translações estimadas.

6 A Figura 11 traz o resultado da aplicação do mesmo procedimento para outras duas imagens. significância de eventuais rotações, diferenças de escala, dentre outros fatores. REFERÊNCIAS a) b) c) d) e) f) Figura 11. Porção das imagens originais (a, b, c) e reamostradas (d, e, f) após o registro. Pode-se notar pelas Figuras 10 e 11, que a reamostragem das bandas R e G, usando as translações estimadas com qualidades subpixel, melhora as imagens, principalmente nas regiões próximas às bordas das feições. 5 CONSIDERAÇÕES FINAIS E CONCLUSÕES Neste trabalho foi feita a análise do registro entre as bandas IV, R e G de imagens geradas por uma câmara multiespectral composta por três sensores CCD. Para o cálculo das discrepâncias médias para as coordenadas C e L, entre as bandas, foram usados os valores obtidos por um método semi-automático de detecção de quinas, com qualidade subpixel. Este método se baseia no fato de que as quinas se localizam na interseção dos vetores ortogonais à direção de máximo gradiente sobre as bordas, sendo a solução obtida pelo Método dos Quadrados Mínimos. As discrepâncias e as estatísticas calculadas a partir destas posições permitem concluir que existem translações não nulas entre as bandas IV e R, bem como entre as bandas IV e G, para as imagens utilizadas. Uma vez que estas translações dependem da câmara utilizada, é relevante considerar que, para aplicações onde o conhecimento de posições com alta precisão seja requerido, o registro das bandas pode ser necessário. No presente trabalho considerou-se apenas a existência de translações entre as bandas, o que já se mostrou suficiente para melhorar a qualidade da imagem. No entanto, sugere-se para trabalhos futuros que sejam investigados outros modelos, podendo-se avaliar a Förstner, W. A feature based correspondence algorithm for image matching. In: IAPRS - International Archives of Photogrammetry and Remote Sensing, Vol. XXVI (3/3), pp , Galo, M.; Tozzi, C. L. Extração de pontos com acurácia subpixel em imagens digitais. In: Mitishita, Edson Aparecido. (Org.). Série em Ciências Geodésicas - Pesquisa em Ciências Geodésicas Curitiba, 00, v., p ISBN: Gonzales, R.; Woods, R. E. Digital image processing. Addison-Wesley Publishing Company, Reading, p. Haralick, R. M.; Shapiro, L. G. Computer and robot vision - Vol. II. Addison-Wesley Publishing Company, Reading, p. Hi-Tech Electronics Pte Ltd. Spectral Configuration Guide for DuncanTech 3-CCD Cameras. (Acesso: 01 fevereiro 005) Luhmann, T.; Altrogge, G. Interest-operator for image matching. In: IAPRS - International Archives of Photogrammetry and Remote Sensing. Vol. XXVI (3/), pp , Redlake MASD MegaPlus MS3100 Multi-Spectral Câmera (Acesso: 06 dezembro 004) Rohr, K. On 3D differential operators for detecting point landmarks. Image and Vision Computing, Vol. 15, pp , Tang, L.; Heipke, C. Automatic Relative Orientation of Aerial Images. Photogrammetric Engineering & Remote Sensing, Vol. 6, No. 1, January, pp , AGRADECIMENTOS Os autores agradecem à MSc. Sandra Stephan de Souza Telles e à Eng. Cartógrafa Annette Pic, pela materialização do campo de teste; à FAPESP - Fundação de Amparo à Pesquisa do Estado de São Paulo, pelo apoio no projeto multiusuário (Processo: 1997/ ) e ao CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico, pelo suporte ao projeto Sensoriamento Remoto Aerotransportado (Processo: 47593/003-0).