REGISTRO AUTOMÁTICO DE IMAGENS Dmitry Fedorov Dr. Leila M. G. Fonseca INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS, São José dos Campos, 2003.
Motivação Estudos multi-temporais (Landsat-TM)
Motivação Estudos multi-temporais (Imagens aéreas)
Motivação Criação de imagens estéreo (LYNX-SAR)
Motivação Ampliação da área imageada (seqüência de fotos aéreas)
Fases de registro Registro pode ser realizado nas seguintes etapas: 1. Obtenção de pontos de controle 2. Determinação da função de transformação 3. Interpolação
Como registro é feito? Geralmente, o registro é feito manualmente pontos de controle Através de vários pontos de controle modela-se a função de distorção entre as duas imagens, que é usada para corrigir a imagem de ajuste
Obtenção de Pontos de controle Obtenção de pontos de controle inclui duas etapas: 1. Extração de feições (pontos, cantos, linhas, contornos): Segmentação, transformada Wavelet, Optical Flow...
Obtenção de Pontos de controle 2. Casamento das feições extraídas Métodos de correlação, função de custo, códigos em cadeia, geometria...
Obtenção de Pontos de controle Métodos de correlação Sij Wz comparar janela Sij com janelas Wz
Obtenção de Pontos de controle Correlação Cruzada Normalizada: janelas mais parecidas tem R(i,j) máximo R(i, j) K1 L1 l0 K1 L1 l0 m0 m0 W W (l, m)s 2 z z (l, m) K1 L1 l0 ij (l, m) m0 S 2 ij (l, m) Coeficiente de correlação C(i,j) em escala absoluta [-1, 1] C(i, j) K1 L1 l0 K1 L1 l0 m0 m0 (W (W (l, m) - 2 z z (l, m) - w ) w )(S K1 L1 2 l0 ij m0 (l, m) - ) (S 2 ij s (l, m) - ) s 2 Detecção de similaridade seqüencial E( i, j) K 1 l0 L1 m0 W z ( l, m) S ij ( l, m) Sij Janela da imagem de referência; Wz Janela da imagem de ajuste w - média da janela W; s - média da janela W.
Obtenção de Pontos de controle Métodos de correlação
Obtenção de Pontos de controle
Obtenção de Pontos de controle Extração de Feições usando LoG LoG 2 2 x y 1 x y 2 2 ( x, y) 1 e 4 2 2 2 2 x 10-3 1 0-1 -2-3 -4-2 X 0 2-4 -2 0 Y 2-4
Obtenção de Pontos de controle Casamento de feições usando códigos em cadeia Números representam ângulos, Unidade representa um ângulo de 45, Ex: 3 -> próximo pixel esta a nordeste (135 ). C1: 11122211334 C2: 11112211133 Comparar por correlação
Obtenção de Pontos de controle Extração de feições usando segmentação
Obtenção de Pontos de controle Extração de feições usando segmentação 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 c c c c r r r r p p p p a a a a ai Área da região i (polígono); pi Extensão do perímetro da região i; ri e ci - Largura e comprimento do retângulo delimitante da região i.
Função de transformação T A transformação espacial que modela a distorção entre as imagens é calculada através do conjunto de pontos de controle A transformação mais utilizada é a Afim: X Y a a 11 21 a a 12 22 x y a a 13 23 Maneira tradicional para estimar os parâmetros da transformação é através da solução de mínimos quadrados
Função de transformação Translação: X Y x y dx dy Translação
Função de transformação Rotação, escala e translação: X Y cos r sin sin x cos y dx dy Translação Escalonamento Rotação
Função de transformação Afim: X Y a a 11 21 a a 12 22 x y dx dy Translação Rotação skew Escalonamento
Função de transformação Perspective: 1 1 7 6 4 3 2 1 y x r a a dy m m dx m m Y X
Problemas de registro de imagens Grande número de métodos automáticos são desenvolvidos por causa do aumento da geração e utilização das imagens Um único método não funciona adequadamente para diferentes tipos de dados Sem interferência do especialista os métodos automáticos apresentam dificuldades na geração de resultados corretos e confiáveis
Imagem Imagens Sistema de registro SISTEMA USUÁRIO Registro Escolha o método de registro. Pontos de controle Transformação associada Resultados de testes de aceitação Verificação de consistência e edição dos pontos de controle. Mosaico Escolha do método de mosaico RESULTADO Avaliação do resultado.
Sistema de registro Código do sistema foi escrito em C++ utilizando bibliotecas livres (Qt, libtiff, libjpeg) Foi enfatizada a utilização em plataformas diferentes Três métodos de registro automático foram implementados: método baseado em optical flow e geometria método baseado na transformação wavelet método baseado em contornos
Método padrão imagem1 imagem 2 O método baseado em optical flow e geometria Optical Flow imagem 1 imagem 2 É o mais lento, porém é o mais robusto e aceita uma grande variedade de dados de entrada Extração de pontos utilizando máximos locais pontos 1 pontos 2 Casamento preliminar utilizando janelas rotacionadas e normalizadas pontos casados Refinamento dos casamentos utilizando geometria
Método baseado em wavelets O método baseado em wavelets é importante para o registro de imagens de radar onde identifica uma boa quantidade de pontos de controle imagens de entrada Pré-processamento Decomposição wavelet n=1,...,l L Extração de feições n Extração de feições Casamento de feições Apresenta melhor precisão e eficiência de registro do que o método padrão Casamento de feições Verificação de consistência dos casamentos Função de transformação inicial Refinamento de parâmetros do modelo de distribuição Função de transformação final Interpolação Casamento inicial Imagens registradas
O método baseado em contornos Apresenta processamento rápido, porém só pode ser utilizado em imagens que possuem um número suficiente de contornos fechados bem definidos É adequado para o registro de imagens de diferentes sensores pois o método de casamento de feições não depende da resposta espectral imagem1 imagem 2 Extrair contornos utilizando código em cadeia contornos 1 LoG imagem 1 imagem 2 contornos 2 Casar contornos utilizando código em cadeia contornos contornos casados casados Extrair pontos utilizando centroides dos contornos pontos casados Refinar os casamentos utilizando geometria
Interpolação O resultado pode ser: mosaico de imagens imagem registrada O mapeamento de NCs é realizada usando interpolação: bilinear vizinho mais próximo
Interface gráfica do sistema Três passos lógicos: 1) Dados e pre-processamento 2) Busca de pontos de controle 3) Geração da imagem resultante Controle das janelas
Interface gráfica do sistema Busca de pontos de controle 1) Identificação de pontos (auto, semi-auto, manual) 2) Transformação (translação, RST, afim, etc.) 3) Identificar pontos!
Interface gráfica do sistema Geração da imagem resultante 1) Imagem resultado (mosaico, registro separado) 2) Sobreposição (normal, interlaçado, blended) 3) Interpolação (vizinho mais próximo, Bilinear) 4) Equalização
Pre-processamento: Modificar resolução, escolher a banda, realçar... Ferramentas do sistema Edição de pontos de controle: Remover, gravar ou carregar, mostrar nas imagens...
Ferramentas do sistema Registro de áreas retangulares aproximadamente correspondentes selecionadas por operador
Testes do sistema Testes exaustivos foram executados com imagens: Radar Multi-sensores Alta resolução Seqüências de vídeo O sistema foi testado operacionalmente por vários pesquisadores em: Instituto Nacional de Pesquisas Espaciais Universidade da Califórnia, Santa Barbara Office of Naval Research, China Lake Naval Air Warfare Center, China Lake, Califórnia
Testes do sistema Comparação entre os métodos padrão e wavelets: Imagens Método wavelets Método padrão Radar, JERS-1 (10/10/95) + (08/13/96) Amazônia, floresta (512*512)(512*512) SPOT band 3 + TM band 4 (08/08/95) + (06/07/94) Cidade Brasília (512*512)(512*512) TM band 5 (06/07/92) + (07/15/94) Amazônia, floresta (512*512)(512*512) Tempo: 3185ms C.P.: 53 RMSE: 0.7648 Tempo: 3325ms C.P.: 29 RMSE: 0.8710 Tempo: 3104ms C.P.: 188 RMSE: 0.5359 Tempo: 6099ms C.P.: 6 (de 300) RMSE: 1.0000 Tempo: 5889ms C.P.: 6 (de 300) RMSE: 1.8257 Tempo: 2914ms C.P.: 4 (de 128) RMSE: 0.7071
Testes do sistema Comparação entre os métodos padrão e contornos: Imagens Landsat, composição 3,4,5 Litoral (1390*1500)(1200*1650) Método contornos Tempo: 2604ms C.P.: 3 RMSE: 0.8165 Método padrão Tempo: 6008ms C.P.: 5 (de 128) RMSE: 1.3416 Fotos aéreas Área urbana, Bay area, Califórnia (1283*2352)(1547*2284) Tempo: 4566ms C.P.: 32 RMSE: 1.4790 Tempo: 9183ms C.P.: 22 (de 128) RMSE: 2.0226 Fotos aéreas coloridas Área urbana, Santa barbara, Califórnia (306*386)(335*472) Tempo: 521ms C.P.: 6 RMSE: 0.4082 Tempo: 1392ms C.P.: 21 (de 128) RMSE: 1.2536
Imagens de florestas Imagens da floresta amazônica, TM na banda 5, adquiridas em diferentes datas, 07/06/1992 e 15/07/1994
Imagens de Radar Imagens da floresta amazônica, JERS-1, adquiridas em diferentes datas, 10/10/1995 e 08/13/1996
Imagens do CBERS Mosaico de 4 imagens CBERS-IRMMS de datas diferentes
Imagens Landsat Mosaico de duas imagens Landsat de datas diferentes. Foi gerado sem equalização em 3 minutos e 50 segundos
Detalhe do registro Mosaico de duas imagens Landsat de datas diferentes. Foi gerado com equalização em 5 minutos e 45 segundos
Imagens do LANDSAT 7 PAN - CBERS CCD R: PAN G,B: CCD 4 Registro automático usando retângulos Composição colorida das imagens registradas R-PAN, G-4CCD, B-3CCD
Imagens do radar RADARSAT-1, SAR
Mosaicos de seqüências de vídeo seqüência de 100 imagens IR gerado em 20 segundos
Mosaicos de seqüências de vídeo Mosaicos registrados das seqüências de 640x480 pixels 14 visíveis 6 termais
_ Mosaico de imagens Ikonos
Fotografia digital Método Blending para fotografia digital
Conclusão O sistema foi implementado e testado Existem binários para Windows, Linux, Solaris Sparc Desenvolvida a página WEB do sistema: http://regima.dpi.inpe.br/ Desenvolvida a versão demo para WEB: http://regima.dpi.inpe.br/demo/ http://nayana.ucsb.edu/registration/
Agradecimentos Várias instituições participaram no desenvolvimento: Divisão de Processamento de Imagens, INPE Divisão de Sensoriamento Remoto, INPE Vision Lab, Universidade da Califórnia, Santa Barbara China Lake Naval Air Warfare Center, Califórnia O trabalho foi financiado pelas instituições: CAPES SELPER Brasil Office of Naval Research, China Lake Naval Air Warfare Center CalTrans
Demonstração do sistema Regeemy