Detecção de falsas correspondências em pares de imagens estereoscópicas utilizando a transformação projetiva no plano e o algoritmo RANSAC

Transcrição

1 Detecção de falsas correspondências em pares de imagens estereoscópicas utilizando a transformação projetiva no plano e o algoritmo RANSAC André Caceres Carrilho Mauricio Galo Renato César dos Santos Curitiba, 06 de junho de 2018

2 Correspondência de imagens Exemplo de situação ideal Imagens reamostradas ao longo das linhas epipolares Imagem esquerda Mapa de Paralaxe ou Mapa de Disparidade Imagem direita Problema unidimensional g d i, j = g e i, j + p i, j SCHARSTEIN, D.; SZELISKI, R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision, 47(1): p. 7-42,

3 Correspondência de imagens Exemplo mais complexo Principais fatores que podem ocasionar problemas na correspondência: Posições distintas das câmaras Escala e rotação entre as imagens Diferença na iluminação Padrões repetitivos Problema bidimensional g d i, j = T g e i, j + p(i, j) 3

4 Correspondência de imagens Modo usual para uma solução robusta 1. Leitura da imagem de entrada Geração da pirâmide Cálculo dos gradientes (I x, I y ) Detecção de feições de interesse Refinamento sub-pixel Designação de escala e orientação à cada feição detectada Cálculo de descritores locais I x I y 4

5 Correspondência de imagens Modo usual para uma solução robusta Correspondências obtidas com o SIFT (Scale Invariant Feature Transform) 5

6 RANSAC A) Amostrar aleatoriamente o menor número de observações para ajustar o modelo B) Ajustar o modelo a partir das amostras C) Avaliar o conjunto inteiro de observações de acordo com algum critério D) Repetir as etapas A, B e C até que a melhor solução (consenso) tenha sido encontrada 6

7 Correspondência de imagens Remoção de falsas correspondências T x p x q x r x s Imagem esquerda Imagem direita PROBLEMA 1: A transformação plana não acomoda a paralaxe! 7

8 Transformação projetiva no plano x = a 1 x + a 2 y + a 3 a 7 x + a 8 y + 1 y = a 4 x + a 5 y + a 6 a 7 x + a 8 y + 1 8

9 Transformação projetiva no plano T 1 T 2 T 3 T 4 Imagem esquerda Imagem direita PROBLEMA 2: Cada face plana requer uma transformação projetiva! 9

10 Transformação projetiva no plano Complexidade da cena Cada face plana da cena requer uma transformação 10

11 Correspondência de imagens Remoção de falsas correspondências T x p x q x r x s Imagem esquerda Imagem direita SOLUÇÕES Escolher um limiar de distância permissível o suficiente para ajustar múltiplas transformações projetivas 11

12 Harris Corner Detector (HCD) A) Calcular os gradientes da imagem nas direções x e y: I x = G x σ I I y = G y σ I B) Calcular os produtos dos gradientes em cada pixel: I x 2 = I x I x I y 2 = I y I y I xy = I x I y C) Calcular a soma ponderada a partir de uma convolução com filtro Gaussiano: S x 2 = G σ I x 2 S y 2 = G σ I y 2 S xy = G σ I xy D) Calcular a resposta do detector (R) para cada pixel: R = det H k tr H 2 em que H = S x 2 S xy S xy S y 2 E) Aplicar um limiar no valor de R e buscar pelos valores de máximo. 12

13 Harris Corner Detector (HCD) Imagem de entrada: I x = G σ x I I y = G σ y I I x 2 = I x I x I xy = I x I y I y 2 = I y I y S x 2 = G σ I x 2 S y 2 = G σ I y 2 S xy = G σ I xy R = det H k tr H 2 max(r) 13

14 Experimento - Terrestre Par de imagens terrestres (campo de calibração) Pontos de interesse dectados com o HCD 14

15 Experimento - Terrestre Foram obtidas 305 correspondências a partir do coeficiente de correlação calculado considerando uma vizinhança de 11 x 11 pixels 15

16 Experimento - Terrestre Do total de 305 correspondências 92 foram aceitas considerando a transformação projetiva e o algoritmo RANSAC Porém 8 falsas correspondências permanecem 16

17 Experimento - Aereo Par de imagens aereas (Presidente Prudente - SP) Pontos de interesse dectados com o HCD 17

18 Experimento - Aereo Foram obtidas 1552 correspondências a partir do coeficiente de correlação calculado considerando uma vizinhança de 11 x 11 pixels 18

19 Experimento - Aereo Do total de 1552 correspondências 199 foram aceitas considerando a transformação projetiva e o algoritmo RANSAC Todas corretas 19

20 Conclusões A detecção de falsas correspondências em imagens é um problema que merece cuidado na seleção dos modelos matemáticos utilizados; A transformação projetiva no plano é útil neste escopo, entretanto, pode ser insuficiente para modelar todos os detalhes presentes em cenas complexas; O algoritmo RANSAC consegue solucionar o modelo matemático mesmo em conjuntos de dados com grandes quantidades de outliers; Para situações em que a paralaxe seja muito grande, é necessário considerar abordagens mais robustas, como a do multiransac, por exemplo, bem como uso da restrição epipolar. 20

21 Obrigado pela atenção. Questões? 21