ESTEREOSCOPIA INTRODUÇÃO. Conversão de um par de imagens (a)-(b) em um mapa de profundidade (c)

Transcrição

1 ESTEREOSCOPIA INTRODUÇÃO Visão estereoscópica se refere à habilidade de inferir informações da estrutura 3-D e de distâncias da cena de duas ou mais imagens tomadas de posições diferentes. Conversão de um par de imagens (a)-(b) em um mapa de profundidade (c)

2 Sequência de imagens (d)-(e) em um modelo 3D (f)

3 Plotter estereo analítico (g) gera curvas de níveis impressas (h)

4 APLICAÇÕES DE VISÃO 3D Imagem de entrada (a); mapa 3D calculado (b); geração de nova vista a partir de visão multi-vistas (c)

5 Interpolação de vistas entre duas imagens (d); modelagem 3D de faces (e-f); z-keying: segmentação de objeto para troca de fundo por geração de imagem sintética (g).

6 Construção de modelos 3D de superfície a partir de múltiplos quadros de vídeo em Realidade Virtual (h-j)

7 OS DOIS PROBLEMAS DA VISÃO ESTEREOSCÓPICA Correspondência Que item na imagem esquerda corresponde a que item na imagem direita? Deve-se também determinar que partes da imagem em que não pode haver correspondência (oclusão). Ilustração do problema da correspondência. Um casamento entre pontos correspondentes de uma imagem é mostrado (apenas alguns pontos estão destacados)

8 Reconstrução 3-D Disparidade Diferenças de posição na imagem entre pixeis correspondentes Pode-se construir o mapa de disparidades, que pode ser mostrado como uma imagem. Se a geometria do sistema estéreo for conhecida, pode-se fazer a reconstrução 3D a partir das disparidades. (a) Uma imagem de um par stereo da face de E. Trucco. (b) Renderização da reconstrução estéreo.

9 Reconstruçao Estéreo da superfície de Vênus de um par de imagens de um SAR (Synthetic Aperture Radar). (a) Ilustração de um satélite em órbita de um planeta. (b) Um par de imagens estéreo da superfície do planeta adquiridas pelo satélite Magellan.

10 Reconstruçao Estéreo da superfície de Vênus de um par de imagens de um SAR (Synthetic Aperture Radar). (c) Renderização 3D da superfície reconstruída.

11 Definição: Correspondência e Reconstrução Estéreo - O Problema da Correspondência: Que partes da imagem esquerda e direita são projeções do mesmo elemento de cena? - O Problema da Reconstrução: Dado um número mínimo de partes correspondentes nas imagens esquerda e direita, e possivelmente informações sobre a geometria do sistema estéreo, o que podemos dizer sobre a localização e estrutura 3- D dos objetos observados?

12 Sistema Estéreo Simples Um sistema estéreo simples. (a) A Reconstrução 3D depende da solução do problema da correspondência; (b) A profundidade é estimada da disparidade dos pontos correspondentes. Correspondência O l e O r = centros de projeção Eixos ópticos paralelos => ponto de fixação é no infinito.

13 Um sistema estéreo simples. (a) A Reconstrução 3D depende da solução do problema da correspondência; (b) A profundidade é estimada da disparidade dos pontos correspondentes. Triangulação Se os pares em correspondência são (p l, p r ) e (q l, q r ) os pontos P e Q são os correspondentes à projeção na imagem, se forem (p l, q r ) e (q l, p r ) são P e Q.

14 Reconstrução Dos triângulos semelhantes (p l, P, p r ) e (O l, P, O r ) T xl x Z f r T 1 Z T = linha de base Explicitando Z => Z f. T 2 d onde d = x r x l = disparidade Profundidade é inversamente proporcional à disparidade.

15 Os Parâmetros de um Sistema Estéreo f, T, (c r e c l ) são os parâmetros de um sistema estéreo. Achar esses parâmetros envolve o problema da calibração estéreo.

16 O Problema da Calibração Estéreo Os parâmetros intrínsecos caracterizam a transformação que mapeia pontos da imagem em coordenadas da câmera às coordenadas de pixel, em cada câmera. Os parâmetros extrínsecos descrevem a posição relativa e orientação de duas câmeras. Intrínsecos ==> ponto principal e distância focal Extrínsecos ==> descrevem a transformação rígida (rotação e translação) que traz os sistemas de referências da câmera um sobre o outro. Como esses parâmetros são em geral, desconhecidos, a reconstrução é freqüentemente um problema de calibração.

17 O PROBLEMA DA CORRESPONDÊNCIA Básico Hipóteses 1 A maioria dos pontos da cena são visíveis de ambas as vistas. 2 Regiões de imagens correspondentes são similares As hipóteses acima são válidas para quando o ponto de fixação está muito mais distante das câmeras do que o comprimento da linha de base. Dado um elemento na imagem esquerda, procura-se o elemento correspondente na imagem da direita.

18 Isso envolve duas decisões: Que elemento da imagem corresponder, e Que medida de similaridade adotar? Correlação cruzada (convolução), SSD, SAD (sum of absolute diff.) SSD é similar a correlação Podem-se classificar os algoritmos para correspondência em dois tipos: Correspondência Densa => totalidade da imagem Métodos Locais => baseados em janelas Métodos Globais => baseados em energia Correspondência Esparsa => baseados em características

19 Correspondência Densa => diversos algoritmos com uso de janelas Janela deslocável. O efeito de usar todas as janelas 3x3 deslocadas em torno do pixel preto é o mesmo que usar o menor valor entre janelas centradas nas mesmas vizinhança. Isso diminui problemas de oclusão ou efeitos especulares Tamanhos e pesos de janelas de agregação adaptadas ao conteúdo de imagens. (a) imagem original com pontos de avaliação selecionados; (b) Janelas variáveis; (c) Pesos adaptativos; (d) técnicas baseadas em segmentação. Notar como pesos adaptativos e técnicas baseadas em segmentação se adaptam a pixeis coloridos.

20 Correspondência Esparsa => Regiões da imagem Reconstrução de superfícies a partir de contornos ocultos: (a) ajuste de arco circular no plano epipolar; (b) exemplo sintético de um elipsoide com um lado truncado e marcos superficiais elípticos; (c) malha de superfície parcialmente reconstruída mostrada em uma vista obliqua de cima para baixo; (d) sequência de imagens reais de uma lata de refrigerante sobre uma mesa rotativa; (e) bordas extraídas; (f) perfis de curvas parcialmente reconstruídos; (g) malhas de superfícies parcialmente reconstruídas. (reconstruções parciais são mostradas de forma a não congestionar as imagens)

21 MÉTODO DE CORRESPONDÊNCIA BASEADOS EM CORRELAÇÃO Elementos a corresponder são janelas de tamanho fixo. Medida de Similaridade é a correlação entre as janelas. O elemento correspondente é a janela que maximiza o critério de similaridade (correlação) dentro de uma região de busca. Ilustração da correspondência baseada em correlação. Procura-se na imagem da direita o ponto correspondente ao pixel central da janela na imagem da esquerda. Esta janela está correlacionada a várias janelas de mesmo tamanho mostradas na imagem da direita (algumas são mostradas). O centro da janela da imagem da direita produzindo a maior correlação é o ponto correspondente procurado.

22 Algoritmo CORR_MATCHING Entrada: Par de Imagens Estéreo, I l (esq.) e I r (dir.) p l e p r são pixeis nas imagens da esq. e dir. respectivamente 2W + 1 largura da janela (em pixeis) de correlação R(p l ) região de procura (janela de busca) na imagem da direita associada com p l. u, v) função de dois valores de pixeis, u e v. Para cada pixel p l = [i, j] T da imagem da esquerda: 1 para cada deslocamento d = [d 1, d 2 ] T R(p l ), calcule c w w ( d) ( Il ( i k, j l), I r ( i k d1, j l d2 k w l w )); 3

23 2 A disparidade de p l é o vetor d [ d1, d2 ] T que maximiza c(d) sobre R(p l ): d arg max d R c(d) 4 Saída: Vetor de disparidades (mapa de disparidades), um para cada pixel de I l. Duas escolhas largamente utilizadas para u, v) são ( u, v) u. v 5 que é a correlação cruzada entre a janela da imagem da esquerda e a região de busca na imagem da direita, e

24 ( u, v) ( u v) 2 6 que realiza a soma das diferenças quadráticas (SSD) ou casamento de blocos. Esta função é preferível à anterior por não sofrer influência de variações nos valores de intensidade de pixel muito baixa ou muito alta. A largura da janela, 2W + 1, é de livre escolha. O tamanho da janela de busca R(p l ) deve ser escolhido de uma estimativa da faixa de distâncias máximas esperada de se achar na cena. Z = distância do ponto de fixação k = constante simbólica d k 7 Z Se nada puder ser dito sobre Z, deve-se procurar a imagem inteira.

25 MÉTODO DE CORRESPONDÊNCIA BASEADOS EM CARACTERÍSTICAS Os métodos podem ser com restrições geométricas (epipolares) ou analíticas (um para um ou d com variação contínua em quase toda a imagem) ou sem restrições. Métodos sem Restrições São usados vetores característicos (feature descriptors) associados a: Pontos de bordas Linhas Vértices ou Cantos (intersecção de linhas, ou por padrões de intensidade)

26 Um vetor característico para uma linha pode ser: Comprimento, l Orientação, o Coordenadas do ponto médio, [x,y] T Contraste médio ao longo de uma linha de contorno, c. Há inúmeras características e uma longa lista de algoritmos, e a escolha depende de muitos fatores como: Tipo de objeto Condições de iluminação Contraste médio

27 Um esquema simplificado para correspondência de linhas pode ser o uso da equação abaixo como critério de similaridade s o l r 1 l r 2 l r 3 l r w ( l l ) w ( o o ) w ( m m ) w ( c c ) 2 8 onde, w o,..., w 3 são pesos, e os índices l e r são da imagem esq. e dir. respectivamente. Pode-se determinar os pesos a partir de correspondências supostamente corretas. Quanto maior o no. de características do vetor, mais difícil de determinar os pesos.

28 Algoritmo FEATURE_MATCHING Entrada: Par de imagens estéreo, I l e I r, e dois conjuntos correspondentes de vetores característicos. R(f l ) => região de procura na imagem direita associada com o vetor característico f l. d(f l, f r ) => disparidade entre f l e f r Para cada f l no conjunto da imagem esquerda 1 Calcule a medida de similaridade entre f l e cada característica de imagem em R(f l ). 2 Selecione a característica da imagem direita, f r, que maximize a medida de similaridade. 3 Salve a correspondência e a disparidade de f l (distância entre os pontos definindo a posição da característica) Saída: Lista de correspondências de características e um mapa de disparidades.

29 Duas imagens adquiridas por câmeras diferentes (f e sensores diferentes) em diferentes posições, quase simultaneas. Cantos obtidos com o algoritmo de Harris

30 Casamento de características. Observa-se que algumas estão incorretas

31 Comentários Finais A escolha do método depende de fatores como: Aplicação Hardware Software Métodos de Correlação São mais fáceis de implementar, e produzem mapas densos, o que facilita a reconstrução de superfícies. Precisam de imagens texturadas para funcionar bem. Por causa de variações na iluminação e efeitos de distorções não são adequados para imagens obtidas de diferentes vistas. A interpolação necessária para obtenção de precisão sub-pixel pode tornar o método dispendioso.

32 1 Métodos de Características Mais adequado se informações sobre a imagem são obtidas a priori. Cenas em ambientes internos contendo linhas ao invés de texturas. Mais rápido que os métodos de correlação, mas a produção de vetores característicos tem que ser levada em conta na comparação de algoritmos. Os mapas de disparidade são mais esparsos do que os de correlação, mas funcionam bem em algumas aplicações (p. ex., navegação visual) Insensível a variações de iluminação Ambos os métodos são influenciados negativamente por oclusões e ruído. Duas restrições que reduzem esses efeitos são a restrição de consistência esquerda-direita e a restrição epipolar.