ESTEREOSCOPIA. A reconstrução 3-D pode ser realizada em três condições

Transcrição

1 ESTEREOSCOPIA RECONSTRUÇÃO 3-D A reconstrução 3-D pode ser realizada em três condições CONHECIMENTO PRÉVIO RECONSTRUÇÃO 3-D A PARTIR DE DUAS VISTAS Parâmetros intrínsecos e Triangulação (coords. absolutas) extrínsecos Apenas parâmetros Em função de fator de escala intrínsecos desconhecido Nenhuma informação sobre Em função de transformação parâmetros projetiva desconhecida do ambiente.

2 Reconstrução por Triangulação Hipóteses e Problemas Na hipótese de os parâmetros intrínsecos e extrínsecos serem conhecidos, calcule a localização 3-D dos pontos a partir de suas projeções, p l e p r. Geometria Epipolar Se os raios (linhas) O l p l e O r p r são conhecidos, achar a intersecção dos raios.

3 Os raios se interceptam apenas aproximadamente. Deve-se calcular o ponto mais próximo dos dois raios, ou distância mais curta entre eles. Triangulação com raios não interceptantes Raio l, através de O l e p l ===> a.p l (a )

4 Raio r, através de O r, expresso na referência da câmera esquerda T b. R T. p r Vetor Ortogonal a ambos l e r ===> w Achar o ponto médio do segmento s (de w), P. A solução vem de na forma de a 0, b 0 e c 0. T T a. p c.( p R. p ) b. R. p T 1 l l r r

5 Algoritmo TRIANG Todos os vetores e coordenadas são relacionados ao sistema de referência da câmera esquerda. Entrada: p l e p r Faça a.p l, a, ser o raio l através de O l (a=0) e p l (a=1). T b. R T., b, o raio r através de O r (b=0) e p r (b=1). p r w p R T. p o vetor ortogonal a ambos l e r, e l a. p c. w l r, c, a linha w através de a.p l ( para algum a fixo) e paralelo a w.

6 1. Determine as extremidades do segmento, s, pertencente à linha paralela a w que une l a r, a 0.p l a T.., resolvendo a eq. 1. b R T 0 p r 2. O ponto triangulado, P, é o ponto médio do segmento s. Saída: conjunto de pontos 3-D reconstruídos. Podem-se determinar os parâmetros extrínsecos de cada câmera separadamente, utilizando um método de calibração da câmera R R. R 2 r l T T T R T. T 3 l r onde (T l,r l ) e (T r,r r ) são os parâmetros extrínsecos das duas câmeras com relação a um sistema de coordenadas externo.

7 Imagem b a aproximedamente 30cm à direita da imagem a. Camera com f = 5.2 mm Imagem com linhas epipolares que passam por pontos selecionados na imagem da direita. As linhas são quase horizontais, o que implica eixos ópticos quase paralelos. Imagem acima com pontos selecionados e sua profundidade (metros)

8 Um sensor de visão estéreo com software em PC pode calcular mapas de profundidade a 25 quadros por segundo (25 fps). As câmeras e lentes são idênticas e a posição relativa é constante.

9 Reconstrução em Função de Fator de Escala Apenas os parâmetros intrínsecos de ambas as câmeras são conhecidos. Estimam-se os parâmetros extrínsecos e a estrutura 3-D da cena. Utiliza-se a Matriz Essencial, E, e assume-se que pelo menos 8 pontos de correspondência foram estabelecidos (a partir das coordenadas em píxeis e do conhecimento dos parâmetros intrínsecos, estabelecem-se p l e p r e uma estimativa de E com 8 pontos == > p r T.E.p l = 0 e F = (M r -1 ) T.E.M l -1 ) Hipóteses e Problemas Assumindo que apenas os parâmetros intrínsecos e n pontos de correspondência são dados, com n 8, calcule a localização dos pontos 3-D de suas projeções, p l e p r. Uma vez que a linha de base do sistema não é conhecida, não é possível reconstruir a imagem em coordenadas absolutas.

10 A reconstrução é possível em função de um fator de escala desconhecido. O fator de escala pode ser determinado se a distância entre dois pontos na cena observada for conhecida. Pode-se fazer (de E = R.S) T T T T E. E S. R. R. S S. S 4 ou E T.E 2 Ty Tz Tx.Ty Tx.Tz 2 Tx.Ty Tx 2 Tz Ty.Tz 2 Tx.Tz Ty.Tz Tx 2 Ty 2 5 Para normalizar E (só pode ser obtida em função de fator de escala):

11 Tr( E T E) 2. 2 T 6 N T Tr( E. E) 2 = fator de normalização Ê T.Ê 2 1 Tˆ x Tˆ x.tˆ y Tˆ x.tˆ z Tˆ x.tˆ y 1 Tˆ y 2 Tˆ y.tˆ z Tˆ x.tˆ z Tˆ y.tˆ z 2 1 Tˆ z 7 onde E é a Matriz Essencial normalizada e T T T o vetor de translação normalizado. Supondo T recuperado com o sinal correto, a matriz de rotação pode ser obtida.

12 Define-se w E T 8 i i com i = 1, 2, 3 e E i as 3 linhas de E, vistos como vetores 3-D. Se R i são as linhas da matriz de rotação R, Ri wi wj wk 9 com (i, j, k) varrendo todas as permutações cíclicas de (1, 2, 3). A equação 9 exige longos cálculos algébricos para ser demonstrada. Portanto, o Dada uma estimativa de T E. E, tem-se 4 estimativas diferentes do par ( T, R) (por conta dos sinais). Essa ambiguidade pode ser resolvida a partir das equações (repetidas)

13 P r R. (P T) ˆ 10 l e já que p r f r. Pr 11 Zr Z r R.(P T) 3 T l 12 tem-se (de 10, 11 e 12) p r f.r.(pl T) r R.(P T) 3 T l 13 e para a primeira componente de p r, tem-se x r f r. R l T.(P T) l R.(P T) 3 T l 14

14 Utilizando-se da equação (repetida) e da equação 14, resolvendo para Z l, l pl f P Z. l 15 l Z l f l fr. (. R l x r. R 3) T.T ( f. R x. R ).p r l r 3 T l 16 As outras coordenadas de P l podem ser obtidas de 15, e as coordenadas de P r, da relação P R. (P T) 17 r l Apenas uma das quatro estimativas de (, ) T R é consistente (Z l e Z r positivos para todos os pontos).

15 Algoritmo EUCLID_REC A entrada é formada por um conjunto de pontos de imagens correspondentes em coordenadas da câmera, com p l e p r como um par genérico, e com uma estimativa da Matriz Essencial normalizada, Ê. 1- Recupere T de Construa os vetores w, de 8, e calcule as linhas da matriz R através de 9; 3- Reconstrua as coordenadas de Z l e Z r de cada ponto usando 16 e 17.

16 4- Se os sinais de Z l e Z r dos pontos reconstruídos são: Saída: a) ambos negativos para algum ponto, troque o sinal de T e vá para o passo 3; b) um negativo e outro positivo para algum ponto, troque o sinal de cada elemento de Ê e vá para o passo 2; c) ambos positivos para todos os pontos, finalize. Conjunto de pontos 3-D reconstruídos (em função de um fator de escala).

17 OUTROS MÉTODOS DE RECONSTRUÇÃO 3D (Não estereos) Forma de Sombreamento - Shape from Shading Forma de Textura - Shape from Texture Profundidade por Variação de Foco - Depth from Defocus Iluminação Ativa Casamentos de Vistas Modelagem por Pontos Aplicações Arquitetura Faces e cabeças Corpos inteiros

18 MODELO 3D DE SOMBREAMENTO (shape from shading) Imagens sombreadas sintéticas: (a-b) luz frontal (0,0,1); (b-c) luz da direita (1,0,1); (e-h) reconstruções correspondentes.

19 MODELO 3D DE TEXTURA (shape from texture) Formas sintéticas a partir de texturas: (a) textura regular dobrada sobre uma superfície curva; (b) vetores normais correspondentes; Formas de reflexões a partir de espelhos: (c) padrões regulares de textura refletidas em superfície curva produzem (d) listras curvas a partir das quais localização de pontos e normais podem ser estimados.

20 PROFUNDIDADE POR VARIAÇÃO DE FOCO (Depth from defocus) Profundidade em tempo-real: (a) sensor de profundidade de foco, incluindo espelho entre duas lentes telecêntricas (em baixo à direita), um prisma que divide a imagem sobres 2 sensores CCD (em baixo à esquerda), e uma placa com padrão de pontos iluminada por uma lâmpada xernom (em cima); (b-c) imagens de 2 cameras e o mapa de profundidade; (e-f) 2 imagens (frames) texturadas e (g) o modelo 3D estruturados em malha correspondente.

21 MODELOS 3D A PARTIR DE ILUMINAÇÃO ATIVA Varredura de objetos a partir de sombras introduzidas: (a) setup de câmera com uma fonte de luz (lâmpada sem refletor), um bastão produzindo sombra, e (b) objetos escaneados à frente de dois fundos planos ; (c) Mapa de profundidade em tempo real usando um sistema de iluminação pulsada. Captura 3D densa de face em tempo-real usando sistema espaço-tempo estéreo. (a) conjunto de 5 quadros de vídeo de uma de duas câmeras estéreo (a cada cinco quadros, um é livre de listras para segmentação da textura; (b) modelo de superfície 3D resultante de alta qualidade (mapa de profundidade visualizado como renderização de sombras.

22 CASAMENTOS DE VISTAS Reconstrução e cópia dura de uma estatueta do Buda Feliz : (a) fotografia da estatueta original após pintura spray com cinza fosco; (b) varredura parcial de profundidade; (c) varreduras de profundidades casadas; (d) renderização colorida do modelo reconstruído; (e) cópia dura do modelo construída usando estereolitografia.

23 MODELAGEM POR PONTOS Modelagem de superfícies baseada em pontos através de mínimos-quadrados móveis (MLS): (a) conjunto de pontos (pontos pretos) é transformado em uma função implícita dentro-fora (curva preta); (b) a distância (sinalizada) ao ponto orientado mais próximo pode servir como uma aproximação da distancia dentro-fora; (c) conjunto de pontos orientados com densidade de amostragem variável representando uma superfície 3D (modelo da cabeça); (d) estimativa local da densidade de amostragem, que é utilizada mo MLS; (e) superfície 3D contínua reconstruída.

24 APLICAÇÕES Arquitetura Modelo interativo de arquitetura utilizando o sistema Façade: (a) imagem de entrada com traçados verdes de bordas feitos pelo usuário; (b) modelo 3D sombreado sólido; (c) primitivas geométricas superpostas sobre a imagem de entrada; (d) modelo 3D final, mapeado com textura, conforme a vista Modelo interativo de panoramas: (a) vista grande-angular de um panorama com linhas verticais e horizontais traçadas pelo usuário (alinhadas com eixos); (b) reconstrução de vista única dos corredores.

25 APLICAÇÕES Arquitetura Reconstrução arquitetônica automatizada usando linhas e planos 3D; (a) linhas 3D reconstruídas, codificadas em cores conforme sua direção de fuga; (b) modelo em arame superposto sobre a imagem de entrada; (c) modelo plano em partes triangulares com janelas; (d) modelo final mapeado em textura.

26 APLICAÇÕES Faces Ajuste de modelo 3D a um conjunto de imagens: (a) grupo de 5 imagens de entrada mostrando pontos-chave selecionados pelo usuário; (b) conjunto completo de pontos-chave e curvas; (c) 3 malhas original, adaptada a partir de 13 pontos e depois de 99 pontos adicionais; (d) partição da imagem em regiões movíveis separadas.

27 APLICAÇÕES Faces Rastreamento de cabeça e expressões e reanimação usando modelos 3D deformáveis. (a) modelos ajustados diretamente a cinco vídeos. A linha de baixo mostra os resultados da reanimação de um modelo 3D mapeado de textura com parâmetros de posição e orientação e expressão ajustados às imagens de entrada na linha de cima; (b) modelos ajustados à frequência de modelos de superfície espaço-tempo estéreos: linha de cima mostra as imagens de entrada com marcas verdes sintéticas superpostas, enquanto a linha de baixo mostra o modelo 3D de superfície ajustado.

28 APLICAÇÕES Corpos Inteiros Rastreamento de movimento 3D humano: (a) modelo de cadeia cinemático para uma mão humana; (b) rastreamento de uma cadeia cinemática em uma sequencia de vídeo; (c-d) coleção de cadeias de membros livres de partes de corpos.

29 APLICAÇÕES Corpos Inteiros Estimativa de formas humanas e pose de uma imagem única usando modelo paramétrico 3D