Reconstrução Geométrica a Partir de Imagens TIC-10.073 Aula 22 Conteúdo Reconstrução 3D por Luz Estruturada Professor Leandro Augusto Frata Fernandes laffernandes@ic.uff.br Material disponível em http://www.ic.uff.br/~laffernandes/teaching/2016.1/tic-10.073 Tópicos da Aula Introdução Calibração Métodos de correspondência TIC-10.073 Reconstrução Geométrica a Partir de Imagens 2 1
Desafios da Reconstrução Estéreo É difícil identificar correspondência em porções de superfícies sem textura ou com padrões repetidos Imagem do Objeto Reconstrução a partir de múltiplas vistas TIC-10.073 Reconstrução Geométrica a Partir de Imagens 3 Desafios da Reconstrução Estéreo Solução Que tal dar textura a objetos sem textura? Laser pontual Laser de linha Projetor de vídeo TIC-10.073 Reconstrução Geométrica a Partir de Imagens 4 2
Estéreo Tradicional Triangulação Passiva Câmera 1 Câmera 2 TIC-10.073 Reconstrução Geométrica a Partir de Imagens 5 Luz Estruturada Triangulação Ativa Projetor Câmera TIC-10.073 Reconstrução Geométrica a Partir de Imagens 6 3
Princípio da Luz Estruturada Uma fonte de luz projeta um padrão conhecido sobre o(s) objeto(s) em cena Padrões capturados e projetados são relacionados entre si Correspondência é estabelecida Estrutura 3D da cena é estimada TIC-10.073 Reconstrução Geométrica a Partir de Imagens 7 Reconstrução 3D por Luz Estruturada Calibração TIC-10.073 Reconstrução Geométrica a Partir de Imagens 8 4
Calibração Intrínseca da Câmera e do Projetor Câmera (Tradicional) Sequencia de imagens de um padrão conhecido Matriz calibrada a partir de correspondências Projetor Como modelar um projetor? R: Projetores não capturam imagens. Então, como gerar correspondência entre padrão e projetor? R: TIC-10.073 Reconstrução Geométrica a Partir de Imagens 9 Calibração Intrínseca do Projetor Uso de dois padrões: um impresso e um projetado Assume-se plano de imagem estático para projetor Pontos 2D permanecem inalterados Pontos 3D movem com o plano do padrão Padrão impresso é visto pela câmera e usado no cálculo da pose da câmera ( já calibrado) Padrão projetado é coplanar ao impresso TIC-10.073 Reconstrução Geométrica a Partir de Imagens 10 5
Calibração Calibração intrínseca Com a correspondência 3D 2D do projetor e da câmera, calcule independentemente e t e t Calibração extrínseca com 1,,, para posições de padrão Simples: t t t Melhor: Otimizar em paralelo, e t TIC-10.073 Reconstrução Geométrica a Partir de Imagens 11 Reconstrução 3D por Luz Estruturada Correspondência TIC-10.073 Reconstrução Geométrica a Partir de Imagens 12 6
Ponto Único Sem problema de correspondência Varre ambos os eixos Padrões de Linhas Problema de correspondência entre linhas Sem varredura Linha Única Problema de correspondência entre pontos na mesma linha Varre eixo ortogonal à linha projetada Grade / Múltiplos Pontos Problema de correspondência entre todos os segmentos projetados Sem varredura TIC-10.073 Reconstrução Geométrica a Partir de Imagens 13 Linha Única Padrões de Linhas Grade (Quadro Único) Lento e Robusto Rápido e Frágil TIC-10.073 Reconstrução Geométrica a Partir de Imagens 14 7
Ponto Único Correspondência 1:1 Uso de laser É preciso varrer o objeto em ambos os eixos P. Hurbain, www.electronics-lab.com TIC-10.073 Reconstrução Geométrica a Partir de Imagens 15 Linha Única Correspondência incluída de forma implícita na intersecção entre raio (câmera) e plano (projetor) Adequado para lasers (sem lentes) Distorção de lentes são difíceis de calibrar para projetores Sol pode ser utilizado como fonte de luz Digital Michelangelo Project Levoy et al. TIC-10.073 Reconstrução Geométrica a Partir de Imagens 16 8
Linha Única Resolução de 1.0 mm (56 milhões de triângulos). TIC-10.073 Reconstrução Geométrica a Partir de Imagens 17 Padrões de Linhas Modo simples Uma cor para cada linha (codificação direta) Linhas coloridas com repetição Codifica a sequência de cores por si só Cada ponto é codificado por suas intensidades vizinhas (codificação espacial) Codificação binária padrões podem codificar 2 1 linhas Não explora a resolução total do projetor Tempo 0110 Espaço TIC-10.073 Reconstrução Geométrica a Partir de Imagens 18 9
Grade / Múltiplos Pontos Padrão codificado em uma única imagem O uso de múltiplos pontos diminui a resolução efetiva Permite a captura de vídeo TIC-10.073 Reconstrução Geométrica a Partir de Imagens 19 10