Instituto Tecnológico de Aeronáutica. Prof. Carlos Henrique Q. Forster Sala 121 IEC. ramal 5981

Transcrição

1 CC222 Visão Computacional Visão stéreo Instituto ecnológico de Aeronáutica rof. Carlos Henrique Q. Forster Sala 121 IC ramal 5981

2 ópicos da aula Caso simples de visão estéreo (triangulação) roblema de matching Geometria epipolar Matrizes essencial e fundamental Retificação Calibração do sistema estéreo Reconstrução por triangulação Reconstrução dependente de um fator de escala Reconstrução dependente de uma base projetiva Livro para acompanhar essa aula rucco e Verri cap 7. CC222 Visão Computacional IA IC Visão stéreo-2/26

3 Caso simples de visão estéreo uas câmeras colocadas lado a lado com eios ópticos paralelos. Os planos-imagem coincidem (mas possuem seus próprios sistemas de coordenadas). Os eios horizontais coincidem e a escala coincide. As distâncias focais são iguais. CC222 Visão Computacional IA IC Visão stéreo-3/26

4 eio focal eio focal Z I I f O linha de base O CC222 Visão Computacional IA IC Visão stéreo-4/26

5 Z = + Z f Resolvendo para Z, Z = f CC222 Visão Computacional IA IC Visão stéreo-5/26

6 emplo, par de imagens estéreo neste caso Os pontos correspondentes estão sobre as linhas horizontais de mesma coordenada y. CC222 Visão Computacional IA IC Visão stéreo-6/26

7 emplo: uma linha correspondente das duas imagens roblema: determinar pontos correspondentes de uma imagem na outra. A diferença de coordenadas (disparidade) corresponde ao inverso da profundidade. Um método para determinar a correspondência: utilizar correlação cruzada de partes de uma imagem sobre a outra. CC222 Visão Computacional IA IC Visão stéreo-7/26

8 emplo de solução Imagem de profundidade z(,y) CC222 Visão Computacional IA IC Visão stéreo-8/26

9 ercício Modelar a construção de um autoestereograma (imagem de profundidade) (auto estereograma) CC222 Visão Computacional IA IC Visão stéreo-9/26

10 superfície do objeto uma única imagem d() z() f estes dois piels devem ter a mesma cor dois olhos CC222 Visão Computacional IA IC Visão stéreo-10/26

11 CC222 Visão Computacional IA IC Visão stéreo-11/26 ) ( 1 ) ( ) ( ) ( z f z f z d = = ) ( ) ( z f d = )) ( ( ) ( d =

12 ercício Light Stripe fenda Modelar algoritmo de reconstrução 3d CC222 Visão Computacional IA IC Visão stéreo-12/26

13 superfície do objeto imagem do ponto iluminado plano-imagem Fenda móvel Centro de projeção CC222 Visão Computacional IA IC Visão stéreo-13/26

14 Geometria pipolar Como proceder se as câmeras não forem paralelas ou então se tratar de uma só câmera em movimento? studar a geometria de um par de câmeras. ropriedade da geometria epipolar: iste um ponto em cada imagem chamado epipólo que consiste da projeção do centro de projeção da outra câmera. ado um ponto na imagem, o ponto correspondente na imagem está sobre uma determinada reta do plano-imagem que passa pelo epipólo. CC222 Visão Computacional IA IC Visão stéreo-14/26

15 π π π p p O e e O Centro de projeção, epipólo, reta epipolar, plano epipolar, ponto-objeto, ponto-imagem CC222 Visão Computacional IA IC Visão stéreo-15/26

16 Orientação relativa entre câmeras é dada por uma matriz de parâmetros etrínsecos (movimento rígido: translação e rotação apenas). ranslação: = O O Rotação: = R ( ) Formação das imagens p = f z e p = f z CC222 Visão Computacional IA IC Visão stéreo-16/26

17 CC222 Visão Computacional IA IC Visão stéreo-17/26 Matriz essencial Coplanaridade de,, Volume do prisma = 0 ( ) 0 =, substituindo ( ) 0 = R, escrevendo produto vetorial na forma matricial = = 0 0 0, y z y z S onde S (rank 2) = 0 S R, substituindo RS = matriz essencial. = 0

18 p p = 0 = 0 sta última configura uma equação da reta em função dos pontos de π (veja que o plano epipolar passa pela origem que é o centro de projeção da câmera) Os coeficientes da reta epipolar gerada por p são dados por u = p Assim p u = 0 CC222 Visão Computacional IA IC Visão stéreo-18/26

19 Matriz Fundamental Sejam as matrizes de parâmetros intrínsecos 1 p = M ~ p 1 p = M ~ p M e M. Seja a matriz fundamental F dada por F 1 = M M emos a relação sobre as coordenadas homogêneas de pontos das imagens (Longuett-Higgins) ~ p F ~ p = 0 CC222 Visão Computacional IA IC Visão stéreo-19/26

20 A reta epipolar sobre o plano imagem u ~ = F ~ p π para o ponto p~ é dada pelos coeficientes: Assim, pode-se, por eemplo, saber em que reta sobre a imagem da direita deve-se procurar o ponto correspondente a um ponto dado da imagem da esquerda. CC222 Visão Computacional IA IC Visão stéreo-20/26

21 Retificação É possível transformar um caso genérico de visão estéreo para o caso mais simples através de warping das imagens. É necessário encontrar as duas projetividades para as quais, aplicadas às imagens, as restrições do caso mais simples (retificado) são cumpridas. sse processo é chamado retificação do par de imagens estéreo. π O O CC222 Visão Computacional IA IC Visão stéreo-21/26

22 No caso retificado: Um par de retas epipolares conjugadas se torna colinear e paralelas a um dos eios da imagem (eio ). Retas epipolares conjugadas horizontais terão a mesma coordenada y nas imagens. Os epipólos estão no infinito (porque os planos-imagem são paralelos à ret que une os centros de projeção (linha de base)). CC222 Visão Computacional IA IC Visão stéreo-22/26

23 Assumindo: A origem do sistema de referência das imagens é o ponto principal. A distância focal é f. Algoritmo: Rotacionar a câmera esquerda para que o epipólo vá ao infinito na direção horizontal (só depende da posição dos centros de projeção). Aplicar a mesma rotação à câmera direita para recobrar a geometria original. Rotacionar a câmera direita de R (parâmetro etrínseco). Ajustar a escala dos sistemas de coordenadas das câmeras. CC222 Visão Computacional IA IC Visão stéreo-23/26

24 efinir base de 3 vetores ortonormais (ortogonais entre si e unitários). e = 1 e =, onde é o vetor do centro de projeção esquerdo para o direito y e 3 e1 e2 y, um vetor perpendicular a. =, vetor perpendicular a e a e2. A rotação definida por R rect e = e e rotaciona a câmera esquerda levando o epipólo para o infinito no eio horizontal. (verificar a multiplicação por ). CC222 Visão Computacional IA IC Visão stéreo-24/26

25 Algoritmo (rucco-fusiello): 1. Construir a matriz R rect. R = R e R = R Rrect 2. Fazer rect 3. ara cada ponto para a câmera esquerda p = [, y, f ] ', y', z' a. [ ] f z' = R p [ ] b. '= ', y', z' p ponto retificado 4. Repetir para a câmera direita com R e p. CC222 Visão Computacional IA IC Visão stéreo-25/26

26 CC222 Visão Computacional IA IC Visão stéreo-26/26