CC Visão Computacional Reconstrução por stéreo Instituto ecnológico de Aeronáutica Prof. Carlos Henrique Q. Forster Sala 11 IC ramal 5981
ópicos da aula Auto-calibração de um par estéreo Análise da matri fundamental Reconstrução 3 no caso calibrado Reconstrução 3 no caso não calibrado Reconstrução densa (shape-from-stereo) Livro para acompanhar essa aula rucco e Verri cap 7 CC Visão Computacional IA IC Reconstrução por stéreo-/15
Calibrando um sistema estéreo Se não for possível calibrar cada câmera individualmente (por eemplo: o sistema estéreo pode se tratar de uma câmera em movimento), é ainda possível calibrar o par estéreo se for conhecida a associação de 8 pontos da imagem esquerda com os 8 pontos correspondentes (homólogos) da imagem direita. A auto-calibração do sistema estéreo consiste da estimação da matri fundamental a partir da associação de 8 pontos. (O algoritmo é conhecido algoritmo dos 8 pontos). Se forem conhecidos os parâmetros intrínsecos das câmeras, então a matri essencial também pode ser obtida. CC Visão Computacional IA IC Reconstrução por stéreo-3/15
O algoritmo dos 8 pontos Uma associação de um ponto p da imagem esquerda com um ponto p da imagem direita cria uma restrição sobre os elementos da matri fundamental dada pela equação de Longuet-Higgins ~ p F ~ p pandindo 0 f f 11 1 13 1 3 1 f31 f3 f33 f f f f 1 0 f11 + f1 + f31 + f1 + f + f3 + f13 + f3 + f33 0 Sistema de 8 equações e 9 incógnitas Buscar o espaço nulo CC Visão Computacional IA IC Reconstrução por stéreo-4/15
sse método da forma apresentada é numericamente instável, sendo necessárias normaliações (não definir como 1 as coordenadas homogêneas). Um outro problema é a possível obtenção da matri F com rank completo, quando sabemos que deve ter rank. O truque que se utilia é decompor em SV e fiar o menor valor singular em ero, antão recompor a matri F. CC Visão Computacional IA IC Reconstrução por stéreo-5/15
Localiação dos epipólos dada matri fundamental Como o epipólo qualquer ponto ~ p F e~ e ~ da imagem esquerda pertence a qualquer linha epipolar para p~ da imagem direita, vale a relação 0 Como F não é identicamente nula, então isto só é possível no caso em que F e ~ 0 Assim, decompondo F em SV, a coluna de V correspondente ao valor singular nulo representa o epipólo representa o epipólo e ~. A coluna de U correspondente ao valor singular nulo e ~. CC Visão Computacional IA IC Reconstrução por stéreo-6/15
Obtenção da linha de base pela matri essencial RS Lembrando que S R RS Mas, como R é matri de rotação, sendo ortonormal S S + + + R R O tamanho da linha de base é obtido da soma dos elementos da diagonal (traço) I 1 raço( ) por substituição (mas, perde- O vetor pode ser obtido de qualquer coluna de se o sinal). CC Visão Computacional IA IC Reconstrução por stéreo-7/15
Obtenção da orientação relativa pela matri essencial Sejam ˆ / e ˆ / ˆ ˆ, efinimos wi i i 1,, 3, onde i Ê são linhas de Ê. A matri de rotação é dada por (1,,3), (,3,1) e (3,1,). R i wi + w j wk para as triplas (i,jk) iguais a Problemas na determinação do sinal do vetor e da matri R. CC Visão Computacional IA IC Reconstrução por stéreo-8/15
Reconstrução Caso calibrado P P P p p O O CC Visão Computacional IA IC Reconstrução por stéreo-9/15
Como nossas medidas são imprecisas, as retas podem não ser concorrentes, mas reversas. ntão é necessário encontrar um ponto de distância mínima às duas retas. a p corresponde ao raio P e b R p P. + ao raio w é um vetor ortogonal às duas retas, portanto, uma escolha seria p R p. A soma dos 3 vetores deve ser igual ao vetor a ( p R p ) p b R p + c Resolvemos o sistema linear para (a, b, c) e encontramos o ponto médio do segmento 1 entre as duas retas. ( a p + + b R p ) CC Visão Computacional IA IC Reconstrução por stéreo-10/15
Reconstrução Caso não calibrado Primeiro caso: Conhecemos os parâmetros intrínsecos das câmeras. Calibramos com o algoritmo dos 8 pontos. stimamos a matri essencial Normaliamos a matri essencial, porque não conhecemos o tamanho da linha de base stimamos e R a partir da matri essencial Reconstruir a profundidade dos pontos (testar as 4 possibilidades de sinal) O resultado obtido é dependente de um fator de escala CC Visão Computacional IA IC Reconstrução por stéreo-11/15
Reconstrução Caso não calibrado Segundo caso: não conhecemos os parâmetros intrínsecos. Calibramos com o algoritmo dos 8 pontos stimamos as posições dos epipólos a partir da matri fundamental efinimos uma base projetiva padrão (5 pontos) considerando os 5 primeiros pontos a serem reconstruídos (e que não formam uma configuração degenerada) como pontos da base ncontrar as transformações projetivas planares e que levam 4 pontos da imagem esquerda e 4 pontos da direita na base projetiva padrão em. Aplicar as transformações a todos pontos da imagem e aos epipólos. stimar as coordenadas dos centros de projeção na base projetiva 3 definida e as matries de projeção. fetuar a triangulação, o resultado é dependente do conhecimento da posição de 5 pontos no espaço 3. CC Visão Computacional IA IC Reconstrução por stéreo-1/15
Reconstrução ensa (Horn) Reconstrução a partir de pares de pontos pode requerer uma interpolação de pontos intermediários para se obter uma imagem completa da disparidade. Vejamos um método que computa diretamente o mapa de disparidade baseado nas diferenças de intensidade pela imagem. Considerando uma linha do sistema estéreo com coordenadas e correspondentes. + b / f e b / f Queremos encontrar () tal que + b f / f b / (intensidades dos piels) CC Visão Computacional IA IC Reconstrução por stéreo-13/15
Substituindo ' f / e d ( ' ) bf / (mapa de disparidade) 1 1 + d( ) d( ) Restrição de suavidade do mapa de disparidade (a ser minimiada) e s ( d (, )) dd Restrição a minimiar para igualar as intensidades das imagens e i ( (, ) (, ) ) dd Função objetivo total a ser minimiada F e s + λe i, λ é o parâmetro de regulariação de ikonov CC Visão Computacional IA IC Reconstrução por stéreo-14/15
CC Visão Computacional IA IC Reconstrução por stéreo-15/15 Solução da minimiação é solução da equação de uler associada: 0 d d d F F F pandindo: + d 1 ) ( 4 λ O operador bi-harmônico é definido por: 4 4 4 4 4 4 + + Substituindo por diferenças finitas, construímos o esquema iterativo: + + d d m ij m ij 1 ) ( 1 κ λ As derivadas de e de d são obtidas por convolução com um padrão apropriado.