Processamento de Imagens CPS755

Transcrição

1 Processamento de Imagens CPS755 aula 08 - calibração de câmera Antonio Oliveira Ricardo Marroquim 1 / 40

2 laboratório de processamento de imagens tópicos homografia 3D 2D distorção propriedades do centro da câmera centro fixo centro móvel sistema de calibração 2 / 40

3 calibração equação pelas correspondências X é um ponto no espaço 3D x é um ponto na imagem para cada correspondência X i x i 0 T w i X T i y i X T i P 1 w i X T i 0 T x i X T i P 2 = 0 y i X T i x i X T i 0 T P 3 muito parecido com a homografia que já vimos, porém aqui temos uma matriz 2n 12 e resolvemos para os 12 parâmetros da matriz P 3 / 40

4 calibração equação pelas correspondências lembrando que temos somente 2 linhas linearmente independentes [ 0 T w i X T i y i X T ] i P 1 w i X T i 0 T x i X T P 2 = 0 i P 3 como estamos a menos de uma escala, podemos resolver para 11 parâmetros precisamos de correspondências o sistema do tipo Ap = 0 pode ser resolvido com um método linear, ex. DLT 4 / 40

5 calibração distorção radial até agora assumimos que o nosso modelo é linear, ex: o ponto 3D, o ponto correspondente na imagem e o centro ótico são colineares retas no mundo são mapeadas como retas na imagem para máquinas de verdade (não pinholes) isto não é verdade distorção radial principalmente para distância focal curta (ou máquinas baratas) 5 / 40

6 calibração focal longa focal curta 6 / 40

7 calibração radial distortion linear image correction 7 / 40

8 calibração distorção radial se consideramos o ponto ( x, ỹ, 1) T como um ponto sem efeito de distorção, ele estará na mesma reta que a correspondência X cam a correspondência real tem a seguinte relação ( ) ) xd ( x = L( r) ỹ y d onde r é a distância radial do centro e L( r) é o fator de distorção 8 / 40

9 calibração distorção radial L( r) pode ser modelada pela expansão de Taylor por exemplo: L(r) = 1 + κ 1 r + κ 2 r 2 + κ 3 r os coeficientes fazem parte dos parâmetros a serem otimizados existem outras abordagens, ex. mapeamento de retas 9 / 40

10 calibração corrigindo distorção radial 10 / 40

11 centro fixo homografias o que acontece quando mantemos o centro da câmera fixa? podemos alterar a distância focal ou podemos aplicar uma rotação duas imagens I e I com mesmo centro são relacionadas por uma homografia P = KR[I C] P = K R [I C] podemos fazer uma correspondência direta entre seus pontos sem passar pelos pontos 3D x = P X = (K R )(KR) 1 PX = (K R )(KR) 1 x 11 / 40

12 centro fixo homografias x = P X = (K R )(KR) 1 PX = (K R )(KR) 1 x C x / x X 12 / 40

13 centro fixo zoom aumentar a distância focal mover o plano da imagem ao longo do eixo ótico efeito de magnificação simplificação: as lentes compostas alteram outras componentes x = K[I 0]X x = K [I 0]X = K (K 1 K)[I 0]X = K K 1 x podemos novamente realizar a transformação direta entre pontos nas duas imagens x = Hx, onde H = K K 1 13 / 40

14 centro fixo zoom realizando a multiplicação, e fazendo k = f f K K 1 = f 0 x 0 0 f y 0 f 0 x f y f 0 x 0 f 0 fx 0 0 f y 0 0 f fy 0 1 f f 0 f fx 0 + f f 2 f 2 = 0 f f f fy 0 + f f 2 f 2 kf 2 0 kf 2 x 0 + f 2 0 kf 2 kf 2 y 0 + f f 2 f 2 = k 0 (1 k)x 0 0 k (1 k)y / 40

15 centro fixo zoom essa matriz leva um ponto de uma imagem na imagem magnificada (onde os pontos correspondem ao mesmo ponto 3D) k 0 (1 k)x 0 K K 1 = 0 k (1 k)y outra forma de escrever é k 0 0 K = K 0 k ou seja, aplicar uma magnificação com fator k corresponde a multiplicar a matriz de calibração na direita por diag(k, k, 1) 15 / 40

16 centro fixo rotação consideramos agora uma rotação da câmera sem translação e sem mudar os parâmetros internos x = K[I 0]X x = K[R 0]X = KR(K 1 K)[I 0]X = KRK 1 x ou seja, x = Hx onde H = KRK 1 a homografia H é uma rotação conjugada (conjugate rotation) 16 / 40

17 centro fixo rotação a rotação conjugada H = KRK 1 possui os mesmos autovalores (a menos de uma escala) do que a matriz de rotação autovalores: (µ, µe iθ, µe iθ ) se deth = 1 então µ = 1 os autovetores de uma matriz de rotação são (a, I, J) a é o ponto de fuga do eixo de rotação, é o autovetor correspondente ao autovalor real podemos definir a rotação como um eixo definido por a e um ângulo θ ou seja, apesar de não termos K e R explicitamente, podemos encontrar qual foi a rotação entre os dois pontos de vista 17 / 40

18 centro fixo rotação entre as (a) e (b) foi aplicada apenas uma rotação entre (a) e (c) foi aplicada também uma translação note a diferença das relações entre objetos (a) (b) (c) 18 / 40

19 centro fixo rotação usando o algoritmo para calcular automaticamente homografias planares podemos extrair a rotação entre as duas imagens a = ( , 1, ) T e θ = 4.66 o note que o ponto de fuga está praticamente no infinito na direção y, o eixo de rotação é praticamente paralelo ao eixo y 19 / 40

20 centro fixo rotação se conseguimos descobrir qual foi a rotação entre as duas imagens, também podemos pensar no contrário? dada uma imagem aplicar uma rotação e gerar um novo ponto de vista sintético 20 / 40

21 centro fixo rotação se conseguimos descobrir qual foi a rotação entre as duas imagens, também podemos pensar no contrário? dada uma imagem aplicar uma rotação e gerar um novo ponto de vista sintético reparem que para um ângulo θ temos H = KRK 1 se fizermos H 2 = KRK 1 KRK 1 = KR 2 K 1 como R 2 (θ) = R(2θ), aplicar a homografia duas vezes corresponde a rotacionar pelo dobro do ângulo 20 / 40

22 centro fixo rotação de uma forma geral: H λ representa rotacionar por uma fração do ângulo: λθ ou seja, se temos a imagem inicial e final, podemos gerar uma transição suave entre as duas fazendo uma interpolação note que podemos fazer uma decomposição dos autovetores/autovalores (decomposição espectral) H λ = QΛQ 1 = Qdiag(1, e iλθ, e iλθ )Q 1 = KR(λθ)K 1 21 / 40

23 centro fixo rotação usando as ideias do primeiro trabalho, podemos calcular a homografia para pontos de vista diferentes mapear quadriláteros em retângulos original visão de cima visão de lado 22 / 40

24 centro fixo 23 / 40

25 centro fixo mosaico escolher uma imagem como referência (ex. imagem central) fazer a homografia automática de todas outras imagens para o plano desta escolher uma imagem na sequencia projetar no plano de referência expandir a imagem de referência / 40

26 centro fixo 25 / 40

27 centro fixo centro fixo o que acontece quando o centro é fixo? estamos no caso de homografia planar não depende da estrutura 3D por outro lado, não conseguimos recuperar informações 3D não conseguimos calcular explicitamente a matriz K apenas a combinação final H 26 / 40

28 centro móvel paralaxe quando o centro da câmera é deslocado, o mapeamento dos pontos depende da estrutura 3D pontos no mesmo raio de projeção deixam de ter a mesma projeção ao mover o centro (a) (b) (c) 27 / 40

29 centro móvel paralaxe pontos estão coincidentes quando vistos da câmera com centro em C para centro C são projetados em pontos diferentes X 2 L X 1 x x / 2 x / 1 C C / 28 / 40

30 calibração calibração calibrar a câmera significa encontrar a matriz K com esta matriz podemos realizar operações que levem do plano de imagem ao espaço de coordenadas Euclideano da câmera pontos na imagem direções no espaço da câmera d = K 1 x ângulos entre raios relação entre reta na imagem e um plano em 3D 29 / 40

31 calibração calibração ângulos entre raios cos θ = = = d T 1 d 2 d T 1 d 1 d T 2 d 2 (K 1 x 1 ) T (K 1 x 2 ) (K 1 x 1 ) T (K 1 x 1 ) (K 1 x 2 ) T (K 1 x 2 ) x T 1 (K T K 1 )x 2 x T1 (K T K 1 )x 1 x T 2 (K T K 1 )x 2 30 / 40

32 centro móvel ângulos sabendo K podemos medir ângulos no espaço Euclideano a partir de pontos na imagem d 1 C θ x 1 x 2 d2 31 / 40

33 centro móvel ângulos uma reta no espaço de imagem define a normal de um plano n = K T l L l π C 32 / 40

34 cônica absoluta plano no infinito assim como em 2D tínhamos a reta no infinito l que permitia medir propriedades afim do plano e identificar os pontos circulares em l permitia medir propriedades métricas temos o plano no infinito π em 3D posição canônica de π = (0, 0, 0, 1) T dois planos são paralelos se a reta de interseção está em π uma reta é paralela a outra, ou a um plano, se o ponto de interseção está em π 33 / 40

35 cônica absoluta plano no infinito para uma projeção afim π permanece no infinito π contém os pontos no infinito D = (X 1, X 2, X 3, 0) T ligação entre o espaço projetivo P 2 e P 3 um plano π intersecta π em uma reta que é a reta no infinito l do plano π 34 / 40

36 cônica absoluta quádricas em 2D tínhamos cônicas C definidas por matrizes graus de liberdade em 3D temos quádricas Q definidas por matrizes graus de liberdade (definida por 9 pontos) interseção de um plano π com uma quádrica Q é uma cônica C uma quádrica é transformada por: Q = H T QH 1 a quádrica dual é definida por planos tangentes e é transformada por: Q = HQ H T 35 / 40

37 cônica absoluta cônica no infinito em 2D identificar os pontos circulares em l permitia medir propriedades métricas definir a cônica dual (degenerada) C em 3D temos a cônica absoluta Ω só possui pontos imaginários, satisfazem: X X X 2 3 = 0 X 4 = 0 Ω = I quádrica absoluta dual (degenerada): Q [ ] Q I 0 = 0 T 0 36 / 40

38 cônica absoluta mapeamento entre plano no infinito e plano de imagem pontos em π X = (d T, 0) T e são projetados por P = KR[I C] ( ) x = PX = KR[I C] d = KRd = Hd 0 mapeamento é independente da posição da câmera C depende dos parâmetros internos de calibração e da orientação da câmera 37 / 40

39 cônica absoluta imagem da cônica absoluta uma cônica é mapeada por H T CH 1 então a imagem ω (IAC) da cônica absoluta Ω = I ω = (KR) T I(KR) 1 = K T R T R 1 K 1 = (KK T ) 1 ω depende somente dos parâmetros internos da câmera podemos definir ângulos cos θ = = x T 1 (K T K 1 )x 2 x T1 (K T K 1 )x 1 x T 2 (K T K 1 )x 2 x T 1 ωx 2 x T 1 ωx 1 x T 2 ωx 2 38 / 40

40 calibração sistema de calibração simples com três quadrados podemos encontrar K para cada quadrado encontramos uma homografia H entre seu plano π e o plano da imagem utilizar cantos (0, 0) T, (1, 0) T, (0, 1) T, (1, 1) T aplicando H para os pontos circulares em π encontramos 2 pontos em ω 3 quadrados geram 6 pontos em ω (uma cônica é definida por 5 pontos) 39 / 40

41 calibração encontrando a cônica ω ponto circular H(1, ±i, 0) T, ou h 1 ± ih 2 (h 1 ± ih 2 ) T ω(h 1 ± ih 2 ) = 0 restrições: h T 1 ωh 2 = 0 h T 1 ωh 1 = h T 2 ωh 2 monta a matriz e resolve ω 1 [ h11 h 21 h 12 h 21 + h 11 h 22 ] ω 2 h 13 h 21 + h 11 h 23 h 12 h 13 h 22 + h 12 h 23 h 13 h 23 ω 3 = 0... ω 4 ω 5 ω 6 40 / 40