Processamento de Imagens CPS755

Transcrição

1 Processamento de Imagens CPS755 aula 05 - sistemas lineares - parte 2 Antonio Oliveira Ricardo Marroquim 1 / 27

2 laboratório de processamento de imagens tópicos métodos lineares mínimos quadrados equações normais DLT normalizada (método direto) erros algébrico e geométrico RANSAC 2 / 27

3 mínimos quadrados casos considerando o sistema Ax = b, onde A é uma matriz m n se m < n : não possui solução única (mais variáveis que equações) se m = n : solução única se A for inversível se m > n : geralmente indeterminado vamos considerar o caso m n onde A tem posto n como geralmente não existe solução, procuramos a mais próxima no sentido de minimizar Ax b 3 / 27

4 mínimos quadrados lembrando utilizando a decomposição SVD, precisamos minimizar Ax b = UDV T h b utilizando a propriedade de preservação da norma UDV T h b = DV T h U T b fazendo y = V T h e b = U T b, queremos minimizar então Dy b 4 / 27

5 mínimos quadrados matrizes a equação Dy b pode ser escrita em forma matricial d 1 d 2 b 1 b y 1... y 2 2. dn. = y n 0. b n b n+1 b m 5 / 27

6 mínimos quadrados matrizes o melhor b que podemos encontrar é o vetor (b 1, b 2,..., b n, 0,..., 0) T para tanto faz-se y i = b i /d i repare que como A tem posto n, d i 0 d 1 d 2 b 1 b y 1... y 2 2. dn. = y n 0. b n b n+1 b m 6 / 27

7 mínimos quadrados algoritmo solução para o a equação Ax = b A é m n, onde m > n e posto de A = n 1 decomposição SVD: A = UDV T 2 b U T b 3 encontrar vetor y, onde y i = b i /d i 4 solução: x = Vy 7 / 27

8 mínimos quadrados algoritmo vimos que por mínimos quadrados e decomposição SVD podemos resolver sistemas lineares dos tipos Ax = b ou Ax = 0 existem outras maneiras, vamos ver mais uma: equação normal 8 / 27

9 mínimos quadrados equação normal podemos rescrever A T (Ax b) = 0 como (A T A)x = A T b note que agora voltamos ao caso onde a matriz é quadrada podemos encontrar a solução apenas invertendo x = (A T A) 1 A T b 9 / 27

10 mínimos quadrados equação normal note que também estamos minimizando Ax b quando usamos o método por SVD ou equação normal? depende do problema ex. quando n é pequeno comparado com m é menos custos computar (A T A) 1 do que a SVD 10 / 27

11 DLT normalizada recordando para cada par de correspondências x i x i h 11 ( 0 T w i xt i y i ) xt i h 12 w i xt i 0 T x i xt i. = 0 h 33 empilhando as matrizes A i formamos o sistema Ah = 0 que sabemos resolver porém, existe uma propriedade desse sistema a solução não é invariante a transformações de similaridade ou seja, alguns sistemas são melhores do que outros para encontrar a homografia 2D 11 / 27

12 DLT normalizada condicionamento normalização também é conhecido como precondicionamento da matriz sistemas numéricos gostam muito de condicionamentos! existem algumas regras de bom uso (a seguir), ver seção do livro do Zisserman para mais detalhes 12 / 27

13 DLT normalizada DLT com normalização 1 computar a transformação de similaridade T (translação e escala) que leva os pontos x i x i para um novo espaço onde o centroide dos pontos está na origem (0, 0) T e a distância média da origem é 2 (ponto médio é (1, 1, 1) T ) 2 repetir para encontrar T para os pontos x i x i 3 aplicar o algoritmo DLT às correspondências x i x i e encontrar H 4 desnomalizar: H = T 1 HT 13 / 27

14 erros erro algébrico estamos minimizando ɛ = Ax onde ɛ é o vetor resíduo cada correspondência contribui com um erro parcial ɛ i o vetor ɛ é chamado de vetor de erro algébrico d alg (x i, Hx i ) 2 = ɛ 2 = Ah 2 = ɛ 2 i i onde a distância algébrica é dada por: d alg (x 1, x 2 ) 2 = a a 2 2, onde a = (a 1, a 2, a 3 ) T = x 1 x 2 14 / 27

15 erros erro geométrico intuitivamente, talvez usaríamos outra medida de erro ex. a distância entre o ponto medido na imagem, e a sua projeção usando H esta é a distância Euclideana no espaço da imagem d(x i, Hx i ) 2 i repare que estamos assumindo que os pontos x i não possuem erros de medição este é conhecido como o erro de transferência 15 / 27

16 erros erro geométrico simétrico podemos também assumir erros de medição nas duas imagens, e computar o erro geométrico simétrico d(x i, H 1 x i) 2 + d(x i, Hx i ) 2 i agora encontramos a homografia H que minimiza este erro 16 / 27

17 erros erro geométrico reprojetado uma terceira alternativa é encontrar a distância entre os pontos medidos, para pontos que formam correspondências perfeitas d(x i, ˆx i ) 2 + d(x i, ˆx i) 2 i neste caso precisamos não só encontrar H, como também as correspondências perfeitas ˆx i ˆx i 17 / 27

18 erros x d H d / x / H -1 image 1 image 2 x x d / / d x H x / H -1 image 1 image 2 18 / 27

19 erros problema o erro geométrico gera um problema nosso problema deixa de ser linear para resolver isso vamos utilizar métodos não-lineares Newton Levenberg-Marquardt faremos uma revisão desses métodos mais na frente por enquanto, vamos analisar melhor os sistemas lineares 19 / 27

20 erros DLT até então admitimos que a única fonte de erro seja na medição, ou seja, pequenos deslocamentos em torno dos pontos se tivermos erros grandes (outliers), a aproximação será ruim por exemplo, correspondência errada entre pontos como tornar nossa solução menos sensível a esses pontos? 20 / 27

21 RANSAC RANSAC RANdom SAmple Consensus publicado em 1981 por Fischler e Bolles apesar da grande popularidade, o algoritmo é bem simples ideia geral 1 escolher randomicamente uma amostragem de quatro correspondências 2 resolver o problema (mínimos quadrados) 3 dado um limiar de corte (threshold), verificar quantos pontos são classificados como inliers (consenso) 4 repetir para várias amostragens randômicas 5 escolher a solução com melhor consenso 21 / 27

22 RANSAC RANSAC c b a d mínimos quadrados suporte para duas amostragens do RANSAC 22 / 27

23 RANSAC RANSAC qual o limiar de distância d? quantas amostragens N? qual o limiar T para um suporte bom? 23 / 27

24 RANSAC parâmetros muitas vezes são encontrados empiricamente mas existem algumas dicas: a distância mínima d pode ser encontrada modelando o ruído (distribuição Gaussiana) escolher N para que pelo menos uma amostragem esteja livre de outliers, é preciso de uma estimativa da proporção de outliers ou fazer um método adaptativo o tamanho do consenso deve ser próximo ao número total de inliers vamos ver melhor como determinar esses parâmetros adaptativamente mais na frente 24 / 27

25 homografia automática 2D objetivo homografia 2D H automática entre duas imagens i.e., qual a transformação que leva os pixels de uma imagem na outra começar com a ideia mais simples e aos poucos incrementar vamos caminhar em direção a um algoritmo completo (e com sorte robusto) para realizar panorâmicas primeira fase na primeira fase utilizaremos apenas métodos lineares esta primeira fase, por sua vez, será dividida em tarefas menores na segunda fase vamos incluir métodos não-lineares para melhorar o algoritmo 25 / 27

26 homografia automática 2D primeira fase completa input: duas imagens para facilitar: manter centro da câmera fixo (apenas rotação) utilizar um método pronto para encontrar correspondências (Harris, SIFT,...) aplicar RANSAC para descobrir H levar cada imagem para o plano da outra e comparar (sobreposição) 26 / 27

27 homografia automática 2D primeira fase - parte I escolher manualmente n 4 correspondências e resolver o sistema por DLT normalizada paralelamente montar o sistema de correspondências automáticas: quando as duas partes estiverem funcionando testar correspondência automática e escolher as n 4 melhores depois vamos acrescentar o RANSAC para finalizar a primeira fase 27 / 27