Processamento de Imagens COS756 / COC603

Transcrição

1 Processamento de Imagens COS756 / COC603 aula 13 - Transformada de Hough e SIFT Antonio Oliveira Ricardo Marroquim 1 / 41

2 aula de hoje descritores Transformada de Hough SIFT 2 / 41

3 transformada de Hough objetivo encontrar formas em imagens ex. retas, círculos e elipses (seções cônicas) matlabcentral/fx files/9226/1/ 3 / 41

4 retas definição ou na forma homogênea: y = mx + c Ay + Bx + 1 = 0, onde A = 1 c, B = m c 4 / 41

5 retas definição ou na forma homogênea: y = mx + c Ay + Bx + 1 = 0, onde A = 1 c, B = m c os pontos colineares (x i, y i ) definem a reta (A, B): Ay i + Bx i + 1 = 0, onde A = 1 c, B = m c 4 / 41

6 retas definição ou na forma homogênea: y = mx + c Ay + Bx + 1 = 0, onde A = 1 c, B = m c os pontos colineares (x i, y i ) definem a reta (A, B): Ay i + Bx i + 1 = 0, onde A = 1, B = m c c repare que esta equação tem um caráter dual podemos procurar os pontos (x i, y i ) que pertencem a reta (A, B), ou podemos procurar a reta (A, B) que passa pelos pontos (x, y) 4 / 41

7 retas espaço dual pontos são transformados em retas, e vice-versa todos pontos colineares em uma imagem, definem os pontos de interseção (A, B) no espaço dual transformada de Hough encontra a reta (A, B) rastreando o acumulo das evidências 5 / 41

8 retas votação cada ponto (x i, y i ) forma uma reta U i no espaço dual cada reta U i vota em todos pontos pelos quais ela passa pontos que obtém muitos votos no espaço dual, são os candidatos para serem retas na imagem 6 / 41

9 retas 7 / 41

10 retas problemas 8 / 41

11 retas problemas rasterização das retas no espaço dual pode introduzir erros Bresenham 8 / 41

12 retas problemas rasterização das retas no espaço dual pode introduzir erros Bresenham a parametrização Cartesiana não é muito adequada os parâmetros tem infinitos valores possíveis 8 / 41

13 retas HT polar para retas valores limitados para os parâmetros r = x cos(θ) + y sin(θ) θ [0, π] e r [0, 2N] 9 / 41

14 retas HT polar para retas podemos passar de uma parametrização à outra: m = c = 1 tan θ r sin θ exemplo: quando temos m = 1 e c = 1 temos r = 2 2 e θ = π 4 10 / 41

15 retas HT polar para retas os pontos são mapeados em senoidais a interseção das curvas marca as prováveis retas 11 / 41

16 retas 6.htm 12 / 41

17 retas vantagens complexidade menor do que template matching tolerante aos seguintes fatores: ruído lacunas nas arestas oclusões desvantagens não encontra os extremos das arestas 13 / 41

18 retas 14 / 41

19 retas 15 / 41

20 retas 16 / 41

21 círculos definição forma paramétrica três parâmetros (a, b, r) (x a) 2 + (y b) 2 = r 2 nosso espaço para votação agora está em 3D! cada ponto da imagem no espaço dual gera um cone centrado no ponto representa todos raios possíveis a votação em 3D encontra os círculos da imagem 17 / 41

22 círculos espaço dual todos círculos com raio r no espaço dual intersectam no centro do círculo na imagem (a, b) x = a + r cos θ, y = b + r sin θ 18 / 41

23 círculos 19 / 41

24 curvas GHT Generalized Hough Transform uma forma pode ser representada por uma curva paramétrica v(θ) = (x(θ), y(θ)) precisamos de representação desta curva onde seja possível fazer a votação 20 / 41

25 curvas R-table pré-processamento gera uma tabela que represente a curva indexada pelo ângulo do gradiente (φ) a tabela deve ter entrada para k valores que definem a resolução da amostragem do gradiente 360 k φ i (i = 1...K) 21 / 41

26 curvas R-table escolher um ponto (x c, y c ) no interior da curva (ex. centro gravitacional) para cada ponto da curva (imagem) encontrar dois parâmetros (r, β) inserir na tabela no índice φ mais próximo 22 / 41

27 curvas votação gerar uma imagem H para votação inicializada com zeros H[x c min...x c max][y c min...y c max] para cada ponto da imagem (x, y) com um gradiente significativo G(x, y) > T s encontrar a linha na tabela com φ mais próximo a G(x, y) encontrar o (x c, y c ) correspondente (x c, y c ) = (x + r cos(β), y + r sin(β)) votar: incrementar o valor de H(x c, y c ) encontrar os máximos em H para localizar a curva na imagem 23 / 41

28 curvas escala e rotação até então só encontraremos curvas que foram apenas transladadas e se quisermos encontrar uma forma que pode ter sido rotacionada ou sofrido uma operação de escala? p = t + srp p x = t x + s(p x cos(θ) p y sin(θ)) p y = t y + s(p x sin(θ) + p y cos(θ)) 24 / 41

29 curvas aumentando nosso espaço adicionamos mais parâmetros, nosso espaço H agora está em 4D H[x c min...x c max ][y c min...y c max ][θ min...θ max ][s min...s max ] para cada ponto da imagem, encontramos o par (r, β) (x, y ) = (r cos(β), r sin(β)) e votamos em todas rotações e escalas deste ponto ou seja, para cada par possível de (s i, θ j ) (x c, y c ) = (x + s i (x cos(θ j ) y sin(θ j )), y + s i (x sin(θ j ) + y cos(θ j )) 25 / 41

30 curvas vantagens robusto, tolerante a: pequenas deformações na curva oclusões outras estruturas na imagem (ex. linhas) ruído é possível encontrar múltiplas instâncias do objeto em uma única passada desvantagens requer espaço de armazenamento sensível a erros de discretização alto custo computacional porém, é altamente paralelizável 26 / 41

31 SIFT objetivo encontrar bons pontos para fazer correspondência descritores que sejam invariantes: rotação translação escala ao menos parcialmente a mudanças de iluminação artigos do David Lowe Object Recognition from local-scale-invariant features, 1999 Distinctive Image Features from Scale-Invariant Keypoints, / 41

32 espaço de escala 28 / 41

33 SIFT espaço de escala L(x, y, σ) = G(x, y, σ) I (x, y) variando σ e tirando as diferenças entre os níveis DoG (Difference of Gaussians) D(x, y, σ) = L(x, y, kσ) L(x, y, σ) a operação é repetida sub-amostrando a imagem (diminuindo a resolução) 29 / 41

34 SIFT espaço de escala A = G(σ = (2)) I B = G(σ = (2)) A DoG = B A para o próximo nível da pirâmide, sub-amostra B 30 / 41

35 espaço de escala 31 / 41

36 SIFT máximos e mínimos locais cada ponto é comparado com os 26 vizinhos no espaço de escala 8 vizinhos no mesmo nível, mais 9 no nível acima, mais 9 no nível abaixo se for menor ou maior que todos vizinhos, é marcado como candidato 32 / 41

37 SIFT orientação m(x, y) = (L(x + 1, y) L(x 1, y)) 2 + (L(x, y + 1) L(x, y 1)) 2 ( ) L(x, y + 1) L(x, y 1) θ(x, y) = tan 1 L(x + 1, y) L(x 1, y) histograma com as direções em torno do ponto candidato 36 valores (variação de 10 graus) os máximos no histograma correspondem as orientações principais orientações acima de 80% do máximo também são utilizadas para cada uma o candidato é replicado o máximo é interpolado utilizando uma parábola em torno dos 3 vizinhos mais próximos este passo garante a invariância a rotação, pois o descritor será definido em relação a esta 33 / 41

38 SIFT descritor local cada ponto agora possui posição escala orientação agora precisamos de um descritor que possa distinguir entre esses pontos descritor local abordagem trivial: correlação por templates (NCC) mas vamos ver algo mais esperto 34 / 41

39 SIFT descritor local amostragem de todos gradientes em torno do ponto Gaussiana para pesar os gradientes (σ baseado na escala) com 8 direções possíveis acumula gradientes em histogramas para 4x4 regiões gera um vetor de 4x4x8=128 elementos (feature vector) o vetor é normalizado torna o descritor invariável a mudanças lineares na iluminação 35 / 41

40 SIFT correspondência para reconhecimento de objetos, criar uma base com os descritores de cada um para uma nova imagem extrair os descritores comparar com a base (distância Euclidiana) utilizar estrutura de busca espacial para acelerar processo 36 / 41

41 SIFT 37 / 41

42 SIFT 38 / 41

43 SIFT conclusões método muito utilizado comprovação é fortemente baseada em experimentos esta foi uma descrição geral, no artigo muitos detalhes ex. melhores valores para parâmetro ex. tamanho da pirâmide 39 / 41

44 SIFT 40 / 41

45 SIFT 41 / 41