Processamento de Imagens COS756 / COC603

Transcrição

1 Processamento de Imagens COS756 / COC603 aula 09 - curvatura Antonio Oliveira Ricardo Marroquim 1 / 1

2 aula de hoje feature detection overview curvatura espaço de escala block matching 2 / 1

3 curvatura o que é? 3 / 1

4 curvatura o que é? taxa de mudança na direção da aresta 3 / 1

5 curvatura o que é? taxa de mudança na direção da aresta onde estão nossas prováveis curvas? 3 / 1

6 curvatura o que é? taxa de mudança na direção da aresta onde estão nossas prováveis curvas? contornos definidos por arestas 3 / 1

7 curvatura o que é? taxa de mudança na direção da aresta onde estão nossas prováveis curvas? contornos definidos por arestas como encontrar bons pontos para correspondência nessas curvas? 3 / 1

8 curvatura o que é? taxa de mudança na direção da aresta onde estão nossas prováveis curvas? contornos definidos por arestas como encontrar bons pontos para correspondência nessas curvas? pontos, quinas mudança significativa na curvatura 3 / 1

9 curvatura definição linha reta? 4 / 1

10 curvatura definição linha reta? zero em todos pontos 4 / 1

11 curvatura definição linha reta? zero em todos pontos círculo 4 / 1

12 curvatura definição linha reta? zero em todos pontos círculo constante ( 0) em todos pontos 4 / 1

13 curvatura definição linha reta? zero em todos pontos círculo constante ( 0) em todos pontos possíveis definição 4 / 1

14 curvatura definição linha reta? zero em todos pontos círculo constante ( 0) em todos pontos possíveis definição 1. κ = f (x)? 4 / 1

15 curvatura definição linha reta? zero em todos pontos círculo constante ( 0) em todos pontos possíveis definição 1. κ = f (x)? problema: linha reta 4 / 1

16 curvatura definição linha reta? zero em todos pontos círculo constante ( 0) em todos pontos possíveis definição 1. κ = f (x)? problema: linha reta 2. κ = f (x)? 4 / 1

17 curvatura definição linha reta? zero em todos pontos círculo constante ( 0) em todos pontos possíveis definição 1. κ = f (x)? problema: linha reta 2. κ = f (x)? problema: círculo 4 / 1

18 curvatura definição linha reta? zero em todos pontos círculo constante ( 0) em todos pontos possíveis definição 1. κ = f (x)? problema: linha reta 2. κ = f (x)? problema: círculo vamos encontrar uma definição melhor 4 / 1

19 curvatura vetor tangente forma paramétrica (curva contínua) α(t) = x(t) + y(t) primeira derivada velocidade de mudança α(t) = ẋ(t) + ẏ(t) α(t) = ẋ 2 (t) + ẏ 2 (t) direção (ẏ(t) ) ϕ(t) = tan 1 ẋ(t) 5 / 1

20 curvatura vetor tangente diferença entre pontos no limite, movimento instantâneo (tangente) α(t) define a velocidade α(t) = dα dt = lim α(t + h) α(t) h 0 h 6 / 1

21 curvatura vetor tangente diferença entre pontos no limite, movimento instantâneo (tangente) α(t) define a velocidade uma atenção especial: α(t) = dα dt = lim α(t + h) α(t) h 0 h 6 / 1

22 curvatura vetor tangente diferença entre pontos no limite, movimento instantâneo (tangente) α(t) define a velocidade uma atenção especial: velocidade não é constante α(t) = dα dt = lim α(t + h) α(t) h 0 h 6 / 1

23 curvatura exemplo α(t) = (a cos(t), a sin(t)), 0 t 2π α(t) = ( a sin(t), a cos(t)) α(t) = a a velocidade depende do raio a do círculo reparametrizando β(s) = (a cos(s/a), a sin(s/a)) β(t) = ( sin(s/a), cos(s/a)) β(t) = 1 7 / 1

24 curvatura comprimento de arco integral de todos movimentos instantâneos (tangentes) s(t) = t 0 α(t) dt podemos definir a velocidade então como variação da curva ao longo do tempo em termos do comprimento de arco T (t) = α(t) α(t) a curvatura define mudança de direção ao longo da curva κ(s) = dt ds = dϕ(t) ds 8 / 1

25 curvatura curvatura se não temos a curva parametrizada por comprimento de arco, ainda podemos encontrar a curvatura pela regra da cadeia κ(t) = dt dt ds dt = dϕ(t) dt dt ds 9 / 1

26 curvatura curvatura se não temos a curva parametrizada por comprimento de arco, ainda podemos encontrar a curvatura pela regra da cadeia κ(t) = dt dt ds dt = dϕ(t) dt dt ds sabendo que dt ds = 1 α(t) = 1 ẋ 2 (t) + ẏ 2 (t) 1 ϕ(t) = tan (ẏ(t) ẋ(t) ) 9 / 1

27 curvatura função de curvatura (curva paramétrica) κ(t) = ẋ(t)ÿ(t) ẏ(t)ẍ(t) (ẋ 2 (t) + ẏ 2 (t)) 3/2 10 / 1

28 curvatura curvas em imagens digitais se temos a função contínua da curva, a curvatura está definida mas e a curva extraída por deteção de arestas? 11 / 1

29 curvatura curvas em imagens digitais se temos a função contínua da curva, a curvatura está definida mas e a curva extraída por deteção de arestas? utilizar diretamente a diferença de direções angulares 11 / 1

30 curvatura curvas em imagens digitais se temos a função contínua da curva, a curvatura está definida mas e a curva extraída por deteção de arestas? utilizar diretamente a diferença de direções angulares abordagem utilizando espaço de escala 11 / 1

31 curvatura direções angulares diferença de direção de aresta entre pixels vizinhos da curva κ(t) = ϕ t+1 ϕ t 1 onde ϕ t é a direção do gradiente do pixel t da curva a direção do gradiente pode ser extraída por um detetor de arestas 12 / 1

32 curvatura direções angulares alternativa: calcular ϕ t diretamente pela posição dos pixels κ(t) = y t 1 y t+1 x t 1 x t+1 problema: somente oito direções possíveis uma alternativa melhor é considerar uma diferença média κ(t) = 1 n n ϕ t+1 1 n i=1 1 i= n ϕ t+1 também pode-se utilizar pesos (Gaussiana) 13 / 1

33 curva digital extraindo o contorno após realizar a deteção de arestas o que temos? 14 / 1

34 curva digital extraindo o contorno após realizar a deteção de arestas o que temos? somente pixels marcados como arestas e valores de gradiente 14 / 1

35 curva digital extraindo o contorno após realizar a deteção de arestas o que temos? somente pixels marcados como arestas e valores de gradiente e se quisermos seguir esta curva? 14 / 1

36 curva digital extraindo o contorno após realizar a deteção de arestas o que temos? somente pixels marcados como arestas e valores de gradiente e se quisermos seguir esta curva? o que estamos fazendo é criando uma curva paramétrica se a curva possui n pixels teremos um parâmetro t[0, n 1] conseguimos caminhar na curva variando t 14 / 1

37 curva digital extraindo o contorno com o contorno, sabemos também calcular a curvatura 15 / 1

38 curva digital extraindo o contorno com o contorno, sabemos também calcular a curvatura e como encontrar os máximos (ou mínimos) locais da curvatura? 15 / 1

39 curva digital extraindo o contorno com o contorno, sabemos também calcular a curvatura e como encontrar os máximos (ou mínimos) locais da curvatura? basta seguir a curva e procurar onde a variação da curvatura muda de sinal 15 / 1

40 curva digital extraindo o contorno com o contorno, sabemos também calcular a curvatura e como encontrar os máximos (ou mínimos) locais da curvatura? basta seguir a curva e procurar onde a variação da curvatura muda de sinal então, para que serve o espaço de escala? 15 / 1

41 espaço de escala objetivo existe uma série de problemas em detetar as features por exemplo, variação no tamanho ou resolução da imagem como vimos, o detetor de Harris é invariante a rotação porém não é invariante a escala invariância a escala como realizar um operador invariante a escala? encontrar características que estejam em todas escalas 16 / 1

42 espaço de escala níveis L(x, y, σ) = G(x, y, σ) I (x, y) variando σ estamos variando a escala σ : parâmetro de escala 17 / 1

43 espaço de escala 18 / 1

44 espaço de escala evolução de uma curva curva paramétrica α(t) = (x(t), y(t)) evolução: curva em diferentes escalas α σ = (X (t, σ) + Y (t, σ)) onde X (t, σ) = x(t) g(t, σ) Y (t, σ) = y(t) g(t, σ) 19 / 1

45 espaço de escala evolução de uma curva curvatura da evolução da curva onde κ(t, σ) = Ẋ (u, σ)ÿ (u, σ) Ẍ (u, σ)ẏ (u, σ) Ẋ (u, σ)2 + Ẏ (u, σ)2 Ẋ (t, σ) = x(t) g t (t, σ) Ẍ (t, σ) = x(t) g tt (t, σ) Ẏ (t, σ) = y(t) g t (t, σ) Ÿ (t, σ) = y(t) g tt (t, σ) 20 / 1

46 espaço de escala evolução de uma curva curvatura da evolução da curva onde κ(t, σ) = Ẋ (u, σ)ÿ (u, σ) Ẍ (u, σ)ẏ (u, σ) Ẋ (u, σ)2 + Ẏ (u, σ)2 Ẋ (t, σ) = x(t) g t (t, σ) Ẍ (t, σ) = x(t) g tt (t, σ) Ẏ (t, σ) = y(t) g t (t, σ) Ÿ (t, σ) = y(t) g tt (t, σ) obs quem é g tt? 20 / 1

47 espaço de escala evolução de uma curva curvatura da evolução da curva onde κ(t, σ) = Ẋ (u, σ)ÿ (u, σ) Ẍ (u, σ)ẏ (u, σ) Ẋ (u, σ)2 + Ẏ (u, σ)2 Ẋ (t, σ) = x(t) g t (t, σ) Ẍ (t, σ) = x(t) g tt (t, σ) Ẏ (t, σ) = y(t) g t (t, σ) Ÿ (t, σ) = y(t) g tt (t, σ) obs quem é g tt? Laplaciano da Gaussiana (LoG) : chapéu mexicano 20 / 1

48 espaço de escala 21 / 1

49 espaço de escala 22 / 1

50 curva digital identificando pontos no espaço de escala os pontos identificados no níveis com σ altos também estão presentes nos níveis mais baixos 23 / 1

51 curva digital identificando pontos no espaço de escala os pontos identificados no níveis com σ altos também estão presentes nos níveis mais baixos problema: má localização com σ alto, muita suavização 23 / 1

52 curva digital identificando pontos no espaço de escala os pontos identificados no níveis com σ altos também estão presentes nos níveis mais baixos problema: má localização com σ alto, muita suavização podemos extrair os pontos no nível alto e depois buscá-los nos níveis seguintes (tracking) busca em uma pequena vizinha por um máximo de curvatura vantagens: menos sensível a ruídos menos aglomerados de pontos mais rápido (os pontos são encontrados somente no nível mais alto) 23 / 1

53 pontos de interesse com espaço de escala algoritmo 1. extrair as arestas (ex. Canny) 24 / 1

54 pontos de interesse com espaço de escala algoritmo 1. extrair as arestas (ex. Canny) 2. ligar as arestas para formar contornos (fechar pequenos buracos) 24 / 1

55 pontos de interesse com espaço de escala algoritmo 1. extrair as arestas (ex. Canny) 2. ligar as arestas para formar contornos (fechar pequenos buracos) 3. calcular as derivadas dos contornos convoluindo com as derivadas da gaussiana Ẋ (t, σ), Ẍ (t, σ), Ẏ (t, σ), Ÿ (t, σ) 24 / 1

56 pontos de interesse com espaço de escala algoritmo 1. extrair as arestas (ex. Canny) 2. ligar as arestas para formar contornos (fechar pequenos buracos) 3. calcular as derivadas dos contornos convoluindo com as derivadas da gaussiana Ẋ (t, σ), Ẍ (t, σ), Ẏ (t, σ), Ÿ (t, σ) 4. calcular a curvatura dos contornos para a escala com maior σ κ(t, σ) = Ẋ (t, σ)ÿ (t, σ) Ẍ (t, σ)ẏ (t, σ) Ẋ (t, σ)2 + Ẏ (t, σ) 2 24 / 1

57 pontos de interesse com espaço de escala algoritmo 1. extrair as arestas (ex. Canny) 2. ligar as arestas para formar contornos (fechar pequenos buracos) 3. calcular as derivadas dos contornos convoluindo com as derivadas da gaussiana Ẋ (t, σ), Ẍ (t, σ), Ẏ (t, σ), Ÿ (t, σ) 4. calcular a curvatura dos contornos para a escala com maior σ κ(t, σ) = Ẋ (t, σ)ÿ (t, σ) Ẍ (t, σ)ẏ (t, σ) Ẋ (t, σ)2 + Ẏ (t, σ) 2 5. encontrar os máximos locais 24 / 1

58 pontos de interesse com espaço de escala algoritmo 1. extrair as arestas (ex. Canny) 2. ligar as arestas para formar contornos (fechar pequenos buracos) 3. calcular as derivadas dos contornos convoluindo com as derivadas da gaussiana Ẋ (t, σ), Ẍ (t, σ), Ẏ (t, σ), Ÿ (t, σ) 4. calcular a curvatura dos contornos para a escala com maior σ κ(t, σ) = Ẋ (t, σ)ÿ (t, σ) Ẍ (t, σ)ẏ (t, σ) Ẋ (t, σ)2 + Ẏ (t, σ) 2 5. encontrar os máximos locais 6. procurar estes máximos na escala seguinte da curva 24 / 1

59 pontos de interesse com espaço de escala CSS corner detection method o algoritmo que acabamos de ver (adicionando alguns detalhes) Robust Image Corner Detection Through Curvature Scale Space Frazin Mokhtarian e Riku Suomela IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 20, no 12, Dezembro / 1

60 CSS corner detection method - comparação 26 / 1

61 CSS corner detection method - comparação 27 / 1

62 Using contours to detect and localize junctions in natural images 28 / 1

63 block matching como comparar pixels? comparar janelas entre imagens alguns critérios possíveis soma do quadrado das diferenças (SSD) soma das diferenças absolutas (SAD) correlação cruzada normalizada (NCC) existem vários outros critérios / 1

64 block matching SAD soma das diferenças absolutas (sum of absolute differences) t(i, j) f (x + i, y + j) (i,j) W t é o template usado para comparação centrado no pixel em questão f é a imagem alvo onde se procura por pixel parecido 30 / 1

65 block matching SSD soma do quadrado das diferenças (sum of squared differences) (t(i, j) f (x + i, y + j)) 2 (i,j) W muito parecido com o SAD, um pouco mais custoso 31 / 1

66 block matching NCC correlação cruzada normalizada (normalized cross correlation) note que ao expandir (i,j) W (t(i, j) f (x + i, y + j)) 2 temos termos que são constantes, independendo da comparação [ t 2 (i, j) 2t(i, j)f (x + i, y + j) + f 2 (x + i, y + j) ] (i,j) W sobrando (i,j) W t(i, j)f (x + i, y + j) 32 / 1

67 block matching NCC porém, existem problemas com a expressão c(i, j) = t(i, j)f (x + i, y + j) (i,j) W priorizar regiões de alta intensidade na imagem os valores possíveis para c(i, j) depende do tamanho da janela não é invariante a mudanças de iluminação 33 / 1

68 block matching NCC equação normalizada (i,j) c(i, j) = [t(i, j) t][f (x + i, y + j) f x,y ] (i,j) [t(i, j) t] 2 (i,j) [f (x + i, y + j) f x,y ] 2 34 / 1

69 block matching limitações block matching não é invariante a escala rotação distorção perspectiva... mas é simples e funciona bem em alguns casos bem comportados veremos métodos mais robustos e eficientes mais na frente 35 / 1