SIFT - Scale Invariant Feature Transform

Transcrição

1 SIFT - Scale Invariant Feature Transform Daniel Pinto Coutinho Prof. Ricardo Marroquim 1 Introdução A detecção de pontos de interesse em uma figura é uma tarefa muito comum no campo de processamento de imagens. Existem diversos algoritmos para resolver este problema, no entanto, um bom algoritmo precisa ser robusto a diversos fatores: iluminação, rotação, escala, entre outros. Este trabalho tem como objetivo a implementação e experimentação do algoritmo Scale- Invariant Feature Transform, SIFT, cujo propósito é ser um método robusto como explicado. Após a detecção desses pontos-chave, ou keypoints, em uma imagem, criamos um descritor para cada ponto e podemos, então, realizar comparações entre pontos. Dessa forma, é possível fazer um casamento, matching, entre diferentes imagens contendo o mesmo objeto. Realizamos testes verificando o desempenho da implementação através de matching entre imagens com diversos efeitos. 2 Algoritmo A ideia do algoritmo SIFT segue a teoria do espaço de escalas para criar várias instâncias da imagem original e procurar os keypoints em várias dimensões da imagem de modo a torná-lo invariante à escala. O algoritmo inicia criando uma pirâmide de imagens, dividida em oitavos que, por sua vez, são divididos em intervalos. Cada oitavo consiste em um número de imagens com a mesma dimensão, e ao mudar de um oitavo para o seguinte, as dimensões das imagens são reduzidas pela metade. Dentro do mesmo oitavo, temos intervalos de imagens, cada imagem é suavizada através de um filtro gaussiano G(x, y, σ). A diferença entre uma imagem e a seguinte no mesmo oitavo é um fator k do filtro, ou seja, se a imagem i é suavizada por um filtro G(x, y, σ), então a imagem i + 1 é suavizada por um filtro G(x, y, kσ). 1

2 Figura 1: Espaço de escala e Diferença das Gaussianas Após criada essa pirâmide de imagens, criamos as imagens chamadas Diferenças das Gaussianas, ou DOG, do inglês Difference of Gaussians, como visto na figura 1. Para isso, simplesmente subtraimos as imagens consecutivas na pirâmide. Mostra-se que as diferenças das gaussianas é uma boa aproximação do Laplaciano da Gaussiana [1]. Para obter realmente invariância à escala, é preciso trabalhar com o Laplaciano da Gaussiana [2], mas isso é muito custoso. Trabalhar com a Diferença das Gaussianas é uma forma bem mais eficiente de se obter invariação à escala. O próximo passo é detectar os keypoints nas DOG s simplesmente determinando se ele é um ponto extremo comparando-o com seus vizinhos na sua imagem e nas imagens acima e abaixo. Podemos ver esse processo na imagem 2. Após calcularmos os pontos extremos de uma imagem, eliminamos os pontos ruins, no caso, aqueles que possuem baixo contraste ou são localizados em uma aresta. Após identificado bons keypoints, determinamos orientação principal de cada um. Para isso, calculamos os gradientes, m(x, y), e orientações, θ(x, y), de cada pixel, através de: m(x, y) = (L(x + 1, y) L(x 1, y)) 2 + (L(x, y + 1) L(x, y 1)) 2 θ(x, y) = atan( L(x,y+1) L(x,y 1) L(x+1,y) L(x 1,y) ) 2

3 Figura 2: Ponto extremo Então dentro de uma área ao redor do keypoint, vemos as orientações e gradientes dos pixels da área e acumulamos os valores dos gradientes de acordo com a orientação em um histograma de 36 posições. Nesse caso, cada posição do histograma corresponde a um intervalo de 10 o, assim, a primeira casa vai de 0 o 9 o, a segunda de 10 o 19 o e assim por diante. Determinamos o ponto máximo do histograma e atribuímos essa orientação ao keypoint, e além disso, para cada valor do histograma que esteja a 80% do valor máximo, criamos um novo keypoint no mesmo local, mas com outra orientação. Finalmente, para cada keypoint criamos o seu descritor. Esse descritor é formado através de uma janela 16x16 ao redor do ponto e criamos novamente um histograma das orientações para essa área. Porém, agora dividimos essa área em 16 áreas 4x4 e calculamos o histograma para cada sub-área, nesse caso, o histograma vai conter 8 casas, onde cada intervalo corresponde a 45 o. Cada entrada nos histogramas é suavizada por um janela gaussiana centralizada no keypoint, assim pontos mais perto, possuem mais influência. Por fim, o descritor do keypoint é formado pelos histogramas unidos em um só vetor de 8x4x4 = 128 dimensões. 3 Testes Como há diversos parâmetros para se ajustar no SIFT, definiremos quais foram usados abaixo, recomendados pelo artigo. Realizamos os seguintes experimentos: 3

4 Número de oitavos 4 Número de intervalos 5 k 2. σ 1.6 Limiar de constrate 7.65 Limiar de curvatura 10 Tabela 1: Parâmetros Imagem recortada Imagem rotacionada 10 o Imagem reduzida pela metade Imagem com ruído HSV Imagem artística com estilo cartoon Os resultados são expostos na seção seguinte 4 Resultados 4.1 Imagem Recortada Observa-se que neste caso, figura 3, ele faz uma boa associação entre os pontos originais e os que sobraram. No entanto, ele associa pontos que não possuem correspondência. Keypoints primeira imagem 1789 Keypoints segunda imagem 959 Número de matches 233 Porcentagem de matches 24.3% Tabela 2: Resultados 1 o teste 4.2 Imagem Rotacionada Com um ângulo de rotação pequeno, percebe-se que ele faz uma associação razoável entre alguns pontos, mas também há muita associação errada. 4

5 4.3 Imagem Reduzida Keypoints primeira imagem 1789 Keypoints segunda imagem 2093 Número de matches 271 Porcentagem de matches 15.1% Tabela 3: Resultados 2 o teste O ponto forte do algoritmo é ser invariante à mudança de escalas e o teste mostra que houve uma forte associação correta, com poucos pontos errados presentes. Keypoints primeira imagem 1789 Keypoints segunda imagem 870 Número de matches 176 Porcentagem de matches 20.2% Tabela 4: Resultados 3 o teste 4.4 Imagem com ruído Nesse caso, foi utilizado um ruído HSV para pertubar a imagem. Percebe-se que o algoritmo realiza bons matchings. Keypoints primeira imagem 1789 Keypoints segunda imagem Número de matches 315 Porcentagem de matches 17.6% Tabela 5: Resultados 4 o teste 4.5 Imagem artística No caso de uma imagem com estilo cartoon, percebe-se o desempenho mais fraco do algoritmo, com a menor porcentagem de matches possível, mas ainda assim, pode-se observar algumas associações corretas. 5

6 Figura 3: Imagem recortada Figura 4: Imagem rotacionada 6

7 Figura 5: Imagem reduzida Figura 6: Imagem com ruı do 7

8 Keypoints primeira imagem 1789 Keypoints segunda imagem 2935 Número de matches 224 Porcentagem de matches 12.5% Tabela 6: Resultados 5 o teste 5 Outros resultados Figura 7: Imagem artística A seguir, mostraremos o desempenho do algoritmo com outras imagens, sendo realistas ou não. Observou-se com os testes que imagens geradas por computador apresentam menos ruído e, portanto, não geram tantos keypoints ruins. De qualquer modo, esse é um aspecto a ser melhorado na implementação. 8

9 Figura 8: Lena com escala ampliada. Percebe-se bem que os keypoints ruidosos atrapalham o matching, embora haja algumas associac o es corretas. Figura 9: Duas fotos da mesma montanha, mas transladada. Podemos ver, assim como na imagem da Lena, que a presenc a de keypoints ruidosos atrapalhou o matching. Acreditamos que sem eles, o desempenho do algoritmo seria melhor. 6 Concluso es Neste trabalho, o algoritmo SIFT foi implementado e testado para diferentes pertubac o es de imagens. Podemos observar que ele foi capaz de fazer algumas boas associac o es, mesmo com a presenc a de alguns matches errados. 9

10 Figura 10: Link recortado. Podemos observar o mesmo comportamento apresentado na seção anterior, associação em sua maioria correta. Um ponto fraco da implementação é que ela encontra muitos keypoints que não são úteis. Não foi feita uma análise do tempo, mas percebe-se que para imagens grandes, como as utilizadas no experimento, que possuem dimensão 1280x1280, o tempo de execução torna o algoritmo proibitivo para execuções em tempo real. Percebeu-se que o algoritmo possui pior performance quando comparado com imagens rotacionadas. Somente quando o ângulo de rotação é pequeno, ele possui uma performance aceitável. Como trabalho futuro, é preciso melhorar o desempenho do algoritmo nos aspectos: Diminuir número de keypoints ruidosos Melhorar desempenho de match Melhorar invariância à rotação. 7 Referências [1]Lowe, D.G Distinctive Image Features from Scale-Invariant Keypoints. January 5, [2]Lindeberg, T Scale-space theory: A basic tool for analysing structures at different scales. Journal of Applied Statistics, 21(2):