IV Simpósio Brasileiro de Geomática SBG17 II Jornadas Lusófonas - Ciências e Tecnologias de Informação Geográfica - CTIG17 Presidente Prudente - SP, 24-26 de julho de 17 p. 341-346 USO DO DETECTOR DE PONTOS DE INTERESSE SIFT PARA LOCALIZAÇÃO DE ALVOS ARTIFICIAIS DE CONTROLE ADILSON BERVEGLIERI ANTONIO MARIA GARCIA TOMMASELLI Universidade Estadual Paulista - Unesp Faculdade de Ciências e Tecnologia - FCT Departamento de Cartografia, Presidente Prudente - SP adilsonberveg@gmail.com, tomaseli@fct.unesp.br RESUMO - Este trabalho descreve um estudo sobre o comportamento do operador Scale Invariant Feature Transform (SIFT) quando aplicado em formas geométricas regulares, como alvos fotogramétricos artificiais. Alguns testes foram realizados com alvos artificiais em forma de círculo, cruz e xadrez, usando texturas homogêneas e alternando o fundo entre claro e escuro. O objetivo foi verificar o ponto de interesse extraído, uma vez que o operador evita pontos localizados em cantos ou bordas. A correspondência entre os alvos artificiais e imagens capturadas a partir deles também foi realizada. Os resultados mostraram que a correspondência entre descritores SIFT foi estabelecida corretamente em todos os casos, incluindo a identificação de centroides locais. Palavras chave: Alvos pré-sinalizados, Correspondência de imagens, Fotogrametria, Pontos de interesse, Pontos de Controle. ABSTRACT This paper describes a study on the behavior of the Scale Invariant Feature Transform (SIFT) operator when applied to regular geometric shapes, such as artificial photogrammetric targets. Tests were performed with artificial targets with shapes like circle, cross and chess, using homogeneous textures and alternating the background between light and dark. The objective was to verify the point of interest extracted, since the operator avoids points located in corners or edges. Image matching was also performed between the artificial target and its captured image. The results showed that the matching between SIFT descriptors was established for all the cases studied, including the identification of local centroids. Key words: Signalized Targets, Image matching, Photogrammetry, Interest points, Ground Control Points. 1 INTRODUÇÃO A técnica Scale Invariant Feature Transform (SIFT) desenvolvida por Lowe (1999, 04) tem sido muito utilizada pelos softwares fotogramétricos devido à sua capacidade de identificar pontos de interesse e determinar as correspondências em imagens com diferentes escalas e rotações, além de possibilitar um grande volume de pontos. O operador SIFT extrai automaticamente pontoschave que descrevem uma imagem com base em informações de gradientes locais (magnitude e orientação) e comumente a técnica SIFT é aplicada em imagens com textura. Os descritores resultantes são pontos que dificilmente seriam selecionados por operadores humanos, uma vez que métodos visuais tendem a usar pontos baseados em cantos, extremidades de linhas ou centroides de formas regulares, por serem identificados mais facilmente nas imagens. Desse modo, este trabalho realizou um estudo sobre o comportamento do operador SIFT em formas geométricas, como círculos, cruzes, faixas cruzadas, bem como considerando o contraste dos alvos em branco e preto. O objetivo foi identificar que tipo de ponto de interesse a técnica SIFT extrai quando alvos artificiais com formas regulares e textura homogênea são usados para uma correspondência de imagens, tendo em vista a localização automática de alvos artificiais sobre pontos de controle. O uso de alvos artificiais, como modelos em imagens sintéticas, permite ter um controle de suas coordenadas e de seu centro, o que possibilita localizar com precisão suas coordenadas em imagens correspondentes.
IV Simpósio Brasileiro de Geomática SBG17 II Jornadas Lusófonas - Ciências e Tecnologias de Informação Geográfica - CTIG17 2 FUNDAMENTOS DA TÉCNICA SIFT O operador de pontos de interesse de Lowe (04) consiste em uma técnica de processamento de imagens que permite detectar e extrair descritores locais parcialmente invariantes a mudanças de iluminação, de perspectiva, ruído de imagem, rotação e, principalmente, mudanças de escala. Os descritores produzidos são vetores de características de uma imagem ou de determinada região que podem ser usados para comparar regiões entre imagens. Cada descritor é único, robusto à oclusão e não requer nenhuma etapa de segmentação de imagens. Um grande número de pontos de interesse (ou pontos-chave, como são denominados na técnica SIFT) pode ser gerado para cobrir densamente uma imagem, dependendo do tipo de textura. Em geral, a técnica SIFT pode ser dividida em quatro passos principais de computação, sendo os dois primeiros ligados à detecção, extração e refinamento dos pontos-chaves e os outros dois passos destinados à construção dos descritores com base nos gradientes locais em que cada ponto-chave está localizado. Esses quatro passos são resumidamente apresentados a seguir, segundo Lowe (04). 2.1 Passo 1: Detecção de extremos no espaço-escala Pontos máximos e mínimos são detectados em uma pirâmide de imagens construída a partir da convolução da função contínua Difference of Gaussians (DoG). O filtro gaussiano é dado por (1) e a DoG é dada pela diferença das imagens filtradas (2), separadas por uma constante k. G(x, y, σ) = 1 2πσ 2 e (x2 +y 2 )/2σ 2 (1) DoG = G(x, y, kσ) G(x, y, σ) (2) A suavização gaussiana produz versões da imagem similares a uma variação de escala. Lowe (04) considera necessário fazer a convolução até 2σ. O resultado da convolução com a DoG é dado por (3), em que I(x, y) é a imagem original. A subtração entre pares de imagens filtradas adjacentes forma a DoG. D(x, y, σ) = (G(x, y, kσ) G(x, y, σ)) I(x, y) (3) Como mostrado na Figura 1, o conjunto de todas as imagens filtradas juntamente com as imagens subtraídas ou DoGs (imagens de bordas) constituem uma oitava. A partir da imagem filtrada com 2σ, uma nova oitava pode ser gerada. A cada oitava, a imagem é redimensionada para a metade de seu tamanho em relação à oitava anterior, sendo o número de oitavas variável conforme a necessidade. A Figura 1 também ilustra a detecção dos pontos extremos. A partir das DoGs, cada pixel é comparado com seus vizinhos na própria imagem e nas DoGs adjacentes. Assim, o ponto é extraído se ele for identificado como um máximo ou mínimo local. Isto é realizado em cada oitava. Os pontos extraídos formam um conjunto de pontos candidatos a serem pontos-chave, os quais serão os descritores da imagem. Figura 1 Conjunto de oitavas mostrando as imagens suavizadas e as DoGs, as quais têm seus pixels analisados em relação à vizinhança para a extrair os pontos máximos ou mínimo locais. Neste exemplo, o pixel X é comparado com os seus 8 vizinhos na imagem e com os outros 18 vizinhos nas imagens adjacentes.
IV Simpósio Brasileiro de Geomática SBG17 II Jornadas Lusófonas - Ciências e Tecnologias de Informação Geográfica - CTIG17 A função DoG fornece uma aproximação ao Laplaciano normalizado (σ 2 2 G). Lindeberg (1994) mostrou que uma normalização do Laplaciano com fator σ 2 é necessária para uma extração eficiente e invariante com a escala. Mikolajczyk (02) verificou que o máximo e mínimo de σ 2 2 G produz as características de imagens mais estáveis quando comparadas a uma gama de outras funções de imagens, tais como gradiente, Hessiano ou detector de Harris (Harris and Stephens, 1988). 2.2 Passo 2: Localização dos pontos-chave Esta etapa tem a finalidade de eliminar os pontoscandidatos com baixo contraste ou mal localizados, como em bordas. Além disso, faz-se o ajuste do ponto para uma localização sub-pixel, ou seja, uma interpolação para uma posição de máximo local. O ajuste é realizado enquadrando-se uma função quadrática 3D ao ponto candidato usando os pixels vizinhos. Uma expansão de Taylor até 2ª ordem é usada neste ajuste. O máximo local é dado pela segunda derivada. Como a função DoG tem resposta forte ao longo das bordas, isto gera instabilidade nos pontos-chave porque são sensíveis a ruídos e, portanto, devem ser eliminados. Isto é realizado com base na razão das curvaturas principais, que é calculada pela matriz Hessiana (H) 2 2 da função DoG. O conceito é que um extremo mal determinado na DoG tem uma grande curvatura de um lado da borda e uma pequena curvatura na direção perpendicular. A partir dessa matriz H, é feita uma razão (4) do traço Tr(H) pelo determinante det(h) em relação à razão r dos autovalores (maior/menor) de H, pois os autovalores de H são proporcionais às curvaturas das DoGs. h θ = h θ + α. m(x, y). g(δx, Δy, σ ) (5) Em que: Δx e Δy são as distâncias de cada pixel da região em relação ao ponto-chave. Lowe (04) sugere dividir os 3 de orientação em 36 intervalos. Os picos no histograma de orientação representam as direções dominantes. Assim, o pico máximo do histograma é detectado e aqueles outros picos que estiverem acima de 80% em relação ao maior pico também são usados para definir a orientação do pontochave. Em localizações com múltiplos picos similares, podem ocorrer múltiplos pontos-chave, porém com orientações diferentes. Ainda, uma parábola é ajustada aos três valores de histograma mais próximos a cada pico. 2.4 Passo 4: Construção do descritor do ponto-chave Nesta última etapa, constrói-se o descritor com base na região do ponto-chave. Para garantir a propriedade de invariância, as orientações, gradientes e as coordenadas do descritor são giradas em relação à orientação do ponto-chave. Uma função gaussiana com σ igual à metade da janela do descritor é usada para atribuir peso à magnitude de cada ponto da vizinhança, como ilustrado na Figura 2. Em cada ponto-chave, n n regiões com k k pixels são definidas no entorno do ponto. Um histograma é construído para as oito direções com base nas magnitudes dos pixels. No exemplo ilustrado na Figura 2, mostra-se um conjunto de 4 4 histogramas com 8 células acumuladoras, o que gera um vetor descritor com o tamanho 4 4 8 = 128 para cada ponto-chave. Tr(H) 2 (r + 1)2 < Det(H) r (4) Assim, se a razão das curvaturas principais estiver abaixo do limiar, o ponto é aceito como um ponto chave. Lowe (04) sugere usar r = 10 como limiar. 2.3 Passo 3: Atribuição da orientação Nesta etapa, baseando-se nas propriedades locais da imagem, o descritor do ponto-chave é representado em relação à orientação para ser também invariante à rotação. Em cada ponto-chave, são calculados os gradientes, os quais são obtidos pela magnitude e orientação local. Um histograma de orientações é montado com os pixels do entorno do ponto-chave. Este histograma é produzido como uma função discreta h θ (5), usando pesos baseados nos seguintes valores: distância α entre o ângulo de orientação e a célula mais próxima do histograma; valor de magnitude m e em uma janela circular gaussiana g com σ = 1,5σ. Figura 2 Construção do descritor considerando 4 4 regiões subdivididas em 4 4 pixels com acumulação no histograma em 8 direções.
IV Simpósio Brasileiro de Geomática SBG17 II Jornadas Lusófonas - Ciências e Tecnologias de Informação Geográfica - CTIG17 Além disso, o vetor ainda é modificado para reduzir os efeitos de mudança de iluminação. Ocorre uma normalização para a unidade do comprimento e todos os valores acima de um dado limiar (por exemplo, 0,2) são ajustados para esse limiar, evitando que as grandes magnitudes dominem a representação. Desse modo, tem-se um conjunto de 128 valores armazenados no vetor, o quais descrevem a região do ponto-chave. A técnica SIFT é aplicada individualmente a cada imagem para produzir um conjunto de pontos que descrevem a imagem. Logo, para realizar a correspondência de imagens, os descritores devem ser posteriormente comparados por alguma técnica, por exemplo, baseada em distância ou correlação de similaridade para identificar os pares de pontos correspondentes. 3 EXPERIMENTOS E RESULTADOS Esta seção apresenta os resultados quando a técnica SIFT foi aplicada em formas geométricas regulares. O objetivo foi mostrar que tipo de ponto a técnica extrai dessas formas. 3.1 Extração de pontos-chaves em formas regulares Para realizar o experimento foram produzidas imagens sintéticas que correspondem a alvos normalmente usados em Fotogrametria para sinalizar pontos de controle. Assim, foi possível definir perfeitamente cada forma geométrica e seu centro exato, bem como a homogeneidade ou variação dos tons de cinza no seu interior. A técnica SIFT foi aplicada usando um número de três oitavas e seguindo limiares originalmente sugeridos por Lowe (04), como limiar = 0,02, razão de curvatura =10, sigma gaussiano = 0,5 e k = 2. A Figura 3 mostra uma imagem contendo formas geométricas regulares em que são destacados os pontoschave extraídos com suas respectivas coordenadas (coluna, linha) e os valores da intensidade do pixel em cada região. Na Figura 3, também são mostradas as imagens filtradas e as DoGs resultantes. A técnica SIFT produz pontos-chave com coordenadas sub-pixel, porém, neste caso, as coordenadas foram consideradas como valores inteiros para fins de plotagem em imagem e análise do comportamento dos pontos-chave. Figura 3 Pontos-chave (em amarelo) extraídos de formas regulares e o tom de cinza da região. Sequência de imagens filtradas em três oitavas e respectivas DoGs geradas.
IV Simpósio Brasileiro de Geomática SBG17 II Jornadas Lusófonas - Ciências e Tecnologias de Informação Geográfica - CTIG17 Como pode ser visto, em formas muito pequenas, os pontos-chave não são detectados porque a suavização gaussiana indica que estes não são invariantes à escala. Neste caso, o tamanho mínimo para extrair um pontochave foi de uma janela 5 5. O quadrado da posição (11, 11) e os círculos em (10, 34) e (58, ) tiveram seus centroides corretamente detectados pela técnica SIFT, como era esperado, pois representam formas perfeitamente regulares e com pixels homogêneos. A extração dos pontos-chave nos círculos indica a extração de máximo ou mínimo nas regiões claro e escuro. Na Figura 3, o ponto-chave (37, 12) detectado no retângulo também mostra que o ponto é extraído no pixel mais próximo onde se tem maior gradiente. Os quatro pontos-chave detectados no quadrado maior mostram que os pontos SIFT não são extraídos em bordas ou cantos, mas próximos a eles, o que garante que tais pontos sejam mais estáveis. Pontos como aqueles localizados em (48, 15) e (59, 29) também foram detectados porque são pontos próximos a bordas e em meio a outras formas geométricas, sendo gerados em uma oitava diferente daquela dos pontos-chave apresentados anteriormente. 3.2 Correspondência entre alvos fotogramétricos Um experimento também foi conduzido para verificar o estabelecimento de correspondência entre descritores SIFT, usado formas comuns de alvos fotogramétricos, bem como a alternância do fundo entre claro e escuro. A Figura 4 mostra os tipos de alvos selecionados para os testes, os quais apresentam formas de círculo, cruz e xadrez. Para esse teste, os padrões fotogramétricos foram criados em imagens sintéticas, depois plotados em papel e fixados em parede para serem fotografados. Imagens RGB foram capturadas com uma câmara Nikon D3100 (focal 28 mm e pixel de 7.3 µm) a uma distância de 7 m, simulando, por exemplo, um voo com drone a uma altura de 1 m. Ressalta-se que, para estes testes, as imagens foram usadas em tons de cinza. A partir disso, a técnica SIFT foi aplicada entre os pares de imagens (sintética e fotografada) para estabelecer correspondência, o que pode ser visto na Figura 4. Essas correspondências foram estabelecidas utilizando-se a função produto entre os descritores dos pares de imagens como medida de correspondência. Assim como ocorre em imagens com cenários naturais, os resultados mostraram que muitas correspondências são estabelecidas incorretamente, necessitando-se de um passo de filtragem para extrair os pares corretos. Para isso, adotou-se a técnica de filtragem apresentada por Berveglieri e Tommaselli (15) para selecionar um conjunto mínimo de correspondências corretas. Figura 4 Tipos de alvos usados para teste com a correspondência SIFT. Em cada par de correspondência, tem-se à esquerda um alvo sintético e à direita um alvo fotografado. Tal filtragem é baseada em uma transformação de Helmert 2D combinada com um procedimento de votação pela maioria (majority voting) para identificar os parâmetros de translação que são aproximadamente dominantes entre os pares de correspondências. Em síntese, ajusta-se o conjunto de pontos de uma imagem ao conjunto de pontos da segunda imagem pela transformação, e o valor de translação de cada par de correspondência incrementa um voto em uma matriz acumuladora formada por intervalos de valores. A célula da matriz com o maior número de votos indica quais os pares de correspondência devem ser selecionados. Para mais detalhes dessa filtragem, consultar Berveglieri e Tommaselli (15). Como as células da matriz representam intervalos de valores, algumas correspondências incorretas ainda podem existir entre os pares selecionados. Então, uma segunda transformação de Helmert é feita entre os pares selecionados para eliminar algum par de correspondência com resíduo acima de um limiar de aceitação. Assim, a técnica foi aplicada ao experimento, e a Figura 5 mostra as correspondências obtidas após os procedimentos de filtragem, as quais são as que apresentaram os menores resíduos depois da segunda transformação. Os resultados mostraram que, mesmo usando padrões com áreas homogêneas, as correspondências SIFT podem ser estabelecidas corretamente. A partir disso, as seguintes observações são destacadas: Os círculos indicaram as melhores correspondências 80100 80 entre as partes escuras do alvo. As cruzes estabeleceram correspondências tanto na parte clara quanto na escura, sendo que, em ambos os
10 30 50 70 80 90 10 30 50 80 100 1 10 30 50 70 80 90 100 110 10 30 50 70 80 90 10 30 50 70 80 90 IV Simpósio Brasileiro de Geomática SBG17 II Jornadas Lusófonas - Ciências e Tecnologias de Informação Geográfica - CTIG17 casos, tanto o centroide claro quanto o escuro foram obtidos. O alvo xadrez não teve seu centroide extraído, como era esperado, devido às propriedades da técnica SIFT que não detecta bordas nem cantos, porém as correspondências foram estabelecidas no seu entorno. Centroides também podem ser detectados em figuras simétricas, desde que eles não sejam cantos. Em conclusão, é possível usar SIFT para a localização de alvos fotogramétricos em imagens, o que pode contornar problemas com diferenças de escala quando correspondência baseada em área é usada. Entretanto, a qualidade da localização ainda merece ser estudada para verificar seu nível de precisão. AGRADECIMENTOS Os autores deste trabalho agradecem à Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) processos 13/50426-4 e 14/05033-7 pelo suporte financeiro. REFERÊNCIAS BERVEGLIERI, A.; TOMMASELLI, A.M.G. Locating control points in aerial images with a multi-scale approach based on terrestrial image patches. Photogrammetric Record, v. 30, p. 63 81, 15. Figura 5 Correspondências obtidas após o procedimento de filtragem. Esses resultados foram obtidos usando uma configuração de limiares da técnica SIFT próxima àquela sugerida por Lowe (04). Outros conjuntos de pares de correspondências, com mais ou menos pontos podem resultar se outras configurações forem usadas. A conclusão geral deste estudo é que a técnica SIFT pode ser usada para localizar alvos fotogramétricos artificiais em imagens com alta taxa de sucesso. 4 CONCLUSÕES Este trabalho foi realizado com o propósito de verificar o comportamento da técnica SIFT em alvos artificiais fotogramétricos. A técnica tem sido muito utilizada com sucesso em tarefas de fototriangulação, para localização de pontos de passagem, mas considerando imagens naturais de ambientes ou objetos. O que se nota na técnica é que ela proporciona a localização de um grande número de pontos correspondentes, sendo, entretanto, pontos que normalmente não seriam selecionados por operadores humanos. Assim, o propósito foi mostrar que tipo pontos de interesse a técnica SIFT poderia detectar quando se usa alvos artificiais fotogramétricos e se seria possível encontrar pares de correspondência. Como resultado, os testes mostraram que a técnica SIFT detecta pontos em áreas homogêneas somente próximos a bordas e cantos, onde são mais estáveis. HARRIS, C., STEPHENS, M. A combined corner and edge detector. In: Proceedings of the 4th Alvey Vision Conference. p. 147 151, 1988. LINDEBERG, T. Scale-space theory: a basic tool for analysing structures at different scales. Journal of Applied Statistics, v. 21, p. 224 270, 1994. LOWE, D. G. Distinctive image features from scaleinvariant keypoints. International Journal of Computer Vision, v., p. 91 110, 04. LOWE, D. G. Object recognition from local scaleinvariant features. In: Proceedings of the International Conference on Computer Vision, Corfu, Greece, p. 1150 1157, 1999. MIKOLAJCZYK, K. Detection of local features invariant to affine transformations. 02. 171p. PhD Thesis - Institut National Polytechnique de Grenoble, Frrance.