COMPARAÇÃO DE TÉCNICAS DE CASAMENTO DE PADRÕES EM IMAGENS OBTIDAS POR VANT PARA ESTIMAÇÃO DE POSIÇÃO

Transcrição

1 COMPARAÇÃO DE TÉCNICAS DE CASAMENTO DE PADRÕES EM IMAGENS OBTIDAS POR VANT PARA ESTIMAÇÃO DE POSIÇÃO G. C. C. Silva 1, 2 *, E. H. Shiguemori 2 Projeto: PITER. Artigo de: Iniciação Científica. 1 Universidade Paulista, UNIP - SJC 2 Instituto de Estudos Avançados Divisão de Geointeligência, São José dos Campos SP *gabriel-_silva@hotmail.com Resumo A identificação automática de padrões em imagens aéreas é uma aplicação que tem crescido nos últimos anos. No entanto não é uma tarefa simples, devido aos diferentes cenários e variações que podem ocorrer durante a captura de imagens. Um cenário de atividade, é a extração de informações de um local sobrevoado por uma aeronave, que depende de diversas variáveis, como as condições climáticas e luminosidade em que as imagens são obtidas, os tipos de terrenos existentes, a qualidade da câmera, bem como outros fatores que podem causar variações entre diferentes imagens de um mesmo local. Neste trabalho, são apresentados testes e estudos realizados utilizando técnicas já desenvolvidas no Laboratório de Visão Computacional e Sistemas Embarcados, visando a portabilidade destas técnicas em hardwares de baixo custo computacional. Palavras-chave: Raspberry PI, OpenCV, VANT, RNA. 1. Introdução Nos últimos anos tem-se observado aumento na captura de imagens aéreas, seja por Satélites, Aeronaves e Veículos Aéreos Não Tripulados. Esta captura tem gerado diversas aplicações, como segurança (Zaheer 2016), monitoramento ambiental (Skorpout 2016), dentre muitas outras. Com esse aumento, também cresce a demanda pelo processamento automático destas imagens, facilitando e agilizando o processo de extração informações (Kim 2007). Tais informações podem otimizar grandes áreas da sociedade, como agricultura de grande porte e segurança pública (Kandhalu 2009). Uma área muito estudada é a navegação autônoma, e diversas técnicas têm sido propostas para este fim (Gonzalez 2000; Braga 2015; Silva Filho 2015). Neste cenário, destaca-se o processamento automático de imagens obtidas por VANT, ou também conhecidos por drones, pois diminui a dependência de sistemas externos como, por exemplo, o Sistema de Posicionamento por Satélites e GPS (Shiguemori 2007). Devido às variações existentes nas imagens e vídeos capturados pelos VANTs, decorrentes do tipo de problema, processo de captura, sensor de captura, variações climáticas, ângulos de visada, condições de iluminação, dentre outras, diferentes técnicas de processamento de imagens e visão computacional têm sido propostas (Braga 2015; Silva Filho 2014; Silva Filho, 2016). Estas técnicas envolvem novas abordagens com o uso de técnicas estatísticas, estocásticas e uso de técnicas baseadas em inteligência computacional (Braga 2015). Um tema de pesquisa desenvolvido no IEAv é a navegação autônoma com base em imagens obtidas por câmeras embarcadas. Uma das abordagens para esta navegação considera a existência de imagens de satélites ou imagens aéreas da região a ser sobrevoada (Braga 2015). Neste cenário, é necessário a análise de técnicas de processamento de imagens para fazer o casamento dos padrões de imagens preexistentes e imagens obtidas pelos VANT. O objetivo desse estudo é, realizar a comparação de técnicas de casamento de padrões para identificação automática de imagens obtidas por VANT, em imagens preexistentes com uso técnicas desenvolvidas no laboratório, estas técnicas An. Simp. Cient. Tecnol. IEAv, v.1, p , nov/2016-jul/

2 são embarcadas em placas miniaturizadas de baixo custo, existentes no Laboratório de Visão Computacional, para avaliação de eficiência e viabilidade dos algoritmos. São avaliadas técnicas tradicionais da literatura (Gonzalez 2000) e propostas por Braga (2015) e Monteiro (2006). 2. Metodologia No projeto PITER, em desenvolvimento no IEAv foram desenvolvidos vários algoritmos com diferentes abordagens para o tema de visão computacional, com o foco na localização automática. Para isso, nos testes são utilizadas duas variações de algoritmos a fim de comparar sua precisão na detecção e tempo de processamento, estes algoritmos foram desenvolvidos no projeto PITER e apresentam abordagens utilizando o reconhecimento bordas para o casamento de padrões em imagens. Dentre os algoritmos utilizados estão: 1. Um algoritmo usado no projeto, feito utilizando a linguagem Matlab com o suporte do simulador de voo Flightgear Um segundo algoritmo desenvolvido utilizando a linguagem C++ com o uso da biblioteca de visão computacional OpenCV. Estas abordagens são comparadas com uma técnica que utiliza os conceitos de rede neural artificial (Goltz 2011). São consideradas diversas informações de voo, como: rota; altura; latitude; e longitude. (Silva 2015). Em uma primeira etapa do projeto foi desenvolvida a conversão do algoritmo previamente implementado em Matlab para a linguagem C/C++ com o objetivo de realizar a migração destes algoritmos para sistema embarcados como a Raspberry PI, ilustrada na Fig. 1. Optou-se pelo uso de C/C++ com o uso da biblioteca OpenCV (Topal 2010) para realizar a tradução do simulador previamente desenvolvido. Esta combinação tem sido utilizada em diversos trabalhos desenvolvidos no grupo de pesquisa do IEAv (Shiguemori 2007). Fig. 1. Raspberry Pi 3. Nos algoritmos 1 e 2 são processados os dados obtidos durante as simulações de voo, utilizando a Transformada de Fourier, além disso, determina-se a similaridade entre as imagens obtidas em voo com a imagem referência e amostral que estão armazenadas no sistema (servidor), com o uso de três tipos de diferenciação, são elas: correlação com o gradiente, informação mútua e informação mútua combinada com gradiente (Monteiro 2006). Em primeira instância, nas imagens analisadas, são eliminadas feições de alta frequência com um filtro gaussiano, estas frequências são decorrentes da obtenção das imagens, podendo variar de acordo com a câmera, ângulo e hora da amostragem. Logo após, é calculado o gradiente complexo definido com as componentes reais e imaginárias iguais a imagem filtrada na direção horizontal e vertical. Ao final disso, é calculada a função correlação cruzada entre duas imagens a fim de se detectar padrões e similaridades. Pontos da imagem são classificados em ordem decrescente de correlação e escolhese um determinado número de ponte de maior correlação para se calcular a informação mútua entre as imagens filtradas An. Simp. Cient. Tecnol. IEAv, v.1, p , nov/2016-jul/

3 e a informação mútua modificada nas imagens de gradiente. Com isso se tem três medidas de semelhança entre as imagens com as quais se criou um critério de avaliação. Esta metodologia se aplica de maneira integral aos códigos desenvolvidos em Matlab e C++ com o uso da biblioteca OpenCV. Estas técnicas são comparadas com o algoritmo desenvolvido com a RNA (Braga 2015), é utilizado o método de MLP (Perceptron de Múltiplas Camadas), que é constituído de um conjunto de vários neurônios organizados em camadas (Haykin 2001), com isso a rede é treinada para realizar a detecção de bordas e em seguida realizar o casamento de padrões. A MLP é treinada com algoritmos de backpropagation e algoritmos que fazem a comparação entre diferentes combinações na rede neural, procurando o caminho mais eficiente no processamento, que ajudam a determinar o melhor padrão de aprendizagem (Anochi 2014). Em um primeiro momento as imagens referência e de voo, são convertidas para escalas de cinza, logo em seguida as imagens são filtradas para remoção de ruídos com o uso de filtros especiais, tais ruídos podem causar erros no treinamento que podem se propagar e aumentar em grande escala durante o mesmo. Em um terceiro passo a MLP treinada retira das imagens as bordas de ambas. Em adição são usados os algoritmos Sobel e Canny para comparar os resultados (Braga 2015). Para a conversão das imagens para a mesma escala é utilizada a equação, demonstrada na Eq. 1. Após o processo de extração de bordas é feito o processo de binarização da imagem, que consiste no processo de segmentação de imagem onde, os valores 1 da imagem são pixels de borda e os valores 0, os locais de não bordas. Possibilitando assim à extração de bordas para detecção, é feito o casamento de padrões entre a imagem referência e a imagem de voo obtida pelo VANT exemplificado na Fig. 2. Fig. 2. VANT. Nos testes com os algoritmos utilizando Matlab e C++ com a biblioteca OpenCV foram utilizadas as imagens exemplificadas nas Figuras 3 e 4 referentes a cobertura de solo de área urbana devido a um maior número de possíveis bordas existentes na região. Fig. 3. SJC área urbana. (1) Onde d é o valor da altitude do VANT em relação ao solo, I res é a resolução da imagem referência., Fx e Fy são os valores de altura e largura da imagem referência, e os valores de Sx e Sy são os valores da nova escala. An. Simp. Cient. Tecnol. IEAv, v.1, p , nov/2016-jul/

4 Fig. 4. Amostra de área Urbana. Como imagem base para comparação foi utilizada a imagem de São José dos Campos (Silva 2015) apresentada na Fig. 5. Todos os testes foram realizados considerando a cobertura de solo padrão como urbana. O algoritmo desenvolvido em Matlab foi executado em uma workstation existente no laboratório devido à dificuldade de embarcação em placas miniaturizadas com menor capacidade de hardware. Os algoritmos implementados utilizando MLP e C++ com OpenCV foram executados em uma raspberry 2 e 3 respectivamente. Estes resultados se assemelham com os obtidos utilizando a MLP utilizada por Braga (2015), levando em consideração resoluções de imagem, tempo de processamento e região sobrevoada semelhantes. Fig. 6. Diferenças de posição, matlab a esquerda e em C a direita. Fig. 5. SJC (2005). 3. Resultados e Discussão Durante o processo de desenvolvimento diferentes ferramentas e ambientes de programação foram utilizados. Com isso optou-se pela utilização da IDE Visual Studio em vista de sua facilidade de configuração e uso da biblioteca OpenCV. Essa biblioteca foi escolhida por apresentar diversas funções de visão computacional já implementadas, tornando o desenvolvimento mais ágil e eficaz. Ao comparar os resultados obtidos durantes os testes com os algoritmos utilizados, apresentados na Fig. 6, foi possível comparar a eficiência e precisão individual, demonstrada na Tab. 1. Tab. 1. Resultados de Comparação Temp. de processamento (s) Resolução da Imagem Matlab C pixels pixels Precisão 92% 85% Resolução espacial 1m 1m Erro 6% 12% Não detecção 2% 3% Área de precisão 6 m 11 m An. Simp. Cient. Tecnol. IEAv, v.1, p , nov/2016-jul/

5 4. Conclusões Os algoritmos em C++ são viáveis para a embarcação considerando o tempo de processamento necessário para a caracterização de um voo em tempo real. Também é possível determinar a proximidade de resultados entre os algoritmos sendo executados em raspberry s e do algoritmo executado em computador usado de referência. Em um próximo passo serão embarcados em um VANT para testes em campo aberto, e mais dados serão apresentados durante as apresentações do SCTI. Agradecimentos Gostaria de agradecer ao projeto PITER, pelo espaço, pessoal e instrumentos cedidos e pela paciência; ao 1º Ten. Silva Filho, pela ajuda com algoritmo e as bibliotecas utilizadas durante o processo. Referências ANOCHI, J.; VELHO, H.; FURTADO, H.; LUZ, E.. Self-configuring two types neural networks by mpca. presented at the 2nd International Symposium on Uncertainty Quantification and Stochastic Modeling, BRAGA, J. R. G.; Gomes, V. C.; SHIGUEMORI, E. H.; Velho, H. F. C. ; Plaza, A. ; Plaza, J.. Nonlinear Method of Reduction of Dimensionality Based on Artificial Neural Network and Hardware Implementation. In: Christian Constanda; Andreas Kirsch. (Org.). Integral Methods in Science and Engineering. 1ed.: Springer International Publishing, 2015, p GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais. Editora Edgard Blucher, GOLTZ, G. Redes neurais artificiais em imagens para estimação da posição de um vant. Master s thesis. Instituo Nacional de Pesquisas Espaciais. São José dos Campos, HAYKIN, S. Redes neurais princípios e práticas. Porto Alegre: Bookman, 2001, no. 2. KANDHALU, A.; ROWE, A.; RAJKUMAR, R.; HUANG, C.; YEH, C.. Real-Time Video Surveillance over IEEE Mesh Networks, in: 15th IEEE Real-Time and Embedded Technology and Applications Symposium, 2009, San Francisco. Proceedings... Piscataway: IEEE, 2009, p KIM, S.; ROH, C.; KANG, S.; PARK, M.; Outdoor Navigation of Mobile Robot Using Diferential GPS and Curb Detection, IEEE International Conference on Robotics and Automation, MONTEIRO, M. V. T. ; SHIGUEMORI, E. H. ; MARTINS, M. P. ; MEDEIROS, F. L. L. ; DOMICIANO, M. A. P.. Ikonos and Video Image Registration Using Gradient Correlation, Mutual Information and Combined Mutual and Gradient Information. In: SIBGRAPI - SIMPÓSIO BRASILEIRO DE COMPUTAÇÃO GRÁFICA, Processamento de Imagens e Visão Computacional, 2006, Manaus. Anais..., SHIGUEMORI, E. H. ; MONTEIRO, M. V. T. ; MARTINS, M. P.; Landmarks Recognition for Autonomous Aerial Navigation by Neural Networks and Gabor Transform. In: IS&T/SPIE 19th Annual Symposium Eletronic Imaging Science and Technology, 2007, San Jose, CA, USA. Image Processing: Algorithms and Systems V, v SILVA, G. C. C.; SHIGUEMORI, E. H.; MONTEIRO, M. V. T..Aplicação de técnicas de casamento de padrões em imagens obtidas por vant para identificação automática de referências no solo. In: Simpósio de Ciência e Tecnologia do IEAv: IV SCTI, 2015, São José dos Campos, Anais do Simpósio de Ciência e Tecnologia do Instituto de Estudos Avançados. São José dos Campos, IEAv, v. 4. p SILVA FILHO, P. F. F. Automatic Landmark Recognition in Aerial Images for the Autonomous of Unmaned Aerial Vehicles f. Dissertation of Master in Science Instituto Tecnológico de Aeronáutica, São José dos Campos. SILVA FILHO, P. F. F.; RODRIGUES, M.; SAOTOME, O.; SHIGUEMORI, E. H.. Fuzzy- Based Automatic Landmark Recognition in Aerial Images Using ORB for Aerial Auto-localization. Lecture Notes in Computer Science. 887ed.Springer: Springer International Publishing, 2014, p SKORPOUT, P.; MANDZUKE, S.; VOJVODIC, H. The use of unmanned aerial vehicles for forest fire monitoring. In: 2016 International symposium ELMAR. Croatia, Zadar. Proceeding Piscataway : IEEE TOPAL, C.; AKINLAR, C.; GENC, Y. Edge drawing: a heuristic approach to robust real-time edge detection. In: INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), 20th, 2010, Istanbul, Proceedings Piscataway: IEEE, p ZAHEER, Z.; USMANI, A.; KHAN, E.; QADEER, M. Aerial surveillance system using UAV.2016 thirteenth international conference on wireless and optical communications networks (WOCN). 2016, India, Hyderabad, Proceedings Piscataway: IEEE, An. Simp. Cient. Tecnol. IEAv, v.1, p , nov/2016-jul/