Processamento de Imagens Termais Aplicado à Navegação Autônoma. Wanessa da Silva

Transcrição

1 Processamento de Imagens Termais Aplicado à Navegação Autônoma Wanessa da Silva Outubro, 2016

2 Introdução Roteiro Métodos Imagens Utilizadas Resultados Considerações Finais 1. Introdução 2. Métodos 4. Imagens: Óptica e Infravermelho termal 5. Resultados 6. Considerações Finais 2

3 Introdução Motivação Métodos Imagens Utilizadas Resultados Considerações Finais Voo autônomo auxiliado por processamento de imagens (Visível) 3

4 Introdução Motivação Métodos Imagens Utilizadas Resultados Considerações Finais Voo autônomo auxiliado por processamento de imagens (Visível) 4

5 Introdução Motivação Métodos Imagens Utilizadas Resultados Considerações Finais 5

6 Introdução Métodos Imagens Utilizadas Resultados Navegação autônoma de VANTs Considerações Finais Abordagem mais comum utilizada: Uso de sistema de posicionamento por satélites (GNNS), como o GPS, combinado com um Sistema de Navegação Inercial (INS). Problemas dessa abordagem: GPS O sinal pode ser bloqueado por interesses comerciais ou militares; Pode sofrer interferências externas; Suscetível a falhas no sinal (Anomalia magnética do Atlântico Sul). INS Possui um erro que aumenta com o passar do tempo; e Necessita de um mecanismo para correção desse erro. 6

7 Introdução Métodos Imagens Utilizadas Resultados Navegação autônoma de VANTs Considerações Finais Abordagem que não faz uso de GPS: Uso de processamento de imagens combinadas com um Sistema de Navegação Inercial (INS). Funcionamento dessa abordagem: Captura de imagens em tempo real do terreno sobrevoado e casamento (processamento) destas com uma imagem georreferenciada de satélite. A partir da posição da aeronave, determinada pelo resultado do casamento entre imagens, é feita a correção do INS. 7

8 Introdução Métodos Imagens Utilizadas Resultados Navegação autônoma de VANTs Considerações Finais Processamento de imagens + INS Rota pré-definida 8

9 Introdução Métodos Imagens Utilizadas Resultados Navegação autônoma de VANTs Considerações Finais Processamento de imagens + INS Rota pré-definida Posição real do VANT 9

10 Introdução Métodos Imagens Utilizadas Resultados Navegação autônoma de VANTs Considerações Finais Processamento de imagens + INS Rota pré-definida Posição real do VANT 10

11 Introdução Métodos Imagens Utilizadas Resultados Navegação autônoma de VANTs Considerações Finais Processamento de imagens + INS Rota pré-definida Posição real do VANT 11

12 Introdução Métodos Imagens Utilizadas Resultados Navegação autônoma de VANTs Considerações Finais Processamento de imagens + INS Rota pré-definida Posição real do VANT 12

13 Introdução Métodos Imagens Utilizadas Resultados Navegação autônoma de VANTs Considerações Finais Processamento de imagens + INS Rota pré-definida Posição do VANT corrigida 13

14 Introdução Métodos Métodos Imagens Utilizadas Resultados Considerações Finais Imagem de satélite georreferenciada (Visível) Imagem capturada pelo VANT (Infravermelho termal) Recorte da janela, tons de cinza, filtragem e binarização Tons de cinza e correções de escala e rotação Filtro da Mediana Filtro Gaussiano Recorte da imagem, filtragem e binarização Extração de bordas Extração de bordas Correlação Técnicas Tradicionais: Extrator Sobel Extrator Canny Extração por RNAs: RBF MLP MPCA Conjunto de padrões de treinamento 10 ou 26 Estimação da posição do VANT LEGENDA Posição real do VANT Resultado da Correlação 14

15 Introdução Métodos Imagens Utilizadas Resultados VANT e Sensor infravermelho termal Considerações Finais VANT e Sensor infravermelho termal utilizado para captura das imagens aéreas 15

16 Introdução Métodos Imagens Utilizadas Resultados Características das imagens utilizadas Considerações Finais Imagem de satélite georreferenciada (Visível): Sensor pancromático do satélite Quickbird, com resolução espacial de 0,6 m; De Santa Maria RS, referente a Agosto de 2014; Imagem aérea (Infravermelho termal): Obtida através de uma videografia (cedida pelo IEAv/DCTA); De Santa Maria RS, realizada em Novembro de 2014, em altitude constante e em visada NADIR; 16

17 Introdução Métodos Imagens Utilizadas Resultados Rota pré-definida na imagem de satélite Considerações Finais Comprimento total da rota: 2951 metros 17

18 Introdução Métodos Imagens Utilizadas Resultados Considerações Finais Imagens capturadas por satélite que compõe a rota (visível) 18

19 Introdução Métodos Imagens Utilizadas Resultados Considerações Finais Imagens capturadas pelo VANT que compõe a rota (Infravermelho termal) 19

20 Introdução Métodos Imagens Utilizadas Resultados Considerações Finais Combinação entre as técnicas para a produção dos resultados 20

21 Introdução Métodos Imagens Utilizadas Resultados Considerações Finais Resultados da estimação da posição do VANT 21

22 Introdução Métodos Imagens Utilizadas Resultados Considerações Finais Resultados da estimação da posição do VANT 22

23 Introdução Considerações finais Métodos Imagens Utilizadas Resultados Considerações Finais É possível estimar a posição do VANT com uso de imagens; RNAs mais eficientes em alguns cenários do que as técnicas tradicionais; RNAs autoconfiguradas apresentaram resultados melhores; a aplicação do filtro Gaussiano apresentou resultados melhores; e as técnicas empregadas são adequadas para a estimação da posição do VANT em diferentes cenários existentes em uma rota. 23

24 Introdução Referências Métodos Imagens Utilizadas Resultados Considerações Finais ANOCHI, J. A. Previsão Climática de Precipitação por Redes Neurais Autoconfiguradas. 161 p. Tese (Doutorado em Computação Aplicada) Instituto Nacional de Pesquisas Espaciais (INPE), São José dos Campos, BRAGA, J. R. G.; CONTE, G.; DOHERTY, P.; VELHO, H. F. C.; SHIGUEMORI, E. H. Image Image Matching System for UAV Autonomous Navigation Implemented on Portable Hardware. Internacional Coference on Control, Automation, Robotics Vision, v. 14, CONTE, D.; DOHERTY, P. An Integrated UAV Navigation System Based on Aerial Image Matching. Aerospace Conference, p.110, GOLTZ, G. A. M. Redes Neurais Artificiais em Imagens para Estimação da Posição de um VANT. 117 p. Dissertação (Mestrado em Computação Aplicada) - Instituto Nacional de Pesquisas Espaciais (INPE), São José dos Campos, GONZALEZ, R. C.; WOODS, R. E. Processamento de Imagens Digitais. 3.ed. São Paulo, SP: Bucher, p. HAYKIN, S. Redes Neurais Princípios e Práticas. 2. ed. Porto Alegre: Bookman, p. JENSEN, J. R. Sensoriamento Remoto do Ambiente: Uma Perspectiva em Recursos Terrestres. 1. ed. São José dos Campos, SP: Parêntese, 2009, 598 p. SILVA, W.; SHIGUEMORI, E. H.; VIJAYKUMAR, N. L.; VELHO, H. F. C. Estimation of UAV Position with use of Thermal Infrared Images. 9Th International Conference on Sensing Technology. Auckland, p , SJANIC, Z. Navigation and SAR Auto-focusing in a Sensor Fusion Framework. 97 p. Doctorate in studies in Science and technology Linköping University, Linköping, Sweden,

25 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Tons de cinza e Binarização Transformação para tons de cinza EscalaCinza = 0,2989 R + 0,5870 G + 0,1140 B Binarização Método de OTSU: Construção de histograma da imagem A partir desse histograma o algoritmo seleciona o valor que minimiza a variância entre os tons de cinza da imagem (A) (B) (C) 25

26 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Filtragem: Filtro da Mediana Etapas da passagem do filtro da mediana Exemplo de resultado da aplicação do filtro da mediana 26

27 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Filtragem: Filtro Gaussiano Etapa da passagem do filtro Gaussiano, com tamanho da máscara 3 x3 Exemplo de resultado da aplicação do filtro Gaussiano 27

28 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Extrator de bordas tradicional: Sobel Aplicação das máscaras Mg x e Mg y em convolução sobre a imagem. Como resultado são obtidas duas matrizes Ig x e Ig y. O passo final é o cálculo da magnitude do gradiente: 28

29 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Extrator de bordas tradicional: Canny Etapas do algoritmo Canny 1. Redução de ruído: Convolução da imagem com uma máscara Gaussiana; 2. Cálculo dos gradientes da intensidade da imagem: Utilização das máscaras do Sobel; 3. Cálculo da direção do ângulo do gradiente: Realizado pela equação abaixo. E realiza-se a aproximação de θ ; e 4. Detecção de bordas da imagem: São selecionados como borda os valores de gradiente acima de um limiar e com mesma direção. 29

30 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Extrator de bordas tradicional: Sobel e Canny Exemplo de resultado da aplicação dos extratores de bordas tradicionais 30

31 Entradas Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Extração de bordas com RNAs: RNA-RBF Camada escondida Camada de saída 31

32 Entradas Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Extração de bordas com RNAs: RNA-MLP x 1 w 21 w 41 w 31 w 11 ERRO Camada Padrão da escondida supervisor d 1 saída desejada 1 2 x x 3 4 Camada de saída 32

33 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Extração de bordas com RNAs: Treinamento 1 < 0,8 (Borda) >= 1 0,80 1 (Não-Borda) 33

34 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Extração de bordas com RNAs: Ativação 1 < 0,8 (Borda) >= 1 0,80 1 (Não-Borda) 34

35 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Extração de bordas com RNAs: RNA-RBF e RNA-MLP Exemplo de resultados da aplicação das RNAs como extratores de bordas 35

36 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Rede Neural Artificial: Arquitetura Ótima Como encontrar uma arquitetura para uma RNA-MLP? 1. Forma empírica: tentativa e erro 2. Usando uma meta-heurística Algoritmo de Colisão de Múltiplas Partículas (MPCA) uma meta-heurística proposta por Luz (2012), modificado por Anochi (2013), que realiza a busca pela configuração ótima de uma rede neural artificial. O MPCA é uma extensão do Algoritmo de Colisão de Partículas (PCA) proposto por Sacco (2009). 36

37 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Rede Neural Artificial: PCA Posição inicial Posição final Fonte: Anochi (2013) 37

38 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Rede Neural Artificial: PCA Posição inicial Posição final Fonte: Anochi (2013) 38

39 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Rede Neural Artificial: MPCA No PCA esse processo de busca pela configuração ótima da rede neural é feito com uma partícula, no MPCA Luz (2012) criou uma extensão do PCA, na qual esse processo irá acontecer em várias partículas ao mesmo tempo. Partícula Partícula Partícula MPI Message Passing Interface QuadroNegro 39

40 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Estimação da posição do VANT por casamento de padrões Pelo Cálculo do Coeficiente de Correlação entre duas imagens Sendo: c s, t = x y (f(x, y) w(x s, y t)) c a matriz de correlação f a matriz que contém as bordas da imagem de satélite w a matriz que contém as bordas da imagem aérea 40

41 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Resultados: Arquitetura das RNAs Treinamento obtido com o conjunto de 10 padrões: 41

42 Introdução Métodos Tecnologias Utilizadas Imagens Utilizadas Resultados Considerações Resultados: Arquitetura das RNAs Treinamento obtido com o conjunto de 26 padrões: 42

43 Introdução Métodos Imagens Utilizadas Resultados Considerações Finais Dimensão das Imagens utilizadas para geração dos resultados Imagem de satélite georreferenciada: Dimensão: 261 x 261 pixels ou 156,6 x 156,6 metros. Imagem aérea: Dimensão: 194 x 194 pixels ou 116,4 x 116,4 metros. 43

44 Introdução Métodos Imagens Utilizadas Resultados Considerações Finais Comparação entre os melhores resultados obtidos 44