Aerial robotics, Autonomous navigation, Image processing, Telemetry.

Transcrição

1 CONSTRUÇÃO DE MOSAICO UTILIZANDO IMAGENS AÉREAS ADQUIRIDAS DE FORMA AUTÔNOMA Lúcio André Amorim, Leonardo de Assis Silva, Felippe Mendonça de Queiroz, Ricardo da Mota Salvador, Raquel Frizera Vassalo, Mário Sarcinelli-Filho Departamento de Engenharia Elétrica Universidade Federal do Espírito Santo Vitória, Espírito Santo, Brasil s: Abstract In this work we discuss an application for building mosaics from aerial images acquired by a drone (a quadrotor). The odometry of the vehicle is used to help estimating the position of each new image in the mosaic, and thus, matching features present in the overlapping areas of the images. Navigation and image acquisition are done autonomously, with a pre-set route in which a set of waypoints is defined. Images are acquired while the quadrotor keeps itself hovering in each waypoint or flying between them. Then, the mosaics for each case are built and compared. A brief discussion about the results is performed, and future work is defined. Keywords Aerial robotics, Autonomous navigation, Image processing, Telemetry. Resumo Neste trabalho é discutida a construção de um mosaico correspondente a uma certa área no solo com imagens aéreas adquiridas usando um drone (um quadrimotor). A odometria do veículo é usada para estimar a posição de cada nova imagem no mosaico e, assim, facilitar a correspondência de características nas regiões de sobreposição entre as imagens. Todo o processo de navegação e aquisição de imagens é realizado de forma autônoma, com um percurso pré-determinado no qual um conjunto de waypoints é definido, e uma imagem é adquirida enquanto o quadrimotor se mantém em voo pairado em cada waypoint ou enquanto voa de um ponto a outro. A seguir, os mosaicos, para cada caso, são construídos e comparados. Uma breve discussão dos resultados é feita e os próximos passos do trabalho são delineados. Palavras-chave Robótica aérea, Navegação autônoma, Processamento de imagens, Telemetria. 1 Introdução Desde uns poucos anos atrás o número de pesquisas em aplicações de veículos aéreos não tripulados (VANTs) tem aumentado de forma significativa. As aplicações envolvem desde grandes aeronaves até pequenos quadrimotores, de centímetros de comprimento, conhecidos popularmente como drones. Seu emprego abrange diversos campos, como o entretenimento, a área militar, o monitoramento de ambientes, além do uso por profissionais autônomos para aquisição de fotos e vídeos. Devido às grandes extensões das áreas agrícolas e ao baixo custo do emprego de pequenas aeronaves não tripuladas, pode-se observar um aumento do uso destes equipamentos no monitoramento de grandes plantações, auxiliando na prevenção/combate de incêndios e pragas, dentre outras tarefas. Os quadrimotores utilizados em aplicações de monitoramento em geral, além de serem classificados como robôs aéreos, também podem ser classificados como robôs de serviço, uma vez que eles auxiliam as pessoas em ambientes de difícil acesso, como florestas (Berni et al., 2009), plantações agrícolas (Zainuddin et al., 2014; Nonami et al., 2010), áreas em que seria inviável a utilização de aeronaves convencionais (ambientes internos como armazéns, por exemplo), isto é, pouco espaço de operação e acesso limitado ou mesmo devido ao alto custo de operação. Devido ao uso crescente nessas aplicações, e em diversas outras tarefas, vários países já estão criando suas leis com o objetivo de regulamentar o uso desses robôs, haja vista o grande risco de acidentes. Na verdade, um veículo aéreo não tripulado deve ser confiável para não causar acidentes, ou para minimizar seus efeitos. Além do emprego específico no monitoramento de áreas agrícolas, áreas de pastagem e vegetações de portes maiores, os drones podem ser utilizados para auxiliarem equipes de emergência no combate a incêndios de grandes extensões, principalmente em áreas de vegetação, podendo inclusive auxiliar equipes de salvamento em grandes acidentes, naturais ou causados pelo homem (Neto et al., 2012). Em geral essas áreas são de difícil acesso e de pouca visibilidade em terra, tornando necessário o uso de aviões e helicópteros. Porém, nem sempre há disponibilidade destes recursos no momento necessário. No combate a grandes incêndios a visão macro da região pode, de maneira ímpar, determinar, além de outros fatores, as melhores táticas e técnicas a serem utilizadas, visando aumentar significativamente as chances de sucesso da operação e minimizar os riscos quanto a acidentes envolvendo as equipes de solo. Levando em conta tais problemáticas, este trabalho propõe e implementa um

2 sistema de navegação, aquisição de imagens e dados fornecidos por uma IMU, um módulo GPS e uma câmera de vídeo, todos embarcados no drone. Dessa forma se torna possível a construção, em terra, de um mosaico, a fim de disponibilizá-lo para as equipes de emergência. 1.1 Motivação Atualmente, o Laboratório de Automação Inteligente (LAI) do Departamento de Engenharia Elétrica da Universidade Federal do Espírito Santo está realizando vários estudos utilizando veículos aéreos não tripulados, inclusive a sua utilização em ambientes externos (não controlados). Em cooperação com o Corpo de Bombeiros Militar do Estado do Espírito Santo, o LAI está desenvolvendo pesquisas para realizar aquisições de imagens aéreas a serem utilizadas na construção de mosaicos georreferenciados, além de processamento de imagens a fim de detectar possíveis focos de incêndio. Entretanto, o uso de um sistema de montagem de imagens convencional geralmente demanda muito tempo para obter os resultados do mosaico. Desta forma, serão experimentadas formas alternativas de geração do mosaico, buscando sobretudo a diminuição do tempo gasto em sua geração, possibilitando assim seu uso durante a ação das equipes do Corpo de Bombeiros. 1.2 Objetivo Realizar a navegação em grandes regiões, visando a aquisição dos dados de navegação e de imagens aéreas, para que, assim, seja possível a montagem de um mosaico utilizando estas imagens, de forma que o tempo seja o mínimo possível. 1.3 Metodologia O projeto está dividido em três subsistemas: o de navegação, de aquisição de dados e imagens e de geração de mosaico, conforme mostrado na Seção 2. 2 Sistema proposto Para realização dos experimentos, foi utilizado um quadrimotor montado pelo LAI (de Sá, 2014) conforme apresentado na Figura 1. Foi acoplado a este drone uma placa de processamento RaspberryPi B+ ( e um módulo de câmera proprietário ( org/products/camera-module/). Para organizar e facilitar seu desenvolvimento, o sistema proposto foi dividido em subsistemas, agrupando as funcionalidades em comum, ou aquelas que, por terem ligação direta, tornavam conveniente seu agrupamento. A seguir estão listados os subsistemas e suas respectivas características. Figura 1: Equipamentos utilizados. 2.1 Subsistema de navegação Para realizar a navegação do drone utiliza-se a estratégia de geração de waypoints sequenciais, para que o próprio controlador do drone realize a navegação sem interferência do homem. O controlador utilizado foi um autopiloto comercial de nome Ardupilot (APM 2.6)( com/), facilmente encontrado para aquisição no mercado. Já para a geração dos waypoints na posição desejada, foi criado um sistema em C++, a fim de ser executado em uma estação de terra. Esta estação comunica-se com o drone por um link de telemetria, por meio do protocolo Mavlink ( realizando a aquisição dos dados de odometria do quadrimotor a uma taxa de 2Hz. Além disso, o protocolo possibilita o envio dos comandos necessários para a navegação. O software desenvolvido gera um grid de waypoints em coordenadas locais, que garante uma sobreposição de pelo menos 50% entre as imagens vizinhas, ao mesmo tempo que cobre a área desejada. Por fim, após detectar a posição e orientação em que o drone fora ligado, as coordenadas locais são convertidas em globais, sendo posteriormente enviadas ao controlador, já na sequência de voo desejada (ver Figura 2). Para geração do grid são informados os seguintes parâmetros: número de linhas e colunas, altura e distância entre os waypoints. Após o envio, as coordenadas são solicitadas ao drone e comparadas com as originais, na perspectiva de localizar algum erro na transmissão. Para realizar a mudança de coordenadas entre os referenciais local e global foram assumidas algumas premissas. Para a conversão de latitude e longitude, devido à pequena distância entre os pontos, em relação às dimensões da Terra, considerouse a região de voo como um plano perpendicular ao vetor de gravidade. Além disso, o raio da Terra foi considerado como o raio na latitude S, devido à proximidade com a localização geográfica dos experimentos. Podemos visualizar na Figura 3 o sistema de coordenadas do quadrimotor (O) e

3 Figura 2: Waypoints gerados pelo software desenvolvido. y' Latitude O' y O α Longitude x.p x' Figura 3: Sistema de coordenadas do quadrimotor e do mundo. com k lat = 8, /m e k long = 11, /m. Para realização do voo, após o envio das coordenadas ao controlador, utilizou-se um rádio transmissor de aeromodelismo de nove canais. A decolagem e o pouso são realizados de forma manual, porém a navegação entre os waypoints é realizada de forma totalmente autônoma. Após a decolagem e assim que o drone alcança uma altitude segura, aciona-se um canal específico do radiocontrole, e o controlador embarcado assume o comando, navegando entre os waypoints na sequência em que os recebeu. Ao final da missão o quadrimotor retorna ao ponto de partida, momento no qual o piloto em terra assume novamente o controle, realizando, por fim, a aterrissagem. 2.2 Subsistema de aquisição de dados e imagens A aquisição das imagens é realizada sobre cada waypoint predeterminado. Junto com sua captura, armazenam-se os dados relativos à postura do drone. Para esta tarefa, é utilizada uma placa de processamento Raspberry Pi (ver Figura 4a), com o seu módulo de câmera (ver Figura 4b) embarcado no drone. A placa de processamento Raspberry Pi possui o sistema operacional baseado em Linux, e executa um software, desenvolvido em C++, para realização dos experimentos. O objetivo deste software é determinar, fazendo uso da leitura dos dados do controlador do drone (através do protocolo Mavlink), o momento da aquisição das imagens, além de armazená-la juntamente com os dados de postura do robô. As imagens são capturadas e armazenadas com uma resolução de 3.2 MP. o sistema de coordenadas do mundo (O ). A Equação 1, escrita em coordenadas homogêneas, representa a relação entres os dois sistemas de coordenadas. Um ponto p no referencial do mundo (O ), a partir das suas coordenadas no referencial O do drone (ponto p), é obtido como p = T(O)R(90 α)(k p). (1) Tal equação permite calcular as coordenadas, no referencial do mundo, de um ponto p, conhecidas suas coordenadas no referencial do drone. Em tal equação p corresponde às coordenadas do ponto em relação ao drone, T(O) é uma matriz de translação, R(90 α) é uma matriz de rotação, e K é uma matriz que aplica um fator de escala necessário para converter coordenadas cartesianas em geográficas, havendo um fator para a latitude e outro para a longitude. Assim, a matriz K é dada por K = k lat k long , (2) (a) (b) Figura 4: Placa de processamento Raspberry Pi e sua câmera proprietária Raspicam. 2.3 Subsistema de geração do mosaico Após o retorno do drone, as imagens aéreas são transferidas para um computador, em que são processadas por um software desenvolvido também em linguagem C++, que faz uso da biblioteca OpenCV (Bradski, n.d.). O mosaico é montado a partir da primeira imagem, adquirida no primeiro waypoint. A cada nova imagem é realizado o cálculo para o seu registro diretamente no mosaico já iniciado. Os dados de telemetria associados a cada

4 imagem adquirida são usados para estimar a sua provável posição em relação às demais imagens já registradas. Com isso estima-se uma região de interesse que corresponde à área de sobreposição entre imagens, com o intuito de minimizar os cálculos, reduzindo, assim, o tempo de execução do algoritmo. Após a determinação da região de interesse, ela e a próxima imagem são processadas, e seus pixels convertidos em escala de cinza. Em seguida, são extraídos features de cada imagem, e calculados os descritores pelo método Surf (Hong et al., 2009). Posteriormente o algoritmo determina a homografia entre os pontos correlatos das imagens. De posse da homografia, as imagens são coladas, e o processo se repete com as demais, até a construção do mosaico completo da área sobrevoada. Os resultados das montagens podem ser observados na Seção 3. 3 Experimentos Foram realizados alguns experimentos com o sistema proposto, inclusive utilizando a calibração da câmera para comparação dos dados de postura obtidos por meio da visão com os dados obtidos dos sensores embarcados no quadrimotor (GPS e IMU). Tal comparação é foco de outro trabalho, e por isso não é discutida aqui. Porém, o resultado de tal comparação mostrou que os dados obtidos dos sensores embarcados via fusão de dados correspondem a uma telemetria de muito boa qualidade. Tal etapa, registre-se, foi importante para que se pudesse usar a odometria do VANT para facilitar o registro das imagens, etapa importante na construção do mosaico. Abaixo serão expostos os experimentos de obtenção de imagens por intermédio da navegação e aquisição destas de forma autônoma. Após a aquisição, a geração do mosaico foi realizada utilizando o algoritmo já descrito anteriormente (Subseção 2.3). 3.1 Geração do mosaico com aquisição mantendo o drone em movimento Para este experimento foi gerada uma linha de quatro waypoints a sessenta metros de altura, com distâncias entre dois waypoints subsequentes de vinte metros, obtendo-se assim uma sobreposição de 50% entre as imagens na direção de menor abertura angular da câmera. Durante a navegação do drone, no momento em que a placa de processamento Raspberry Pi recebe a informação de que o quadrimotor está a uma distância de três metros do próximo waypoint, ela realiza a captura da imagem. A distância de três metros foi escolhida de forma empírica através de testes nos quais notouse que, no momento do recebimento dos dados de telemetria pela placa Raspberry Pi, o drone já se encontraria sobre o local desejado para captura da imagem. Neste experimento observou-se a ocorrência de algumas interferências nas imagens, como se pode notar no mosaico mostrado da Figura 5, onde há presença de oscilações nas linhas que deveriam se aproximar de uma reta. Estas oscilações são bem visíveis nas bordas da rua mostrada no mosaico. A provável causa está ligada às ações do controlador, o qual realiza as devidas compensações das inclinações do drone para realizar o deslocamento e minimizar a ação dos ventos, causando movimentos abruptos na câmera durante a aquisição das imagens. Uma forma de minimizar as interferências devido às inclinações do quadrimotor seria a utilização de uma GIMBAL, ou seja, um suporte de câmera para estabilização de imagens, evitando as inclinações dos ângulos de pitch e roll. 3.2 Geração do mosaico com aquisição mantendo o drone na posição atual Neste experimento também foi gerada uma linha de quatro waypoints com sobrevoo da área a sessenta metros de altura e com os mesmos vinte metros entre dois waypoints subsequentes, garantindo a sobreposição de 50% nas imagens adquiridas. Porém, diferente do experimento da Subseção 3.1, o drone, ao atingir o waypoint, realizava uma pausa na navegação, mantendo-se pairando na posição definida. Após alguns instantes, a placa de processamento Raspberry Pi realizava a aquisição da imagem, e depois enviava um comando para o drone prosseguir para o próximo ponto. Foi possível verificar que ainda ocorriam pequenas variações nos ângulos de pitch e roll devido a um eventual vento no momento do experimento. Um outro ponto interessante é que, de alguma forma, no momento em que o drone realizava a pausa, observouse um pequeno deslocamento em sua orientação (ângulo de yaw). Esse problema foi tratado através do algoritmo implementado para construção do mosaico, uma vez que não havia a intenção de alterar o controlador já embarcado no quadrimotor. Neste experimento o tempo médio para a união entre duas imagens foi de ms e o número médio de correlações consideradas como válidas entre os descritores dos pontos das imagens (matches) foi de Geração do mosaico com pré processamento de imagens Uma vez que se possui acesso aos dados de telemetria do robô, nesse experimento usou-se a informação de rotação entre as imagens adquiridas para pré-processamento. Antes da montagem do mosaico foi realizada uma rotação da imagem utilizando como parâmetro a diferença do ângulo de

5 Figura 5: Captura de imagens aéreas com com o drone em movimento Figura 6: Captura de imagens aéreas com o drone mantendo sua posição yaw entre a primeira imagem e a imagem a ser inserida no mosaico, conforme pode ser visto na Figura 7. O tempo médio por união entre duas imagens neste experimento foi de ms e o número médio de correlações consideradas como válidas entre os descritores dos pontos das imagens (match) foi de Nota-se, nesse caso, que a correção das imagens a serem inseridas no mosaico para rotação aumentou bastante o número de matches, melhorando a qualidade do mosaico construído. 4 Conclusão Conclui-se que com o modelo atual, isto é, sem nenhum suporte para o tratamento das interferências, principalmente as vibrações e inclinações, a melhor estratégia é a estabilização do drone em um ponto antes de realizar a aquisição e o registro da imagem. Conclui-se, ainda, que não há praticamente diferença no tempo de processamento nos experimentos das Subseções 3.2 e 3.3. Porém quanto à quantidade de correlações válidas entres os pontos de interesse das imagens, com o préprocessamento se obteve quase o triplo de pontos. Vale ressaltar que o trabalho apresentado

6 Figura 7: Captura de imagens aéreas com o drone mantendo sua posição. Montagem com o uso de pré processamento das imagens, conforme orientação do drone neste artigo representa a etapa inicial da dissertação de mestrado de um dos autores, sendo o objetivo desta etapa a criação de um mosaico através do processamento de imagens adquiridas por um quadrimotor, navegando de forma autônoma. Portanto, até o momento não foi possível apresentar grandes contribuições ao estado a arte já existente. Mesmo assim o seu propósito foi atingido de forma adequada, como os resultados aqui obtidos mostram. Em trabalhos futuros se tentará estimar a homografia das imagens em relação a um ponto inicial, tomando como parâmetros base os dados de postura do drone, melhorando o tempo de processamento e conseguindo, assim, construir o mosaico em tempo real. Agradecimentos Os autores agradecem ao CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico, e à FAPES - Fundação de Amparo à Pesquisa e Inovação do Espírito Santo, pelo apoio financeiro para a realização desta pesquisa. Eles também agradecem à UFES, e ao CBMES - Corpo de Bombeiros Militar do Espírito Santo, por viabilizarem sua participação neste trabalho. Referências Berni, J., Zarco-Tejada, P., Suarez, L. and Fereres, E. (2009). Thermal and narrowband multispectral remote sensing for vegetation monitoring from an unmanned aerial vehicle, Geoscience and Remote Sensing, IEEE Transactions on 47(3): Bradski, G. (n.d.). Dr. Dobb s Journal of Software Tools. de Sá, F. B. (2014). Cooperação entre um robô aéreo e um robô terrestre para identificação de rotas livres em solo, Master s thesis, Universidade Federal do Espírito Santo. Hong, J., Lin, W., Zhang, H. and Li, L. (2009). Image mosaic based on surf feature matching, Information Science and Engineering (ICISE), st International Conference on, pp Neto, J., da Paixao, R., Rodrigues, L., Moreira, E., dos Santos, J. and Rosa, P. (2012). A surveillance task for a uav in a natural disaster scenario, Industrial Electronics (ISIE), 2012 IEEE International Symposium on, pp Nonami, K., Kendoul, F., Suzuki, S., Wang, W. and Nakzawa, D. (2010). Autonomous Flying Robots, 1 edn. Zainuddin, K., Bohari, S., Ghazali, N., Aziz, M. and Samad, A. (2014). Utilizing quadcopter as lars image platform to determine the paddy spectral and growth parameter, Aerospace Electronics and Remote Sensing Technology (ICARES), 2014 IEEE International Conference on, pp