Sistema de Supervisão Aérea para Detecção de Anomalias em Instalações de Petróleo e Gás

Transcrição

1 UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE CENTRO DE TECNOLOGIA PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA Sistema de Supervisão Aérea para Detecção de Anomalias em Instalações de Petróleo e Gás Tania Luna Laura Orientador: Prof. Dr. Pablo Javier Alsina Tese de Doutorado apresentada ao Programa de Pós-Graduação em Engenharia Elétrica da UFRN (Área de concentração: Engenharia de Computação) como parte dos requisitos para obtenção do título de Doutor em Ciéncias. Natal, RN, dezembro de 2012

2

3 Resumo Este trabalho trata do desenvolvimento de um protótipo de um helicóptero quadrirrotor para aplicações de monitoramento de instalações petrolíferas. Problemas de detecção de anomalias podem ser resolvidas através de missões de monitoramento executadas pelo quadrirrotor devidamente instrumentado, ou seja, sensores termo-infravermelhos devem ser embarcados. Este sistema de monitoramento proposto, visa reduzir acidentes de trabalho bem como tornar possível o uso de técnicas não destrutivas para detecção e localização de vazamentos causados por corrosões. Com este fim, a implementação de um protótipo, sua estabilização e uma estratégia de navegação foram propostas. O protótipo construído tem alta capacidade de carga e sua estratégia de controle baseia-se na divisão do problema de controle em dois níveis hierárquicos: o nível inferior estabiliza os ângulos e a altitude do veículo em valores desejados, enquanto o nível superior encarrega-se de fornecer referências adequadas para o nível inferior, assim, o quadrirrotor deve executar movimentos desejados. Arquiteturas de hardware e software foram especialmente desenvolvidas e implementadas para este protótipo. A estratégia de navegação em ambientes tridimensionais 3D para um helicóptero quadrirrotor é feita utilizando informações fornecidas por um sistema de aquisição de imagens (câmera monocular) embarcada no helicóptero. Considerando que o controle de nível inferior tenha sido resolvido, a técnica de navegação baseada em visão proposta trata o problema como estratégias de controle em alto nível (controle de posição relativa, geração de trajetória e seguimento de trajetória). Para o controle de posição utiliza-se uma técnica de controle por servovisão baseado em caracterísiticas de imagem. Assim, é necessário a extração de características no plano de imagem para controlar os movimentos do helicóptero. A geração de trajetória é feita num passo off-line, a qual é uma trajetória visual composta de características de imagem, especificamente, coordenadas do descritor SURF. Já para o seguimento de trajetórias é proposto uma estratégia de controle por sevovisão contínuo, possibilitando assim, uma estratégia de navegação local sem precisar de mapas métricos. Resultados experimentais e em simulação são apresentados para validar a proposta. Palavras-chave: Controle por servovisão, Visão computacional, Navegação, VANT s.

4

5 Abstract This paper deals with the development of a prototype of a helicopter quadrotor for monitoring applications in oil installations. Anomaly detection problems can be resolved through monitoring missions performed by a suitably instrumented quadrotor, i.e. infrared thermo-sensors should be embedded. The proposed monitoring system aims to reduce accidents as well as to make possible the use of non-destructive techniques for detection and location of leaks caused by corrosion. To this end, the implementation of a prototype, its stabilization and a navigation strategy have been proposed. The prototype has a high payload capacity and its control strategy is based on dividing the problem into two control hierarchical levels: the lower level stabilizes the angles and the altitude of the vehicle at the desired values, while the higher one provide appropriate references signals to the lower level in order the quadrirrotor performs the desired movements. Hardware and software architecture have been specifically developed and implemented for this prototype. The navigation strategy in three-dimensional 3D environments for helicopter quadrirrotor is made using information provided by a acquisition image system (monocular camera) embedded onto the helicopter. Considering that the low-level control has been solved, the proposed vision-based navigation technique treats the problem as high level control strategies (relative position control, trajectory generation and trajectory tracking). For the position control we use a control technique for visual servoing based on image features. It is therefore necessary the extraction of features in the image plane to control the movements of the helicopter. The trajectory generation is done in a offline step, which is a visual trajectory composed of image features, specifically, coordinates of SURF descriptor. For the trajectory tracking problem is proposed a control strategy by continuous servovision, thus enabling a local navigation strategy without metric maps. Simulation and experimental results are presented to validate the proposal. Keywords: Visual servoing, vision computer, Navigation, UAV s.

6

7 Sumário Sumário Lista de Figuras Lista de Tabelas i iii v 1 Introdução Descrição do Problema Motivação e justificativa Objetivos Organização do Trabalho Preliminares Teóricas O helicóptero Quadrirrotor Modelo Dinâmico Modelagem do sistema de visão Extração de Características de imagem O detector SURF Controle por servovisão Controle por servovisão baseado em imagem Monitoramento Aéreo Monitoramento de instalações de petróleo e gás Técnicas para detecção e localização de vazamentos nos dutos Navegação baseada em visão Desafios para navegação aérea Sistema Proposto Protótipo de um helicóptero quadrirrotor Arquiteturas de Hardware e Software Estratégias de controle i

8 4.2.1 Controle de estabilização Controle de posição Navegação baseada em Imagem Resultados Desenvolvimento de uma plataforma de simulação Simulador dinâmico Estratégia de navegação Interface Gráfica para Monitoramento Aéreo Conclusões Trabalhos Futuros Produção Bibliográfica Referências bibliográficas 65

9 Lista de Figuras 1.1 Posicionamento relativo de um VANT (a) Alvo a 10 metros do VANT. Imagem não apropriada para analise de Corrosões. (b) Alvo a 2 metros do VANT. Imagem apropriada para análise de corrosões Monitoramento por um VANT Controle em cascata para o controle de posição e atitude Problema de Restrição de visibilidade no controle por servovisão Controle por servovisão baseada em imagem Diagrama de blocos para a estratégia de Navegação Descrição dos movimentos do Quadrirrotor Sistema de coordenadas do Quadrirrotor. Frame do Corpo fixoq, Frame inercial I. Velocidades angulares dos rotores ω i, com seus empuxos respectivos F i Matching dos pontos chave extraídos utilizando o algoritmo SURF: imagem de referência no quadro 1 e imagem atual no quadro Desaparição temporal de características Protótipo do helicóptero quadrirrotor desenvolvido no laboratório de robotica do DCA-UFRN Architetura Mestre-escravo adoptada no helicóptero quadrirrotor Diagrama de blocos referente à comunicação entre a estação base e o computador embarcado do quadrirrotor Cenário da missão de monitoramento do helicóptero Malhas de Controle do Quadrirrotor Sistemas de referência do Quadrirrotor Mapa baseado em imagem Ambiente modelado (LAMP) iii

10 5.2 Visualização das câmeras: (a) Vista da câmera em terceira pessoa. (b) Vista da câmera em primeira pessoa. (c) e (d) Vista das câmeras em primeira e terceira pessoa Visualização das câmeras: (a) Movimento vertical no eixo Z (quadrirrotor subindo). (b) e (c) Movimentos do quadrirrotor à direita e à esquerda (Movimento no eixo Y ). (d), (e) e (f) Rotações de Rolagem, Arfagem e Guinada (a) Simulador do quadrirrotor no Matlab/Simulink (b) Movimento vertical do helicóptero quadrirrotor em malha aberta (a) Ângulo de Rolagem φ, (b) Ângulo de Arfagem θ, (c) Ângulo de Guinada ψ e (d) Deslocamento no eixo z até 2.0 m (a) Posição inicial do quadrirrotor e (b) Plano da imagem inicial (a) Posição final do quadrirrotor e (b) Plano de imagem final (a) Velocidades do Quadrirrotor, (b) Posição do Quadrirrotor (a) Trajetória da câmera, (b) Trajetória das características no plano de imagem (a) Imagem inicial, (b) Imagem Desejada, (c) Velocidades lineares no frame do helicóptero, (d) Velocidades angulares no frame do helicóptero Diagrama completo do sistema no Matlab/Simulink Controle de Posição do Quadrirrotor Mapa visual para o movimento de guinada (a) Velocidades Lineares para o movimento de guinada, (b) Velocidades angulares para o movimento de guinada Interface gráfica da estação base Informações do helicóptero

11 Lista de Tabelas 4.1 Massas das componentes do helicóptero quadrirrotor Principais parámetros do quadrirrotor v

12

13 Capítulo 1 Introdução Uma das características básicas de processos na indústria petroquímica é o uso de substâncias inflamáveis em elevada pressão, que normalmente são transportadas e/ou armazenadas em sistemas de tanques e dutos equipados com tecnologia a fim de garantir elevados níveis de segurança. Alguns fatores de difícil controle, na maioria das vezes associados à deterioração do material (corrosão e fadiga mecânica) ou à falha humana, deixam vulneráveis até os mais confiáveis sistemas que, em última instância, acabam por apresentar derramamento do produto por vazamento e explosões, provocando incêndios e colocando em risco a vida dos seres humanos, além de causar prejuízos econômicos, tempo fora de operação, gastos com reparo; e principalmente com a contaminação do meio ambiente. Exigências estritas dos órgãos reguladores e pressão das entidades ambientalistas, aliadas ainda aos prejuízos e conseqüências ambientais econômicas geradas por ditos vazamentos, exigem sistemas de inspeção e monitoramento constante e detalhado de todos os sistemas de dutos. Em geral, as atividades de monitoramento e inspeção de gasodutos ou oleodutos, monitoramento e manutenção de linhas de transmissão e distribuição de energia elétrica, monitoramento de rodovias, fronteiras, reservas ambientais etc, são atividades de elevada relevância para a sociedade. Para este fim, exige-se que os métodos de monitoramento sejam realizados de forma rápida e eficiente. Em particular, se nós considerarmos o transporte dutoviário como referência, um dos limites tecnológicos é a detecção de pequenos vazamentos causados por corrosões e desgaste ou fadiga de material. Desta forma, pode-se afirmar que a detecção e localização de vazamentos desempenham um papel importante na gestão de uma rede de gasodutos. Pontos de provável ruptura (decorrentes de imperfeições estruturais, corrosão, ou outros efeitos abrasivos) podem ser detectados por inspeção térmica ao longo da linha em operação normal [Sivathanu 2004]. No caso no transporte dutoviário, por exemplo, pontos de provável ruptura apresentam temperatura superior à temperatura média. Conse-

14 2 CAPÍTULO 1. INTRODUÇÃO qüentemente, a detecção destes pontos pode ser usada para programação de manutenção preventiva ou corretiva. Atualmente, os métodos e técnicas para detecção de vazamentos, tais como, monitoramento acústico, monitoramento óptico, termográficos, visuais, amostragem de gás, monitoramento de solo, monitoramento de fluxo, campo magnético e os métodos dinâmicos baseados em modelo, com suas respectivas vantagens e restrições, são propostos em aplicações específicas prevenindo fortes perdas e danos ambientais. De fato, não existe solução genérica e universal quando se trata de detecção e localização de vazamentos [Sivathanu 2004, Kuprewicz 2007, Stearns et al. 2004]. Sistemas capazes de detectar este tipo de vazamento são uma das principais demandas atuais dos operadores de dutos. Medidas preventivas, como rondas de supervisão e inspeção aliadas com instrumentação, programas computacionais e hardwares apropriados para análise e detecção de corrosões podem minimizar vazamentos nos gasodutos e oleodutos[wictor & Odell 2007]. Rápidos avanços em teorias de controle, assim como em tecnologias de comunicação e sensoriamento permitiram que as mesmas pudessem ser embarcadas em veículos aéreos não tripulados (VANT s) de pequeno porte, criando a possibilidade de seu uso em missões de supervisão e inspeção de dutos. A utilização de um Helicóptero para o monitoramento e inspeção proporciona algumas vantagens sobre os métodos de inspeção tradicionais, tais como, reduzir acidentes de trabalho, a possibilidade de usar técnicas não destrutivas (usando sensores termoinfravermelha ou infravermelha) para detecção de corrosões [Metni & Hamel 2007, Wictor & Odell 2007, Ershov et al. 2007]. Inspirados nas técnicas de monitoramento de [Wictor & Odell 2007, Zirning et al. 2004, Ershov et al. 2007], nós abordamos o problema de detecção de anomalias em dutos e reservatórios, propondo a realização de missões de supervisão e inspeção dos mesmos por meio do uso de um veículo aéreo não tripulado de pequeno porte do tipo helicóptero multirrotor devidamente instrumentado. Uma determinada missão de monitoramento, é nada mais do que, o VANT deslocandose até um alvo seguindo uma determinada trajetória, capturando e processando seqüências de imagens do objeto em inspeção (reservatórios e/ou dutos). As seqüências de imagens capturadas devem possuir baixa distorção e baixo ruído, pois somente assim, será possível garantir seu processamento para detectar corrosões e presença de defeitos nos dutos em inspeção.

15 1.1. DESCRIÇÃO DO PROBLEMA 3 n P Figura 1.1: Posicionamento relativo de um VANT. 1.1 Descrição do Problema Tarefas de monitoramento de dutos e reservatórios impõem alguns requisitos ao tipo de aeronave que deve ser utilizada na missão. Afim de garantir uma boa aquisição de imagens, o veículo aéreo deve ser capaz de realizar movimentos com baixa velocidade (pairar) e alta precisão próximo aos dutos e tanques. Devido às restrições dos ambientes, a aeronave deve ser capaz de decolar e pousar em espaços limitados. Estudos recentes são baseadas em protótipos disponíveis comercialmente, tais como, os da Microdrones [Microdrones GmbH 2007], Draganflyer X6 [Draganfly Innovation Inc 2010] e outros desenvolvidos nos diferentes centros de pesquisas que trabalham com VANT s [Herisse et al. 2011, Michael et al. 2010] Vôos executados próximos dos alvos e em baixa velocidade são conhecidos como posicionamento relativo de um VANT (ver Figura 1.1). O posicionamento relativo permite a captura de imagens com baixa distorção e baixo ruido dos alvos em inspeção, como por exemplo a Figura 1.2). Imagens com baixo ruido e baixa distorção são enviadas a uma estação base para uma análise qualitativa ou ainda, se for embarcada uma câmera termo-

16 4 CAPÍTULO 1. INTRODUÇÃO (a) (b) Figura 1.2: (a) Alvo a 10 metros do VANT. Imagem não apropriada para analise de Corrosões. (b) Alvo a 2 metros do VANT. Imagem apropriada para análise de corrosões. infra vermelha, permitiría a imediata deteção de corrosões nos dutos ou qualquer outra anomalia. O posicionamento relativo de um VANT pode ser resolvido usando informações fornecidas pelo GPS, AHRS, sonares e principalmente por um módulo de aquisição de imagens aliadas a uma estratégia de controle. Consequentemente, uma missão de monitoramento executado por um VANT, em particular por um helicóptero Quadrirrotor pode ser resolvida por meio de estratégias de controle baseadas em visão ou tratados como controladores em alto nível que adicionados ao controle de vôo ou controle em baixo nível, resultam em um algoritmo de rastreamento visual de características, controlando deslocamentos do helicóptero com relação aos alvos, como pode ser visto na Figura1.3. Na literatura inúmeras estratégias para controlar este tipo de aeronave (helicóptero quadrirrotor) foram propostas. Desde estratégias mais básicas formuladas a partir de controle linear, tais como, PD, PID [Orsag et al. 2010, Hoffmann et al. 2010, Zul Azfar & Hazry 2011, Michael et al. 2010, N & Porter 2009] até as mais avançadas, formuladas a partir de controle não linear, tais como, backstepping, backstepping Integral [Bouabdallah & Siegwart 2007, Herisse et al. 2010, Herisse et al. 2011]. Em alguns dos trabalhos citados utilizaram uma abordagem de controle em cascata com duas malhas de realimentação, conforme mostrada na Figura1.4. Nesta estratégia, a malha interna é responsável pela estabilização do sistema, ou seja, fazer com que o helicóptero atinja uma orientação particular (controle de orientação). O controlador da malha interna gera os sinais de entrada (δ i ) do PWM para acionar cada um dos quatro motores do veículo baseado nas medições dos ângulos de orientação. Já o controlador da malha externa gera referências de atitude e altitude para o controlador da malha interna

17 1.1. DESCRIÇÃO DO PROBLEMA 5 Características dentro do campo de visão Extração de Características Características de referência Controlador Baseado em Imagem Pose VANT Estabilização Atitude Características atuais Estação Base Extração de Características Câmera Ambiente 3D Figura 1.3: Monitoramento por um VANT. a partir de referências de posiçao global X,Y e Z, permitindo a navegação. A posição de referência global é gerada em camadas superiores por um software responsável que gera a trajetória de acordo à tarefa de supervisão do helicóptero. O problema de posicionamento relativo deve ser considerado dentro da malha externa e para sua solução (ou seja seu controle) técnicas de controle baseadas em visão são muito utilizadas, como por exemplo, as técnicas de controle por servovisão 1. Estas técnicas são eficientes para controlar robôs em ambientes dinâmicos e desconhecidos [Hutchinson et al. 1996, Malis et al. 1998]. A manipulação das técnicas de controle por servovisão foram amplamente pesquisadas e formalizadas [Hutchinson et al. 1996, Malis et al. 1998, Chaumette & Hutchinson 2006, Chaumette & Hutchinson 2007]. Mas, seu bom funcionamento depende diretamente de suas aplicações, pois, como em muitos casos algumas características da imagem podem sair do campo de visão da câmera durante um movimento (perda de caracterísiticas de imagem), consequentemente descontinuidades no controle podem ocorrer. Tais descon- 1 O controle por servovisão refere-se ao uso de informação capturada por sensores de visão artificial (câmeras) em malha fechada para controlar movimentos de um robô. Os dados visuais são adquiridos a partir de câmaras embarcadas no robô. Assim, se acontecer qualquer tipo de movimento no robô, induz-se movimento no campo de visão da câmera

18 6 CAPÍTULO 1. INTRODUÇÃO Figura 1.4: Controle em cascata para o controle de posição e atitude tinuidades podem aparecer em situações onde a pose desejada esteja distante da pose atual (ou seja, as caracterísiticas de imagem são diferentes nos dos frames). Este problema no controle por servovisão é conhecido na literatura como problema de restrição de visibilidade e tem recebido particular atenção nos anos recentes. Assim, pode-se afirmar que um número mínimo de características das imagens devem permanecer no campo de visão da câmera durante o servoing. Devido ao problema de restrição de visibilidade, as técnicas de controle por servovisão limitam-se a aplicações onde os alvos devem ser mantidos dentro do campo de visão. Trabalhos aplicando estas técnicas para a decolagem e pouso de helicópteros, onde os alvos são marcas no ambiente, podem ser encontrados em Metni et al. (2005) e Ludington et al. (2006). Alvarez (2006) aplicou estas técnicas para o seguimento de linhas de alta tensão. Em outras palavras, as técnicas de controle por servovisão foram exploradas para o posicionamento de um robô com relação a um alvo, pemitindo estimar parâmetros de rotação e translação de uma posição à outra. Assim, pode-se dizer que apenas tarefas de navegação local 2 foram exploradas. Tentar resolver o problema de navegação global 3 de um VANT com técnicas clássicas de controle por servovisão, estão longe de resolver tal paradigma, pois normalmente no problema de navegação, a pose desejada está muito distante da pose inicial (como pode ser observado na Figura 1.5), o que significa que num determinado momento não será possível o casamento de um mínimo de características necessárias para o funcionamento do controle, causando descontinuidade na resposta do controle. Diferentes abordagens 2 Tipo de Navegação que não precisa de um mapa. O robô não precisa localizar-se, apenas precisa saber o objetivo a ser alcançado 3 Seguir uma trajetória fornecida por um mapa, indicando uma pose de inicio ou ponto de partida e uma pose desejada ou ponto de chegada.

19 1.2. MOTIVAÇÃO E JUSTIFICATIVA 7 Pose inicial Pose Final Figura 1.5: Problema de Restrição de visibilidade no controle por servovisão foram propostas com o objetivo de minimizar os problemas de restrição de visibilidade no campo de visão [Malis et al. 1998, Mezouar & Chaumette 2002, Malis 2004, Aracil et al. 2005, Silveira et al. 2006]. Dentre as técnicas de controle por servovisão, o controle baseado em características de imagem é a mais utilizada devido a sua fácil implementação e principalmente por não precisar de uma calibração rigorosa da câmera. Esta técnica pode ser considerada como uma técnica de controle proporcional, pois ela compara caracterísiticas de imagem de referência com características de imagem atuais gerando um erro que debe ser compensado de forma proporcional no espaço da imagem. Um diagrama de blocos da técnica de controle por servovisão baseado em caracterísiticas da imagem pode ser visualizado na Figura Motivação e justificativa A Robótica aérea vem ganhando espaço nos ultimos anos na comunidade de pesquisa de robótica devido principalmente à evolução da ciência da computação, controle automático, comunicações e tecnologias de sensores, facilitando aplicações tanto civís como militares. Dentre as aplicações podem ser consideradas tarefas de monitoramento de plantações de cana de açucar [Laura et al. 2012], de linhas de tensão[alvarez 2006], pontes

20 8 CAPÍTULO 1. INTRODUÇÃO Características de imagem de referência + - Controle no espaço de imagem Robô Câmera Etapa de potência Características de imagem atuais Extração de características de imagem Vídeo Figura 1.6: Controle por servovisão baseada em imagem [Metni & Hamel 2007] e manutenções preventivas nas industrias petro-químicas [Laura et al. 2011], onde muitas veces o acesso é difícil ou perigoso para os seres humanos. Dutos, reservatórios entre outras instalações precisam ser periódicamente vistoriadas com o objetivo de realizar etapas de manutenção preventiva da área, que consiste em detectar componentes que apresentem um alto grau de desgaste ou até mesmo falhas. Em ambientes como este, o robô não precisa cobrir uma grande área, mas sim ter um alto grau de mobilidade e principalmente ser capaz de realizar vôos pairados utilizando câmeras para inspeção enquanto realiza manobras para desvio de obstáculos. O helicóptero Quadrotor foi classificado na classe das aeronaves que são mais pessadas do que o ar e com múltiplos rotores (4 rotores) por [Bouabdallah et al. 2007]. Este tipo de aeronave é capaz de fazer decolagens e pousos verticais bem como pairar em uma determinada posição e a uma determinada altitude. Além dessas características, seu alto grau de mobilidade e simplicidade mecânica o torna apto a realizar esses tipos de tarefas de supervisão. O Quadrotor vem se consolidando como plataforma padrão em trabalhos envolvendo robótica aérea, desde os que abordam controladores não lineares complexos [Diao et al. 2011, Colorado et al. 2010, Coza & Macnab 2006, Madani & Benallegue 2007], estudos de arquitectura de hardware e software [Bhave et al. 2011, Ilarslan et al. 2011] até localização e mapeamento simultaneo de ambientes [Ghadiok et al. 2011, Grzonka et al. 2012]. Do ponto de vista implementacional, pode-se classificar os trabalhos encontrados na literatura em dois grandes grupos. O primeiro deles é composto por aqueles trabalhos onde todo o processamento é embarcado no próprio robô, ou seja, o mesmo deve ser dotado de sistemas eletrônicos embarcados que possibilitem a implementação de algoritmos de sensoriamento, estabilização e navegação. Um enlace de rádio geralmente é utilizado para enviar dados de telemetria básicos. A presença de uma estação rádio base então, nada mais é do que uma interface homem-maquina de visualização de dados rela-

21 1.3. OBJETIVOS 9 cionados ao robô e a missão que lhe foi passada [Fowers et al. 2007]. Uma segunda abordagem utiliza a estação rádio base como central de processamento completa do robô. Ou seja, o veículo, geralmente muito leve, só possui sistemas eletrônicos embarcados mínimos nessários para adquirir os dados dos sensores, envia-los à estação rádio base que vai processá-los e em seguida, enviar os devidos sinais de controle para os atuadores do robô [Altug et al. 2005, Michael et al. 2010]. Geralmente os projetos de veículos desse tipo são muito leves e possuem o tempo de vôo extremamente reduzido. As vantagens dessa última opção em relação à primeira residem na maior simplicidade do robô propriamente dito, já que a eletrônica embarcada é mais simples do que a necessária para cumprir todos os requisitos da primeira abordagem por exemplo. Em compensação, o grau de autonomia que o robô da segunda abordagem possui em relação à primeira é bem maior. Em face ao descrito até então, a motivação para este trabalho foi a de desenvolver um helicóptero quadrirrotor com um certo grau de autonomia para realizar tarefas de monitoramento aéreo de áreas pequenas cujas arquiteturas de hardware e software permitam que todo o processamento seja embarcado no próprio robô. As estratégias de controle tanto para a estabilização do quadrirrotor como para o controle de posição serão implementadas em casacata. A justificativa para o uso desta abordagem (controle em cascata), nos permitirá realizar uma estratégia de navegação local sem precisar de mapas métricos. 1.3 Objetivos O objetivo desta tese é apresentar o desenvolvimento de um protótipo do helicóptero quadrirrotor para fins de monitoramento aéreo. Para resolver o problema de navegação em ambientes tridimensionais 3D para um helicóptero quadrirrotor inicia-se com a suposição que o controle de estabilização foi resolvida. Faltando assim, uma malha de controle de posição e uma estratégia para geração e seguimento de trajetórias. Primeiro, para o controle de posicição utiliza-se uma técnica de controle por servovisão baseado em caracterísiticas de imagem. Para isto será necessário a extração de características tipo SURF no plano de imagem para controlar os movimentos do helicóptero. Segundo, gerar-se-a um mapa de características de imagem para fins de navegação local baseada em imagem. Uma estratégia de controle visual contínuo será implementado, ou seja, o controle será para fazer o seguimento de trajetórias conhecidas a priori definidas pelo usuário.

22 10 CAPÍTULO 1. INTRODUÇÃO medido Figura 1.7: Diagrama de blocos para a estratégia de Navegação As estratégias de controle utilizadas foram inspiradas nos trabalhos de Bouabdallah & Siegwart (2007), Michael et al. (2010), N & Porter (2009), Orsag et al. (2010) e Ceren & Altug (2012), cuja malha de realimentação interna é responsável pelo controle da atitude e altitude da aeronave enquanto que a malha de realimentação externa é encarregada do posicionamento para fins de navegação, conforme mostrada na Figura 1.7. Contribuições Um sistema de supervisão aérea para instalações de petróleo e gás é proposta. Uma estratégia para navegação local baseada em visão para um VANT é proposta. Implementar um simulador gráfico/dinâmico. 1.4 Organização do Trabalho O restante desse documento encontra-se organizada como segue: O capítulo 2, descreve a fundamentação teórica necessária para a compreensão da estratégia de navegação baseada em visão de um VANT proposta nesta tese. Realiza-se a modelagem do helicóptero quadrirrotor, a modelagem do sistema de aquisição de imagens (câmera), uma breve descrição do tipo de características de imagem utilizadas nesta tese e a estratégia do controle por servovisão. O Capítulo 3, apresenta as diferentes abordagens para o monitoramento de instalações de petróleo e gás, descreve-se as diferentes técnicas para deteção de situações anómalas nas instalações de petróleo e gás. Sistemas de monitoramento aéreo serão justificadas.

23 1.4. ORGANIZAÇÃO DO TRABALHO 11 O Capítulo 4, apresenta uma descrição do protótipo desenvolvido, as estratégias de controle de orientação e de posição bem como a estratégia de navegação local proposta. O Capítulo 5 tráz os resultados do controle para o posicionamento do quadrirrotor na plataforma de simulação. Nesse capítulo também apresenta-se um seguimento de trajetória executado pelo quadrirrotor na plataforma de simulação. Por fim, no Capítulo 6 são apresentadas as principais conclusões sobre a estratégia de navegação proposta e possíveis melhorias que podem ser feitas.

24 12 CAPÍTULO 1. INTRODUÇÃO

25 Capítulo 2 Preliminares Teóricas Neste capítulo descreve-se a fundamentação teórica necessária para a compreensão da estratégia de navegação baseada em visão de um VANT proposta nesta tese. Iniciase com a descrição do funcionamento do helicóptero quadrirrotor e sua modelagem matemática. A modelagem do sistema de visão também é feita. Apresenta-se também a técnica para a extração de características de imagem que serão utilizadas no controle de posicionamento do robô. Técnicas de controle por servovisão serão apresentadas. Por fim, definições de navegação feitas por um robô serão explanadas. 2.1 O helicóptero Quadrirrotor O helicóptero quadrirrotor é constituido por quatro rotores com dimensões iguais e acoplados a quatro motores, que são fixados nas quatro extermidades de uma estrutura em forma de "X". Os movimentos básicos do quadrirrotor podem ser visualizados na Figura 2.1. Movimentos verticais (sobe-desce) são gerados pelo incremento ou decremento proporcional das velocidades nos rotores. Um par de rotores opostos gira no sentido horário enquanto que o outro par gira no sentido anti-horário equilibrando o momento angular. Assim, para produzir o movimento de guinada em torno do eixo Z q é necessário diminuir proporcionamente a velocidade dos rotores 1 e 3 e aumentar correspondentemente a velocidade nos rotores 2 e 4 ou vice-versa. Desta forma, o empuxo ascendente é mantido enquanto que um torque diferencial é gerado, produzindo a guinada Para produzir rotações em torno dos eixos X q e Y q, movimentos de rolagem e arfagem respectivamente, basta aumentar a velocidade de um rotor diminuindo proporcionalmente a velocidade do seu par oposto. Desta forma gera-se um torque diferencial que produz as inclinações desejadas. Assim, tendo um ângulo de rolagem ou arfagem definidos, surge uma componente horizontal do empuxo que é responsável pelo deslocamento do veículo ao longo dos eixos X e Y do mundo.

26 14 CAPÍTULO 2. PRELIMINARES TEÓRICAS Movimento Vertical Movimento de Guinada Movimento no eixo Movimento no eixo Figura 2.1: Descrição dos movimentos do Quadrirrotor.

27 2.1. O HELICÓPTERO QUADRIRROTOR 15 Esquerda Frente Atrás Direita Figura 2.2: Sistema de coordenadas do Quadrirrotor. Frame do Corpo fixo Q, Frame inerciali. Velocidades angulares dos rotores ω i, com seus empuxos respectivos F i Modelo Dinâmico Modelos matemáticos completos que descrevem a dinâmica do helicóptero quadrirrotor podem ser encontrados em Bouabdallah & Siegwart (2007) e Sanca et al. (2008). Mas, para fins de compreensão do texto a modelagem do quadrirrotor será feito a seguir. Na Figura 2.2 o sistema de referências do helicóptero quadrirrotor em vôo pairado é mostrado. Define-se I como o referencial inercial fixo na Terra e Q, como um referencial fixo no robô. F i e ω i com i=1,2,3,4 são respectivamente as forças de empuxo e as velocidades angulares dos rotores. ξ=(x, y, z) e ϕ=(φ, θ, ψ) são os vetores que indicam a posição (altitude) e a orientação (atitude) do helicóptero no frame fixado ao robô Q com relação ao frame inercial I, respectivamente. Os ângulos de atitude {φ, θ, ψ} são chamados de, ângulo de Rolagem que varia de( π 2 < φ< π 2 ), ângulo Arfagem que varia de( π 2 < θ< π 2 ) e o ângulo de Guinada que varia de( π<ψ<π), todos emr.

28 16 CAPÍTULO 2. PRELIMINARES TEÓRICAS O movimento do quadrirrotor é restrito a seis graus de liberdade de acordo ao frame de referênciaq,três graus de liberdade para a velocidade de deslocamento ou translação V= [ Q v x, Q v y, Q v z ] e três graus de liberdade para a velocidades de rotaçãoω=[ Q Ω x, Q Ω y, Q Ω z ]. As relações entre os vetores de velocidade (V,Ω) e ( ξ, ϕ) são: { ξ=rt V; Ω=R r ϕ, (2.1) onde R t SO3 e R r SO3 são as matrizes da velocidade de transformação e da velocidade de rotação entreq ei, respectivamente. Onde R t e R r resultam de, R t = R z,ψ R y,θ R x,φ (2.2) e R r = 1 0 sinθ 0 cosφ sinφcosθ 0 sinφ cosφcosθ. (2.3) Usando as leis de Newton-Euler, o modelo mecânico do quadrirrotor pode ser expresso como: F F aero F grav = m V+Ω (mv); (2.4) τ τ aero = J Ω+Ω (JΩ), (2.5) onde, m e J R 3 3 são a massa total e a matriz de inércia do quadri-rotor, respectivamente. F aero,f grav e τ aero, são os efeitos físicos presentes no quadrirotor. F e τ em (2.4) e (2.5) são os vetores da força de empuxo total e do momento (ou seja, torques de Rolagem, Arfagem e Guinada), respectivamente, gerados pelos quatro rotores definidos como: F= i=1 F i ; (2.6)

29 2.1. O HELICÓPTERO QUADRIRROTOR 17 e τ= d 2 (F 1 F 2 F 3 + F 4 ) d 2 ( F 1 F 2 + F 3 + F 4 ) 4 i=1 ( 1) i Q i. (2.7) As forças externas e momentos em (2.6) e (2.7) devem-se à configuração dos quatro rotores propulsores, conforme ilustrado na Figura 2.2, cada rotor produz um empuxo independente F i e um torque Q i, i {1,2,3,4}. d é a distância do centro de massa do quadrirrotor ao eixo de cada rotor. A força de reação aerodinâmica F aero, a força de reação gravitacional F grav e o torque de reação aerodinâmica τ aero que atuam no quadrirrotor em (2.4) e (2.5), podem ser expressas como, F aero = K t V; (2.8) F grav = mrt T G; (2.9) τ aero = K r Ω, (2.10) onde, G=[0,0,g] é o efeito da gravidade, g=9.81m/s 2. K t e K r são matrizes diagonais de atrito aerodinâmico linear e rotacional com parámetros K t e K r, respectivamente. A estrutura mecânica do quadrirrotor é em forma de cruz, é uma estrutura que suporta os quatro motores nos seus extremos e a eletrônica e baterias concentram-se na interseção da estrutura. Assim, a matriz de inercia é constante e simétrica sobre os três eixos, por isso J xy = J xz = J yz = 0 o que significa que J= J x J y 0. (2.11) 0 0 J z Derivando respeito do tempo a equação (2.1) resulta em ξ=r t V+Ṙ t V (2.12) Rr Ω=R r ϕ+( φ φ+ R ) r θ θ ϕ (2.13) Da equação (2.12) V=R T t ( ξ Ṙt V), (2.14)

30 18 CAPÍTULO 2. PRELIMINARES TEÓRICAS onde Ṙ t = R t S(Ω), S(Ω) indica a matriz skew-symmetric, tal que S(Ω)V=Ω V para o produto vetorial equalquer vetor V R 3. Utilizando as equações (2.8), (2.9) e (2.14) na equação (2.4), obtem-se: ξ= G 1 m R tk t R T t ξ+ 1 m R tt (2.15) Seguindo o mesmo procedimento para as componentes angulares e utilizando as equações (2.1), (2.10) e (2.13) na equação (2.5), obtem-se: ϕ = R 1 r ( J 1 (R r ϕ JR r ϕ) R 1 r J 1 K r R r ϕ R 1 Rr r φ φ+ R ) r θ θ ϕ+ +R 1 r J 1 τ (2.16) τ= T= 0 0 ρc T AR 2 4 ω 2 i i=1 l 2 ρc T AR 2 (ω 2 1 ω2 2 ω2 3 + ω2 4 ) l 2 ρc T AR 2 ( ω 2 1 ω2 2 + ω2 3 + ω2 4 ) ρc Q AR 3 4 ( 1) i ω 2 i i=1 (2.17) (2.18) onde C T e C Q são coeficientes de empuxo e torque, respectivamente, ρ é a densidade do ar e A é a área do disco da hélice. Para detalhes da obtenção destes parámetros debe-se consultar [Sanca et al. 2008] O modelo dinâmico de helicóptero quadrirrotor é expresso pelas equações (2.15), (2.16), (2.17) e (2.18). Pode-se perceber que este sistema tem seis saídas{x,y,z,φ,θ,ψ} e apenas quatro intradas{ω 1,ω 2,ω 3,ω 4 }. Por isto, este tipo de sistemas é conhecido como um sistema subatuado. 2.2 Modelagem do sistema de visão Informações fornecidas pelo sistema de visão são complexas. Dado sua elevada complexidade do sistema óptico da câmera e consequentemente o grande número de parámetros necessários para modelar o processo de aquisição de imagens, é muito comum utilizar um

31 2.2. MODELAGEM DO SISTEMA DE VISÃO 19 modelo linear para as câmeras. Nesta Tese, o modelo pinhole é considerado. Se considerarmos um ponto 3-D com coordenadas X =(X, Y, Z) no frame da câmera (C), a qual é projetada no plano de imagem comoo um ponto de dois dimensões 2-D com coordenadas x=(x,y), conforme mostrado na equação 2.19: x = X Z =(u c u )/ f u (2.19) y = Y Z =(v c v )/ f v onde m=(u,v) dá as coordenadas do ponto no plano da imagem e está espresso em unidades de pixel, e a=(c u,c v, f u, f v ) é o conjunto dos parámetros intrínsecos da câmera. c u e c v são as coordenadas do ponto principal, f u e f v são as distâncias focais. Neste trabalho, o vetor de características é conformado pelas coordenadas do descriptor SURF (Speed Up Robust feature) no plano de imagem (ou seja, no frame de características F ). Por isso, s=x=(x,y) F. A variação no tempo de um ponto 2-D no plano da imagem é dado por ẋ ẏ = Ẋ Z XŻ Z 2 = Ẏ Z Y Ż Z 2 Ẋ xż = Z = Ẏ yż Z (2.20) A velocidade de um ponto no espaço tridimensional 3-D e a velocidade da câmera podem ser relacionadas pela seguinte equação: Ẋ = υ x Ω y Z+ Ω z Y Ẋ= υ c Ω c X Ẏ = υ y Ω z X+ Ω x Z (2.21) Ż = υ z Ω x Y + Ω y X onde, υ c é a velocidade linear instantânea and Ω c é a velocidade angular instantânea da câmera. Substituindo a equação 2.21 na equação 2.20, pode-se obter: ẋ ẏ = υ x Z = υ y Z + xυ z Z + xyω x (1+x 2 )Ω y + yω z (2.22) + yυ z Z +(1+y2 )Ω x xyω y xω z

32 20 CAPÍTULO 2. PRELIMINARES TEÓRICAS A equação 2.22 pode ainda ser escrita como: ẋ=l x V c (2.23) A equação 2.23 relaciona a velocidade de um ponto no plano da imagem 2-D e a velocidade da câmera. Nesta equação L x é chamada de matriz de interação e é dada por L x = 1 Z Z x xy (1+x 2 ) y Z y (2.24) Z (1+y2 ) xy x e V c é um vetor de velocidade 6 1 no frame da câmerac, tal como[ υ x υ y υ z Ω x Ω y Ω z ] T. Se usarmos o vetor de características x=(x 1,...x k ), debe ser feito um empilhamento das matrizes de interção para os k th pontos, tal como L x = L x1. L xk (2.25) As técnicas de controle por servovisão fazem uso da matriz de interação para obter a velocidade da câmera. Estas técnicas serão apresentadas na secão Extração de Características de imagem Hutchinson et al. (1996) define que características relevantes, são aquelas que podem ser detectadas inequivocamente desde diferentes vistas da cena. Em geral existem diferentes tipos de características adequadas para o rastreamento, por exemplo: linhas, quinas, áreas, bordas, curvas, contornos e por cores, a escolha de uma ou outra, depende do contexto e a aplicação final. Algumas características usualmente têm propriedades que são mais diferenciadas que outras em diferentes situações, por esta razão, o algoritmo deve ser capaz de escolher, dentre as disponíveis, a melhor característica para o rastreamento. Existem métodos na literatura onde os pontos de máxima curvatura de uma imagem utilizam diretamente os valores dos pixeis. Estes métodos definem uma medida que é chamado de quinas, a qual calcula-se para todos os pontos da imagem. Quando esta medida supera um determinado limiar considera-se que o ponto é uma quina. A maioria destes métodos usam operadores diferenciais. Um dos métodos de extração de características mais utilizados é feito pelo método de Harris [Harris & Stephens 1988]. Este método é invatiante a rotação, a variação de ilu-

33 2.3. EXTRAÇÃO DE CARACTERÍSTICAS DE IMAGEM 21 minação e ruídos na imagem, mas, a sua invariância a escala não é tão eficiente. Fazendo uma revisão na literatura dos diferentes algorítmos para extração de características e realizando comparações dos resultados publicados, optou-se por um esquema detectordescriptor conhecido como SURF (Speeded-Up Robust Features) O detector SURF O detector SURF [Bay et al. 2008] utiliza uma representação especial da imagem, conhecido mais como integral image, cujo fim é reduzir o tempo de cálculo da deteção. Os pontos chaves são detectados por meio da construção de uma representação em espaçoescala da imagem. A representação em espaço-escala é feita a partir da convolução da imagem com um núcleo gaussiano. Essa representação é uma forma particular de representar a multi-escala que abrange um parâmetro contínuo da escala e conserva a mesma amostragem espacial para todas as escalas. Assim, é possível entender o espaço-escala de uma imagem como um conjunto de imagens do mesmo tamanho da imagem original. Para detecção de características no espaço de escala, a técnica SURF utiliza o determinante da matriz Hessiana. Dado um ponto x=(x,y), em uma imagem I a matriz Hessiana H(x,σ) em x na escala σ é definida como [ ] L xx (x,σ) L xy (x,σ) H(x,σ)= (2.26) L xy (x,σ) L yy (x,σ) em que L xx (x,σ) é a convolução da derivada de segunda ordem da gaussiana com a imagem I, no ponto x e similarmente para L xy (x,σ) e L yy (x,σ). Essas derivadas são conhecidas como Laplaciano de gaussianas [Bay et al. 2008, Evans 2009]. Com a finalidade de garantir a invariância à rotação, os pontos-chaves são identificados com uma orientação calculada a partir da resposta da Transformada Wavelet de Haar nas direções x e y em uma vizinhança circular cujo centro são as coordenadas do ponto de interesse e cujo raio depende da escala [Bay et al. 2008]. Para incrementar a robustez diante de deformação geométrica e erros de localização, as respostas da transformada com um núcleo gaussiano centrado no ponto-chave são ponderadas. Em seguida, as respostas são representadas como pontos no espaço vetorial. A orientação dominante é obtida por meio da rotação de um segmento de circulo de ângulo 60 o em torno da origem. Em cada posição, as respostas dentro do segmento são somadas e usadas para formar um novo vetor. O maior vetor indica a orientação que deve ser atribuída ao ponto-chave.

34 22 CAPÍTULO 2. PRELIMINARES TEÓRICAS Figura 2.3: Matching dos pontos chave extraídos utilizando o algoritmo SURF: imagem de referência no quadro 1 e imagem atual no quadro 2 Na figura 2.3 ilustra-se os pontos chave extraídos de uma imagem de referência e em uma segunda imagem os mesmos pontos chave encontrados nela, esta extração foi possível por meio do algoritmo SURF, utilizando um software de código aberto OpenSURF disponibilizado por Evans (2009). 2.4 Controle por servovisão A realimentação por visão na malha de controle foi introduzida com a finalidade de incrementar a flexibilidade e exatidão dos sistemas robóticos. A tarefa do controle por servovisão é controlar o posicionamento de um robô com uma câmera embarcada 1 com relação a um alvo. Hutchinson et al. (1996) classificou em dois grupos as técnicas de controle por servovisão: O controle por servovisão baseada em posição (PBVS ou 3D) e o controle por servovisão baseado em imagens (IBVS ou 2D). No controle por servovisão baseado em posição, a informação de referência é calculada no espaço cartesiano tridimensional 3D. A posição e orientação do alvo com relação à câmera é estimada a partir de características da imagem correspondente à projeção perspectiva do alvo no plano da imagem. Inúmeros métodos existem para recuperar a posição e orientação de um objeto, onde todos baseam-se no conhecimento de um modelo geométrico perfeito e precisam de uma câmera calibrada para obter resultados aceitáveis. As desvantagens desta técnica são: a elevada sensibilidade a erros de calibração da câmera e sua análise de estabili- 1 Hutchinson et al. (1996) indica que é possivel implementar-se o controle por servovisão com a câmera fixa no ambiente ou com a câmera embarcada no robô, esta última configuração também é conhecida como configuração câmera na mão

35 2.4. CONTROLE POR SERVOVISÃO 23 dade é impossível[hutchinson et al. 1996, Chaumette & Hutchinson 2006, Chaumette & Hutchinson 2007]. Na técnica de controle por servovisão 2D, a informação de referência é calculada no espaço de imagem. Em geral o controle por servovisão baseado em imagem é conhecido por ser robusto, não somente com relação à câmera, mas também a erros de calibração do robô. Contudo, a convergência é teóricamente garantida somente em uma região próxima à posição desejada [Hutchinson et al. 1996, Chaumette & Hutchinson 2006, Chaumette & Hutchinson 2007]. Com o decorrer dos anos outras técnicas de controle por servovisão baseadas nestas duas técnicas foram formuladas, dentre elas, podem-se destacar o método baseado em homografia ou controle por servovisão 2 1 2D e o controle por servovisão chaveado[malis et al. 1998,?,?, Chaumette & Hutchinson 2006, Chaumette & Hutchinson 2007]. O objetivo das técnicas de controle por servovisão é minimizar um vetor de erro e(t) [Chaumette & Hutchinson 2006, Chaumette & Hutchinson 2007, Hutchinson et al. 1996]. Este vetor de erro está definido no plano de imagem com relação a alvos estacionários ou em movimento. Este vector de erro é tipicamente definido por: e(t)=s(m(t),a) s (2.27) onde, o vetor m(t) é um conjunto de informações visuais. Estas informações são utilizadas para calcular um vetor de k características. O parâmetro a contem informação do sistema, ou seja, parâmetros internos da câmera (parâmetros intrínsecos). O vetor s contem informação das características desejadas ou também chamadas de características de referência. Uma vez que s é escolhido, o projeto da estratégia de controle pode ser bastante simples. Uma abordagem direta é para projetar um controlador de velocidade. Para isto, precisa-se da relação entre a derivada com relação ao tempo de s e da velocidade da câmera V c =(υ c,ω c ), representado pela velocidade linear instantânea υ c e a velocidade angular instantânea Ω c. A relação entre ṡ e V c pode ser expresso como: ṡ=l s V c (2.28) onde L s R k 6 é a matriz de interação dependendo das características s. A relação entre a velocidade da câmera e o erro visual pode-se escrever como: ė=l e V c (2.29)

36 24 CAPÍTULO 2. PRELIMINARES TEÓRICAS onde L e = L s. Considerando V c como entrada ou informação de referências para o controlador de baixo nível de um robô, e se, por exemplo, quiséssemos garantir um decrescimento exponencial desacoplado do erro, ou seja, ė = λ e, pode-se obter a velocidade da câmera tal como: V c = λl + e e (2.30) Na equação 2.30 L + e R6 k é a psudo-inversa da matriz de interação L e. Quando o posto de L e é 6, L + e =(LT e L e) 1 L T e permite que V c e ė λl e L + e e sejam mínimos. Quando k = 6, se det(l e ) 0, é possível obter a inversa de L e e que a equação V c = λ L 1 e e seja satisfeita. Mas num sistema real é impossível de obter perfeitamente as matrizes L e ou L + e. Por isso, é necessário estimar uma destas matrizes. Portanto, nos utilizamos a notação L + e para representar o valor estimado da matriz. A lei de controle a de ser: V c = λ L + e (s s ) (2.31) Esta é a lei de controle básica de muitos controladores que utilizam as técnicas de servovisão Controle por servovisão baseado em imagem Os esquemas de controle por servovisão baseado em imagem, utilizam as coordenadas de um conjunto de pontos no plano da imagem. As informações de m são usualmente coordenadas de píxeis de um conjunto de pontos no plano da imagem (mas, não é a única opção), e os parâmetros de a na definição de s = s(m,a) na equação (2.27), não é nada mais do que os parâmetros intrínsecos da câmera. Nesta tese, s e s são os vetores que contêm as características extraídas 2 dos planos de imagem atual e desejado, respectivamente. Os alvos de referência são estáticos, s é constante e a mudança sobre s somente depende do movimento da câmera. Aproximação da matriz de interação Devido à dificuldade de calcular com exatidão a pseudo-inversa da matriz de interação L e, existem algumas escolhas disponíveis para estimar L + e e ser utilizado na lei de controle. Assim, levando em consideração uma condição suficiente que garante a estabilidade assintótica global do sistema, 2 As características de imagem são as coordenadas do descriptor SURF, ver subsection 2.3.1

37 2.4. CONTROLE POR SERVOVISÃO 25 L + e L + e (s(m(t),a),z(t))> 0 (2.32) Esta condição permite introduzir as possíveis opções na hora de estimar L + e. De fato, consideram-se os seguintes casos. 1. Quando L + e = L + e (t), neste caso, a matriz de interação estima-se numericamente durante o movimento da câmera, sem levar em consideração a forma analítica. Esta aproximação é muito interessante quando não se dispõe de nenhum modelo da câmera nem do robô. No entanto, é impossível neste caso demonstrar, quando a condição (2.32) se satisfaz. Ainda mais, a estimação inicial da matriz de interação pode levar a resultados instáveis, especialmente no começo do controle onde algumas características visuais podem sair fora do campo de visão da câmera. 2. Quando L + e = L + e (s(m(t),a),ẑ(t)), neste caso, a matriz de interação atualiza-se a cada iteração da lei de controle, utilizando a medida atual das características visuais e uma estimação da profundidade de cada ponto considerado. Ẑ pode obter-se do conhecimento do modelo 3D do objeto ou do cálculo do movimento relativo da câmera. Este caso é ótimo, pois, idealmente tem-se L + e L + e (s(m(t),a),z(t))= I que garante a condição (2.32) e implica um sistema estável e desacoplado. No entanto, o controle no espaço da imagem pode implicar em um movimento da câmera inadequado, conduzindo a um mínimo local e/ou próximo da singularidade na tarefa. 3. Quando L + e = L + e (s (m(t),a),ẑ (t)), neste caso, L + e é constante e determina-se durante um passo off-line utilizando o valor desejado das características e uma aproximação de profundidade dos pontos na localização desejada da câmera. A condição (2.32) garante-se apenas na proximidade da posição desejada e consegue-se um comportamento desacoplado, somente na proximidade desta posição. A determinação analítica dos limites desta proximidade está fora do alcance, devido à complexidade dos cálculos simbólicos envolvidos. A trajetória realizada na imagem é bastante previsível e algumas características podem ficar fora do campo de visão da câmera durante o controle, especialmente se a posição inicial da câmera está longe da desejada. 4. Quando L + e = 1 2 (L e+ L e ) +, neste caso, desde que L e está envolvido, a profundidade atual de cada ponto deve estar também disponível. O controle visual baseado em características da imagem têm um comportamento

38 26 CAPÍTULO 2. PRELIMINARES TEÓRICAS geralmente satisfatório, inclusive na presença de erros de calibração da câmera. No entanto, apresenta problemas de estabilidade e convergência, tais como: A singularidade de L + e ou inclusive L e, durante a tarefa de controle visual, a qual pôde levar a um comportamento instável do sistema. A aparição de mínimos locais, devido à existência de movimentos não realizáveis o plano da imagem. Desaparição das características visuais do plano da imagem.

39 Capítulo 3 Monitoramento Aéreo Este Capítulo apresenta as diferentes abordagens para o monitoramento de instalações de petróleo e gás e as diferentes técnicas para deteção e localização de vazamentos em redes de dutos. Diferentes abordagens e seus desafios para navegação baseada em visão também serão apresentadas. 3.1 Monitoramento de instalações de petróleo e gás Nos processos da indústria petroquímica são utilizadas substâncias inflamáveis em elevada pressão, que normalmente são transportadas e/ou armazenadas em sistemas de tanques e dutos equipados com alta tecnologia a fim de garantir elevados níveis de segurança. Porém, fatores de difícil controle, na maioria das vezes associados à deterioração do material (corrosão e fadiga mecânica) ou à falha humana, deixam vulneráveis até os mais confiáveis sistemas que, em última instância, acabam por apresentar derramamento do produto por vazamento e explosões, provocando incêndios e colocando em risco a vida dos seres humanos, além de causar prejuízos econômicos, tempo fora de operação, gastos com reparo; e principalmente com a contaminação do meio ambiente. Exigências estritas dos órgãos reguladores e pressão das entidades ambientalistas, aliadas ainda aos prejuízos e conseqüências ambientais e econômicas geradas por ditos vazamentos, exigem sistemas de inspeção e monitoramento constante nas instalações petroquímicas. Em geral, rondas de monitoramento são feitas apenas para prevenir e minimizar situações catastróficas. Em particular, se nós considerarmos o transporte dutoviário como referência, um dos limites tecnológicos é a detecção de pequenos vazamentos causados por corrosões e desgaste ou fadiga de material. Neste contexto, pode-se afirmar que a detecção e localização de vazamentos desempenham um papel importante na gestão de uma rede de gasodutosou e oleodutos. Pontos de provável ruptura (decorrentes de imperfeições estruturais,

40 28 CAPÍTULO 3. MONITORAMENTO AÉREO corrosão, ou outros efeitos abrasivos) podem ser detectados por inspeção térmica ao longo da linha em operação normal [Sivathanu 2004, Ershov et al. 2007, Zirning et al. 2004]. No caso do transporte dutoviário, por exemplo, pontos de provável ruptura apresentam temperatura superior à temperatura média. Conseqüentemente, a detecção destes pontos pode ser usada para programação de manutenção preventiva ou corretiva. A detecção e localização de vazamentos nas redes dutoviárias são feitas a custos muito elevados, devido principalmente, à quantidade de operários e sensores utilizados para esse fim. Por exemplo, em uma instalação de mediano porte, para detectar a existência de vazamentos de gás e corrosões nos dutos, dependendo do tipo da técnica precisa-se de muitos sensores em série colocados nos dutos e operários para supervisar os dados. Contudo, quando a rede de dutos ocupa áreas extensas (por exemplo, conexão de dutos de gás Bolivia-São Paulo), além dos métodos não serem eficientes, são mais custosos ainda. 3.2 Técnicas para detecção e localização de vazamentos nos dutos Na literatura encontrou-se uma variedade de métodos para a detecção de vazamentos de gás em dutos, desde a classificação de manuais de inspeção usando cães treinados até satélites avançados baseados em imagens hiper-espectrais. Sivathanu (2004) classificou os métodos para detecção de vazamentos de gás em dois grupos: os métodos óticos e os não óticos. Os métodos tais como, monitoramento acústico, amostragem de gás, monitoramento de solo (chão), monitoramento por fluxo e software baseado em modelagem dinâmica, são classificados como métodos não óticos e são mais utilizados em plantas de pequenas áreas, porém mais custosas para plantas de áreas extensas. Os métodos óticos para detecção de vazamentos de gás, classificam-se em: passivos e ativos. Os métodos ativos iluminam a área sobre o oleoduto com um laser ou uma fonte de banda larga. A absorção ou espalhamento causado pelas moléculas do gás natural sobre a superfície é monitorado usando uma gama de sensores para ondas específicas. Se existe significante absorção ou espalhamento sobre o oleoduto, então presume-se existência de vazamento. As técnicas básicas para monitoramento ativo incluem diodos laser ajustáveis de absorção espectroscopica (Tunable Diode Laser Absorption Spectroscopy TDLAS), Laser induzindo Fluorescência (LIF), Espectroscopia anti-raman coerente (CARS), Transformada de Fourier de espectroscopia infra vermelha (FTIR) e Sensoriamento evanescente. O monitoramento passivo de vazamento de gás natural é similar ao monitoramento

41 3.3. NAVEGAÇÃO BASEADA EM VISÃO 29 ativo em muitos aspectos. Contudo, a maior diferencia entre as técnicas passivas e ativas é que as técnicas passivas não precisam de uma fonte. A radiação emitida pelo gás serve como fonte. Isto faz o sistema passivo menos custoso, mas, utilizam-se detectores e gravadores de imagens com certo custo elevado. Os dois maiores tipos de sistemas passivos usados para a detecção e localização de vazamento de dutos de gás são imageamento térmico e imageamento multi-onda. O método de imageamento térmico detecta o vazamento de gás dos dutos devido a diferencias de temperatura entre o gás e os arredores imediatos. Estes métodos podem ser usados desde veículos em movimento, por exemplo, helicópteros ou sistemas portáveis. Helicópteros são os veículos mais apropriados para realizar este tipo de monitoramento para detectar e localizar vazamentos em gasodutos, pela sua capacidade de voar a baixas velocidades e muito próximas dos gasodutos. O uso deste método de monitoramento tem aumentado nestes ultimos anos, devido ao aumento das redes de gasodutos no mundo todo [Ershov et al. 2007]. 3.3 Navegação baseada em visão Tarefas de navegação robustas e confiáveis executadas por sistemas robóticos de forma autônoma exigem que tais sistemas tenham a capacidade de movimentar-se desde uma posição inicial até uma posição desejada sem intervenção de um operador humano. Quando a distância entre essas duas posições é longa incrementa-se a dificuldade do problema. A representação do ambiente deve fornecer informação suficiente para localizar posições iniciais e desejadas, definindo assim, um caminho entre estas duas posições além de controlar o movimento do robô durante a navegação. Numerosas abordagens foram propostas na literatura enfatizando diferentes aspectos do problema de navegação global [Hrabar 2006, Oropeza & Devy 1997, Blanc et al. 2005]. As abordagens variam desde o tipo de sensores utilizados à disponibilidade de informação a priori sobre o ambiente. Na literatura sobre planejamento de movimento os autores assumem que o modelo do ambiente é praticamente conhecido e que as leituras dos sensores fornecem estimativas exatas de posição do robô no frame de posição global [Sasiadek 2000, Harbick et al. 2001, Zhang & Ostrowski n.d.]. Poucas abordagens exceto as baseadas em campos de potencial fornecem uma estratégia de controle atualizada para alcançar a meta [Mezouar & Chaumette 2002]. Problemas de navegação global foram amplamente resolvidos por robôs equipados com dispositivos ativos tipo sonares, por diversas razões considera-se um desafio a solução de problemas de navegação global para robôs equipados com sensores visuais como sen-

42 30 CAPÍTULO 3. MONITORAMENTO AÉREO sor principal, devido às limitações relacionadas ao campo de visão das câmeras e às mudanças de iluminação nos ambientes. Por isso, tarefas de navegação baseadas em visão executadas por sistemas robóticos passaram a ser objetivos fundamentais nas pesquisas de robótica e visão computacional. Neste contexto, tarefas de navegação executadas por VANTS baseadas em visão tornam-se um desafio. Algumas técnicas de navegação baseadas em visão tem sido propostas e extensivamente estudadas na literatura [Kosecka 1996, Oropeza & Devy 1997, Kundur & Raviv 1998, Kundur & Raviv 2000, Blanc et al. 2005, Alvarez 2006, Hrabar 2006, Aracil 2006, Remazeilles & Chaumette 2007]. Estas técnicas de navegação baseada em visão foram classificados em abordagens baseadas em modelo e em abordagens baseadas em aparência. As abordagens baseadas em modelos correspondem a algoritmos empregando modelos métricos do espaço de trabalho do robô, onde características de imagem são detectadas e rastreadas nas imagens e é feita uma reconstrução 3D numa etapa off-line. A localização é feita por meio do casamento das características no modelo com as observadas na imagem atual, a posição e orientação é calculada apartir de correspondências 3D-2D. A exatidão desta abordagem depende em grande parte das características utilizadas para rastrear-se, da robustez do descritor das características e do método para o casamento de imagens e a reconstrução das vistas. Já os algoritmos baseados em aparência evitam a necessidade de um modelo métrico, pois trabalham diretamente no espaço do sensor. O ambiente é geralmente representado como um grafo topológico no qual cada nó representa uma posição no espaço de trabalho e armazena a leitura dos sensores (ou seja, imagens capturadas apartir da câmera) observados para cada posição e orientação. Um par de nós correspondem a posições com um caminho direto entre eles. Neste contexto, a localização reduz-se a um problema de extração de imagens armazenadas em uma base de dados, onde a imagem extraída é mais similar com a imagem atual. Um caminho deve ser rastreado por um conjunto de imagens extraídas desde a base de dados. O controle do robô é executado por um comando de ação que exige um movimento de um nó a um outro no grafo, ou empregando uma abordagem mais robusta tal como o controle por servovisão. Este paradigma é relativamente novo e é de interesse atrativo, devido a que a modelagem dos objetos é substituído pela memorização de vistas, que é muito mais fácil do que modelagem 3D [Kosecka 1996, Oropeza & Devy 1997, Blanc et al. 2005, Remazeilles & Chaumette 2007, Fontanelli et al. 2009]. Neste contexto, o sistema de navegação proposto no trabalho de Kosecka (1996), o ambiente é representado como um modelo topológico em termos de regiões de grafos. Diferentes marcos no ambiente e suas associações geométricas das primitivas na imagem (necessárias para a tarefa de controle visual) foram escolhidas. O ambiente foi dividido

43 3.3. NAVEGAÇÃO BASEADA EM VISÃO 31 num conjunto de regiões visíveis e a região do grafo foi construída pela vizinhança entre as regiões. A navegação foi definida como o percurso de um grafo que corresponde a uma seqüência de posições relativas das tarefas a serem efetuadas, onde a posição relativa é completada pela estratégia de malha fechada do controle com relação ao ambiente. A trajetória foi realizada durante o percurso dos grafos que tinham que ser visitados desde a posição inicial até a meta. O problema de navegação autônoma baseada em técnicas de controle visual no trabalho de Oropeza & Devy (1997), foi abordado como uma seqüência de movimentos básicos controlados por visão (como posicionar-se frente a um objeto, seguir um muro, girar ao redor de uma esquina). Conseguindo dessa forma, enviar ao robô um caminho a ser seguido, em forma de uma seqüência de comandos simples controlados por visão até encontrar uma posição final desejada. No trabalho de Blanc et al. (2005) foi apresentada uma estrutura original de navegação baseada em imagem dedicado para robôs móveis não-holonômicos. Esta abordagem foi feita no contexto de navegação em ambientes internos. Esta estratégia começa com o aprendizado do ambiente e armazenados num grafo de caminhos visuais, e foi chamado de memória visual. A missão de navegação dentro desta memória visual foi uma rota visual. Esta rota visual foi feita de uma seqüência de imagens chave que descreve o ambiente no espaço do sensor como um caminho admissível para o robô. Esta rota visual foi executada com a ajuda de uma lei de controle por servovisão, na qual foi adaptada a não-holonomia do robô sem exigir nenhuma localização geométrica absoluta do robô. Já no trabalho de Remazeilles & Chaumette (2007) abordou-se o problema de navegação baseada em visão, propondo uma lei de controle para executar a navegação. A abordagem completa fundamenta-se na representação do ambiente baseado em aparência, onde a cena é diretamente definida no espaço do sensor por uma base de dados de imagens adquiridas durante uma fase de aprendizagem. Nesse contexto, o caminho a seguir foi descrito por um conjunto de imagens, ou caminhos de imagens extraídos desde a base de dados. Este caminho de imagem foi projetado para fornecer informação suficiente para o controle do robô. A contribuição principal do trabalho foi a lei de controle em malha fechada que aciona o robô para uma posição desejada utilizando dito caminho de imagem. O controle não exige uma reconstrução global 3D ou uma etapa temporal de planejamento. Além disso, o robô não é restrito a convergir diretamente sobre cada imagem do caminho, mas sim para sua trajetória de forma automática. Assim, um processo de controle por sevovisão qualitativo foi proposto permitindo aumentar o espaço de convergência em direção da posição em uma faixa dentro de um intervalo de confiança. Embora as abordagens baseadas em aparência desenvolvidas atualmente tenham aju-

44 32 CAPÍTULO 3. MONITORAMENTO AÉREO dado a ganhar um estado de maturidade neste campo, existem certos aspectos que precisam ser abordados. Os algoritmos propostos assumem que uma base de dados de imagem ou grafos topológicos do espaço de trabalho estão já disponíveis para o robô. Esta informação é aquirida manualmente durante uma fase de treinamento, onde um operador humano guia o robô através do espaço de trabalho. Sendo essa uma das desvantagens das abordagens acima descritas, pois precisa-se da intervenção de um operador humano toda vez que o robô terá de movimentar-se num novo espaço de trabalho, e aumenta a dificuldade quando os ambientes são extensos. 3.4 Desafios para navegação aérea Missões de monitoramento executados por VANT s precisam que o problema de navegação seja resolvido. Assim, para tornar possível a navegação baseada em visão de um VANT as técnicas utilizadas em robôs móveis (que atuam no chão, ou seja no espaço bidimemsional) são extendidas para robôs que atuam no espaço tridimensional. As técnicas de controle atualmente utilizadas são em sua maioria desenvolvidas com ajuda de sistemas de visão, utilizando servovisão como um método de controle [Amidi et al. 1999, Mezouar & Chaumette 2002, Metni et al. 2005, Aracil 2006, Alvarez 2006, Ludington et al. 2006, Fontanelli et al. 2009]. Mas, como foi dito, existem algumas limitações para o uso das técnicas clássicas de controle por servovisão no contexto de navegação global baseada em visão, isto deve-se, principalmente às limitações do sensor, pois sabe-se que este somente consegue capturar imagens do entorno imediato. Criando-se assim um problema quando a pose desejada estiver distante da pose inicial. Este problema é conhecido como: restrição de visibilidade, e que inspirou alguns pesquisadores a propor diferentes soluções para este problema[malis et al. 1998, Mezouar & Chaumette 2000, Mezouar & Chaumette 2000, Mezouar & Chaumette 2002, Silveira et al. 2006]. Com o fim de atacar o problema de restrição de visibilidade, Mezouar & Chaumette (2002), desenvolveram uma solução elegante e estendida que baseia-se na planificação de trajetórias no plano da imagem utilizando técnicas de campos de potencial, assim, garantir a visibilidade de todas as características durante a tarefa de controle. O campo de potencial atrativo produz o rastreamento da trajetória previamente planejada, já o campo de potencial repulsivo, contempla as restrições de visibilidade e restrições mecânicas. A trajetória da câmera resultante desvia-se da ótima quando as forças induzidas pelo campo de potencial repulsivo atuam. Como era de esperar-se, esta abordagem não está livre de algumas falhas, apresentando problemas de mínimos locais, pela não satisfação de todas

45 3.4. DESAFIOS PARA NAVEGAÇÃO AÉREA 33 Imagens adquiridas pela câmera em diferentes instantes de amostragem Imagem em T 0 Imagem em T K Imagem em T K+N Figura 3.1: Desaparição temporal de características as restrições, induzindo a erros ao planejador. Uma outra solução para este problema foi apresentado por Malis (2004), que propõe uma estratégia de controle por servovisão livre de parâmetros intrínsecos. Esta abordagem é baseada nas projeções dos pontos característicos da imagem no espaço projetivo que é invariante aos parâmetros intrínsecos da câmera. Por tanto, esta abordagem, permite utilizar o zoom, ou melhor dito, permite variar o zoom da câmera durante o controle, com o fim de manter todas as características dentro do campo de visão durante a tarefa de controle. Variar o zoom de uma câmera durante o controle de posição e orientação com relação a um objeto tem muitas vantagens, tais como, robustez na extração de características, maior precisão no posicionamento, garantir a visibilidade das características. Mas, nem sempre é possível conseguir com sucesso todas essas vantagens variando-se o zoom. Por fim, Aracil et al. (2005), tratou o problema de restrição de visibilidade permitido a desaparição temporal das características durante a execução da tarefa de controle. A idéia chave desta abordagem consiste em permitir que algumas características apareçam e desapareçam no plano da imagem em diferentes instantes de amostragem (ver figura 3.1). Na prática a idéia de permitir a desaparição e re-aparição temporal de características na imagem durante o controle é necessário saber qual o efeito que produz esta estratégia. No controle por servovisão baseado em imagem o controle é definido no espaço da imagem. Assim, o efeito produzido pela perda e recuperação de características no plano da imagem é a descontinuidade na lei de controle, dependendo da magnitude da descontinuidade, movimentos não desejados podem ser produzidos na câmera, conseqüentemente no robô. A descrição dos trabalhos acima citados, em sua maioria são estratégias de navegação

46 34 CAPÍTULO 3. MONITORAMENTO AÉREO adotadas para robôs que atuam em espaços bidimemsionais, o desafio maior nesta tese, é extender o uso dessas técnicas de navegação para robôs que interagem em espaços tridimensionais.

47 Capítulo 4 Sistema Proposto Neste capítulo apresentam-se uma descrição do protótipo desenvolvido, as estratégias de controle de orientação e de posição do helicóptero quadrirrotor, bem como a estratégia de navegação proposta. 4.1 Protótipo de um helicóptero quadrirrotor Visando aplicações de monitoramento aéreo, foi desenvolvido um protótipo de um helicóptero quadrirrotor capaz de comportar uma carga útil suficiente para permitir que todo o processamento seja feito embarcado. O protótipo foi construído utilizando itens disponíveis no mercado, mais conhecidos como COTS (Commercially available Off-The- Shelf ). A alimentação dos motores se dá através de um conjunto de baterias de polímero de lítio e a estrutura física do VANT foi construída em alumínio, como mostrada na Figura 4.1. Quatro motores elétricos do tipo Brushless são usados para o sistema de propulsão. Esse tipo de motor introduz uma confiabilidade mais elevada, ruído reduzido além de uma vida útil mais longa [Murray et al. 1997]. O seu acionamento é feito por meio de um controlador eletrônico de velocidade, ESC - Eletronic Speed Control, o qual é um hardware que recebe um sinal PWM δ como sinal de referência 0 δ i (t) 1 R +, onde 1ms t 2ms e i=1,,4. A partir destas referências, O ESC gera as ondas trifásicas necessárias para acionar esse tipo de motor. As hélices são acopladas aos motores sem sistemas de redução, desta forma, hélices de 12 polegadas, atingiram um empuxo máximo de até 20N 1. Este veículo é considerado como um quadrirrotor de grande porte, porque este pode levantar uma carga extra de até 2.0kg, o qual pode incluir um módulo de aquisicão de imagens, sensores (um AHRS e um sonar SRF08) e um computador embarcado. A autonomia de vôo do veículo é de aproximadamente 14 minutos. 1 20N é a máxima força de empuxo que cada motor com sua respectiva hélice produz, este valor foi obtido experimentalmente.

48 36 CAPÍTULO 4. SISTEMA PROPOSTO Figura 4.1: Protótipo do helicóptero quadrirrotor desenvolvido no laboratório de robotica do DCA-UFRN. A tabela 4.1 apresenta os diversos componentes do robô, suas respectivas massas e a massa total do protótipo do quadrirrotor. Tabela 4.1: Massas das componentes do helicóptero quadrirrotor Componente Massa/gr Unitário Total Estrutura de Aluminio g g Motores Elétricos g g ESC 45.07g g Hélices 24g 4 96g Baterias 409g 2 818g Total: 3000,5g Arquiteturas de Hardware e Software As arquiteturas de Hardware e Software propostas são baseadas no paradigma Mestre- Escravo, as quais utilizam um barramento USB padrão como interface de comunicação [Maranhao & Alsina 2009]. O mestre do barramento é um computador embarcado executando o sistema operacional Ubuntu Linux, conectado a diversos microcontroladores escravos através do barramento USB. Esta arquitetura foi concebida de tal forma que

49 4.1. PROTÓTIPO DE UM HELICÓPTERO QUADRIRROTOR 37 ETHERNET WLAN USB USART USB Motores Brushless USART USB I2C Figura 4.2: Architetura Mestre-escravo adoptada no helicóptero quadrirrotor. novos microcontroladores podem ser inseridos de forma modular, agregando funcionalidades ao robô. O diagrama de blocos da arquitetura proposta pode ser vista na Figura 4.2. Por afinidade relacionada com as técnicas de programação e a disponibilidade de uma interface USB, o microcontrolador escolhido para compor o robô foi o PIC 18F2550. Este PIC é fabricado pela Microchip. Na arquitetura de hardware, um dos microcontroladores recebe 4 velocidades de referência (uma para cada motor) pelo bus da USB e deve e deve gerar 4 sinais de controle (δ 1,δ 2,δ 3,δ 4 )para cada ESC. O mesmo microcontrolador é resposável pela leitura dos dados vindos do GPS. Um outro microcontrolador é utilizado para atuar exclusivamente como interface entre o computador embarcado e os sensores inerciais (o AHRS que quer dizer Attitude and

50 38 CAPÍTULO 4. SISTEMA PROPOSTO heading reference system) 2. Isto deve-se às especificações do controle da malha interna do veículo (controle de estabilização), que em geral a taxa de amostragem deve ser muito mais rápida que o controle da malha externa (controle de posição). O microcontrolador recebe os dados do sensor por meio da interface serial e o disponibiliza através da USB para o controlador embarcado. Nesta tese o tempo de amostragem relacionado ao sensor inercial é de 25ms. Finalmente, o terceiro microcontrolador é usado como interface entre o computador embarcado e alguns sonares. Os sonares são utilizados para o controle de altitude e são conectados ao microcontrolador por meio de um bus I 2 C. Devido à natureza do protocolo, alguns sonares podem ser conectados ao mesmo bus e utilizar o mesmo microcontrolador para à interface com o computador embarcado via bus USB. A Figura 4.3 mostra um diagrama de blocos que descreve a comunicação entre a estação base e o computador embarcado no quadrirrotor. Esta estação base é a interface usada pelo operador na terra para supervisar as operacões do robô. A mesma foi implementada num computador móvel (laptop) e fornece informações visuais referentes à telemetria do VANT. Através de um enlace de rádio é possível enviar comandos de alto nível tais como, "POUSAR", "DECOLAR"ou até coordenadas de referência GPS, por exemplo. O software foi desenvolvido em módulos a fim de permitir que a comunicação entre o robô e a estação base possa ser feita por três enlaces distintos: Protocolo wi-fi Comutação de circuitos: Utilizando um modem GSM no computador embarcado e outro na estação base Rádio frequência: Módulos XBee de longo alcance Existem três módulos principais que trabalham de forma concorrente na estação base. O módulo de comunicação é responsável por receber e enviar dados por qualquer que seja o enlace utilizado e os disponibiliza em uma área de memória compartilhada. O segundo módulo, o módulo de exibição (GUI), é responsável por ler essa área de memória e exibir de forma amigável ao usuário as seguintes informações: Posição global dados pelo GPS, tensão das baterias, informação de altitude dados pelos sonares e o altímetro, ângulos de atitude fornecidos pelo sensor inercial (AHRS), histórico do tempo das variáveis controladas e setpoints e imagens capturadas pela câmera embarcada no quadrirrotor. Por último, o terceiro módulo é o modulo de armazenamento, que é responsável por gravar em arquivo todos os dados referentes às experiências conduzidas. Da mesma 2 Um AHRS consiste de 3 giroscópios, 3 acelerómetros e 3 magnetómetros. Uma placa de processamento calcula a taxa de variação com relaçao ao tempo da posição absoluta em Hexadecimal[Datasheet of the CHR-6dm Attitude and Heading Reference System n.d.]

51 4.2. ESTRATÉGIAS DE CONTROLE 39 Estação Base Computador Embarcado Figura 4.3: Diagrama de blocos referente à comunicação entre a estação base e o computador embarcado do quadrirrotor. forma, no computador embarcado, o programa responsável pela aquisição de dados e geração dos sinais de controle se comunica através de uma memória compartilhada com o programa de interface com a rede. Para os módulos que se encontram no mesmo computador, a comunicação é feita por mecanismos de comunicação entre processos (IPC), sendo constituída por uma memoria compartilhada de escrita, outra de leitura e um semáforo para cada uma delas, possibilitando a interface entre os módulos. 4.2 Estratégias de controle Nesta tese, um helicóptero quadrirrotor foi instrumentado com sensores inerciais (um AHRS), GPS, sonares, um altímetro e uma câmera ip Wi-Fi. Nos quais, o AHRS fornece informações de orientação, ou seja, I RQ (t) SO(3) do quadrirrotor fixo no frame {Q}, com relação a um frame inercial{i}, ao longo do tempo t. ( I RQ (t) é a matriz de rotação que rotaciona as coordenadas dos pontos no frame{q}para o frame{i}). O GPS fornece estimativas da posição de origem I XQ (t) R3 do frame{q} expressos no frame inercial {I}. Sem perda de generalidade, considera-se a origem do frame inercial a vizinhança do cenário de monitoramento e a superfície no chão com o eixo Z perpendicular a este e apontando para cima, tal como mostra na figura 4.4. A informação fornecida pelo AHRS é considerada como ideal, ou seja, não é corrompida por ruído, enquanto as informações

52 40 CAPÍTULO 4. SISTEMA PROPOSTO Figura 4.4: Cenário da missão de monitoramento do helicóptero fornecidas pelo GPS e a câmera são consideradas corrompidas por ruído. Um diagrama de blocos das estratégias de controle tanto em baixo e alto nível podem ser visualizadas na Figura 4.5. Nesta tese, considera-se que o controle em baixo nível ou seja, o controle de estabilização já foi resolvida. Ficando apenas o controle em alto nível ou também conhecida como controle de posição para ser resolvida nesta tese Controle de estabilização O controle de estabilização tem como objetivo somente levar o veículo a um determinado ângulo de rolagem, guinada e arfagem, mantendo a sua altidude. O controlador da malha interna então, gera os sinais de entrada PWM (δ i ) para cada um dos quatro motores do robô baseado nos ângulos de orientação e na altura medidos. Para tal fim, adotou-se um procedimento de desacoplamento baseado na transformação das variáveis de entrada do sistema. Essa mesma estratégia pode ser encontrada nos trabalhos de Bouabdallah & Siegwart (2007), N & Porter (2009), Altug et al. (2002). Esta estratégia trata de controlar de forma desacoplada os ângulos de rolagem, arfagem e guinada, sendo apenas a altitude acoplada a estes ângulos. Assim, quatro controladores PID foram implementados.

53 4.2. ESTRATÉGIAS DE CONTROLE Controle de posição Figura 4.5: Malhas de Controle do Quadrirrotor Partindo da equação (2.31) e observando a Figura 4.6, pode-se preceber que V c está no frame da câmera{c}, por tanto, V c debe ser mapeado ao frame do helicóptero quadrirrotor{q}. Para isto, utiliza-se uma matriz de transformação, tal como: V h = T Q C V c (4.1) Esta matriz T Q C é conhecida e é constante. Nesta tese, foi utilizada a técnica de controle por servovisão baseada em imagem que sua na saída gera um vetor de velocidades V c no frame da câmera {C}, sendo que, V c pode ser transformado ao frame do quadrirrotor{q} se transformando no vetor de velocidades V Q. Assim, este vetor de velocidade desejada do quadrirrotor V Q também será um vetor de tamanho 6 1, cujas componetes são[ ẋ ẏ ż φ θ ψ ] T e podem ser utilizadas como entradas de referência para os controladores da malha interna. Por exemplo, para o controlador de altitude, a terceira componente ż do vetor V Q é utilizada diretamente. Para o controlador de guinada a sexta componente do vetor V Q pode ser utilizada. Já para obter deslocamentos ao longo dos eixos X e Y é necessário ter controlados os ângulos de rolagem e arfagem. Por isso, para um deslocamento ao longo do eixo X são necessários o ângulo de arfagem de referência e a derivada do ângulo de arfagem (θ, θ ). De forma similar, para obter deslocamentos ao longo do eixo Y são necessários o ângulo de rolagem de referência e a derivada do ângulo de rolagem (φ, φ ). As derivadas de tais ângulos são a quarta e quinta componente do vetor V Q já os ângulos

54 42 CAPÍTULO 4. SISTEMA PROPOSTO Esquerda Frente Atrás Direita Figura 4.6: Sistemas de referência do Quadrirrotor de referência podem ser obtidos apartir de seguinte equação: φ = arcsin[kd y (ẏ ẏ)] (4.2) θ = arcsin[kd x (ẋ ẋ)] (4.3) O helicóptero controlado produz a informação de posição como saída. A posição do helicóptero consiste na posição e orientação ao redor dos eixos X, Y e Z, respectivamente. Esta informação de posição do helicóptero pode ser expresso como um vetor de tamanho 6 1 tal como: x Q =[ x y z φ θ ψ ] T. Técnicas semelhantes podem ser

55 4.3. NAVEGAÇÃO BASEADA EM IMAGEM 43 encontradas nos trabalhos de Ceren & Altug (2012) e Erginer & Altug (2007). 4.3 Navegação baseada em Imagem A estratégia de navegação proposta nesta tese, é apartir do controle por servovisão baseada em imagem. Assim, a estratégia de navegação é dividida em duas fases: A primeira fase, é conhecida como fase de aprendizagem e é feito de forma off-line, ou seja, um mapa visual é construida e armazenada. Este mapa contem informações cartesianas fornecidas pelo GPS onde cada frame de imagem foi capturada e um conjunto de alvos e suas respectivas características de imagem (SURF) extraídas. Este mapa pode ser escrito como G = (I,F ). Considerando os instantes de amostragem como k, as características de imagem extraídas durante o mapeamento off-line apartir do vetor de características de referência s (k)=[ s 1 s 2 s j ] T, onde as características s j são visíveis a todo momento, mas o número de características j variam a cada instante de amostragem k, como pode ser visto na Figura4.7. Na segunda fase, coloca-se como entrada de referência o vetor G ao invés do vetor de características f no diagrama de controle da Figura 4.5.

56 44 CAPÍTULO 4. SISTEMA PROPOSTO Figura 4.7: Mapa baseado em imagem

57 Capítulo 5 Resultados Este Capítulo apresenta resultados em simulação das estratégias de controle para o helicóptero quadrirrotor tanto de estabilização como de posicionamento relativo. A estratégia de navegação proposta também é simulada. Por fim, a interface gráfica para fins de monitoramento desenvolvida e mostrado. 5.1 Desenvolvimento de uma plataforma de simulação Implementar um simulador dinâmico de um sistema robótico na atualidade torna-se um paso indispensável quando o objetivo final é navegar de forma autônoma, pois os algoritmos de controle e de navegação precisam ser testados na plataforma de simulação antes de serem embarcados no sistema real. Nesta tese, o objetivo de especificar, conceber, construir e testar um simulador para o helicóptero quadrirrotor é facilitar o desenvolvimento de software que deverá ir embarcado no protótipo desenvolvido. O ambiente de simulação cumpre os seguintes requisitos: Mostrar o comportamento do quadrirrotor numa instalação de petróleo em pequena escala utilizando gráficos 3D. O comportamento do helicóptero quadrirrotor é resultado do seu modelo dinâmico. Uma câmera é adicionada ao quadrirrotor. 1. Modelado do ambiente: O simulador é capaz de carregar cenas 3D salvas com extensão.3ds, para nosso caso o ambiente modelado foi o Laboratório de avaliação e medição de petróleo (LAMP), o qual é um ambiente em pequena escala de uma típica instalação de petróleo real. A Figura 5.1 mostra o a instalação de petróleo em pequena escala (LAMP) modelado em um programa especializado (MilkShape 3D released).

58 46 CAPÍTULO 5. RESULTADOS (a) (b) (c) (d) Figura 5.1: Ambiente modelado (LAMP).

59 5.1. DESENVOLVIMENTO DE UMA PLATAFORMA DE SIMULAÇÃO 47 (a) (b) (c) (d) Figura 5.2: Visualização das câmeras: (a) Vista da câmera em terceira pessoa. (b) Vista da câmera em primeira pessoa. (c) e (d) Vista das câmeras em primeira e terceira pessoa. 2. Sistema de visão adicionada ao quadrirrotor: Com o objetivo de não ter problemas nas rotações, a câmera que é adicionada ao quadrirrotor foi implementada com quatérnios. No simulador gráfico, foram implementadas dois tipos de câmeras conhecidas em computação gráfica como, câmera em terceira pessoa (ambiente que o usuário visualiza) e a câmera em primeira pessoa (ambiente que quadrirrotor visualiza), coforme mostrado na Figura Implementação gráfica do quadrirrotor: A implementação gráfica do quadrirrotor descreve movimentos com seis graus de liberdade, três de deslocamento e três de rotação, tal como pode ser observado na figura Implementação do modelo simplificado do quadrirrotor: Foi adicionada à implementação gráfica, o modelo dinâmico simplificado do helicóptero quadrirrotor

60 48 CAPÍTULO 5. RESULTADOS (a) (b) (c) (d) (e) (f) Figura 5.3: Visualização das câmeras: (a) Movimento vertical no eixo Z (quadrirrotor subindo). (b) e (c) Movimentos do quadrirrotor à direita e à esquerda (Movimento no eixo Y ). (d), (e) e (f) Rotações de Rolagem, Arfagem e Guinada

61 5.1. DESENVOLVIMENTO DE UMA PLATAFORMA DE SIMULAÇÃO 49 Tabela 5.1: Principais parámetros do quadrirrotor Simbologia unidade m 0.65kg g 9.806m/s 2 d 0.232m ρ 1.293kg/m 3 d 1.5e 4 Nm s 2 J x,j y 7.5e 3 Nm s 2 /rad J z 1.3e 2 Nm s 2 /rad K t 10e 15 N s/m K r 10e 15 Nm s/rad C T C Q R 0.15m e A=πR 2 V g 14V R m 0.036Ω J m 4e 4 kg m 2 J r 6e 3 kg m 2 k m kg m/a que descreve um vôo pairado, desprezando torques devido à velocidade Simulador dinâmico Foi implementado também um simulador do helicóptero quadrirrotor no Matlab/Simulink considerando seu modelo dinâmico completo de tal forma a simular uma plataforma mais próxima da real. Parámetros extraídos do protótipo foram utilizados no modelo de simulação e são listados na tabela 5.1. Um diagrama de blocos do modelo do quadrirrotor implementada no Matlab/Simulink pode ser observada na Figura 5.4(a). Este simulador foi implementado para fins de teste dos algoritmos de controle, tanto para estabilização quanto para posição. Na figura 5.6(a), podem ser observados gráficos do comportamento do helicóptero quadrirrotor em movimento vertical, das velocidades dos motores, das velocidades nos eixos x, y e z e da posição e orientação do helicóptero. Estas respostas foram obtidas em malha aberta, fixando os ângulos de Rolagem, Arfagem e Guinada para 0 graus e os sinais δ i máximos visando gerar um movimento vertical.

62 50 CAPÍTULO 5. RESULTADOS (a) (b) Figura 5.4: (a) Simulador do quadrirrotor no Matlab/Simulink (b) Movimento vertical do helicóptero quadrirrotor em malha aberta

63 5.1. DESENVOLVIMENTO DE UMA PLATAFORMA DE SIMULAÇÃO 51 (a) (b) (c) (d) Figura 5.5: (a) Ângulo de Rolagem φ, (b) Ângulo de Arfagem θ, (c) Ângulo de Guinada ψ e (d) Deslocamento no eixo z até 2.0 m Com foi descrito na seção 4.2, a estratégia de controle é composta por duas malhas de controle em cascata, uma para o controle de estabilização e a outra para o controle de posicionamentorelativo. Para o controle de estabilização, conforme descrito na seção 4.2.1, foram projetados e implementados quatro controladores do tipo PD (Controladores proporcional derivativo), os quais controlam o movimento vertical (deslocamento do helicóptero no eixo z) e os ângulos de arfagem, rolagem e guinada. Cada controlador encarrega-se de controlar um movimento, ou seja, um controlador para controlar o deslocamento no eixo z, e os outros três controladores são encarregados de controlar os ângulos de rolagem, arfagem e guinada, respectivamente. Nas figuras 5.5(a), 5.5(b), 5.5(c) e 5.5(d) podem ser visualizadas os ângulos de Rolagem φ, Arfagem θ, Guinada ψ e o deslocamento no eixoz, tendo como referências π/18=0.2rad (10 Graus) para os ângulos de Rolagem e Arfagem e π/4=0.8rad (45) para o ângulo de Guinada. A altitude de referência é de 2 metros.

64 52 CAPÍTULO 5. RESULTADOS 0 50 Frame Quadrirrotor Z Y 0.2 objeto 0.4 Frame Mundo X (a) (b) Figura 5.6: (a) Posição inicial do quadrirrotor e (b) Plano da imagem inicial A estrategia de controle por servovisão utiliza como entradas de referência um vetor de características de imagem desejadas extraídas apartir de uma imagem, onde esta contem implicitamente informações de posição e orientação desejadas do helicóptero. Na saída do controlador é fornecido apenas um vetor de velocidade no frame do helicóptero cujas componentes são velocidades lineares e angulares nos eixos x, y e z, respectivamente, conforme descrito na seção Assim, para fins de simulação e testar a estratégia de controle por servovisão, considera-se que o helicóptero esteja completamente estabilizado e é tratado como apenas um ponto no espaço. Nesse contexto, implementou-se a estratégia tanto no Matlab quanto com o opencv. No Matlab os códigos foram baseados no Toolbox Visual servoing do Simulink [EURON 2002 Summer School on visual Servoing 2002]. Nas figuras 5.6(a) e 5.7(a) podem ser visualizados os frames do mundo, do helicóptero, da câmera e ainda o objeto a ser visualizado para gerar o movimento desejado. Como pode ser notado, a câmera está a poucos centímetros (15cm) no mesmo eixo z do frame do helicóptero. Um movimento vertical do helicóptero (movimento no eixo z) a partir de uma posição e orientação inicial (ver figura 5.6(a)) até alcançar uma posição e orientação final (ver figura 5.7(a)) foi simulado e obtivemos como resultado as velocidades linear e angular no frame do helicóptero (ver figura 5.8(a)). Quatro marcas circulares foram colocadas como objeto a ser visualizado, gerando assim um vector de quatro características de imagem para ser utilizada como características de referência. As figuras 5.6(b) e 5.7(b) são os planos de imagem tanto na posição inicial como na posição final, respectivamente. Trajetórias seguidas pela câmera e pelas características de imagem para um movimento vertical são mostrados nas Figuras 5.9(a) e 5.9(b).

65 5.1. DESENVOLVIMENTO DE UMA PLATAFORMA DE SIMULAÇÃO 53 3 Frame Quadrirrotor Z Y objeto Frame Mundo X (a) (b) Figura 5.7: (a) Posição final do quadrirrotor e (b) Plano de imagem final

66 54 CAPÍTULO 5. RESULTADOS Velocidades Velocidades Linear e Angular (m/s;rad/s) 0.02 νx 0 νy Tempo (s) νz ωx ωy ωz (m;rad) Pose da Camera Tempo (s) x y z ψ θ φ (a) (b) Figura 5.8: (a) Velocidades do Quadrirrotor, (b) Posição do Quadrirrotor Trajetoria da camera (m) Trajetoria das caracteristicas z (m) 2 1 end v (pixeis) y (m) start x (m) u (pixeis) (a) (b) Figura 5.9: (a) Trajetória da câmera, (b) Trajetória das características no plano de imagem

67 5.1. DESENVOLVIMENTO DE UMA PLATAFORMA DE SIMULAÇÃO 55 (a) (b) (c) (d) Figura 5.10: (a) Imagem inicial, (b) Imagem Desejada, (c) Velocidades lineares no frame do helicóptero, (d) Velocidades angulares no frame do helicóptero Para o controle por servovisão implementado no opencv utilizaram-se imagens de uma instalação de petróleo em pequena escala localizada no campus da UFRN e conhecida como Laboratório de avaliação e medição de petróleo (LAMP). Foi simulado um movimento do helicóptero no plano xy de 45 graus mantendo uma altitude 1.2 metros. As características extraídas e utilizadas para gerar o vetor de velocidades no frame do helicóptero foram coordenadas do descritor SURF. As figuras 5.10(a) e 5.10(b) mostram as imagens inicial e desejada. A imagem desejada é a imagem utilizada como alvo a ser alcançado, o que significa que, quando a imagem atual seja semelhante à imagem alvo a velocidade no frame do helicóptero debe ser próxima de zero. Nas figuras 5.10(c) e 5.10(d) as velocidades lineares e angulares no frame do helicóptero são mostradas. Apartir da interação 200 perturbações foram aplicadas causando assim, movimentos indesejados, tal como poder ser percebido.

68 56 CAPÍTULO 5. RESULTADOS Figura 5.11: Diagrama completo do sistema no Matlab/Simulink Para o controle de posicionamento relativo, conforme descrito na seção o controle da malha externa foi feita utilizando a estratégia de controle por servovisão baseada em características de imagem. Nas Figuras 5.11 e 5.12 podem ser visualizadas o diagrama completo da estratégia adotada implementada no simulador e os gráficos de posição do quadrirrotor, respectivamente. As referencias de entrada para o sistema são apenas coordenadas das características de imagem, as quais representam uma determinada posição final do quadrirrotor. Assim, para uma posição e orientação desejada x re f Q = [ ] T. Infelizmente, os resultados esperados de posicionamento não foram satisfatórios o suficiente, isto deve-se ao projeto dos controladores intermediários que controlam os movimentos nos eixos x e y.

69 5.2. ESTRATÉGIA DE NAVEGAÇÃO 57 Figura 5.12: Controle de Posição do Quadrirrotor 5.2 Estratégia de navegação A estratégia de navegação proposta foi implementada em simulação no opencv. Utilizaramse imagens de uma instalação de petróleo em pequena escala (LAMP). Foi simulado um movimento do helicóptero ao redor do eixo z. Como foi descrito na seção 4.3 um mapa visual foi feito numa primeira fase. Este mapa contem quatro alvos a serem alcançados como pode ser visualizados na Figura Quando os alvos são alcançados as velocidades do helicóptero ficam próximas de zero, tal como pode ser visto nas figuras Os alvos foram alcançados entre as iterações , , e , respectivamente. Esta experiência em simulação mostra que é possível extender estratégias de controle por servovisão em estratégias de navegação local, conforme foi planteado na seção 4.3.