INTELIGENTE. Serra, Espírito Santo, Brasil

Transcrição

1 LOCALIZAÇÃO E GUIAGEM DE UM ROBÔ MÓVEL EM UM ESPAÇO INTELIGENTE Felippe Mendonça de Queiroz, Vitor Buback Covre, Mariana Rampinelli Fernandes, Flávio Garcia Pereira, Raquel Frizera Vassallo, Teodiano Freire Bastos-Filho Departamento de Engenharia Elétrica Universidade Federal do Espírito Santo Vitória, Espírito Santo, Brasil Coordenadoria de Eletrotécnica Instituto Federal de Educação, Ciências e Tecnologia do Espírito Santo Guarapari, Espírito Santo, Brasil Coordenadoria de Controle e Automação Instituto Federal de Educação, Ciências e Tecnologia do Espírito Santo Serra, Espírito Santo, Brasil s: mendonca.felippe@gmail.com, vitorcovre@gmail.com, mariana.rampinelli@ifes.edu.br, flavio.garcia@ifes.edu.br, raquel@ele.ufes.br, teodiano@ele.ufes.br Abstract This article describes the application of an intelligent space aiming at locating and controling a mobile robot. This space is based on computer vision. From a pinhole projection model, with no radial distortion, the D reconstruction of points on the robot is done. After localizing the robot, three types of experiements were performed. The first one was used to validate the robot localization from visual information. Then, the robot was controlled manualy and its odometry was compared with the recovered localization obtained from the images. Finaly, a set of experiments were made using a final position controller, where the feedback control was made from the vision system position estimation. Keywords Intelligent spaces, Computer vision, Robot control, Mobile robotics. Resumo Este artigo descreve a aplicação de um espaço inteligente para localizar e controlar um robô móvel. O espaço em questão é baseado em visão computacional, e a partir de um modelo de projeção de câmera pinhole, sem distorção radial, calcula-se a reconstrução D dos pontos do robô localizados na imagem. Com a localização do robô, foram realizados três tipos de experimentos: o primeiro para validar a localização do robô através das câmeras, em seguida um experimento onde o robô foi controlado manualmente, e sua odometria foi comparada com a localização obtida com as câmeras, e por fim, experimentos utilizando um controlador de posição final, onde a realimentação é feita com as estimativas de posicionamento do sistema de visão. Palavras-chave Ambientes inteligentes, Visão computacional, Controle de robôs, Robótica móvel. Introdução A cada ano, as pesquisas acerca de robótica móvel concentram-se no desenvolvimento de robôs cada vez mais autônomos, capazes de tomar decisões inteligentes e realizar tarefas mais complexas. Nesse modelo, os sensores e a inteligência estão embarcados no robô, para que ele mesmo obtenha informações acerca de seu ambiente de trabalho, de sua própria localização e tome decisões baseado nas tarefas que deve executar e nas informações obtidas (Pereira et al., 2). De encontro a esse paradigma e aliado aos avanços no campo de rede de computadores e de sensores e às tecnologias multimídia, nos últimos anos iniciaram-se pesquisas sobre como transferir o sensoriamento para o ambiente, permitindo o uso de robôs mais simples e mais baratos para a realização de tarefas complexas. Tais ambientes são chamados de espaços inteligentes (Lee et al., 999), cuja inspiração nasceu da computação ubíqua, ou seja, a computação imersa em todo lugar de modo transparente para o usuário (Weiser, 99). Um espaço inteligente (EI), como mostrado na Figura, pode ser definido como um ambiente equipado com uma rede de sensores, que obtém informações sobre a área que observa (câmeras, microfones, ultrassom, por exemplo), e uma rede de atuadores (tais como robôs móveis e telas de informação), que permite sua interação com os usuários e a modificação do próprio ambiente. Tanto os sensores quanto os atuadores devem ser governados por um sistema supervisório capaz de analisar as informações obtidas pelos sensores e tomar decisões. As aplicações dos EIs são numerosas e englobam diversos campos da robótica de serviços, tarefas de segurança, vigilância automática, ajuda a idosos e pessoas com deficiências. Diante de tais aplicações, o uso de visão artificial como sensor do EI é potencialmente útil por proporcionar vários tipos de informações e o seu uso não está limitado apenas ao posicionamento, mas também ao reconhecimento de objetos e gestos do usuário. Além disso, o campo de visão abrangido por uma câmera é relativamente grande, quando comparado

2 ao campo de observação de outros sensores. Câmera Câmera Câmera 7 Robô Câmera Usuário Nó de Aquisição Câmera 2 Cliente Câmera 8 Câmera 5 Câmera 9 Câmera 6 Figura : Representação tridimensional do EI. Este artigo descreve a aplicação de um EI para localizar e controlar um robô móvel. O EI construído na Universidade Federal do Espírito Santo (UFES) é constituído por câmeras, do modelo DBK2AUC da The Imaging Source, com sensor CMOS e conexão USB, distribuídas em dois laboratórios e no corredor que conecta ambos (Rampinelli et al., 24). Cada câmera está conectada a um servidor de imagem, cuja função é capturar e processar as imagens. Essas tarefas são coordenados pelo sistema supervisório instalado em um computador central, denominado cliente. O cliente também é responsável por localizar e controlar o robô móvel no EI. Para apresentar a aplicação descrita, o restante deste artigo organiza-se da seguinte forma: a próxima seção descreve o cálculo de reconstrução do robô a partir dos pontos identificados nas imagens; a Seção, demonstra experimentos reais de posicionamento e controle de um robô móvel no ambiente de desenvolvimento; finalmente, na Seção 4, são apresentadas as conclusões e propostas para trabalhos futuros. 2 Reconstrução D Para calcular a reconstrução D dos pontos do robô localizados na imagem, foi utilizado o modelo de projeção de câmera pinhole (Hartley and Zisserman, 2), sem distorção radial. Nesse modelo, um ponto D qualquer no sistema de coordenadas global é projetado para o plano imagem da câmera i como s i m i = A i [R i T i ] M, () onde s é um fator de proporcionalidade, m i = [u i, v i ] T, representa a projeção do ponto tridimensional M = [x, y, z] T no plano imagem da câmera i, A i é a matriz de projeção, R i matriz de rotação, e T i vetor de translação. Para facilitar a manipulação matemática, é possível utilizar tais pontos em coordenadas homogêneas. Assim, em coordenadas homogêneas, tem-se m i = [u i, v i, ] T e M = [x, y, z, ] T. Logo u i s i v i = A i [R i T i ] x y z. (2) É possível observar, pela Equação 2, que cada câmera que identifica o ponto D fornece duas equações para resolver as coordenadas [x, y, z] T. Desse modo, a partir de manipulações matemáticas da Equação 2, é possível montar um sistema de equações para obter a reconstrução de um ponto D no sistema de coordenadas global utilizando suas projeções 2D na imagem das C câmeras, que o identificam como HM = y, () sendo a matriz H dada por [ ] h h H = 2 h, h 2 h 22 h 2 onde e h = f i ur i + u i r i u i r i, h 2 = f i ur i 2 + u i r i 2 u i r i 2, h = f i ur i + u i r i u i r i, h 2 = f i vr i 2 + v i r i v i r i, h 22 = f i vr i 22 + v i r i 2 v i r i 2, h 2 = f i vr i 2 + v i r i v i r i, [ u y = i t i fut i i u i t i v i t i fvt i i 2 vt i i ], e i pode assumir qualquer valor de a C; os parâmetros da câmera i dados por fu i e fv i são as distâncias focais em pixel; u i e v i são as coordenadas do ponto principal da imagem; rlc i é o elemento da linha l e coluna c da matriz de rotação e t l é o elemento l do vetor de translação. Desse modo, se n câmeras observam o ponto no EI, o sistema descrito na Equação é formado por 2n equações. Se n >, então o sistema formado é sobredeterminado e sua solução é dada por mínimos quadrados como (H T H)M = H T y, M = (H T H) H T y, M = H y. (4) O valor de M que melhor atende ao sistema da Equação 4 é encontrado resolvendo-se o sistema M = H y. A matriz H é chamada de pseudo inversa da matriz H. Se o ponto M for identificado por apenas uma câmera do EI, então é necessário acrescentar informações. Uma vez que o robô realiza todo o movimento em um ambiente plano, o valor das coordenadas z de todos os pontos são sempre constantes. Nesse caso, utiliza-se o valor

3 conhecido da coordenada z do ponto como informac a o adicional para recuperar as coordenadas x e y que ainda sa o desconhecidas. Uma vez que as coordenadas tridimensionais de dois pontos do padra o embarcado no robo sejam identificados nas ca meras, e possı vel recuperar a postura do robo, ou seja, sua posic a o e orientac a o no sistema de coordenadas global. E importante ressaltar que todos os experimentos foram conduzidos de modo on-line. Como descrito anteriormente, o processamento das imagens capturadas pelas ca meras era realizado no servidor local de imagem. Apo s o processamento, os servidores enviavam para o cliente as coordenadas dos dois pontos conhecidos, e, com essas informac o es, o cliente obtinha a postura do robo a todo momento. A partir da postura do robo recuperada pelo sistema superviso rio do EI, foram realizados tre s tipos de experimentos, que sera o descritos nas pro ximas subsec o es. Vale ressaltar que a captura das imagens e realizada de modo sincronizado para o bom desempenho do sistema de reconstruc a o. Resultados Experimentais Plataforma Robo tica O robo utilizado neste trabalho e o Pioneer (PAT) produzido pela Adept MobileRobots (Adept MobileRobots, 2). O P-AT e uma plataforma robo tica com trac a o nas quatro rodas, com 2 kg e dimenso es 27,7 49,7 5,8 cm, equipado com sensores de odometria e sonares, mostrado na Figura 2. Foi acoplado ainda ao robo, um padra o de calibrac a o composto de uma matriz 4 6 de LEDs infravermelhos, nas duas faces, permitindo a sua visualizac a o em qualquer posic a o. Para receber informac o es de controle e enviar dados de seus sensores, o robo e equipado com um computador porta til com interface de comunicac a o sem fio IEEE 82.. As varia veis do modelo matema tico do robo sa o mostradas na Figura, sendo a posic a o em cada instante de tempo k dada por Xk = (xk, yk, θk )T. Uma vez que utiliza os dados dos odo metros na correc a o inercial para compensar o escorregamento das rodas, o robo pode ser modelado como um robo uniciclo diferencial, cujo modelo de estados pode ser escrito como x k Vk cos(θk ) y k = Vk sin(θk ). (5) Ωk θ k.2 Localizac a o do robo mo vel no EI No primeiro experimento, o robo foi posicionado sobre 6 posic o es conhecidas. Em cada ponto, a posic a o do robo foi recuperada vezes pelo sistema. Os dados estimados pela reconstruc a o sa o mostrados na Figura 4. Figura : Varia veis do modelo matema tico do robo. Posição do Robô Posição Estimada Posição real.5 Y [m]. Figura 2: Pioneer AT usado nos experimentos no EI/UFES e com o padra o usado na calibrac a o do sistema multi-ca mera..5 2 X [m] Figura 4: Localizac a o do robo estimada pelo sistema de visa o computacional do EI: os marcadores em vermelho representam as posic o es reais, e os marcadores em azul, a posic a o estimada. E possı vel observar na Figura 4 que o sistema de visa o estima valores muito pro ximos a posic a o real do robo, sendo o erro me dio entre a posic a o estimada e a real de 45, 6 mm. Nota-se, no gra fico,

4 uma boa repetibilidade do sistema, uma vez que não há grande discrepância entre cada estimativa das posições. Desse modo, esse experimento demonstra que o sistema de posicionamento do EI funciona satisfatoriamente. No segundo experimento, o robô foi controlado manualmente para executar um caminho em formato oval. Durante todo o percurso, a postura do robô foi estimada com o sensor de odometria e com o sistema de visão. Para diminuir o ruído nas estimativas de posição do robô, foi implementado um filtro de Kalman Estendido (EKF) (Thrun et al., 25) nas medidas obtidas por visão. As estimativas de localização do robô durante todo o experimento podem ser vistas na Figura Postura do Robô Odometria Visão computacional EKF onde k υ e k ω são ganhos positivos e ρ e α são os erros de posição e de orientação do robô respectivamente, em relação à posição que se quer alcançar, conforme mostrado na Figura 6. A função tangente hiperbólica (tanh) é utilizada no controlador para evitar a saturação dos atuadores do robô móvel. Y ya yk Ω k a r Vk q j 5 O xk xa X Y [mm] 5 Figura 6: Variáveis do controlador de posição final do robô utilizado no experimento X [mm] Figura 5: Comparação do posicionamento do robô realizado pelo sistema de visão computacional e por odometria. Com esse experimento, verifica-se que a estimativa de posição dada pelo sistema de visão é satisfatória, sendo significativamente melhor que a estimativa dada pela odometria, mesmo sem o uso do Filtro de Kalman.. Controlador de posição sem orientação final no EI A última série de experimentos realizada no EI teve por objetivo utilizar as estimativas de posicionamento do sistema de visão computacional como realimentação do controlador de posição final, proposto em (Ferreira et al., 28). Desse modo, nesses experimentos, além de recuperar a postura do robô, o cliente também calcula os comandos de controle necessários para que o robô alcance a posição desejada. Para isso, dadas a posição desejada e a posição atual do robô, o sistema de controle determina as seguintes ações de controle (velocidade linear, V, e angular, Ω) V = k υ tanh(ρ) cos(α) tanh(ρ) Ω = k ω α + k υ sen(α) cos(α), ρ (6) Os experimentos apresentados ilustram o uso do controlador descrito, em duas diferentes situações, em um espaço livre de obstáculos. Isso foi feito para demonstrar o funcionamento do EI para controle do robô. Em todos os experimentos, as posições são dadas no sistema de referência global do EI. Vale ressaltar que o robô utilizado tem uma limitação de ms para executar os comandos enviados e todo o processo, desde a captura e processamento das imagens até o envio das informações de controle ao robô, é realizado em um tempo inferior. No primeiro experimento, o objetivo do robô era alcançar o ponto final de (5 m, 5 m), saindo do ponto ( mm, 5 m), com orientação de 8, ou seja, contrária à posição objetivo. A posição alcançada pelo robô foi de (45 mm, 5 mm) e o erro de posição de 7,6 mm. A posição do robô durante o experimento e a distância até o ponto destino são mostradas na Figura 7 e. Observa-se na Figura 7 que a distância até o ponto destino tende a zero, o que significa que o robô alcançou o ponto desejado, completando assim sua tarefa. As velocidades linear e angular desenvolvidas pelo robô durante o experimento são mostradas nas Figuras 8 e. Observase que a velocidade linear e angular diminui conforme o robô aproxima-se do objetivo, indicando o bom funcionamento do controlador. Para os experimentos desenvolvidos neste trabalho, não foi implementado um controlador de orientação final. No segundo experimento de controle, o robô foi posicionado no ponto ( mm, 5 m) e deveria alcançar a posição final de (5 m, 5 m), com sua orientação inicial invertida, ou seja, 8.

5 Caminho Descrito pelo Robô Velocidade Linear 5 2 Y [mm] 5 v [mm/s] X [mm] Erro de posição Velocidade Angular ρ [m] Figura 7: Posição do robô e distância até o ponto destino. A posição alcançada pelo robô foi de (427 mm, 49 mm) e o erro de posição de 7,7 mm. A posição do robô durante o experimento e a distância até o ponto destino são mostradas nas Figuras 9 e. Mais uma vez, observa-se na Figura 9 que a distância até o ponto destino tende a zero, o que significa que o robô alcançou o ponto desejado, completando assim sua tarefa. As velocidades linear e angular desenvolvidas pelo robô durante o experimento são mostradas nas Figuras e. A partir dos resultados nos dois últimos experimentos, nota-se que o sistema de controle de posição final do Espaço Inteligente, com realimentação visual, funcionou satisfatoriamente e o robô móvel alcançou o objetivo desejado em ambos experimentos. 4 Conclusões Este trabalho propôs o uso de um espaço inteligente baseado em visão computacional para localizar e controlar um robô móvel. Para validar a estrutura montada e a calibração do EI, foram Ω [ /s] Figura 8: Velocidades desenvolvidas pelo robô: linear e angular. realizados experimentos de posicionamento e controle do robô. Os dois primeiros, tiveram por objetivo investigar o desempenho do posicionamento do robô móvel no ambiente. Em ambos, o sistema obteve resultados satisfatórios. Os dois últimos experimentos utilizaram um controlador de posição final para controlar o robô móvel utilizando como realimentação a postura dada pelo EI. Ressalta-se que todas as ações de controle foram calculas pelo sistema supervisório do ambiente e enviadas para o robô. Os resultados alcançados nos dois experimentos foram satisfatórios, mostrando o bom funcionamento da estrutura do EI e o bom desempenho alcançado pelo algoritmo de calibração. Como trabalho futuro, serão realizados testes com a expansão do EI, utilizando câmeras sem vista sobreposta para localizar o robô. Assim, será possível simular uma casa com diversos ambientes diferentes. Experimentos com um controlador de caminho para o robô móvel também serão executados. Desse modo, será possível controlar o robô para navegar de uma sala para outra passando pelo caminho planejado, diminuindo o risco de colisão com a porta dos ambientes. Tal aspecto é importante para posterior uso do sistema para

6 2 Caminho Descrito pelo Robô 2 Velocidade Linear 5 Y [mm] 5 v [mm/s] 2 ρ [m] X [mm] 25 Erro de posição Ω [ /s] Velocidade Angular Figura 9: Posição do robô e distância até o ponto destino Figura : Velocidades desenvolvidas pelo robô: linear e angular. controle de uma cadeira de rodas robotizada, por exemplo. Agradecimentos Os autores agradecem ao CNPq (Processo /27-8), à CAPES (Convênio CAPES- MECD-DGU/Espanha, n o 5/7) e à FAPES (projeto n o 45442/29) pelo financiamento deste trabalho. Referências Adept MobileRobots (2). Pioneer - AT - Manual, Libraries/Downloads/PioneerAT-PAT- RevA.sflb.ashx. Ferreira, A., Pereira, F. G., Vassallo, R. F., Bastos-Filho, T. F. and Filho, M. S. (28). An approach to avoid obstacles in mobile robot navigation: The tangential escape, Revista Controle e Automação 9(4): Hartley, R. and Zisserman, A. (2). Multiple View Geometry in Computer Vision, Cambridge University Press, Cambridge. Lee, J.-H., Ando, N. and Hashimoto, H. (999). Intelligent space for human and mobile robot, Advanced Intelligent Mechatronics, 999. Proceedings. 999 IEEE/ASME International Conference on, Vol. 6, pp Pereira, F. G., Vassallo, R. F. and Salles, E. O. T. (2). Human-robot interaction and cooperation through people detection and gesture recognition, Journal of Control, Automation and Electrical Systems 24: Rampinelli, M., Covre, V. B., de Queiroz, F. M., Vassallo, R. F., Bastos-Filho, T. F. and Mazo, M. (24). An intelligent space for mobile robot localization using a multi-camera system, Sensors 4(8): Thrun, S., Burgard, W. and Fox, D. (25). Probabilistic Robotics, a edn, MIT Press, Cambridge, MA. Weiser, M. (99). The computer for the 2st century, Scientific American 265():