SISTEMA DE CONTROLE DE UMA PLATAFORMA ROBÓTICA EXPERIMENTAL BASEADO EM VISÃO COMPUTACIONAL UTILIZANDO KINECT

SISTEMA DE CONTROLE DE UMA PLATAFORMA ROBÓTICA EXPERIMENTAL BASEADO EM VISÃO COMPUTACIONAL UTILIZANDO KINECT Leonardo Camilo Ribeiro 1, Amanda Bragança Farias 1, Eduardo Max Amaro Amaral 2 1 CURSO TÉCNICO EM INFORMÁTICA - INSTITUTO FEDERAL DE EDUCAÇÃO, CIÊNCIA E TECNOLOGIA DO ESPÍRITO SANTO - CAMPUS SERRA Rodovia ES 010, Km 6.5, Manguinhos CEP 29.173-084 Serra ES 2 INSTITUTO FEDERAL DE EDUCAÇÃO, CIÊNCIA E TECNOLOGIA DO ESPÍRITO SANTO - CAMPUS SERRA Rodovia ES 010, Km 6.5, Manguinhos CEP 29.173-084 Serra ES Abstract The educational robotics has become an important tool in the insertion of students in the research environment. This paper presents a experimental robotic platform of low cost, what uses the Kinect as vision sensor. Also presents a computer vision based system capable of control tasks simple of the robot. The results demonstrated that the proposed robotic platform is feasible and can be used in the development of new algorithms, until even more complex than those developed in this work. Keywords: Robotics, Education, Arduino, Robotics Kits, Kinect. Resumo A robótica educacional tem se tornado uma ferramenta importante na inserção de alunos no ambiente de pesquisa. Este artigo apresenta uma plataforma robótica experimental de baixo custo, que utiliza o Kinect como sensor de visão. Também apresenta um sistema baseado em visão computacional capaz de controlar tarefas simples do robô. Os resultados demonstraram que a plataforma robótica proposta é viável e pode ser utilizada no desenvolvimento de novos algoritmos, até mesmo mais complexos do que os desenvolvidos neste trabalho. Palavras Chaves: Robóticos, Kinect. 1 INTRODUÇÃO Robótica, Educação, Arduino, Kits Robôs são amplamente utilizados em todo o mundo e em diversas aplicações. Por conseguinte, o campo da robótica educacional tem recebido crescente atenção dos educadores e estudantes. Como exemplo, o número de estudantes no Brasil que participam da Olimpíada Mundial de Robótica aumentou, e eles têm alcançado notável sucesso (Martins, Oliveira e Oliveira, 2012). De acordo com Johnson (2002), o interesse em robótica aumentou espantosamente nos últimos anos. A robótica é vista por muitos como a oferta de novos e importantes benefícios na educação em todos os níveis. O robô, por ser um dispositivo que exige a conexão de diversos elementos de maneira planejada e coordenada e pelo fato de tais elementos exigirem conhecimentos de diversas áreas, como física, matemática e raciocínio lógico, pode ser uma excelente ferramenta no auxílio ao aprendizado e para promoção da interdisciplinaridade (Martins, Oliveira e Oliveira, 2012). Zilli (2004) também caracteriza a atividade robótica como interdisciplinar, pois possibilita estimular o pré-projeto, a engenharia e habilidades em computação, e sendo, por isso, altamente relevante para o currículo escolar. Segundo Amaral, Pin e de Oliveira (2012), para que haja a prática da robótica educacional são utilizados kits didáticos para robótica. Dentre esses kits, alguns são distribuídos comercialmente de uma forma fixa podendo ser mudada apenas a lógica de controle (como, por exemplo, os produzidos pela LEGO ). Estes kits possuem a desvantagem de permitirem poucas modificações no hardware reduzindo a possibilidade de se adicionar novas funcionalidades, além de serem de alto custo, o que dificulta sua aquisição por parte das escolas. Ao escolher uma plataforma robótica, o custo não é o único fator a ser considerado. Uma bem-sucedida plataforma robótica deve ter uma pequena curva de aprendizagem para atividades simples, mas deve se expandir para atender necessidades avançadas e de pesquisa, ou seja, deve possuir uma boa escalabilidade (Johnson, 2002). Neste contexto, o objetivo deste trabalho foi comprovar o proposto por Amaral, Pin e de Oliveira (2012), construindo uma plataforma robótica experimental (PR), com o intuito de desenvolver algoritmos de visão computacional, utilizando o Kinect da Microsoft, capaz de controlar a PR. Outro objetivo foi verificar a interdisciplinaridade desta atividade e inserir alunos do curso Técnico em Informática em um ambiente de pesquisa, totalmente propício ao desenvolvimento da capacidade criativa dos alunos. Especificamente, neste projeto, foi criada uma plataforma robótica experimental (PR) controlada por movimentos de um usuário detectados pelo Kinect. Esse controle poderia ser relevante quando um robô autônomo encontra-se com dificuldades na realização dos movimentos (por exemplo, desvio de obstáculos complexos) ou quando ainda não possui um ambiente mapeado. Este artigo encontra-se organizado da seguinte forma: a seção 2 apresenta a forma de construção da PR. A seção 3 relata a arquitetura física. Já a seção 4 descreve a arquitetura do Mostra Nacional de Robótica (MNR) 1

sistema. Os resultados são apresentados na seção 5, e as conclusões são apresentadas na seção 6. 2 PLATAFORMA ROBÓTICA Este projeto foi desenvolvido no LARSE (Laboratório de Robótica e Sistemas Embarcados). O LARSE é vinculado ao NERA (Núcleo de Estudos em Robótica e Automação), e os trabalhos desenvolvidos pelo Núcleo já demonstraram a interdisciplinaridade da robótica e os benefícios, no processo de aprendizagem em programação e eletrônica, desfrutados pelos alunos envolvidos (Martins, Oliveira, e Amaral, 2012), (Amaral, Pin e De Oliveira, 2012) e (Martins, Oliveira e Oliveira, 2012). Sendo assim, a plataforma robótica experimental (PR) desenvolvida neste trabalho foi baseada no projeto feito por Amaral, Pin e de Oliveira (2012). A PR é apoiada em duas placas de acrílico sobrepostas, contendo três rodas, sendo duas delas motrizes e a terceira de apoio, como em um robô de acionamento diferencial. As diferenças básicas da PR com relação ao trabalho de Amaral, Pin e de Oliveira são descritas a seguir. Escolheu-se uma base acrílica maior, com o propósito de suportar mais equipamentos embarcados. Neste caso, rodas maiores, uma placa Arduino, uma protoboard, uma bateria e dois servomotores na plataforma inferior. Um Kinect da Microsoft e um notebook (controlador) na plataforma superior, conforme Figura 1. Figura 1 - Plataforma robótica experimental. Além disso, os servomotores escolhidos foram de maior torque, no caso, 5.0 Kg-cm (no projeto original eram de 3.3 Kg-cm). Como dito, as rodas também foram modificadas por rodas com maior diâmetro. 3 ARQUITETURA FÍSICA A arquitetura física define como as estruturas físicas serão interligadas. Essa arquitetura pode ser observada na Figura 2. A arquitetura física é composta por um controlador (notebook) interligado, pela porta USB, a um Arduino, que por sua vez, está ligado a dois atuadores (servos) pelas portas PWM (Pulse Width Modulation - Modulação por Largura de Pulso) de sua placa. Além disso, um sensor, do tipo Kinect, está ligado ao controlador também pela porta USB. O Arduino faz parte do conceito de hardware e software livre e está aberto para uso e contribuição de toda sociedade. É uma plataforma de computação física (são sistemas digitais ligados a sensores e atuadores, que permitem construir sistemas que percebam a realidade e respondem com ações físicas), baseada em uma simples placa de Entrada/Saída microcontrolada e desenvolvida sobre uma biblioteca que simplifica a escrita da programação em C/C++ (Arduino, 2013). Figura 2 - Plataforma robótica experimental. Já o Kinect (da Microsoft) fornece imagens que vêm sendo chamadas de RGBD, fazendo referência aos três canais de cores e ao canal adicional de profundidade (com a letra D vindo do termo depth, profundidade em inglês). Vários trabalhos em robótica também têm utilizado o Kinect como sensor de profundidade e reconstrução 3D. Um sistema de controle de rastreamento do movimento humano com Kinect a bordo de um robô móvel foi desenvolvido por (Machida et al., 2012). Em (El-Laithy et al, 2012), ele é usado para aplicações de navegação indoor em veículo terrestre. O princípio básico por trás do sensor de profundidade do Kinect é a emissão de um padrão de IR (infravermelho) e a captura de imagem simultânea da imagem IR com uma câmera CMOS (tradicional). O processador de imagem do Kinect utiliza as posições relativas dos pontos no padrão para calcular o deslocamento de profundidade em cada posição de pixel na imagem (Andersen et al, 2012). A precisão de profundidade é de aproximadamente 10 milímetros a uma distância de 2 metros. O Kinect é um sensor de grande valia para a área de Visão Computacional, tendo sido explorado em projetos das mais variadas aplicações. Além disso, possui como vantagem um baixo custo de aquisição. Sendo assim, utilizou-se esse sensor na detecção dos movimentos para o controle da plataforma robótica experimental. 4 ARQUITETURA DO SISTEMA Abaixo (Figura 3), pode-se ver um diagrama onde está representada a arquitetura do sistema e como a plataforma robótica experimental funciona de forma teórica. Figura 3 - Arquitetura do Sistema. Mostra Nacional de Robótica (MNR)

4.1 Controle Básico de Movimentos e Comunicação As funções básicas de movimento disponíveis no robô são: frente - forward, ré - backward, pare - stop, direita 90º - right e esquerda 90º - left. Essas funções são as mesmas desenvolvidas por Amaral, Pin e de Oliveira (2012) e estão embarcadas na placa microcontrolada (Arduino). Na Comunicação, feita pela porta USB, foi definido um protocolo entre o Arduino e o controlador. O Arduino recebe uma string contendo a decisão de movimento (forward, backward, stop, right e left). Essa comunicação é feita utilizando-se o Processing. Este ambiente de código aberto é disponibilizado para diversos sistemas operacionais, incluindo Windows e Linux, e já possui uma biblioteca de comunicação com o Arduino (Processing, 2013). 4.2 Mapa de Profundidade De acordo com Tölgyessy e Hubinský (2011), uma parte importante da interação humano-robô (HRI - Human-robot interaction) é controlar um sistema robótico com gestos da mão e isso tem sido objeto de muitos trabalhos de pesquisa. Segundo os autores, interagir com sistemas digitais, sem a necessidade de um mouse, teclado ou joystick tem um futuro promissor. Muitos algoritmos que utilizam apenas uma única câmara RGB têm sido propostos. No entanto, a informação 3D do Kinect proporciona uma grande ajuda na realização de algoritmos de reconhecimento de gestos estáticos e dinâmicos. O Kinect é um sensor de baixo custo que fornece mapas de profundidade. Esse equipamento contém uma câmera RGB e um emissor IR, sendo que o mapa de profundidade é obtido a partir da triangulação de luz estruturada projetada. A localização 3D é determinada a partir da interseção entre a direção da visão da câmera e a direção da luz produzida pelo emissor (Figura 4). movimentos pré determinados, através do Kinect, e a partir deles controlar um robô diferencial. Para isso, o mapa de profundidade fornecido pelo Kinect é dividido em quadrantes, conforme Figura 5. Figura 5 - Mapa de profundidade produzido pelo Kinect e a divisão dos quadrantes que definem os movimentos. O ponto mais próximo do dispositivo é escolhido para controlar os movimentos (aqui chamado de ponto mínimo ). Um distância de 1 metro foi definida como padrão para detecção do ponto mínimo. O usuário, ao posicionar a mão à frente do corpo, direcionada ao Kinect, esse ponto mínimo é detectado. Após a detecção, ao movimentar a mão para um determinado quadrante, um movimento do robô diferencial é acionado. Os movimentos foram definidos como: ponto mínimo no quadrante superior a direta: robô se move para frente (forward) (Figura 6); ponto mínimo no quadrante superior a esquerda: robô se move para trás (backward); ponto mínimo no quadrante inferior a direita: robô se move a direita (right); ponto mínimo no quadrante inferior a esquerda: robô se move a esquerda (left); Figura 4 - A profundidade é uma estimativa da distância do objeto em relação ao plano de câmera (Andersen et al, 2012). A cada instante i, um mapa de profundidade D i é gerado pelo Kinect. Dada a imagem da câmera, a profundidade de cada pixel u é então associada ao mapa de profundidade. 4.3 Detecção de Movimentos e Controle de Decisão O algoritmo desenvolvido neste trabalho foi baseado no algoritmo proposto por Borenstein (2012). O intuito é detectar Figura 6 - Exemplo de um movimento de comando feito pelo usuário. Ponto mínimo no quadrante superior a direta: robô se move para frente (forward). Uma região centralizada do mapa de profundidade foi escolhida como região de descanso, onde o robô não realiza movimentos (stop). O ponto mínimo fica nessa região quando a distância mínima não é alcançada (Figura 5). Mostra Nacional de Robótica (MNR) 3

5 EXPERIMENTOS E RESULTADOS Para avaliar o modelo proposto, foram feitos testes no laboratório, em ambiente controlado (Figura 7). Figura 7 - Robô executando um percurso, de acordo o movimento de comando do usuário, em um ambiente controlado. Para os testes, um padrão de movimento do robô foi adotado, simulando um desvio de obstáculos. Ele deveria executar um percurso composto de: uma movimentação à frente, uma parada, uma ré, uma rotação à direita ou à esquerda, e uma movimentação à frente. Em todos os testes a PR demonstrou boa estabilidade, tanto com relação aos movimentos quanto com relação à detecção de movimentos de controle feita pelo Kinect (Tabela 1). O conjunto proposto neste trabalho foi capaz de desenvolver o percurso sugerido com os movimentos totalmente controlados por um usuário. A integração da placa Arduino, do veículo, do controlador e dos softwares se deu de forma não muito complexa e trabalhosa. As maiores dificuldades encontradas com relação à PR foram na montagem das rodas e na manipulação dos fios. Já na detecção de movimentos e controle feitos pelos algoritmos implementados utilizando o Kinect, as dificuldades foram com a calibração da taxa de comunicação entre o Processing e o Arduino. Correções foram necessárias no sistema de detecção de movimentos do usuário, para reduzir as atualizações de controle. Para isso, uma suavização na movimentação do ponto mínimo foi implementada. Tabela 1 - Erros de controle e movimento da PR. Detecção de movimentos Quantidade de Testes Erro % de Erro % de Acerto 20 2 10,0 90,0 Controle de decisão 20 0 0,0 100,0 Controle básico de movimentos Mostra Nacional de Robótica (MNR) 20 3 15,0 85,0 Os erros ocorridos na detecção de movimentos foram causados pela alta taxa de dados na porta USB, conforme descrito acima, e logo foram resolvidos. Já no controle básico de movimentos, os erros ocorreram duas vezes devido a falha de conexão dos fios do arduino com os servos motores e uma vez devido a um encaixe incorreto das rodas. Melhorias na plataforma já estão sendo executadas para sanar esses problemas. Nenhum erro ocorreu no controle de decisão. 6 CONCLUSÕES Embora neste trabalho apenas tenha sido desenvolvida uma única aplicação prática, foi possível comprovar que a plataforma é viável, e que se comportou de forma estável. Sendo assim, a solução proposta se mostrou um bom caminho para a construção de veículos robóticos equipados com sensor de visão computacional (Kinect) a serem utilizados em robótica educacional. O projeto desenvolvido na realização deste estudo permitiu a utilização de ferramentas tecnológicas modernas, como a própria robótica, a visão computacional e a eletrônica, demonstrando a grande interdisciplinaridade da área. Além disso, proporcionou um estímulo aos alunos do Curso Técnico em Informática do Instituto Federal a participarem mais ativamente de projetos de iniciação científica. Este trabalho já está sendo utilizado como referência por outros trabalhos em andamento, como: desvio de obstáculos, mapeamento e reconhecimento de gestos, todos utilizando o Kinect como sensor. Ou seja, criou-se a possibilidade de se acrescentar várias outras funcionalidades ao robô, com o intuito de melhorar o seu funcionamento, mas o mais relevante é possibilitar ao aluno o exercício da criatividade e o aprimoramento dos conhecimentos em robótica. O Kinect se mostrou uma grande e complexa ferramenta que pode ser usada para ensinar os alunos muitas tarefas robóticas comuns. Como sensoriamento 3D é uma tendência atual na pesquisa, estudando robótica com o Kinect como parte do equipamento é um tanto desafiador e motivador. O custo total do projeto não ultrapassou R$ 800,00 (sem considerar o controlador - notebook), atingindo o objetivo que era de construir uma plataforma com valores acessíveis à realidade de muitas escolas brasileiras. Trabalhos futuros podem ser executados na melhoria da plataforma. Pode-se propor uma melhor implementação da comunicação entre Arduino e o controlador (protocolo), melhorias físicas de locomoção e nos códigos de movimento. Outras melhorias no código de controle também podem ser feitas, dando mais inteligência e autonomia ao robô, além da possibilidade de criação de mapas em tempo real do ambiente navegado e implementação de técnicas de inteligência artificial. REFERÊNCIAS BIBLIOGRÁFICAS Amaral, E. M. A., Pin, L. B. e de Oliveira, D. (2012). LUDEbot: Uma plataforma com Servomotores e Sensoriamento utilizando a Placa Arduino e Controle Externo, In: III Workshop on Educational Robotics, IEEE SBR/LARS/WRE (I Brazilian Robotics Symposium, IX Latin American Robotics Symposium), Fortaleza, CE, 2012. Andersen, M.R., Jensen T., Lisouski P., Mortensen, A.K., Hansen, M.K., T. Gregersen, P. (2012). Ahrendt: Kinect Depth Sensor Evaluation for Computer Vision

Applications, Department of Engineering, Aarhus University. Denmark. 37 pp. Technical report ECE-TR- 6, 2012. Anderson, M., Thaete L. and Wiegand N. (2007). Player/Stage: A Unifying Paradigm to Improve Robotics Education Delivery, In: RSS Workshop on Research on Robotics in Education 2007, Atlanta, GA. Arduino. (2013). Language Reference, Disponível em: http://arduino.cc/en/reference/homepage. Acesso em: julho de 2013. Borenstein, G. (2012). Making Things See: 3D Vision with Kinect, Processing, Arduino, and MakerBot, First Edition, Published by O Reilly Media, Inc., ISBN: 978-1-449-30707-3. El-Laithy, R.A., Huang, J., Yeh, M. (2012). Study on the use of Microsoft Kinect for robotics applications. Position Location and Navigation Symposium (PLANS), In: 2012 IEEE/ION, vol., no., pp.1280, 1288, 23-26 April 2012. doi: 10.1109/PLANS.2012.6236985. Johnson, J. (2002). Children, robotics, and education, 7th International Symposium on Artificial Life and Robotics, Oita, Japan, January 16 18, 2002. Print ISSN 1433-5298. Machida, E., Cao, M., Murao, T., Hashimoto, H. (2012). Human motion tracking of mobile robot with Kinect 3D sensor, In: SICE Annual Conference (SICE), Proceedings of, vol., no., pp.2207, 2211, 20-23 Aug. 2012. Martins, F. N., Oliveira, H. C. e Amaral, E. M. A. (2012). NERA A Center for Research on Educational Robotics and Automation, In: WEROB 2012 Workshop on Educational Robotics, 16th RoboCup International Symposium, Mexico City, 2012. Martins, F. N., Oliveira, H. C. e Oliveira, G. F. (2012). Robótica como Meio de Promoção da Interdisciplinaridade no Ensino Profissionalizante, In: WRE/LARS 2012 - Workshop de Robótica Educacional - parte do Latin American Robotics Symposium, Fortaleza. Anais do LARS SBR 2012. Processing. (2013). Language Reference, Disponível em: http://www.processing.org/reference/. Acesso em: julho de 2013. Tölgyessy, M., Hubinský, P. (2011). The Kinect Sensor in Robotics Education, Proceedings of 2nd International Conference on Robotics in Education (RiE 2011). Publisher: INNOC - Austrian Society for Innovative Computer Sciences. Zilli, S. R. (2004). A robótica educacional no ensino fundamental: perspectivas e prática, Dissertação de Mestrado, UFSC, Florianópolis, SC, 2004. Mostra Nacional de Robótica (MNR) 5