Visão Omnidirecional para

Universidade Federal da Bahia Programa de Pós-graduação em Engenharia Elétrica Projeto Visão Omnidirecional para Robótica Móvel Projeto de pesquisa submetido ao Programa de Pós-graduação em Engenharia Elétrica para fim de credenciamento junto a seu corpo docente Prof. Perfilino Eugênio Ferreira Júnior

1 Objetivos Implantar e consolidar competência científica e tecnológica em visão computacional (omnidirecional) para robótica móvel, visando capacitar equipes de robôs móveis a realização de tarefas cooperativas em ambientes dinâmicos. 1.1 Metas As seguintes metas específicas estão previstas para o objetivo proposto: 1. Modelagem e implantação de um sistema de visão omnidirecional catadióptrico (sistema de lentes e câmera) em robôs móveis. 2. Implementação de técnicas e algoritmos de processamento de imagens para tratamento das imagens adquiridas pelo sistema de visão omnidirecional. 3. Construção de robôs móveis omnidirecionais para realização autônoma de tarefas. 4. Consolidação da área de Visão Computacional junto ao Programa de Pós-graduação em Engenharia Elétrica da Universidade Federal da Bahia. 5. Contribuir para a melhoria do conteúdo tecnológico do ensino, mais especificamente Processamento de Imagens, Visão Computacional e Engenharia Elétrica, em nível de graduação e pós-graduação. 6. Geração de relatório técnico parcial 7. Geração de relatório final. 8. Apresentação de resultados Finais. 2 Justificativa Robôs móveis são baseados em tarefas. Assim, para avaliar um sistema artificial deve-se aplicá-lo a uma tarefa específica. A tarefa a ser abordada neste projeto é o processamento de imagens adquiridas por um sistema de

visão embarcado em robôs móveis, para competições de futebol[1]. Em trabalhos recentes [2]-[6], foi proposta uma arquitetura de um sistema de sensoriamento remoto baseado em fusão de dados de uma câmera CMOS e sensores de distância infra-vermelhos, embarcados em um robô móvel. Robôs móveis foram concebidos pelo Grupo de Pesquisa em Inteligência Artificial da UFBA, como plataformas experimentais de arquitetura aberta, que utiliza o futebol de robôs, segundo as condições de contorno da liga de robôs de pequeno porte da RoboCup Federation, RoboCup F-180, onde são comumente utilizados. Estes vêm sendo utilizados como laboratório para pesquisas desenvolvidas nas áreas de Robótica e Inteligência Artificial desde 1996. A arquitetura citada anteriormente foi construída com a finalidade de determinar e localizar objetos num campo de futebol, a saber: os robôs do time de futebol, os robôs do time de futebol adversário e a bola. Em [2]-[6] propôs-se ainda, uma arquitetura de software para o sistema de visão do robô móvel, a fim de tratar a percepção e o controle deste último. No módulo de percepção foi empregado uma máquina de aprendizado determinístico chamada SVM (do inglês, Support Vector Machine) [7]. Este método de aprendizado supervisionado para classificação de dados, incorpora dois estágios - treinamento e predição -, e foi utilizado para classificar objetos em imagens capturadas pelo sistema de visão montado - robôs e bola. Nesta etapa de classificação, o reconhecimento dos objetos foi feito por informação de cor. Uma câmera CMUCAM2 foi utilizada, a qual oferece a funcionalidade de rastreamento de cores. No módulo de controle foi adotado processamento de imagens Fuzzy [8], para decidir quais dados dos sensores e se estes seriam combinados com dados da câmera, para garantir a precisão de informação dos objetos para o robô. Uma etapa importante no design do projeto é o da calibração da câmera, relação entre coordenadas da cena 3D visualizada e coordenadas da câmera. A localização dos objetos é dada por coordenadas polares (θ, d). Uma técnica de regressão por SVM [7, 9] foi utilizada duas vezes, uma para determinar o ângulo θ e outra para determinar a distância d relativa ao centro de massa dos robôs. Robôs, em geral, são construídos com diferentes tipos de atuadores de locomoção - rodas, pernas, etc -, porém, sensores visuais são, na maioria das vezes, compostos de câmeras de sensor CCD comuns.

Um sistema de visão omnidirecional catadióptrico (SVOC) 1 - é um sistema composto de uma câmera de vídeo convencional e um espelho convexo com campo de visão de 360 o -, viabilizando uma visualização mais ampla do ambiente, onde o robô está inserido. Tal sistema é de rápida implementação [10], e possui uma motivação biológica por trás, uma vez que se pode identificar este sistema de visão em alguns organismos primitivos e insetos[11]. No contexto do futebol de robôs, o trabalho [14] traz uma equipe de robôs onde apenas um deles é dotado de um SVOC, o robô servo 2. Sistemas do tipo SVOC são mais eficientes que aqueles convencionais e que os sistemas baseados em lentes olho de peixe[10], devido ao mapeamento do ambiente que este proporciona. Alguns modelos da geometria de câmeras de um sistema SVOC são: parabólico, elíptico, hiperbólico, cônico e esférico. SVOC s baseados em espelhos parabólicos, elípticos e hiperbólicos são denominados de sistemas panorâmicos 3 centrais, por possuirem a propriedade de um ponto de vista simples 4. Sistemas baseados em espelhos cônicos e esféricos são denominados não-centrais. Apesar da ausência da citada propriedade para os espelhos cônico e esférico, tais sistemas são também eficientes, a depender da tarefa que se queira executar [18]-[20]. Em [11, 12] pode ser encontrada uma unificação das três primeiras geometrias acima num modelo mais geral, o da geometria da projeção estereográfica. Uma discussão sobre a geometria da visão omnidirecional é importante para a escolha do design do SVOC a ser implantado [13]. Outro fato importante é que no processo de calibração da câmera basta utilizar apenas duas retas da imagem[11]. Neste trabalho pretende-se construir um sistema de visão SVOC, de baixo custo, munido da geometria de uma superfície esférica, embarcado em 6 (seis) robôs móveis, para abordar o problema de detecção e localização de robôs no campo de futebol. Neste caso, o espelho será substituído por uma esfera de aço oca, superando o primeiro problema encontrado na construção do sistema - o alto custo do processo de usinagem para geração dos espelhos convexos. 1 sistema óptico combinando elementos reflexivos (catóptricos - espelhos) e refrativos (dióptricos - lentes). 2 robô líder com um sistema SVOC embarcado que emite sinais de comunicade rádio para distribuir tarefas 3 Sistemas panorâmicos podem ser obtidos por câmeras em rotação e por câmeras omnidirecionais 4 do inglês a single viewpoint property

O sistema SVOC implantado em cada robô permitirá que eles tenham um amplo campo de visão, auxiliando na percepção do ambiente e facilitando a movimentação dos robôs ao longo do campo de futebol. Uma sequência de operações de processamento das imagens omnidirecionais serão realizadas para a determinação e localização dos robôs. 3 Colaboradores Este projeto contará além da participação de alunos de Trabalho Final de Graduação em Engenharia Elétrica e de Computação e de alunos do Programa de Pós-graduação em Engenharia Elétrica, com a colaboração do Professor Augusto Cesar Pinto Loureiro da Costa, lotado no Depto. de Engenharia Elétrica, cujas atividades científicas possuem interesses comuns aos do candidato. O Prof. Augusto, inclusive, foi supervisor de duas bolsas de pesquisa do candidato - Desenvolvimento Tecnólogico e Regional 2 e de Pós-Doutorado I -, concedidas pela FAPESB. São previstas também a interação de alunos do curso de Matemática, envolvidos em projetos de iniciação científica em Matemática Aplicada, supervisionados pelo candidato. Atualmente o aluno de projeto final do curso de graduação em Ciência da Computação da UFBA, Daniel Vitor de Oliveira Rodrigues, está empenhado no processo de adaptação de uma técnica para detecção das linhas do campo de futebol, aos trabalhos [2]-[3]. 4 Metodologia e Estratégia de Ação A metodologia do presente projeto consistirá de etapas, que poderão acontecer simultaneamente durante a execução do projeto. A primeira delas é a construção do sistema de visão omnidirecional proposto; a segunda, o desenvolvimento em termos de software de visão computacional para o sistema de visão omnidirecional, e por último a divulgação dos resultados de pesquisa em congressos e periódicos internacionais. Abaixo segue a lista de tarefas a serem executadas ao longo de todo o processo: 1. Estudo e análise dos trabalhos base [2]-[6];

2. Testes com o sistema de visão [2]; 3. Adaptação da técnica de detecção das linhas do campo de futebol proposta por [27]-[28]; 4. Adaptação da técnica de calibração automática de câmera proposta por [27]-[28]; 5. Montagem dos protótipos dos sistemas de visão omnidirecional - o trabalho [26] será utilizado como referência, pois aborda o emprego de espelhos de tipo esférico; 6. Adequação do campo de futebol de robôs da categoria F-180 da RoboCup Federation às dimensões atuais; 7. Calibração do sistema de visão omnidirecional construído; 8. Implementação de rotinas de processamento de imagens omnidirecionais; 9. Reavaliação do processos de detecção das linhas do campo de futebol e de calibração automática da câmera, para o novo sistema de visão; 10. Testes com simulador de ambiente do jogo de futebol; 11. Adaptação do sistema construído aos robôs móveis (stargate kit); 12. Embarque dos sistemas de visão em robôs móveis; 13. Testes com robôs móveis no campo de futebol; 14. Escrita e submissão de artigos científicos à congressos e periódicos internacionais. 15. Participações nas RoboCup 2010/2011 nas categorias F 180; 16. Participações nos SIBGRAPI 2010/2011; 17. Publicação de resultados e divulgação de relatórios parciais; 18. Divulgação de relatório final

5 Cronograma de Atividades O cronograma está organizado na tabela 1, conforme as etapas previstas na Metodologia e Estratégia de Ação. 6 Resultados e impactos esperados Os principais impactos esperados do projeto são: Formação de um grupo de pesquisa em Visão Computacional para Robótica, envolvendo professores do Programa de Pós-graduação em Engenharia Elétrica da Universidade Federal da Bahia. Fortalecimento da linha de pesquisa de Sistemas Robóticos ao Programa de Pós-graduação em Engenharia Elétrica da Universidade Federal da Bahia. Desenvolvimento de resultados teóricos e experimentais a respeito dos diferentes aspectos envolvidos na construção de sistemas de visão embarcados. Resultados estes a serem divulgados através de publicações científicas e dissertações de mestrado do Programa acima citado. Desenvolvimento de ferramentas computacionais para processamento de imagens provenientes de sistemas de visão omnidirecionais. Capacitação de profissionais em nível de mestrado em Engenharia Elétrica, que sejam aptos a trabalhar com sistemas de visão artificial para robótica móvel. Publicação dos resultados obtidos em congressos internacionais, nacionais e periódicos indexados de reconhecida relevância pelo Qualys da CAPES.

Tabela 1: Cronograma de Atividades/Mês Meses 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 Maio/2009 Junho/2009 Julho/2009 Agosto/2009 Setembro/2009 Outubro/2009 Novembro/2009 Dezembro/2009 Janeiro/2010 Fevereiro/2010 Março/2010 Abril/2010 Maio/2010 Junho/2010 Julho/2010 Agosto/2010 Setembro/2010 Outubro/2010 Novembro/2010 Dezembro/2010 Janeiro/2011 Fevereiro/2011 Março/2011 Abril/2011 Prof. Perfilino Eugênio Ferreira Júnior.

Referências [1] [http://small-size.informatik.uni-bremen.de/rules:main] (2007) [2] L. R. Oliveira, A. L. da Costa and L. Schnitman, A Comprehensive Framework for Perception in Robotic Soccer, Book chapter to appear in: Robotic Soccer. Publisher: International Journal of Advanced Robotic Systems, Austria (2007). [3] L. R. Oliveira, Uma Abordagem para Visão Artificial em Robótica Móvel Baseada em Fusão de Sensores, Dissertação de mestrado em Mecatrônica, Universidade Federal da Bahia - UFBA (2005). [4] L. R. Oliveira, A. L da COSTA, L. Schnitman, J. F. Souza, An Architecture of Sensor Fusion for Spatial Location of Objects in Mobile Robotics, Encontro Português de Inteligência Artificial, EPIA2005, 2005, Covilhã (EPIA 2005 LNAI 3808, Berlin Heidelberg, Springer-Verlag, 2005, v. 3808, p. 462 473) (2005) [5] L. R. Oliveira e A. L. da Costa, Visão Computacional: Uma Abordagem para Robótica Móvel Baseada em Fusão de Sensores, I Encontro de Robótica Inteligente, 2004, Salvador (IV Congresso da Sociedade Brasileira de Computação - SBC 2004, Salvador), Sociedade Brasileira de Computação, v. 01 (2004). [6] L. R. Oliveira, A. L. da COSTA, L. Schnitman, Arquitetura de Visão Artificial: Aplicação em Robótica Móvel Baseada em Fusão de Sensores, VII Brasilian Symposium on Inteligent Automation and II Latin America IEEE Robotics Symposium (SBAI/IEEE-LARS), 2005, São Luis (VII Brasilian Symposium on Inteligent Automation and II Latin America IEEE Robotics Symposium (SBAI/IEEE-LARS), São Luis, SBA/IEEE, 2005. v. 1. p. 1 8) (2005). [7] V. Vapnik, The Nature of Statistical Learning Theory, Springer-Verlag (1995). [8] T. Takagi, M. Sugeno, Fuzzy Identification of Systems and Its Applications to Modelling and Control, Transactions on Systems, Man and Cybernetics, v. 28, p. 15-33, IEEE (1985).

[9] N. Cristianini, J. Shawe-Taylor, An Introduction to Support Vector Machine and Other Kernel-based Learning Algorithms, Cambridge University Press (2003). [10] S. K. Nayar, Omnidirectional Vision, The 8 th International Symposium of Robotics Research, Hayama, Japan (1997). [11] K. Daniidis and C. Geyer, Omnidirectional Vision: Theory and Algorithms, 15 th International Conference on Pattern Recognition (ICPR 00) - Volume 1, p. 1089 1096 (2000). [12] C. Geyer and K. Daniidis, Catadioptric Projective Geometry, International Journal of Computer Vision, 43:223 243 (2001). [13] S. K. Nayar and S. Baker, Catadioptric Image Formation, Proceedings of the 1997 DARPA Image Understanding Workshop (1997). [14] C. C. Gava, R. F. Vassalo, T. F. Bastos Filho, R. Carelli, Nonlinear Control Techniques and Omnidirectional Vision for Team Formation on Cooperative Robotics, IEEE International Conference on Robotics and Automation - ICRA 07, Roma, Italy (2007). [15] F. G. Pereira, C. C. Gava, R. F. Vassalo, M. Sarcinelli Filho, Calibração de Sistemas Catadióptricos e Detecda Pose de Robôs Móveis por Segmentade Imagens Omnidirecionais, SBAI/IEEE-LARS 2005, São Luis, MA (2005). [16] R. F. Vassalo, L. F. Encarnação, J. Santos-Victor and H. J. Schneebeli, Bird s Eye View Remapping and Path Following Based on Omnidirectional Vision, CBA 2004 - V Congresso Brasileiro de Automà tica, Gramado (2004). [17] F. Roberti, R. F. Vassalo, R. Carelli, T. F. Bastos Filho, Estrategia de Sensado y Control para Aplicaciones en Robótica Móvil Mediante un Sistema de Visión Omnidireccional, IV Jornadas Argentinas de Robótica, 2006, Córdoba, Memórias de Las IV Jornadas Argentinas de Robótica (2006). [18] S. Baker and S. K. Nayar, Single Viewpoint of Catadioptric Cameras, Benosman, R. and Kang, S. B., editors, Panoramic Vision: Sensors,

Theory and Applications, Monographs in Computer Science, chapter 4, pp. 39 72. Springer-Verlag, New York (2001). [19] J. A. Gaspar, Omnidirectional Vision for Mobile Robot Navigation, Tese de Doutorado em Eng a Electrotécnica e de Computadores, Universidade Técnica de Lisboa, Instituto Superior Técnico (2002). [20] J. A. Gaspar and J. Santos-Victor, Visual Path Following with a Catadioptric Panoramic Camera, Int. Symp. Intelligent Robotic Systems, Coimbra, Portugal, pp. 139 147 (1999). [21] J. R. A. Torreão and M. Amaral, Signal Differentiation Through a Green s Function Approach, Pattern recognition Letters 23, pp. 1755 1759 (2002). [22] J. R. A. Torreão and M. Amaral, Efficient, recursively implemented differential operator, with application to edge detection, Pattern recognition Letters 27, pp. 987 995 (2006). [23] P. E. Ferreira Júnior, Funções de Green de Equações de Casamento para Síntese de Movimento, Tese de Doutorado, IMPA - Instituto Nacional de Matemática Pura e Aplicada, Fevereiro (2007). [24] P. E. Ferreira Júnior, J. R. A. Torreão, P. C. P. Carvalho and M. B. Vieira, Motion Synthesis Through 1D Affine Matching, Pattern Analysis and Applications, v. 11, pp. 45 58 (2008). [25] P. E. Ferreira Júnior, J. R. A. Torreão, P. C. P. Carvalho, Data-based Motion Simulation Through a Green s Function Approach, Proc. of VII SIBGRAPI, pp. 193 199 (2004). [26] V. Grassi Jr., Sistema de Visão Omnidirecional Aplicado no Controle de Robôs Móveis, Dissertação de mestrado em Eng a Mecânica - USP (2002). [27] F. Szenberg, P. Carvalho, M. Gattass, Automatic Camera Calibration for Image Sequences of a Football Match, Lecture Notes In Computer Science, Vol. 2013, Proceedings of the Second International Conference on Advances in Pattern Recognition, pp. 301 310 (2001). [28] F. Szenberg, P. Carvalho, M. Gattass, Image-based Modeling Using a Two-step Camera Calibration Method, Proceedings of the International

Symposium on Computer Graphics, Image Processing, and Vision, pp. 388 395 (1998).