ANÁLISE DE ARQUITETURAS EMBARCADAS DE BAIXO-CUSTO PARA AQUISIÇÃO DE IMAGENS OMNIDIRECIONAIS

Transcrição

1 Natal RN, 25 a 28 de outubro de 2015 ANÁLISE DE ARQUITETURAS EMBARCADAS DE BAIXO-CUSTO PARA AQUISIÇÃO DE IMAGENS OMNIDIRECIONAIS ANDERSON A. NASCIMENTO 1, PAULO CÉSAR M. DE ABREU FARIAS Laboratório de Sistemas Digitais, Departamento de Engenharia Elétrica, Universidade Federal da Bahia s: amorin.an@gmail.com, paulo.farias@ufba.br Abstract This paper compares the performances of two low-cost models for capturing omnidirectional images and analyzes their applications on embedded robotic tasks, such as autonomous navigation. The first model is based on a semicircular interconnection of three CMUCam3 cameras over a simple master-slave bus. Each camera captures a single 60 part of a full 180 rectangular panorama. The panorama is stitched by one of the cameras using an image-stitching algorithm hard-coded within its firmware. The second model is based on a Raspberry Pi with camera module and a spherical mirror. The result is a catadioptric camera system with 360 omnidirectional view. An image detection algorithm is used in both models to evaluate their performances on a typical navigation problem. The algorithm is based on a floor color detection technique, where the obstacles are identified by the difference between their colors and the floor s around the robot. Acquisition, panorama building and image processing times are measured for each model. Keywords Omnidirectional images, computer vision, robotics, Raspberry Pi. Resumo Este trabalho compara duas arquiteturas de baixo custo para aquisição de imagens omnidirecionais, analisando suas aplicações em problemas de robótica embarcada, como os de navegação autônoma. A primeira arquitetura é baseada em um arranjo de três câmeras CMUCam3 interligadas por um barramento mestre-escravo. Cada câmera captura um segmento individual de 60, compreendendo uma parte de um panorama retangular de 180. O panorama é montado em um processo de image stitching incorporado ao firmware das câmeras do arranjo. O segundo modelo utiliza um Raspberry Pi com um módulo de vídeo e um espelho esférico. O resultado é câmera catadióptrica com um campo de visão de 360. As duas arquiteturas são submetidas a um algoritmo de detecção de obstáculos para comparação de desempenho. O algoritmo é baseado na identificação de obstáculos a partir da diferença entre a cor deles e a cor do solo ao redor do robô. São medidos tempos de aquisição, montagem e processamento dos panoramas nas duas arquiteturas. Palavras-chave Imagens omnidirecionais, visão computacional, robótica, Raspberry Pi. 1 Introdução Mecanismos de visão computacional são ferramentas poderosas para interpretação do ambiente e auxílio em tomadas de decisão. Nos últimos anos eles têm sido aplicados em robótica nas mais diversas áreas e com bons resultados. Alguns exemplos de aplicação incluem sistemas de interpretação de gestos para controle visual (Malima, et al., 2006) vigilância hospitalar (Jamaludin, et al., 2014), reconhecimento de face (Fukui & Yamaguchi, 2005) e rastreamento de objetos (Yilmaz, et al., 2006). Outro segmento que utiliza as vantagens oferecidas pelas técnicas de visão computacional é o da navegação autônoma. Resultados expressivos foram obtidos nesta área incluindo projetos de grande porte, como o veículo autônomo do Google (Markoff, 2010) e até aparelhos de utilidade doméstica como robô aspirador Roomba (Jones, 2006). Dentre os principais motivos para esta popularidade está o fato de que algumas tarefas de navegação podem ser executadas com bastante eficiência utilizando visão computacional. Como exemplo, é possível citar os algoritmos de identificação e desvio de obstáculos (Michels, et al., 2005), localização do veículo (Se, et al., 2001) e mapeamento 3D do ambiente (Se, et al., 2001). O principal apelo dos sistemas de visão, com relação às outras formas de sensoriamento, é o grande volume de informações (e.g. textura, cores, formas, presença ou ausência de objetos) que podem ser extraídas de um único sensor. No entanto, apesar do poder e da versatilidade que a interpretação de imagens oferece, ela demanda um alto custo computacional (e.g. memória e tempo de processamento), dificultando sua aplicação em sistemas de pequeno porte. Uma das formas de contornar esta dificuldade é transferir o processamento das imagens capturadas pelo robô para unidades de maior desempenho, como servidores e computadores pessoais. Esta alternativa, no entanto, pode elevar o custo financeiro e a complexidade da infraestrutura (e.g. rede, sistemas operacionais, energia) do projeto. Outra estratégia é utilizar dispositivos especializados de baixo custo e distribuir o processamento entre eles. Exemplos desta segunda alternativa podem ser encontrados em (Rowe, et al., 2002) e (Rowe, et al., 2007), que utilizam uma CMUCam (Goode, et al., 2007) como plataforma para aquisição de imagens e controle servo-visual. Diminuir o número de imagens submetidas aos algoritmos mais complexos também pode melhorar o desempenho dos sistemas de visão. É possível reduzir o número de imagens analisadas aumentando o campo de visão de cada captura. Sistemas omnidirecionais fornecem um campo de visão de 1292

2 360 a partir do ponto de origem, possibilitando uma análise simultânea de todo o espaço ao redor do robô. Outra vantagem é o fato de que imagens omnidirecionais são menos sensíveis a variações rotacionais, característica útil em problemas de localização. Finalmente, objetos de interesse e obstáculos permanecem mais tempo no campo de visão do robô, o que facilita tarefas de rastreamento e desvio. Este trabalho propõe a análise de duas arquiteturas para a aquisição e manipulação de imagens omnidirecionais. São utilizadas plataformas de baixo custo como a CMUcam3e o Raspberry Pi (Upton & Halfacree, 2012). A primeira arquitetura, multicâmeras, é baseada em um arranjo circular de três câmeras CMUcam3 e é apresentada na Seção 2. A segunda é composta por uma câmera catadióptrica montada a partir de um Raspberry Pi com módulo de vídeo e um espelho esférico. O modelo catadióptrico é o mais utilizado em projetos de visão omnidirecional para robótica móvel, no entanto, sua principal desvantagem é a baixa resolução dos panoramas capturados. As arquiteturas multicâmeras, por sua vez, embora ofereçam panoramas de maior resolução, possuem um maior consumo de energia, maior complexidade de interligação e um elevado tempo de aquisição. Estas características dificultam a aplicação dos modelos de visão omnidirecional em sistemas de navegação autônoma, sobretudo para robôs móveis de pequeno porte. A contribuição deste trabalho é o estudo e a comparação de diferentes formatos para aquisição omnidirecional para aplicações de pequeno porte. Os detalhes do projeto são discutidos na Seção 3. Para uma comparação funcional entre as duas arquiteturas foi implementado um algoritmo de detecção de obstáculos em cada uma. O algoritmo é descrito na Seção 4. Os tempos de montagem dos panoramas omnidirecionais e da detecção de obstáculos foram utilizados como parâmetro de comparação entre os sistemas. Nas Seções 5 e 6 são apresentados os resultados dos experimentos realizados e uma discussão sobre eles, respectivamente. dispostas em semicírculo, como ilustrado na Figura 3, e o barramento é multiplexado por um CI 74LS151 (8 canais para 1). Figura 1 Composição de um panorama retangular a partir de vários segmentos, image stitching Figura 2 Arranjo circular para captura simultânea de segmentos de um panorama omnidirecional Figura 3 Modelo multicâmeras para aquisição de um panorama de Arquitetura multicâmeras Um panorama omnidirecional pode ser obtido através da concatenação de uma série de segmentos individuais, cada um cobrindo uma fração angular do campo de visão total. O conceito é ilustrado na Figura 1. Os segmentos do panorama podem ser capturados simultaneamente por múltiplas câmeras dispostas em um arranjo circular mostrado na Figura 2. Para este trabalho foi montado um protótipo com barramento mestre-escravo utilizando três câmeras CMUcam3. O arranjo compreende um campo de visão de 180, mas pode ser estendido para até nove câmeras para atingir os 360. As câmeras foram Figura 4 Tempo de aquisição de imagens da CMUCam3 Cada CMUCam3 possui duas interfaces de comunicação serial (UART0 e UART1) para transferência de dados. A taxa máxima de transferência atingida por cada interface é de bauds por segundo. Nesta velocidade, uma imagem em escala de cinza, com resolução 176x143 pixels, é transmitida em um tempo médio de 1,74 s. Uma imagem com a mesma resolução em RGB leva três vezes este tempo (5,22s). Para fins de caracterização da plataforma, foi medido o tempo de aquisição de 50 quadros em RGB e em escala de cinza, utilizando uma CMUCam3 conectada a um computador pessoal 1293

3 por RS232. Os resultados são apresentados na Figura 4. A ligação entre as três câmeras do protótipo segue um modelo de barramento mestre-escravo. A câmera C1 exerce o papel de árbitro e coordena a transmissão das demais. Ela também é responsável pela montagem do panorama quando recebe todos os segmentos. A linha de transmissão (Tx) da UART1 do árbitro é conectada aos terminais de recepção (Rx) das outras câmeras. Desta forma, toda vez que C1 solicita um dos segmentos do panorama, todas as câmeras do arranjo recebem o comando e capturam os quadros simultaneamente. Após o comando de captura simultânea, o árbitro envia uma requisição de transferência contendo o endereço de uma câmera específica no arranjo. Utilizando as saídas GPIO disponíveis na CMUCam3, o árbitro também configura as entradas de seleção do multiplexador TTL 74LS151 para receber somente os dados da câmera selecionada. Quando todos os seguimentos chegam à câmera C1, ela inicia o processo de concatenação (image stitching) para montagem do panorama omnidirecional (neste caso somente 180 ). O processo de image stitching é descrito em detalhes em (Gledhill, et al., 2003). Ele consiste em realizar uma transformação afim em cada segmento com relação ao adjacente, alinhando todos em um mesmo plano. Uma das etapas da transformação envolve a procura de pontos de correspondência entre os seguimentos para calcular um conjunto de matrizes de homografias ( ). É necessária uma área de superposição entre dois segmentos adjacentes para que a matriz de homografia seja calculada com mais precisão. A transformação final é descrita pela Equação 1: [ ] [ ] [ ] (1) O cálculo das matrizes de homografia é um procedimento computacional complexo e levaria muito tempo para ser executado em uma CMUCam3. No entanto, como a posição das câmeras no arranjo é constante, as matrizes só precisam ser calculadas durante a calibração do sistema. Após esta fase, as transformações podem ser executadas de acordo com a Equação 1. O cálculo das matrizes de homografia para este arranjo foi feito utilizando OpenCV em um computador pessoal, e os resultados foram armazenados como vetores no firmware da câmera C1. 3 Arquitetura catadióptrica Uma câmera simples pode ser alinhada a um espelho esférico para obter uma imagem omnidirecional catadióptrica. O modelo para esta opção é ilustrado na Figura 5. A imagem capturada nesta configuração (donut) possui um formato polar que pode ser desenrolado em um panorama omnidirecional retangular. O processo de conversão do donut em um panorama é denominado dewarping. Os modelos para construção de câmeras catadióptricas e o processo de dewarping são descritos com detalhes em (Ishiguro, 2001), (Grassi Junior & Okamoto Junior, 2006) e (Gaspar, 2002). Utilizando o modelo de projeção unificada para espelhos esférico descrito em (Geyer & Daniilidis, 2000), é possível determinar a projeção de um ponto P=(x,y,z) no mundo real para um ponto p=(u,v), no plano da imagem. A transformação é representada pela Equação 2, onde é uma matriz contendo os parâmetros intrínsecos e extrínsecos da câmera (Equação 3) e T é uma matriz de projeção. Espelho Esférico Plano da imagem Centro de projeção Figura 5 Modelo conceitual para uma câmera catadióptrica com espelho esférico (2) [ ] (3) Para definir a matriz de projeção, um ponto é inicialmente projetado sobre o espelho em um ponto de coordenadas cilíndricas (Equação 4). Em seguida, o ponto é projetado em um ponto no plano da imagem, de acordo com os parâmetros da câmera (Equações 5 e 6). [ ] [ ] (4) [ ] [ ] (5) [ ] [ ] [ ] (6) Um panorama omnidirecional retangular, por sua vez, pode ser obtido através da Equação 7, onde todos os pontos da imagem esférica são mapeados em pontos do panorama. (7) O parâmetro da Equação 7 é uma função linear de, variando entre 0 e, e o parâmetro R é uma função linear de, variando entre 0 e o raio total da imagem esférica. O processo consiste em mapear círculos concêntricos no donut em linhas horizontais no panorama. Neste modelo de câmera, os círculos 1294

4 mais externos da imagem esférica são mapeados em linhas no topo do panorama retangular. O protótipo da câmera catadióptrica deste trabalho foi montado utilizando um módulo de vídeo (câmera) para Raspberry Pi em conjunto com uma esfera metálica e um tubo de acrílico translúcido. O módulo de vídeo do Raspberry Pi possui um sensor OmniVision OV5647, com resolução máxima de 2592 x As especificações completas do módulo podem ser encontradas em (Foundation, 2012). O Raspberry Pi também foi utilizado para implementar as rotinas de pré-processamento e interpretação das imagens. 4 Identificação de obstáculos Para comparar o desempenho das arquiteturas propostas, ambas foram submetidas a um mesmo algoritmo de identificação de obstáculos bastante comum em aplicações de visão monocular para navegação autônoma. O algoritmo é uma variação dos procedimentos utilizados em (Ulrich & Nourbakhsh, 2000) e em (Lenser & Veloso, 2003) e é baseado na diferença entre a cor do solo e a dos obstáculos. A técnica é adequada para ambientes internos (indoor) com obstáculos estáticos e onde a cor do solo é uniforme. A Figura 6a mostra um dos cenários desta aplicação. a) b) trajetórias para o veículo neste ambiente. O robô pode desviar de obstáculos próximos seguindo as linhas mais longas. Se nenhuma linha estiver disponível, ou caso elas sejam pequenas demais, o robô pode executar uma rotação e avaliar o cenário de outro ponto de vista. A Figura 6c ilustra o resultado do procedimento para a imagem analisada. Dispositivos com visão omnidirecional podem aproveitar o campo de visão estendido para decidir qual a melhor rota de fuga com apenas uma observação. 5 Resultados de Experimentos Os experimentos a seguir foram realizados em um cenário controlado para analisar o desempenho de cada sistema. Os resultados foram separados em dois grupos de acordo com a arquitetura analisada. 5.1 Arquitetura multicâmeras O primeiro experimento consiste em medir quais os tempos de montagem e transmissão de um panorama de 180 para a arquitetura multicâmeras. Foi medido o tempo médio de transmissão dos quadros das câmeras C2 e C3 para a câmera C1, e desta para um computador pessoal. Neste experimento não foram incluídos os procedimentos de montagem do panorama (i.e. transformações de homografia). Todos os segmentos capturados possuem resolução de 176x143 pixels e estão em escala de cinza. O tempo médio de aquisição foi de aproximadamente 7,3 segundos e pode ser estimado pela Equação 8 para qualquer arranjo de N câmeras. (8) c) Figura 6. Ilustração do algoritmo de detecção deobstáculos: a) cena original; b) identificação do solo; c) linhas de trajetórias possíveis. O algoritmo assume que os primeiros pixels, a partir do centro inferior da imagem, correspondem à cor do solo. Uma amostra de cor desta região é utilizada como base para a classificação do restante da imagem. Em seguida, partindo da última linha horizontal em direção ao topo, o algoritmo classifica cada pixel de acordo com a distância entre a cor dele e a do solo. Pixels com valores próximos são classificados como solo e pintados de amarelo. O resultado deste procedimento inicial é ilustrado na Figura 6b. O solo é percebido como um grande componente conexo da imagem, possibilitando estimar quanto espaço que o robô tem à sua frente. O passo seguinte é preencher um grid de ocupação traçando linhas radiais a partir do ponto de origem do robô. As linhas definem possíveis a) b) Figura 7. Tempos de transferência e montagem de um panorama de 180. Segmentos em escala de cinza com resolução de 176x143. a) Tempo de transferência dos três quadros; b) Tempo de transferência e montagem (stitching); A Figura 7a apresenta os resultados para a aquisição de 20 panoramas consecutivos. A mesma quantidade de aquisições foi realizada em seguida, 1295

5 mas agora incluindo o processo de image stitching na câmera C1. Note que as matrizes de homografia foram calculadas durante a calibração, cabendo a C1 somente o cômputo da transformação afim. Os resultados são apresentados na Figura 7b, com um tempo médio de 9s. A diferença entre o tempo médio da Figura 7a e 7b é de 1,7 segundo e corresponde ao tempo gasto na montagem do panorama. a) intensidade deles. Essa condição permite que mesma matriz possa ser reutilizada em qualquer imagem da mesma câmera, reduzindo o tempo necessário para a montagem de um panorama. Para imagens esféricas com resolução de 480x480, o tempo médio para cálculo da matriz de mapeamento no Raspberry Pi é de 81 segundos. Após o cálculo da matriz a etapa seguinte é o transporte dos pixels do donut para o panorama, esta etapa dura em média 0,21 segundos. A Tabela 1 resume as medidas de tempo dos experimentos para as arquiteturas catadióptrica e multicâmeras. Tabela 1. Comparação dos tempos de aquisição e processamento em cada arquitetura. RESOLUÇÃO TEMPO MÉDIO (s) MODELO DO PANORAMA Captura Montagem Detecção Multicam. 528x143 * 7,3 1,7 13,2 Catadióp. 709x102 0,5 0,21 5,8 *Panorama de 180. b) c) Figura 8. a) Panorama montado pelo arranjo multicâmeras: b) Resultado para a etapa de identificação de solo; c) Linhas de trajetória possíveis pelo cenário. Figura 8a mostra um panorama RGB obtido pelo arranjo multicâmeras. O algoritmo para detecção de obstáculos foi implementado em C e incorporado como parte do firmware da câmera C1. As Figuras 8b e 8c apresentam o resultado do algoritmo. a) b) 5.2 Arquitetura catadióptrica O protótipo da câmera catadióptrica foi montado utilizando um Raspberry Pi B como hardware básico para processamento das imagens. O fabricante fornece uma biblioteca de software em Python para aquisição e manipulação básica de imagens, que pode ser usada em conjunto com OpenCV. A taxa de aquisição da câmera varia de acordo com a resolução das imagens. Utilizando a biblioteca do fabricante foi possível capturar imagens RGB de 480x480 em um tempo médio de 0,58s por imagem. As Figuras 9a e 9b mostram uma imagem esférica capturada pelo protótipo e o panorama retangular após o processo de dewarping, respectivamente. As Figuras 9c e 9d, por sua vez, apresentam o resultado do algoritmo de detecção de obstáculos. O procedimento de dewarping definido pela Equação 7 constrói uma matriz de mapeamento entre todos os ponto da imagem esférica e todos os pontos do panorama retangular. O cálculo da matriz de mapeamento leva em conta somente a posição relativa de cada pixel nas duas imagens e não a c) d) Figura 9. a) Imagem esférica da câmera catadióptrica; b) Panorama retangular após o dewarping; c) Detecçao do solo e d) linhas de trajetórias até os obstáculos; 6 Conclusões A aquisição de imagens omnidirecionais requer a utilização de algoritmos de manipulação de imagens de alta complexidade computacional. Este trabalho representa um esforço para comportar estes algoritmos em plataformas embarcadas de pequeno porte. No primeiro modelo, o posicionamento fixo das câmeras possibilitou que o cálculo das matrizes de 1296

6 homografia fosse realizado durante a fase projeto do sistema, eliminando a necessidade de embarcar algoritmos de extração de features como o SIFT. Esta característica reduz consideravelmente o tempo de montagem de um panorama. A maior restrição desta arquitetura, no entanto, são as interfaces de transmissão de dados disponíveis na CMUCam3. Este fator pode inviabilizar a utilização do sistema em aplicações de navegação sem mapeamento, onde o tempo de interpretação do ambiente precisa ser compatível com a movimentação do robô. A troca destas interfaces por alternativas mais rápidas (e.g. SPI, USB, Fire Wire) poderia melhorar o desempenho do sistema. No segundo modelo, o processo de dewarping para montagem de um panorama retangular também pode ser dividido em duas fases. Durante a calibração do sistema são calculadas as matrizes de mapeamento entre a imagem original e o panorama retangular. Este processo leva em média 81 segundos para imagens de 480x480 pixels. Uma vez calculadas as matrizes podem ser incorporadas ao firmware de aquisição e utilizadas para mapear todas as imagens capturadas pela mesma câmera. Esta possibilidade reduz consideravelmente o tempo de montagem para 0,21s. Também é possível utilizar a imagem esférica (donut) diretamente no algoritmo de identificação de obstáculos, desde que sejam levadas em consideração as distorções causadas pelo espelho esférico sobre a imagem. Referências Bibliográficas Foundation, R. (2012). Raspberry Pi. Acesso em 22 de Maio de 2015, disponível em hardware/camera.md Fukui, K., & Yamaguchi, O. (2005). Face recognition using multi-viewpoint patterns for robot vision. Robotics Research. The Eleventh International Symposium, (pp ). Gaspar, J. A. (2002). Omnidirectional vision for mobile robot navigation. Ph.D. dissertation, Citeseer. Geyer, C., & Daniilidis, K. (2000). A unifying theory for central panoramic systems and practical implications. In: Computer Visionâ ECCV 2000 (pp ). Springer. Gledhill, D., Tian, G. Y., Taylor, D., & Clarke, D. (2003). Panoramic imagingâ a review. Computers \& Graphics, 27(3), Goode, A., Rowe, A., & Agyeman, K. (2007). CMUCam Project. Acesso em 22 de Maio de 2015, disponível em Grassi Junior, V., & Okamoto Junior, J. (2006). Development of an omnidirectional vision system. Journal of the Brazilian Society of Mechanical Sciences and Engineering, 28(1), Ishiguro, H. (2001). Development of low-cost compact omnidirectional vision sensors. In: Panoramic vision (pp ). Springer. Jamaludin, S. H., Mansor, M. N., Junoh, A. K., Ahmed, A., Daud, W. S., & Idris, A. (2014). Robotic Vision for Hospital Inspection. Advanced Materials Research, 1016, pp Jones, J. L. (2006). Robots at the tipping point: the road to irobot Roomba. Robotics \& Automation Magazine, IEEE, 13(1), Lenser, S., & Veloso, M. (2003). Visual sonar: Fast obstacle avoidance using monocular vision. Intelligent Robots and Systems, 2003.(IROS 2003). Proceedings IEEE/RSJ International Conference on, 1, pp Malima, A., Ozgur, E., & Çetin, M. (2006). A fast algorithm for vision-based hand gesture recognition for robot control. Signal Processing and Communications Applications, 2006 IEEE 14th, (pp. 1-4). Markoff, J. (2010). Google Cars Drive Themselves, in Traffic. New York Times, 9. Michels, J., Saxena, A., & Ng, A. Y. (2005). High speed obstacle avoidance using monocular vision and reinforcement learning. Proceedings of the 22nd international conference on Machine learning, (pp ). Rowe, A. G., Goode, A., Goel, D., & Nourbakhsh, I. (2007). CMUcam3: An open programmable embedded vision sensor. Rowe, A., Rosenberg, C., & Nourbakhsh, I. (2002). A low cost embedded color vision system. Intelligent Robots and Systems, IEEE/RSJ International Conference on, 1, pp Se, S., Lowe, D., & Little, J. (2001). Vision-based mobile robot localization and mapping using scale-invariant features. Robotics and Automation, Proceedings 2001 ICRA. IEEE International Conference on, 2, pp Se, S., Lowe, D., & Little, J. (2001). Vision-based mobile robot localization and mapping using scale-invariant features. Robotics and Automation, Proceedings 2001 ICRA. IEEE International Conference on, 2, pp Ulrich, I., & Nourbakhsh, I. (2000). Appearancebased obstacle detection with monocular color vision. AAAI/IAAI, (pp ). Upton, E., & Halfacree, G. (2012). Meet the Raspberry Pi. John Wiley \& Sons. Yilmaz, A., Javed, O., & Shah, M. (2006). Object tracking: A survey. Acm computing surveys (CSUR), 38(4),