A Vision Tracking System for Robotic Wheelchairs

Transcrição

1 A Vision Tracking System for Robotic Wheelchairs Fernando Paolieri Neto, Clésio Luis Tozzi Departamento de Engenharia de Computação e Automação Industrial Faculdade de Engenharia Elétrica e de Computação Universidade Estadual de Campinas Campinas, SP, Brasil {fernando, clesio}@dca.fee.unicamp.br Abstract This paper describes a system that is capable of track a target and control a smart wheelchair in order to follow a person in front of it using only a single camera. To accomplish it a system using Image Processing techniques and an iterative fuzzy logic controller was implemented. A prototype was developed and a mobile robot was used as a substitute of a smart wheelchair as it offers the same characteristics regarding actuators (kinematic and dynamic models), computer and sensors. Keywords Computer Vision, Mobile Robots, Fuzzy Controller, Image Processing, Robotic Vision. I. INTRODUÇÃO Nas últimas décadas tem se observado no mundo, um aumento da expectativa de vida e consequentemente o aumento da população idosa, de acordo com os dados do IBGE, 10% da população brasileira no ano de 2010 possuía idade acima de 60 anos [1]. Em uma parte significativa da população idosa, foi observado a redução na sua capacidade de locomoção, com dependência de terceiros, acarretando redução da qualidade de vida deste idoso. Devido a este fato se faz necessário a presença de um cuidador para acompanhar o idoso em sua cadeira de rodas e se responsabilizar, além da condução da mesma, também por ações como a de abrir portas, apertar os botões dos elevadores e outras tarefas vinculadas ao cuidado com o idoso. As cadeiras de rodas motorizadas apresentam-se como uma solução adequada para a redução da atividade de condução do cuidador, entretanto ela só é viável nos casos em que o idoso é capaz de conduzir a cadeira. A solução para os casos de impossibilidade de condução pelo idoso, tem sido buscada através do desenvolvimento da cadeira de rodas inteligente [2, 3], que consiste numa cadeira de rodas motorizada integrada com atuadores, sensores de distância (sonar e laser) e câmeras, todos controlados pelo computador que através de programas, buscam entender o meio em que se encontram e auxiliar na navegação, seja em ambientes conhecidos ou desconhecidos. Neste contexto de cadeiras de rodas inteligentes a revisão bibliográfica mostra que a pesquisa se concentra majoritariamente na questão de desvios de obstáculos e de interfaces amigáveis [4]. Entretanto, dado que o idoso que utiliza a cadeira de rodas está quase sempre acompanhado de um cuidador, se faz interessante considerar a possibilidade de incorporar a cadeira inteligente, a capacidade de seguimento (tracking) autônomo de um alvo, no caso o próprio cuidador, que se desloca à frente, ou ao lado da cadeira e fica liberado para outras tarefas, ou mesmo para condução de múltiplas cadeiras simultaneamente. Este artigo busca demonstrar um método de controle de uma cadeira de rodas de forma autônoma para o acompanhamento de uma pessoa (por exemplo um cuidador). II. TRABALHOS RELACIONADOS Os trabalhos encontrados na literatura, de modo geral, propõe soluções específicas para as condições do uso de cadeiras de rodas inteligentes, por exemplo visita a locais estruturados (museus, shoppings, entre outros). Dentre estes trabalhos destacam-se dois deles, um apresentado por Shibusawa [5] e outro apresentado por Kobayashi [6]. No trabalho proposto por Shibusawa é descrita uma solução em que uma cadeira de rodas inteligente equipada com câmeras, sensores de distância laser e um computador de bordo, oferece ao usuário as condições necessárias para locomoção e apreciação de obras de arte em um museu. A solução é focada em comportamentos onde o acompanhante é rastreado o tempo todo por uma câmera lateral, e quando este vira o rosto para apreciar uma obra, a cadeira de rodas inteligente tenta se posicionar de forma adequada para que o usuário da cadeira possa apreciar a obra. No trabalho apresentado por Kobayashi é apresentada uma solução para o problema de rastreamento do acompanhante utilizando uma câmera omnidirecional em conjunto com um sensor de distância laser. Baseado nos trabalhos citados, propõe-se aqui a implementação e avaliação de um sistema de seguimento para cadeiras de rodas inteligentes considerando o uso de apenas uma câmera de video. Espera-se como resultado desta abordagem a implementação de um sistema eficiente, de baixo custo e significativo ganho para usuário e cuidador, contribuindo para disseminar e tornar acessível este recurso que facilita o dia a dia dos usuários de cadeira de rodas. III. SIMULAÇÃO DA CADEIRA DE RODAS Uma cadeira de rodas inteligente é definida como instrumento capaz de monitorar o ambiente em que se encontra a partir de sensores, e se mover de forma autônoma. Em sua essência esta definição se assemelha em diversos aspectos a definição de um robô móvel, portanto para o desenvolvimento e avaliação deste trabalho foi utilizado um robô móvel com

2 Figura 2: Diagrama de Pacotes Figura 1: Robô Pioneer P3DX IV. o mesmo modelo cinemático e dinâmico de uma cadeira de rodas inteligente. O robô móvel utilizado foi o robô da Pioneer P3DX da empresa Mobile Robots (ilustrado pela Figura 1). O robô P3DX possui 16 sonares responsáveis por perceber o ambiente a seu redor, dois motores diferenciais (um para a roda esquerda e um para roda direita) e uma roda central com eixo giratório. A. Controlando o robô móvel a partir do PC O robô móvel P3DX da Mobile Robots é compatível com a biblioteca ARIA (fornecida também pela Mobile Robots) e ela é capaz de enviar comandos para o robô através da interface serial do robô P3DX. A biblioteca ARIA possuí funcionalidades relacionadas a todos os periféricos existentes em todos os robôs fornecidos pela Mobile Robots, por este motivo apenas os comandos relacionados a movimentação do robô P3DX foram utilizados. Comandos utilizados: setvel - Imprime uma velocidade de translação no robô móvel. setrotvel - Imprime uma velocidade de rotação. B. Computador de bordo Embora o robô P3DX possua computador de bordo, este recurso nativo não foi utilizado em decorrência da baixa capacidade computacional do processador, insuficiente para a implementação de aplicativo que possibilite o rastreamento de uma pessoa em tempo real e controle de um robô móvel. Desta forma a solução utilizada desconsidera o computador de bordo do P3DX e utiliza para processamento um notebook colocado sobre o P3DX. O notebook, que atua como computador de bordo, é ligado ao robô através de sua interface serial e sua webcam é usada como câmera de bordo. Desta maneira a latência entre a webcam e o computador é mínima, bem como a latência entre o computador e os motores do robô móvel. S ISTEMA DE ACOMPANHAMENTO O sistema de acompanhamento de um alvo móvel deve ser capaz de caracterizar um alvo (a partir da identificação) e acompanhá-lo ao longo do trajeto. A identificação pode ser realizada pelo próprio usuário, utilizando técnicas de BCI ( Brain Computer Interface ), supondo que o paciente não possuí capacidades motoras para faze-lo, ou até mesmo pelo próprio cuidador a partir de um dispositivo externo (um tablet por exemplo). Este sistema foi organizado em quatro pacotes: Controlador, Segmentador, Classificador e Supervisor, ilustrado pela Figura 2 que representa um diagrama de pacotes UML [7]. A execução do sistema de acompanhamento é descrito através do diagrama UML de atividades ilustrado pela Figura 3. O funcionamento do sistema se inicia pela seleção do alvo, que é uma tarefa executada pelo usuário, que deve selecionar uma região dentro de um quadro adquirido pela câmera, onde as cores alvo serão amostradas. Com as cores amostradas, a tarefa seguinte é caracterizar o alvo extraindo os histogramas que descrevem as cores existentes na região amostrada (nos canais de Matiz, Saturação e Intensidade). Uma vez caracterizado o alvo através de seu histograma de cores, tem início o ciclo de acompanhamento propriamente dito. Este ciclo é realizado de forma iterativa e consiste em: 1) Segmentação do quadro adquirido e a extração das regiões da imagem com cor similar a do alvo (segmentação por similaridade de histograma); 2) Classificação das regiões extraídas e identificação do alvo entre quadros (uso de morfologia matemática e filtro de Kalman); 3) Determinação da posição do alvo na imagem, expressa pelo centro de massa da região correspondente ao alvo; 4) Controle dos atuadores para reposicionamento do robô (controlador de lógica fuzzy); 5) Atualização da descrição do alvo a partir da imagem atual para compensação de variações de iluminação e alterações de cena. 6) Aquisição do novo quadro;

3 incompleto por conta de pequenas variações de iluminação ou por deformações do mesmo (por exemplo uma vestimenta não rígida), para resolver este problema e também eliminar falsos positivos, é aplicado um filtro de abertura em área e em seguida um filtro de fechamento para completar a representação do alvo [8]. A. Segmentação do alvo Figura 3: Diagrama de Atividades O processo de caracterização utiliza um método baseado em histogramas que caracteriza o alvo baseado nos tons que ele possuí, e como esta mudança não é grande em curtos espaços de tempo é possível garantir que este ton não varia significativamente de um quadro para o outro. O histograma em cada um dos canais é normalizado com valores de 0 até 1 para ser usado como filtro na imagem adquirida, ou seja, cada elemento I[x], sendo I a imagem de entrada e x o universo que compõe a posição de todos os pixels de I de cada um dos canais, haverá um elemento I [x] que representa o valor de I[x] no histograma H, ou seja, H[I[x]] (ilustrado pela equação 1) gerando assim, três canais (H,S e V ) onde o valor dos elementos diferente de zero representam tons encontrados no histograma e sua magnitude representa a incidência desta cor no histograma. I [x] = H[I[x]] (1) Como resultado serão gerada três imagens (I [x] no canal H,S e V ) que são combinadas usando uma operação de união morfológica (operação de mínimo) como descrito pela equação 2 e uma operação de limiar t é aplicada definindo um valor de incidência mínima: G = R G B = min(min(h, S ), I ) (2) A imagem gerada contém o alvo, porém o alvo pode estar B. Classificação do alvo Com o resultado da segmentação é gerado uma imagem binária com um conjunto de blobs, sendo que um deles representa o alvo. Na primeira iteração o alvo será o blob mais próximo da região demarcada pelo usuário, e nas seguintes ela será determinada pela previsão da posição do centróide e seu erro, através do filtro de Kalman. O centróide do alvo é descrito a partir de uma posição em um espaço bi-dimensional (no caso a tela), a posição é dada por (L, C), ou seja linha e coluna. E a velocidade do objeto posicionado em (L,C) é descrito como (L V, C V ), ou seja velocidade no eixo vertical e velocidade no eixo horizontal. Estes valores são estimados a partir da diferença da posição no quadro anterior, em uma relação entre o quadro atual e o quadro seguinte. O filtro de Kalman [9] foi modelado utilizando a equação 3: L i C i L V i C V i = L i 1 C i 1 L V i 1 C V i 1 (3) C. Determinação da posição do alvo e controle dos atuadores O filtro de Kalman é capaz de estimar a posição do alvo no quadro seguinte auxiliando na determinação do alvo na imagem adquirida através da câmera, esta posição não descreve a direção do alvo em relação ao robô, apenas descreve a direção do alvo em relação a câmera, como pode ser visualizado na Figura 4. Mas como a câmera e o robô estão alinhados no mesmo eixo é possível dizer que se o alvo está a direita da câmera ele também está a direita do robô e assim por diante. Por conta desta restrição um controlador fuzzy iterativo é proposto: O controlador fuzzy proposto possui três entradas (P,dP e A) e duas saídas (H e V ), onde C representa a coluna descrita a partir do centroíde (determinada na etapa de classificação), dc derivada de C em relação ao tempo, A representa uma referência do crescimento da região que está sendo rastreada, H velocidade de rotação e V velocidade de translação. O controlador fuzzy utilizado foi implementado a partir da proposta de Mamdani e tem as funções de pertinência descritas pelas Figuras 5 e 6, suas regras fuzzy descritas pelas tabelas I e II. A tarefa de de-fuzificação de H e V foi realizada atravéz da multiplicação de uma constante Hk e V k assim a velocidade passada para o robô Hr e V r pode ser determinada a partir das equações 4 e 5. Onde Hk e V k são valores experimentais, no contexto deste trabalho foram usados Hk = 20 graus/sec e V k = 150 mm/sec.

4 (a) P Figura 4: Relação entre a câmera e o robô na determinação da direção do alvo. (b) dp Hr = H Hk (4) V r = V V k (5) dp P E M D E ME E M M E M D D M D MD Tabela I: Regras de P e dp para controle de H. (c) A Figura 5: Funções de pertinência dos conjuntos fuzzy de entrada. Entrada A: Maior Mantém Menor Saída V : Parado Normal Rápido Tabela II: Regras de A para controle de V. Assim, o histograma que descreve o alvo é atualizado a cada iteração, levando em consideração pequenas variações, tornando assim, o algoritmo tolerante a pequenas variações de iluminação a partir de uma adaptação iterativa. D. Atualização da descrição Após cada ciclo, uma nova imagem é adquirida e segmentada usando o algoritmo descrito na sessão IV-A, e um novo histograma é calculado a partir da imagem adquirida, utilizando a região segmentada como máscara (apenas os pixels existentes no processo de segmentação serão considerados no cálculo do novo histograma). Deste modo, o histograma usado na descrição do alvo é atualizado utilizando a equação 6: H t [v] = H t 1 [v] k + H a [v] (1 k) (6) Onde H t representa o histograma no instante t, H a representa o histograma dos pontos referentes a região encontrada do alvo no quadro atual e k representa o fator de adaptação. V. RESULTADOS O sistema foi avaliado de duas formas, a primeira é focada no sistema de rastreamento visual e a segunda focada no controle dos atuadores. A primeira avaliação foi feita utilizando a câmera fixa e os motores desligados, e uma pessoa realizava movimentos complexos em frente a câmera de forma a testar a robustez do algoritmo de rastreamento. A Figura 7 descreve o comportamento do centróide do alvo ao longo do tempo junto com os valores previstos pelo filtro de Kalman e corrigidos. O erro médio do filtro de Kalman foi de 6, 6 pixels na linha e 3, 6 na coluna com um desvio padrão de 9, 3 na linha e 10, 3 na coluna. A segunda avaliação foi realizada com dois robôs móveis, o robô 1 representa o alvo e o robô 2 representa a cadeira

5 (a) H Figura 8: Representação da distância do alvo durante o processo de rastreamento. (b) V Figura 6: Funções de pertinência dos conjuntos fuzzy de saída. Figura 7: Representação do comportamento do alvo durante a avaliação. VI. CONCLUSÃO Num primeiro instante um sistema de acompanhamento ou uma sequência de tarefas que se interligam, parece ser algo trivial de se realizar, mas na realidade não é o que acontece. Existem os problemas como variação de iluminação, oclusão do alvo, a taxa de captura de quadros, variação de textura que afetam diretamente a robustez do sistema. Na implementação realizada, quando apareceram estes problemas eles foram à medida do possível sanados e quando não foi possível, foram reduzidos, para obter um desempenho aceitável. Este trabalho se difere dos demais pelo uso de apenas câmeras simples para o rastreamento do alvo, diminuindo o custo da implementação do sistema. Nos testes realizados foi possível verificar que o sistema proposto é robusto a movimentos complexos em combinação com pequenas variações de iluminação e que o controlador é capaz de acompanhar o alvo mantendo uma distância constante. Para se determinar concretamente a capacidade de rastreamento do sistema proposto em condições reais de uso, se faz necessário que mais testes sejam realizados como o uso de robôs em ambientes externos. REFERÊNCIAS de rodas. O robô 1 (alvo) possuí uma marcação visual que simplifica o processo de rastreamento, e assim a etapa de controle pode ser avaliada. O robô 1 foi colocado a um metro e meio a frente do robô 2 e o acompanhou durante um minuto enquanto o robô 2 realizava uma trajetória em formato retangular. O robô 1 se locomoveu a 100mm/s durante um minuto, e logo em seguida parou e o robô 2 foi capaz de manter a distância média de 1, 609 metros como observado no gráfico da Figura 8. [1] Instituto Brasileiro de Geografia e Estatística IBGE. Sinopse do Censo Demográfico Instituto Brasileiro de Geografia e Estatística - IBGE, Rio de Janeiro, [2] Y. Kuno, N. Shimada, and Y. Shirai. Look where you re going: A robotic wheelchair based on the integration of human and environmen- tal observations. Robotics and Automation, vol.10, [3] E.S. Boy, C.L. Teo, and E. Burdet. Collaborative wheelchair assistant. IROS2002, [4] H. Seki, S. Shibayama, Y. Kamiya, and M. Hikizu. Practical obstacle avoidance using potential field for a

6 nonholonmic mobile robot with rectangular body. International Conference on Emerging Technologies and Factory Automation, [5] Tomoo Shibusawa, Yoshinori Kobayashi, and Yoshinori Kuno. Robotic Wheelchair for Museum Visit. In SICE th Annual Conference of the Society of Instrument and Control Engineers of Japan, [6] Y. Kobayashi, Y. Kinpara, T. Shibusawa, and Y. Kuno. Robotic wheelchair based on observations of people using integrated sensors. In Intelligent Robots and Systems, IROS IEEE/RSJ International Conference on, [7] Russ Miles and Kim Hamilton. Learning UML 2.0: A Pragmatic Introduction to UML. O Reilly Media, 1 edition, [8] E.R. Dougherty and R.A. Lotufo. Hands-on morphological image processing. Tutorial texts in optical engineering. SPIE Press, [9] Sebastian Thrun, Wolfram Burgard, and Dieter Fox. Probabilistic Robotics (Intelligent Robotics and Autonomous Agents). The MIT Press, 2005.