Interface Homem-Máquina para Movimentação Bidimensional de Objeto Através de Reconhecimento de Posturas Corporais por Visão Computacional Projeto Labirinto Alex Torquato Souza Carneiro Ciência da Computação Universidade Ibirapuera - UNIb São Paulo - SP, Brasil Email: alextcarneiro@gmail.com Karla Rodrigues Brito Ciência da Computação Universidade Ibirapuera - UNIb São Paulo - SP, Brasil Email: karla.r.brito@gmail.com Renan Pacheco Silva Ciência da Computação Universidade Ibirapuera - UNIb São Paulo - SP, Brasil Email: renan silva31@yahoo.com.br Resumo Este artigo propõe e avalia uma metodologia para controlar o movimento bidimensional de um objeto em tempo-real utilizando uma interface de visão computacional. A validação da metodologia é feita em um protótipo funcional de uma aplicação de entretenimento digital desenvolvido em um ambiente de simulação. Keywords-visão computacional; reconhecimento de posturas corporais; interatividade. I. INTRODUÇÃO Visão computacional é um conceito que tem permitido a pesquisa de diversas inovações no contexto do entretenimento digital, principalmente no que diz respeito à interface de interação do usuário com o sistema. Em especial, a área de jogos digitais tem sido expressivamente beneficiada pelas inovações nas interfaces de interação com o usuário por visão computacional, inclusive com produtos e aplicações disponíveis comercialmente, como por exemplo o Kinect R fabricado pela empresa Microsoft R e o PlayStation 3 R fabricado pela empresa Sony R. Este artigo propõe e analisa uma metodologia para a implementação de uma interface homem-máquina de baixo custo concebida para a plataforma PC (personal computer) baseada em visão computacional com a finalidade de ser utilizada para fazer a movimentação bidimensional de um objeto a partir do reconhecimento de posturas corporais do usuário, esta metodologia é aplicada na elaboração de um sistema de entretenimento interativo entitulado projeto Labirinto. Além da proposta da metodologia para uma interface homem-máquina baseada em visão computacional, este artigo também tem o objetivo de apresentar um sistema funcional desenvolvido em um ambiente de hardware e software que podem ser adquiridos sem a necessidade de nenhum investimento em dispositivos ou aplicações não disponham de recursos específicos de interatividade, como o Kinect R ou algum software de interatividade. A Seção II deste artigo apresenta o sistema proposto e define os fundamentos teóricos conforme utilizados para a elaboração deste artigo, a Seção III apresenta e analisa a metodologia proposta neste artigo para a implementação da interface homem-máquina e as restrições adotadas para a utilização da mesma, a Seção IV apresenta o resultado obtido e a Seção V faz as conclusões e expõe as expectativas futuras relacionadas ao projeto desenvolvido. II. MATERIAIS E FUNDAMENTOS O projeto Labirinto abordado neste artigo como ambiente para validação da metodologia proposta consiste de um sistema dividido em cinco etapas, baseado em trabalhos de um dos autores [1], [2], conforme apresentado na Figura 1. Figura 1. Diagrama do sistema proposto. Cada etapa do sistema apresentado na Figura 1 corresponde a um passo da metodologia proposta e é detalhada a seguir.
A. Ambiente de simulação e desenvolvimento Os algoritmos e métodos apresentados nesta seção estão implementados em um computador da marca CCE R, com a seguinte configuração: processador Intel R Core T M i3 1,6GHz 32bits, 2GB de memória RAM, e 500GB de HD. O ambiente de simulação utilizado consiste no software Scilab 1 e a API SIVp (Scilab Image and Video Processing toolbox). B. Captura das imagens As imagens são capturadas através de uma webcam da marca Chaoq R de 1,3 MPixels de resolução no padrão de cores RGB 24 bits. As imagens são armazenadas como três matrizes sendo uma para cada canal de cor R, G e B. A figura a seguir apresenta a disposição dos valores de cada matriz da imagem. L(x, y) = { 1, se f(x, y) Rd 0, se f(x, y) / R d, (1) em que L(x, y) é o rótulo correspondente ao pixel da posição (x, y) e R d denota o conjunto de valores de pixels correspondentes ao objeto ou região de interesse. Usualmente, o conjunto R d consiste de uma região determinada por limiares, por isto este algoritmo é denominado segmentação por limiarização [4]. Uma vez isolada a região de interesse da imagem, o passo seguinte é extrair atributos que descrevam as propriedades utilizadas no processo de reconhecimento das posturas. D. Extração de atributos geométricos Os descritores geométricos adotados neste projeto são os Momentos Invariantes de Hu, baseados nos Momentos Centrados, os quais consistem em um conjunto de seis atributos e apresentam invariabilidade à rotação, translação e distância do objeto em análise com relação ao dispositivo de captura de imagens [3], [4], [5]. O Momento Centrado de ordem pq em uma imagem f(x, y) é definido por [5] µ pq = (x x) p (y ȳ) q f(x, y)dxdy, (2) em que [ x ȳ] T corresponde à posição do centro de massa da imagem f(x, y) e as componentes x e ȳ são definidas por Figura 2. Disposição dos valores em cada matriz da imagem. x = ȳ = xf(x,y)dxdy f(x,y)dxdy e yf(x,y)dxdy f(x,y)dxdy. (3) A partir da definição dos momentos centrados, define-se os Momentos Invariantes de Hu como apresentado a seguir Cada elemento da matriz da imagem apresentada na Figura 2 corresponde a um valor de 8 bits, que representa um número inteiro dentro do intervalo [0, 255]. O passo seguinte consiste em fazer a segmentação da região de interesse da imagem. C. Segmentação da região de interesse Por se tratar de um sistema de baixo custo, o algoritmo de segmentação escolhido é a limiarização simples aplicada em cada um dos canais de cor da imagem. A limiarização é a técnica de segmentação mais difundida em aplicações de processamento digital de imagens. O processo de segmentação por limiarização isola os objetos ou regiões de interesse rotulando cada pixel da imagem f(x, y) de acordo com o seu valor, conforme apresentado a seguir 1 O Scilab é desenvolvido como software livre e está disponível no site: http://www.scilab.org/. φ 1 = µ 20 + µ 02, φ 2 = (µ 02 µ 20 ) 2 + 4µ 2 11, φ 3 = (µ 30 3µ 12 ) 2 + (µ 03 3µ 21 ) 2, φ 4 = (µ 30 + µ 12 ) 2 + (µ 03 + µ 21 ) 2, φ 5 = (µ 30 3µ 12 )(µ 30 + µ 12 ) ( (µ30 + µ 12 ) 2 3(µ 03 + µ 21 ) 2) +(µ 03 3µ 21 )(µ 03 + µ 21 ) ( (µ03 + µ 21 ) 2 3(µ 30 + µ 12 ) 2), φ 6 = (µ 20 µ 02 ) ( (µ 30 + µ 12 ) 2 (µ 03 + µ 21 ) 2) + 4µ 11 (µ 30 + µ 12 )(µ 03 + µ 21 ). O vetor x = [φ 1 φ 2 φ 3 φ 4 φ 5 φ 6 ] T corresponde a entrada dos classificadores usados na identificação dos padrões. (4)
E. Reconhecimento das posturas corporais O reconhecimento das posturas é realizado através do algoritmo de classificação supervisionada de Distâcia Mínima ao Centróide (DMC). O algoritmo de DMC é implementado em duas etapas: treinamento e teste. A etapa de treinamento consiste em tomar o conjunto de dados previamente conhecidos, organizados em uma tabela, sendo a última coluna referente à classe que compreende o conjunto de dados, e calcular o centróide de cada classe, conforme apresentado a seguir m i = [ φ 1 φ2 φ3 φ4 φ5 φ6 i] T (5) para uma classe i. A Figura 3 mostra como é criada a curva de decisão para um problema em que são analisados dados de duas componentes m i = [ φ1 φ2 i ] T que correspondem a duas classes. identificado, o objeto sofre uma movimentação que consiste na atualização de sua posição atual incrementando ou decrementando uma das componentes do vetor de posição. Para este artigo, são utilizados quatro posturas que quando identificadas correspondem às direções cima, baixo, direita e esquerda. Na seção seguinte são descritos os conceitos e métodos apresentados nesta seção. III. METODOLOGIA PROPOSTA O primeiro passo da metodologia é a elaboração de uma interface mínima para o usuário conforme o exemplo apresentado na figura a seguir. Figura 3. Resultado do treinamento do algoritmo de DMC para um conjunto de dados de duas componentes. O teste do algoritmo consiste em apresentar um conjunto de dados que não tenha sido usado na etapa de treinamento x e atribuir a este a classe correspondente ao centróide mais próximo valendo-se para isto de uma métrica de distância previamente estabelecida, para este artigo é utilizada a distância euclidiana c = arg min { x m i }, (6) i caso a classe real do conjunto de dados x seja conhecida, é possível contabilizar os erros e acertos do classificador e assim determinar a expectativa de acerto [5], [6]. Após o reconhecimento da postura, o passo seguinte do sistema é a movimentação do objeto. F. Movimentação do objeto A posição do objeto em um dado momento t é dada pelo vetor p(t) = [p x (t) p y (t)] T, a depender do padrão Figura 4. Interface de interação com o usuário. A imagem da Figura 4 é composta por quatro diferentes elementos dispostos segundo uma matriz de posições. A próxima figura apresenta os quatro elementos utilizados na elaboração da tela de interface com o usuário. A interface tem a função de apresentar ao usuário o objeto, apresentado na Figura 5(b), que movimenta-se ao longo de um labirinto virtual. No caso da aplicação desenvolvida, o objetivo é fazer com que o objeto chegue à bandeira, Figura 5(d), desviando dos blocos, Figura 5(c). Uma vez que a interface está concluída e funcional, é feita a validação da comunicação entre a webcam e o software Scilab, a qual é feita através da biblioteca SIVp 2 (Scilab Image and Video Processing toolbox). Estando as imagens provenientes da webcam disponíveis para manipulação pelo Scilab, é preciso determinar como a segmentação por limiarização deve ser implementada. Empiricamente, obteve-se que a forma mais eficiente de 2 A biblioteca SIVp também é desenvolvida como software livre e está disponível para instalação pelo próprio Scilab.
(a) (c) (b) (d) permite a extração de caracteríticas locais da região segmentada. Para o reconhecimento das posturas, adota-se duas etapas para o sistema de classificação a primeira para treinamento do sistema, em que são calculados os centróides do classificador, e a segunda de utilização do sistema, nesta etapa acontece a movimentação do objeto. A etapa de treinamento do classificador consiste em o usuário apresentar as diferentes posturas para que o sistema associe-as com cada direção do movimento, conforme ilustrado na figura a seguir. Figura 5. usuário. Elementos utilizados na elaboração da tela de interface com o segmentar a região vermelha da imagem, que corresponde à região de interesse, é data pelas equações { 1, se fr (x, y) > 122 L R (x, y) = 0, se f R (x, y) 122, (7) para o canal de cor R, { 1, se fg (x, y) < 122 L G (x, y) = 0, se f G (x, y) 122, (8) para o canal de cor G, e { 1, se fb (x, y) < 122 L B (x, y) = 0, se f B (x, y) 122, (9) para o canal de cor B. A aplicação da segmentação gera três imagens binárias, uma para cada canal de cor, as quais são submetidas a uma intersecção das áreas rotuladas com o valor 1. Após segmentada, a região vermelha é dividida em quatro quadrantes, conforme apresentado na figura a seguir. (a) (b) (c) (d) Figura 7. Posturas apresentadas para o sistema que correspondem às movimentações (a) para cima, (b) para baixo, (c) para direita e (d) para esquerda. Figura 6. Região vermelha segmentada e dividida em quatro quadrantes. Os momentos invariantes de Hu são então calculados para cada quadrante da região segmentada, obtendo-se assim um vetor de 24 dimensões para descrever a postura apresentada para o sistema, esta abordagem mostrou-se mais adequada para o classificador de distância mínima ao centróide pois Após o treinamento dos classificadores, o sistema está pronto para ser utilizado para o reconhecimento das posturas utilizadas para mover o objeto. A movimentação do objeto é feita seguindo a seguinte lógica acerca das coordenadas p x (t) e p y (t) da posição do objeto: cima: p y (t) = p y (t 1) 1; baixo: p y (t) = p y (t 1) + 1; direita: p x (t) = p x (t 1) + 1; esquerda: p x (t) = p x (t 1) 1. O sistema considera também os limites da imagem e se
a posição para a qual o objeto está indo está livre, pois se houver um bloco, apresentado na Figura 5(c), o objeto não pode deslocar-se para esta posição. O último passo da metodologia é verificar uma condição de finalização do sistema, em que determina-se que o objetivo da aplicação é fazer com que o objeto alcance a posição marcada com uma bandeira, apresentada na Figura 5(d). A. Restrições da metodologia proposta Como a proposta deste artigo consiste em um sistema de baixo custo, é necessário adotar restrições com relação ao uso do sistema, as quais são elencadas a seguir: sempre o classificador precisa ser treinado antes do uso do sistema, para isto é preciso realizar todas as posturas corporais antes de começar o uso do sistema, o classificador é capaz de reconhecer quatro posturas corporais, sendo cada uma destas criado pelo usuário e associado a uma direção para a qual o objeto é movimentado, o classificador pode sofrer confusões caso existam posturas parecidas, portanto é fortemente recomendável que as posturas sejam abertas e estáticas, para a segmentação, é necessário que o usuário esteja vestindo uma camisa vermelha, preferencialmente de mangas compridas, como a segmentação é feita pela identificação da cor vermelha, não deve haver nenhuma outra região vermelha no ambiente além da roupa do usuário, a iluminação deve estar adequada para que a câmera possa capturar a cor vermelha de modo que o algoritmo de segmentação seja capaz de isolá-la. O descumprimento de quaisquer das restrições mencionadas pode ocasionar o mau funcionamento do sistema, fazendo com que o objeto não seja movimentado corretamente. Na próxima seção são apresentados os resultados obtidos nos testes do sistema proposto. IV. RESULTADOS FINAIS O sistema desenvolvido fornece dois resultados, sendo o primeiro relativo à segmentação das regiões vermelhas e o outro relativo ao reconhecimento das posturas e consequentemente relacionado à movimentação do objeto. A. Resultado da segmentação A Figura 8 apresenta o resultado de segmentação obtido com a aplicação do algoritmo apresentado na seção III. Com o processo de segmentação concluído e avaliado, resta apenas avaliar o sistema por completo. B. Resultado do reconhecimento das posturas O sistema desenvolvido reconhece as quatro posturas e associa-as corretamente às direções correspondentes. A Figura 9 apresenta o sistema final em pleno funcionamento. (a) (b) Figura 8. Resultado da segmentação da região vermelha, (a) imagem de entrada e (b) resultado da segmentação. Figura 9. Sistema final em funcionamento. A execução do sistema ocorre de forma natural, sem interrupções devido ao processamento e as posturas são reconhecidas sem haver confusão. V. CONCLUSÕES Neste artigo, são avaliadas a metodologia e a viabilidade de se implementar uma interface de interação homemmáquina de baixo custo baseada em posturas corporais para movimentação bidimensional de um objeto. A proposta é avaliada em um ambiente de simulação para implementação dos algoritmos. Mesmo sem fazer uso de dispositivos nem aplicações específicas de interatividade, os resultados obtidos comprovam a eficácia da metodologia proposta, mostrando ser possível controlar com precisão a movimentação de um objeto em quatro direções. Todavia é válido considerar que a segmentação de regiões vermelhas não é robusta pois podem haver outros objetos vermelhos no ambiente, assim sendo é interessante buscar outros elementos da imagem para sofrer
a segmentação, como pele humana ou algum objeto como uma placa com marcadores. Um benefício substancial observado durante os testes realizados é a flexibilidade apresentada pelo sistema de reconhecimento de posturas, o que pode ser explorado de acordo com as limitações motoras do usuário. Para o futuro, as expectativas compreendem agregar uma posição de repouso na qual o objeto não sofre movimentação, desenvolver uma interface visual mais amigável para o usuário, possibilitar o uso de outros elementos da imagem para a interação através da câmera e traduzir a aplicação desenvolvida para uma linguagem de programação tal como C/C++, Java ou Python. AGRADECIMENTOS Os autores deste artigo agradecem à Universidade Ibirapuera pelo espaço disponibilizado para a elaboração e divulgação dos trabalhos realizados ao longo deste projeto e os coordenadores do curso de Ciência da Computação pelo apoio e incentivo dados para as pesquisas desenvolvidas. REFERÊNCIAS [1] A. T. S. Carneiro, Sistema de Reconhecimento do Alfabeto da LIBRAS por Visão Computacional e Redes Neurais, Dissertação de mestrado. Universidade Federal do Ceará (UFC), 2010. [2] A. T. S. Carneiro, P. C. Cortez, R. C. S. Costa Reconhecimento de Gestos da LIBRAS com Classificadores Neurais a partir dos Momentos Invariantes de Hu, Anais do 1 o Congresso Regional de Design de Interação - Interaction South-America 09, p.193-198, 2009. [3] M. K.- Hu, Visual Pattern Recognition by Moment Invariants, Ire Transactions On Information Theory, p.179-187, 1962. [4] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 3rd ed. New Jersey, USA: Prentice Hall, 2008. [5] J. S. Marques, Reconhecimento de Padrões: Métodos Estatísticos e Neuronais, 2a ed. Lisboa, Portugal: Ensino da Ciência e da Tecnologia, 2005. [6] S. Haykin, Neural Networks: A Comprehensive Foundation, 2nd ed. New Jersey, USA: Prentice Hall, 1999.