Reconhecimento de Mãos usando Cores e Formas Aplicado no Projeto de uma Interface Gestual

Transcrição

1 Reconhecimento de Mãos usando Cores e Formas Aplicado no Projeto de uma Interface Gestual Victor Hugo Masutani 1, Almir Olivette Artero, Leandro Luiz de Almeida 1,3, Francisco Assis da Silva 1,3, Maria Stela Veludo de Paiva 3 1 Faculdade de Informática Universidade do Oeste Paulista (Unoeste), Presidente Prudente/SP Faculdade de Ciências e Tecnologia Universidade Estadual Paulista (Unesp), Pres. Prudente/SP 3 Escola de Engenharia de São Carlos Universidade de São Paulo (USP), São Carlos/SP victormasutani@unoeste.edu.br, almir@fct.unesp.br, llalmeida@unoeste.br, chico@unoeste.br, mstela@sc.usp.br Abstract This paper describes a new human-computer interaction, which through a simple and low-cost hardware (webcam), captures images and performs the hand recognition using color and shape information. The low complexity of this approach, it makes possible to control graphic applications using the operational system interface. 1. Introdução O conceito de interface se refere à maneira em que usuários podem interagir com diversos dispositivos, como os computadores. Ainda que o estudo da Interface Homem-Máquina tenha iniciado mais formalmente nos anos 70, a plataforma de computação estabilizou-se em um modelo básico de interação com o computador, composto por monitor, mouse e teclado [14]. No entanto, mais recentemente, a sofisticação do hardware evoluiu consideravelmente, possibilitando novas alternativas de interfaceamento que podem trazer aos usuários novas formas de comunicação, como por exemplo, usando a detecção de movimentos (gestos) ou o reconhecimento de voz. Apesar de potenciais aplicações em diversas áreas, é na área dos jogos que o uso de dispositivos mais interativos tem atraído maior atenção, como foi no caso da pistola Light Phaser, lançada para o videogame Master System [9] que permitia ao usuário atingir alvos na tela, como se estivesse usando uma arma real. O videogame Wii da Nintendo [15] foi projetado para operar com uma série de dispositivos capazes de proporcionar uma melhor imersão do usuário nos jogos, entre estes dispositivos temse um bastão cujos movimentos são usados para controlar as ações do usuário, em jogos como tênis, boxe, etc., ao movimentar seus braços como fazem os atletas reais. Mais recentemente, foi apresentado o videogame XBox da Microsoft [13], que é controlado através de detecções de movimentos, capturados por uma câmera e um sensor de profundidade, incorporados ao dispositivo Kinect [13], tornando a interação ainda mais natural e imersiva. Embora o uso destes dispositivos comece a atrair a atenção para outras várias aplicações além dos games [11,17], o seu custo ainda continua sendo um problema a ser resolvido. Assim, este projeto propõe usar imagens capturadas com uma webcam de baixo custo, cada vez mais presente no hardware básico dos computadores e, a partir do reconhecimento das mãos dos usuários, tornar possível o controle de diversas aplicações com interface gráfica no computador. A estratégia usada neste trabalho para o reconhecimento das mãos inclui a identificação da cor da pele e também a análise da forma das mãos. As demais seções deste trabalho estão organizadas da seguinte maneira: na Seção é apresentada uma introdução ao processamento digital de imagens, com ênfase nas técnicas usadas neste trabalho; Na Seção 3 é feita uma introdução à visão computacional, focando apenas as técnicas usadas neste trabalho e, que estão implementadas na biblioteca OpenCV [,7]; Na Seção 4 é apresentada a metodologia proposta para o reconhecimento das mãos através do reconhecimento da cor da pele e também de uma análise da forma da mão; Na Seção 5 são apresentados alguns experimentos em que a mão é reconhecida pelo método proposto, assim, como um exemplo de aplicação onde a mão é usada para controlar as ações em um aplicativo gráfico. Por fim, a Seção 6 apresenta as conclusões e algumas sugestões para trabalhos futuros.. Processamento Digital de Imagens Segundo Gonzalez e Woods [5] uma imagem é definida como uma função bidimensional f (x,y), onde x e y são coordenadas espaciais e a amplitude de f é chamada intensidade da imagem no local. Quando x, y e também a amplitude são valores finitos e discretos, diz-se que a imagem é digital. Caso contrário, tem-se uma imagem analógica. Em geral, uma imagem digital é tratada como

2 uma matriz, cujos índices de linhas e colunas identificam um ponto na imagem e o correspondente valor do elemento da matriz identifica o nível de cinza naquele ponto. Os elementos dessa matriz digital são chamados de elementos da imagem ou pixels. Nas imagens digitais coloridas, cada pixel guarda mais de um valor, de acordo com o modelo de cor adotado..1 Modelos de Cores A percepção e a interpretação de uma cor são fenômenos fisiopsicológicos, que não são completamente entendidos. As cores que os humanos e alguns animais percebem são determinadas pela natureza da luz refletida nos objetos. Assim, a finalidade de um modelo de cor é a especificação das cores em alguma forma padrão. Para solucionar deficiências encontradas nos primeiros modelos de cores, vários outros foram propostos para atender diferentes aplicações, objetivando também viabilizar e simplificar a construção dos equipamentos, ou então, proporcionar uma interação mais intuitiva com os usuários. A estratégia padrão consiste em representar as cores através de três componentes [5]. O modelo RGB (red, green, blue) [4] utiliza as cores primárias vermelho, verde e azul, sendo que cada uma destas componentes pode ter um valor na faixa de 0 a 1, formando um espaço tridimensional que ocupa um cubo unitário. Este modelo tem sido usado na construção das telas de uma grande diversidade de aparelhos, incluindo: televisores, monitores de vídeo, aparelhos celulares, etc. O modelo HSV (hue, saturation, value) [4] representa as componentes de tonalidade, saturação e brilho, sendo o subespaço do HSV o hexágono mostrado na Figura 1, em que a saturação é dada pela distância a partir do eixo central (0 1), a tonalidade é dada pela distância do ângulo a partir do vermelho (360º) e o brilho varia entre 0 e 1, a partir da parte de baixo. Figura 1. Hexágono de cores HSV. O modelo HSV é recomendado quando é necessário avaliar semelhanças entre as cores [8], pois o determinante de uma cor no modelo HSV é a sua tonalidade, enquanto que no modelo RGB, os três parâmetros (vermelho, verde e azul) em conjunto é que definem a cor. Assim, no sistema RGB, cores com tonalidades diferentes podem ser consideradas semelhantes, calculando a distância euclidiana entre suas componentes. O modelo YCrCb [4] usa uma componente de luminância Y e duas componentes de crominância Cr e Cb e, tem sido o modelo mais recomendado para realizar o reconhecimento de cor de pele. Uma vez que o tom de pele depende da iluminação, a transformação não linear do modelo de cor YCrCb faz com que o tom de pele não dependa da iluminação [6]. Este é o modelo de cor adotado neste trabalho, entretanto, como as imagens são capturadas com uma webcam, que usa o modelo RGB, torna-se necessário a conversão entre estes modelos, que pode ser feita usando a Equação 1. Y 0.99 Cr = Cb Comparação entre Cores R G B Formas alternativas para se avaliar a semelhança entre cores têm sido propostas [1], objetivando-se resolver erros de avaliação que ocorrem com modelos muito simples, como é o caso de se adotar a distância euclidiana d no sistema RGB entre duas cores C 1 = (R 1,G 1,B 1 ) e C = (R,G,B ), usando a Equação. ( R R ) + ( G G ) + ( B ) B (1) d = () Para uma comparação de objetos coloridos, este modelo muito simples tem se mostrado suficiente, porém, para a identificação da cor de pele, induz a muitos erros, por causa da grande variação de tons de pele. Um modelo mais eficaz para a identificação de pele humana foi apresentado por Kovač et al. [10], que aplica a transformação dada pela Equação 3 sobre uma cor no modelo YCrCb. x cosθ sinθ Cb cx = (3) y sinθ cosθ Cr cy e classifica a cor como sendo de pele humana, caso seja atendida a condição apresentada em 4. ( x e ) ( y ec ) c x y + 1 (4) a b onde: c x = , c y = 15.0, θ =.53 radianos, e cx = 1.6, e cy =.41, a = 5.39 e b = Morfologia Matemática A morfologia matemática tem sido usada em diversas aplicações em processamento de imagens [3,19], tanto em etapas de pré-processamento, realizando filtragens, como

3 em etapas de representação e descrição de formas [5]. A morfologia matemática possui algumas operações como: Dilatação, Erosão, Abertura e Fechamento; que são ilustradas na Figura. uma análise da imagem, pixel por pixel, da esquerda para a direita e de cima até embaixo, a fim de identificar os pixels adjacentes que possuem a mesma cor, atribuindo um rótulo para cada agrupamento de pixels. A Figura 3 mostra em (a) uma imagem contendo dois agrupamentos de pixels e, em (b), dois rótulos são atribuídos aos pixels pertencentes a cada um deles. (a) Figura. Processo das operações de Erosão, Dilatação, Abertura e Fechamento, respectivamente [5] Contornos, Fechos e Defeitos Convexos O contorno de um objeto em uma imagem define importantes características deste objeto, sendo capaz de auxiliar a sua identificação. Em geral, é obtido através das bordas encontradas nas imagens. Adicionalmente, importantes descrições dos objetos podem ser obtidas através do fecho convexo e dos defeitos convexos, que consistem respectivamente, no menor polígono convexo que contem os pontos do objeto [16] e na sequência dos pontos do contorno entre dois vértices do fecho convexo [1]. 3. Visão Computacional Visão computacional é a extração de informações a partir de imagens. O processo consiste em analisar uma imagem e a partir de suas características, extrair medidas qualitativas e quantitativas dos objetos existentes na cena []. 3.1 Rotulação de Componentes Conexos A rotulação de componentes conexos [18] é uma técnica que analisa uma imagem e define grupos de pixels, baseado em sua conectividade. Basicamente, realiza-se (b) Figura 3. Rotulação de componentes conexos aplicada a uma imagem contendo dois agrupamentos de pixels. 4. Reconhecimento da Mão O método proposto neste trabalho toma as imagens capturadas com uma webcam () no formato RGB e as converte para o formato YCrCb, afim de reduzir o erro no reconhecimento da cor da pele. Em seguida, os pixels são classificados como sendo de pele ou não, com a aplicação da Equação 4. Nesta etapa, são segmentados os pixels da mão e também das demais partes do corpo do usuário, como o seu rosto. Na etapa seguinte, é realizado um tratamento para a retirada de ruídos, que ocorrem através de pixels isolados em diferentes locais da cena capturada, por terem cores semelhantes à pele. Isto é feito usando as operações morfológicas de Abertura e Fechamento, que servem também para preencher pixels não segmentados como pele, dentro de regiões de pele, o que ocorre, geralmente, por causa de problemas de iluminação. No passo seguinte, são identificados os contornos dos objetos na imagem, sendo aplicado a eles o algoritmo de fecho convexo e, posteriormente, o algoritmo que encontra os defeitos convexos. Por fim, a mão é reconhecida

4 identificando o objeto com dois defeitos convexos consecutivos formando ângulos α i (i=1,...,4) entre 15º e 40º, correspondendo às aberturas dos dedos da mão. Esta é a estratégia usada para diferenciar a mão de outras áreas de cor de pele. Estas etapas são mostradas na Figura 4. A Figura 5(a) mostra um exemplo de imagem capturada pela webcam e, em (b) apenas os pixels da cor da pele. Em (c) tem-se o resultado após a filtragem usando os operadores morfológicos de abertura e fechamento. Embora se tenha usado uma câmera de baixo custo, esta figura apresenta um resultado bem satisfatório para o reconhecimento da pele humana. Figura 4. Etapas do processo proposto para o reconhecimento da mão. (a) (b) (c) Figura 5. a) Imagem original; b) Segmentação das áreas correspondentes à pele; c) Imagem filtrada com os operadores morfológicos. Na Figura 6 tem-se a obtenção do fecho convexo e dos menores pontos do defeito convexo, a partir da extração do contorno. Centro onde a mão foi reconhecida α 4 α 3 α α 1 Contorno Ponto de maior profundidade do defeito convexo Figura 6. Contorno, fecho e defeito convexo. Fecho convexo 4.1 Implementação usando a Biblioteca de Visão Computacional OpenCV Objetivando uma implementação eficiente, neste trabalho foram usadas as funções disponíveis na biblioteca OpenCV (Open Source Computer Vision) [,7], que possui uma grande variedade de funções para uso em visão computacional. Escrita na linguagem C/C++, a biblioteca OpenCV surgiu por causa do grande número de aplicações nesta área, sendo projetada para ser computacionalmente eficiente e auxiliar a construção de aplicações para execução em tempo real. As principais funções OpenCV usadas neste trabalho estão: cvnamedwindow cria uma janela para mostrar vídeo capturado; cvcapturefromcam retorna o dispositivo de captura conectado ao computador; cvqueryframe retorna o frame capturado, ou seja, uma imagem colorida, guardada em um registro contendo uma matriz com as dimensões [0..Altura, 0..Largura, [R,G,B]]; cvcvtcolor converte uma imagem de um modelo de cor para outro;

5 cvmorphologyex aplica a operação de abertura ou fechamento da morfologia matemática; cvfindcontours identifica contornos em imagens; cvconvexhull encontra o fecho convexo; cvconvexitydefects identifica os defeitos convexos dado um fecho convexo por parâmetro, bem como o ponto de maior distância. Por outro lado, a Figura 8 mostra que exibindo apenas dois dedos, a mão não é mais reconhecida (não aparece o círculo amarelo), pois existe uma quantidade insuficiente de defeitos convexos para a sua caracterização, visto que apenas um dos ângulos α i é identificado. 5 Experimentos A Figura 7 mostra que exibindo três ou quatro dedos, a mão continua sendo reconhecida, mesmo não havendo a mesma quantidade de pontos de profundidade reconhecidos pelo defeito convexo. Figura 8. Falha no reconhecimento da mão, quando se exibe apenas dois dedos. (a) (b) Figura 7. Reconhecimento da mão com: a) Quatro dedos; b) Três dedos. A Figura 9 mostra como o reconhecimento da mão pode ser usado para controlar a execução de uma aplicação no ambiente operacional gráfico. Em (a) tem-se o computador, em (b) a webcam, em (c) a mão do usuário e, em (d), um aplicação sendo executada. Para a realização deste teste foi utilizada uma webcam que captura quadros de imagens com uma resolução de 640 x 480 pixels. Na implementação realizada, os deslocamentos da mão são tratados como eventos do mouse e, desta forma, podem ser usados para controlar qualquer aplicação no ambiente do sistema operacional. (b) (d) (a) (c) Figura 9. Exemplo de aplicação onde o usuário controla a movimentação dos objetos na tela através de seus movimentos.

6 6. Conclusões Os resultados obtidos neste trabalho mostraram que, mesmo usando uma simples webcam, é possível interagir com o computador de uma forma mais intuitiva, controlando a execução de diversas aplicações através de movimentos com a mão. O baixo custo das câmeras de vídeo e a sua integração, cada vez mais comum, em vários dispositivos (desktops, notebooks, smartphones) tem se tornado um recurso que pode e deve ser considerado em novas formas de interação com o computador. Embora o modelo de cores YCrCb, adotado neste trabalho, tenha apresentado resultados satisfatórios para reconhecer a cor da pele, ainda se nota que os efeitos da iluminação do ambiente continuam sendo um problema a ser resolvido. Entretanto, o avanço tecnológico tem propiciado a construção de câmeras com qualidade cada vez melhor e a um custo cada vez menor, que devem ajudar a resolver este problema. Em trabalhos futuros, deverão ser investigados outros modelos de cor, que podem ser mais eficazes na identificação da pele, principalmente, tratando das diferenças que ocorrem em diferentes etnias. Referências [1] del Bimbo, A., Visual Information Retrieval, Morgan Kaufmann Publishers, San Francisco, 70p, [] Bradski, G. and Kaebler, A., Learning OpenCV, Computer Vision with the OpenCV Library, Gravenstein Highway North, Canadá: OReilly, 008. [3] Facon, J., Morfologia Matemática: Teorias e Exemplos, Editora Universitária Champagnat da Pontifícia Universidade Católica do Paraná. Curitiba. 30p, [4] Fairchild, M.D., Color Appearance Models, John Wiley and Sons, 385p, 005. [5] Gonzalez, R.C. and Woods, R.E., Digital Image Processing, nd Edition, Addison Wesley Publishing Company, Reading, [6] R.L. Hsu, M. Adbel-Mottaleb, A.K. JAIN, "Face Detection in Color Images", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 4, n. 5, 00, pp [7] Intel, Open Source Computer Vision Library, Reference Manual, 001. [8] G. H. Joblove, D. Greenberg, "Color Spaces for Computer Graphics", Computer Graphics, vol. 1(3), August, 1978, pp. 0 5 [9] Kent, S., The Ultimate History of Video Games, Roseville, California: Crown Publishing Group, 001. [10] J. Kovač, P. Peer and F. Solina, "Human Skin Colour Clustering for Face Detection", Eurocon Computer as a Tool - The IEEE Region 8, Slovenia, 003. [11] K. Laver, J. Ratcliffe, S. George, L. Burgess and M. Crotty, "Is the Nintendo Wii Fit Really Acceptable to Older People?: a discrete choice experiment", BMC Geriatrics, vol. 11, n. 64, 011. [1] C. Manresa, J. Varona, R. Mas and F. Perales, "Hand Tracking and Gesture Eecognition for Human-Computer Interaction", Electronic Letters on Computer Vision and Image Analysis, vol. 5, n. 3, 005, pp [13] Microsoft, Kinect for Xbox 360: Science Fiction Comes to Your Living Room. Disponível em: Kinect.mspx. Acesso em 08 de março de 011. [14] B. Myers, S. Hudson and R. Pausch, "Past, Present, and Future of User Interface Software Tools", ACM Transactions on Computer-Human Interaction, Vol. 7, Número 1, Março 000, pp [15] Nintendo, Wii Operations Manual - Channels and Settings, disponível em: consumer/downloads/wiicheng.pdf, 009. [16] O rourke, J., Computational Geometry in C,.ed. Cambridge University Press, [17] T. Pigford, A. Andrews, "Feasibility and Benefit of using the Nintendo Wii Fit for Balance Rehabilitation in an Elderly Patient Experiencing Recurrent Falls", Journal of Student Physical Therapy Research, vol., n. 1, 010, pp.1-0. [18] H. Samet, M. Tamminen, "Efficient Component Labeling of Images of Arbitrary Dimension Represented by Linear Bintrees", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 10, n. 4, pp , [19] Serra, J., Image Analysis and Mathematical Morphology, vol.1, Academic Press, London, 198.