Detecção de Gestos Através da Extração de Características da Mão Humana

Transcrição

1 Detecção de Gestos Através da Extração de Características da Mão Humana Raimundo F. Pinto Júnior 1, Abner S. Nascimento 1, Iális C. de Paula Júnior 1 1 Universidade Federal do Ceará (UFC) Campus de Sobral Sobral CE raimundo@protonmail.com, abnersousanascimento@alu.ufc.br ialis@sobral.ufc.br Abstract. This paper proposes a gesture detection method based upon the degree of openness and angles of human hand fingers. The procedure involves capturing video in real time, background subtraction, edge detection and polygon simplification methods. The main criteria chosen for finger identification were the distance from the center, as well as the results of comparison with empirical obtained data. The algorithm was used effectively to move a robotic hand built with a 3D printer. Resumo. Este artigo propõe um método para detectar gestos baseados no grau de abertura dos dedos de mãos humanas. O procedimento envolve captura de vídeo em tempo real e remoção do plano de fundo. Foram aplicados métodos de detecção de contornos, simplificação poligonal e cálculo de ângulos para identificar os dedos. A distância entre eles e o centro é usada para calcular seu grau de abertura. O algoritmo foi empregado com eficiência para movimentar uma mão robótica construída em uma impressora 3D. 1. Introdução A demanda por novas tecnologias que facilitem a interação homem-máquina tem vivido notável crescimento desde a última década. Observando as tendências atuais do mercado, é razoável concluir que o principal motivador para isso foi o desenvolvimento conjunto de setores como robótica e dispositivos móveis [Technavio 2015]. Assim, o estudo do principal canal de comunicação entre usuários e dispositivos é um fator chave, do qual os setores mencionados possuem alto grau de dependência [Vilarinho 2014]. Recentemente, dispositivos como Kinect, Google Glass e Oculus Rift estão revolucionando o mercado, pois trazem uma proposta completamente nova de interação com a tecnologia [Betancourt et al. 2015]. Contudo, estes ainda possuem elevado custo financeiro de aquisição. Para superar esse problema, é possível investir em técnicas de Processamento Digital de Imagens (PDI) para detecção e análise de gestos fazendo uso apenas de uma câmera e um computador. Os desafios para detecção da mão humana são: ignorar o cenário e extrair apenas informações dos dedos; lidar com ruídos e dados duvidosos gerados por mudanças na iluminação; normalizar o objeto de interesse independentemente de sua distância da câmera [Conti and Gonzaga 2011, Zhang 2012]. Sob tal perspectiva, este artigo tem como objetivo principal desenvolver um algoritmo capaz de reconhecer características visuais da mão do usuário por meio de uma fonte de captura de vídeo, além de permitir execução em tempo real. Para realizar esta tarefa, foram aplicadas técnicas de segmentação de imagens, reconhecimento e interpretação de dados.

2 2. Materiais e métodos Esta seção descreve as técnicas adotadas no trabalho para alcançar o reconhecimento e identificação de características da mão do usuário, tais como posição e ângulo entre os dedos. São necessários a captura e remoção do background, além da detecção e cálculo de centróide, polígono aproximado e ângulos representativos Captura e extração do background Para que seja possível interpretar imagens digitais, é preciso destacar o objeto de interesse [Gonzalez and Woods 2006]. Assim, a região da imagem correspondente à mão do usuário deve ser separada do chamado plano de fundo (background), isto é, o ambiente no qual o objeto está inserido. O método utilizado para isto baseia-se na descrição de [Zivkovic and van der Heijden 2006]. A implementação aplicada neste trabalho é parametrizada por uma taxa de aprendizagem, que consiste na frequência com a qual a amostra do plano de fundo é atualizada. Por este motivo, fez-se vantajosa a divisão do processo em duas fases. Na primeira, executada apenas uma vez com máxima taxa de aprendizagem, obtém-se a amostra do ambiente. A fase seguinte repete-se a cada frame capturado. Nela, emprega-se a amostra obtida anteriormente para remover as informações visuais desnecessárias. A Figura 1(a) exemplifica as imagens analisadas na primeira fase. Como desejase obter uma amostra que será constante no restante do processo, é imprescindível evitar variações significativas de iluminação ou presença de elementos visuais temporários. Na segunda fase a taxa de aprendizagem é nula, isto é, considera-se que não haverá mais variações no ambiente, uma vez coletada a amostra. Portanto, o único objeto com características visuais diferenciadas deve ser o braço do usuário, de acordo com a ilustração da Figura 1(b). Após a comparação da imagem com a amostra do plano de fundo, este é removido e produz-se uma imagem binária, como ilustra a Figura 1(c). (a) Plano de fundo. (b) Mão sobreposta. (c) Imagem binária. Figura 1. Processo de extração do plano de fundo 2.2. Detecção do centro de massa Uma vez extraída a região de interesse, podem ser calculadas as informações destinadas à identificação dos dedos. A localização do ponto central dessa região é uma característica auxiliar importante nessa tarefa. Para obter as coordenadas do centro, calculam-se os momentos estatísticos de uma matriz de pixels (imagem em escala de cinza) [Hu 1962]. Considerando os valores individuais dos pixels como uma função densidade de probabilidade, pode-se definir o

3 momento M ij = x y xi y j I(x, y), em que M ij indica o i-ésimo momento para o eixo x e j-ésimo momento para o eixo y; x e y são índices correspondentes a cada pixel; e I(x, y) indica o valor, em escala de cinza, do pixel correspondente. A área do contorno é, pois, dada por: M 00 = x y I(x, y). Além disso, em uma imagem binária, esta equação soma o número de pixels representativos ( do objeto. M Por fim, as coordenadas do centro de massa são definidas por C = 10 M 00, M 01 M 00 ) Obtenção do polígono de aproximação Além da localização do centro, o contorno da região de interesse também é um fator característico relevante. A partir dele é extraído um polígono de 7 lados cujos vértices posicionam-se sobre as pontas dos dedos. Comparando-se o ângulo desses vértices com um vetor de referência, é possível realizar a identificação dos dedos. Primeiramente, extrai-se o contorno, como descreve [Suzuki et al. 1985]. Contudo, o conjunto de pontos gerado é demasiadamente grande e identificar os pontos sobre os dedos exigiria um elevado custo computacional. Assim, aplica-se o algoritmo de Ramer-Douglas-Peucker para simplificar o contorno obtido. Conforme descrito em [Ramer 1972], este método elimina recursivamente pontos cuja distância em relação a curva ultrapassem um valor ε (distância máxima da curva original para a curva simplificada). Por conseguinte, o parâmetro ε deve ser escolhido de modo que o polígono ajuste-se sobre as pontas dos dedos, como visto na Figura 2. Para os cálculos posteriores, despreza-se o lado mais próximo da base da imagem. Figura 2. Polígono e contorno Cálculo dos ângulos É necessário definir um modelo matemático que traduza adequadamente as características dos dedos da mão do usuário e permita a obtenção de informações úteis para o processo de identificação. Neste trabalho, os dedos são representados por vetores d 1, d 2,, d 5 com origem no centro de massa do contorno e vértices sobre os pontos do polígono simplificado. Dessa forma, a norma de d i corresponde ao tamanho em pixels do i-ésimo dedo. A norma de um vetor é calculada conforme a equação: d i = (x c x ) 2 + (y c y ) 2, (1) em que (x, y) são as componentes de d i e (c x, c y ) são coordenadas do centro. O vetor de maior norma, isto é, o representante do dedo de maior comprimento, é definido como vetor de referência d r. Este é o referencial adotado para o cálculo dos

4 ângulos. Dessa forma, a identificação pode ser efetuada mesmo que o usuário realize movimentos rotativos no plano de captura da imagem. O ângulo α i é definido como o menor ângulo entre o vetor de referência d r e o i-ésimo dedo d i. Seu valor é obtido a partir da equação: ( ) dr d i α i = arccos, (2) d r d i em que d r d i é o produto escalar entre d r e d i, e d r d i é o produto de suas normas. Posteriormente, os dedos serão classificados em polegar, indicador, médio, anelar e menor, conforme os respectivos valores de α i. 3. Metodologia proposta O fluxograma da Figura 3 sintetiza a metodologia adotada neste trabalho. Dois laços de repetição se destacam nesse esquemático. No primeiro, obtém-se a amostra do background. O segundo consiste no processamento da sequência de imagens fornecida pela fonte de captura. Figura 3. Fluxograma do algoritmo desenvolvido Os dados resultantes são categorizados conforme valores obtidos empiricamente. Assumiram-se, aqui, para efeito de classificação, intervalos de ângulos e posições relativas ao dedo médio. Para o dedo indicador, um intervalo de 20 a 35 (posicionado à direita); ao dedo anelar, um intervalo de 20 a 35 (posicionado à esquerda); para o dedo mínimo, um intervalo de 40 a 65 (posicionado à esquerda); por fim, ao dedo polegar, um intervalo de 40 a 120 (posicionado à direita). 4. Resultados Foram obtidos resultados satisfatórios quanto à identificação dos dedos do usuário em tempo real, desde que observada a qualidade do material capturado, condições de

5 luz, resolução da filmagem e níveis adequados de contraste entre a pele e o ambiente, conforme pode-se constatar na Figura 4. A oclusão de um ou mais dedos entre os demais impossibilita a correta geração dos 7 lados do polígono, o que pode levar a erros de detecção. Por sua vez, a semelhança entre as posições dos dedos pode gerar erros de identificação. mínimo 45.2 anelar 20.5 indicador 23.1 polegar 85.4 mínimo - indicador - polegar 46.0 mínimo 50.7 anelar 28.0 indicador 25.7 polegar - mínimo - médio - indicador 0.0 polegar 83.5 mínimo 45.0 indicador 25.0 polegar 88.1 mínimo 55.8 indicador 28.5 polegar 83.6 Figura 4. Resultados obtidos no reconhecimento dos dedos. A identificação de cada dedo permite diversas aplicações. Neste trabalho, os dados obtidos foram utilizados para o controle de uma mão robótica, construída com auxílio de uma impressora 3D, como na Figura 5. Essa mão foi definida a partir de modelos do projeto InMoov [Langevin, G. 2015]. Para sua configuração eletrônica, utilizou-se a placa de sistemas embarcados Arduino [Banzi, M. 2015]. Conforme a metodologia aqui descrita, é possível movimentar cada dedo calculando a sua distância ao centro de massa da mão. O único problema encontrado ocorre devido a falhas pontuais na identificação do dedo anelar. Entretanto, os demais dedos movimentam-se conforme os dados são obtidos. Figura 5. Braço robótico construído em impressora 3D.

6 5. Conclusões e Perspectivas Este trabalho abordou a identificação visual dos dedos da mão através de características visuais como ângulos e contornos. Desta forma, é possível detectar gestos providos pelo usuário e utilizar os dados obtidos como entrada em diversas aplicações computacionais. Assim, com o funcionamento em tempo real, este método permite que a interação com o computador seja feita de forma simples e intuitiva. Pretende-se, futuramente, aprimorar as técnicas aplicadas para reduzir imprecisões, bem como otimizar o processo de subtração do plano de fundo. A futura implementação de métodos para prever a localização dos dedos deve ampliar também as possibilidades de detecção de gestos. Referências Banzi, M. (2015). Arduino uno and genuino uno. ArduinoBoardUno. Acesso em 25 fev Betancourt, A., Morerio, P., Regazzoni, C. S., and Rauterberg, M. (2015). The evolution of first person vision methods: A survey. Circuits and Systems for Video Technology, IEEE Transactions on, 25(5): Conti, C. and Gonzaga, A. (2011). Rastreamento do movimento dos dedos da mão humana em imagens de vídeo. Journal of the Brazilian Neural Network Society, 9: Gonzalez, R. C. and Woods, R. E. (2006). Prentice-Hall, Inc. Digital Image Processing (3rd Edition). Hu, M.-K. (1962). Visual pattern recognition by moment invariants. Information Theory, IRE Transactions on, 8(2): Langevin, G. (2015). Open-source 3d printed life-size robot. Acesso em 21 fev Ramer, U. (1972). An iterative procedure for the polygonal approximation of plane curves. Computer graphics and image processing, 1(3): Suzuki, S. et al. (1985). Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing, 30(1): Technavio (2015). Global robotics market Technical report, Research and Markets. Vilarinho, L. (2014). Interface homem-máquina. Engenharia de Software Magazine, (47). Zhang, Z. (2012). Microsoft kinect sensor and its effect. MultiMedia, IEEE, 19(2):4 10. Zivkovic, Z. and van der Heijden, F. (2006). Efficient adaptive density estimation per image pixel for the task of background subtraction. Pattern recognition letters, 27(7):