Mapeamento 3D de superficies planas para interação homem-máquina

Transcrição

1 Mapeamento 3D de superficies planas para interação homem-máquina SCHVARCZ FRANCO, Guilherme 1 ; CEOLIN, Simone R. 1 1 Projeto PROBITI do Curso de Sistemas de Informação do Centro Universitário Franciscano (UNIFRA, Santa Maria, RS, Brasil guilhermefranco@unifra.edu.br; sceolin@unifra.br; RESUMO O ser humano possui diversas formas de comunicação. Entre elas, destaca-se a comunicação via elementos visuais, como por exemplo, sinais, gestos ou simplesmente observação de cenário. Nos últimos anos, nota-se um crescente número de pesquisas em visão computacional que buscam retirar proveito desse meio de transmissão para a obtenção de informações e comandos do ambiente por parte do computador. Pela popularização das tecnologias, como o Kinect e o Xtion, que auxiliam essa comunicação, este artigo apresenta um software capaz de transformar qualquer superfície plana num dispositivo de entrada sensível ao toque, através de técnicas de mapeamento 3D e rastreamento do corpo humano. Palavras-chave: Mapeamento de superfície; Visão Computacional; Superficies sensíveis ao toque; Kinect. 1 INTRODUÇÃO Diariamente, as pessoas constuman utilizar de artificios visuais, como gestos ou sinais, para transmitirem uma determinada informação e estabelerecem uma comunicação entre si. Esses recursos muitas vezes suprimem a necessidade de uma outra forma de comunicação, representando assim, boa parte do sistema comunicativo do ser humano. Nos últimos anos, grandes esforços foram feitos no mundo da pesquisa a fim de viabilizar uma interação homem-máquina via uma linguagem natural, como uma comunicação entre seres humanos, via gestão e representações visuais de uma informação. Como se pode perceber em Shi ET. AL (2010 e Bastos e Góes (2012. No ano de 2010, essas pesquisas sofreram um grande impulso com a popularização de sensores de profundidade com o lançamento do sensor Kinect da Microsoft. Apesar de já existirem outras iniciativas similares do uso combinado de sensores de profundidade e visão computacional para interação com o usuário, como o projeto Xtion da ASUS, a larga produção e distribuição do sensor Kinect resultaram em produções acadêmicas e comerciais a cerca do tema.

2 Neste sentido, este trabalho busca a elaboração de um software de interação homem-máquina que, através do mapeamento 3D prévio de uma superfície plana, permita uma comunicação do usuário transformando a superfície mapeada em uma tela sensível ao toque, rastreando a forma do corpo humano e seus toques com a superfície. 2 REVISÃO BIBLIOGRÁFICA artigo. Essa seção apresenta uma revisão bibliográfica das áreas do conhecimento envolvidos neste 2.1 Computação Gráfica Azevedo (2003 afirma que esta área do conhecimento, como o próprio nome sugere, é responsável pela transformação de modelos matemáticos abstratos para representações gráficas a serem projetadas na tela do computador. Para essa abstração a ser feita pelo programador, se utiliza formente conceitos da geometria analítica e de outras áreas da matemática. O autor ainda retrata a computação gráfica como uma forma de arte utilizando a matemática, visto que se utiliza de conceitos muito similares a arte, como luz, tempo e movimento. Segundo ele, podese encarar a computação gráfica como uma ferramenta não tradicional para o artista transcender das técnicas tradicionais de desenho e modelagem. Esta pesquisa, por necessecitar de alguma forma de descrição de elementos num espaço 3D e efetuar operações nele, se utilizará de técnicas da computação gráfica. 2.2 Visão Computacional Dentro da grande área da computação, a visão computacional é a especialização que busca interpretar os sinais numéricos de uma determinada matriz, correspondente a uma determinada imagem, a fim de compreender os elementos presentes na cena e, conforme esta compreensão, executar uma saída pré-determinada (BRADSKI et. al./2008. Para isso, se utilizam técnicas de processamento digital de imagens tais como limiarização, funções morfológicas e técnicas de reconhecimento de padrões. 2.3 Kinect O sensor Kinect é um equipamento que mensura a profundidade dos elementos de uma cena utilizando um emissor de infravermelho próximo e um sensor CCD da mesma faixa do espectro

3 eletromagnético. Além desses componentes, o Kinect ainda possui um sensor RGB de alta resolução e um motor que auxilia a leitura vertical da cena. Com o seu lançamento no final de 2010 pela Microsoft, revolucionou o mundo da mídia interativa utilizando técnicas avançadas de Visão Computacional, tais como detecção de corpos humanos, combinada com a disponibilidade dados de profundidade e câmera RGB de alta resolução para entrada de comandos pelo usuário (Microsoft, Devido a alta disponibilidade deste produto no mercado e seu baixo custo, este projeto optou por esse equipamento para funcionalidade de sensoriamento do ambiente. 3 TRABALHOS RELACIONADOS 3.1 Desenvolvimento de uma Lousa Digital de baixo custo utilizando Visão Computacional Este projeto foi desenvolvido pela Universidade Estadual de Feira de Santana (UEFS com o objetivo de utilizar equipamentos mais baratos e comuns que os utilizados para a construção comercial de uma Lousa Digital (Bastos e Góes, Para isso, Bastos e Goes (2012 utilizaram uma webcam comum para registrar as imagens da cena e, atráves do algoritmo de detecção de pele, classificaram os gestos realizados pelo usuário. Conforme cada classificação, se gerava um comando para interação com a superfície da lousa digital. Apesar da idéia ser muito semelhante, o projeto de Bastos e Goes (2012 falham pois, não sendo capaz de registrar a profundidade dos elementos da cena, o software não identifica o toque real do usuário da superfície. Ao invês disso, comandos por sinais realizados pela mão são utilizados. Outro problema de utilizar o algoritmo de detecção de pele para esse propósito, é que inclusive partes da pele que não correspondem as extremidades do corpo são identificadas, ao passo que outras extremidades cobertas por roupa não. Isso dificulta a determinação do que realmente se configura como um comando válido ou não. 4 METODOLOGIA Neste artigo, busca-se através do mapeamento 3D de ambientes utilizando sensores de profundidade, técnicas de visão computacional e computação gráfica, projetar e desenvolver um sistema de interatividade onde o próprio caminhar ou toque do usuário resulte numa reação de uma superfície do ambiente sobre a forma de uma projeção realizada sobre as paredes ou chão. O sistema se utiliza um datashow que projeta uma imagem numa superfície, um sensor de profundidade Kinect que scanea o ambiente e um software que mapea os toques do usuário sobre a

4 imagem projetada. Ao usuário tocar a imagem projetada, a posição do toque de seu pés ou mãos serão mapeadas e recalculadas para o ambiente virtual da imagem projetada, que responderá com uma animação na mesma posição, logo a projeção na superfície terá esta animação logo abaixo dos ponto de toque do usuário. Para a utilização do software, é necessário a marcação da área de projeção. Logo, antes da interação começar, será necessária uma calibração do ambiente para uma projeção 3D. Tal calibração se dará da seguinte forma. Ao iniciar o software, o usuário deverá demarcar os limites da área projetada em três vertices conforme a Figura 1 e o software registará estes vertices. Figura 1: Tela de calibração a ser projetada Após a calibração dos pontos espaciais que representam os vértices da projeção, teremos um polígono num espaço tridimensional. Como deveremos nos basear neste modelo, mais tarde, para verificar se os pontos tocados na superfície estão ou não sobre a área projetada, a fim de facilitar as equações subseqüentes devemos transladar e rotacionar esse polígono para a origem e de forma que seus lados fiquem paralelos aos eixos X e Y. Para transladar para a origem dos pontos de calibração, basta subtrair de cada um dos pontos os valores X, Y e Z do vértice 1 lido durante a calibração. Antes de rotacionarmos o polígono, devemos saber quais são os ângulos de rotação X, Y e Z que o polígono está originalmente. Para isso, utilizou-se as Equações 2 e 3 entre os vertices 1-2 para se descobrir os ângulos Y e Z, resdpectivamente. Para se descobrir o ângulo X, utilizou-se a Equação 1 entre os pontos 2-3.

5 X =arctan( Y 3 Y 2 Z 3 Z 2 Equação 1: Equação do ângulo X. Ŷ =arctan ( Z 2 Z 1 Y 2 Y 1 Equação 2: Equação do ângulo Y. Ẑ=arctan( Y 2 Y 1 X 2 X 1 Equação 3: Equação do ângulo Z. Para rotacionar de forma que o polígono fica-se paralelo aos eixos Y e Z, se aplicou a rotação inversa nos ângulos indetificados em Y e Z, mais uma rotação complementar a 90º no eixo X para o ângulo X. Para se aplicar as rotações no polígono, para cada um dos pontos de calibração aplicou-se a Equação 4 com as matrizes das Equações 5, 6 e 7, para os ângulos de rotação X, Y e Z respectivamente (Azevedo, [ X i Matriz Rotação X i]=[ i X X ] f X f X f Equação 4: Equação de rotação de um ponto sobre um eixo. Matriz RotaçãoX =[ cos(θ sin(θ 0 0 sin(θ cos( Θ ] Equação 5: Matriz de rotação no eixo X. Matriz RotaçãoY =[cos(θ 0 sin (Θ sin( Θ 0 cos(θ ] Equação 6: Matriz de rotação no eixo Y.

6 =[ cos (Θ sin (Θ 0 0 1] Matriz sin(θ cos(θ 0 0 RotaçãoZ Equação 7: Matriz de rotação no eixo Z. Supondo que a imagem projetada seja retangular, como a utilização de um datashow regularmente faz, com a distâncias entre os vertices 1-2 e 2-3 pode-se calcular as caracteristicas de largura e altura, respectivamente, do retângulo projetado. O calculo da distância no espaço 3D é dado pela teoria de Pitágoras, conforme demonstra a Equação 8 (Azevedo, D= ( X 2 X 1 2 +(Y 2 Y 1 2 +(Z 2 Z 1 2 Equação 8: Cálculo da distância no espaço 3D. Após esses ajustes do modelo matemático da projeção, a cada frame subseqüente, o algoritmo de deteção de corpo humano presente no SDK do sensor Kinect é executado sobre a cena. Tal algoritmo busca na imagem de profundidade contornos que evidenciem a forma de um corpo humano. Como saída, o algoritmo retorna até 20 pontos da configuração do corpo humano (Microsoft, Para os pontos que representam as extremidades, como pés e mãos, se aplica as mesmas transformações geométricas aplicadas ao polígono que representa a projeção na superfície. Se, após essas transformações, a representação da extremidade do corpo estiver abaixo de um determinado liminiar de distância no eixo Z e contido pelo polígono da projeção, então um toque sobre a superfície é detectado. A partir dessas informações, pode se determinar a posição do ponto tocado em função da porcentagem da largura e altura da projeção. Se estas mesmas porcentagens forem aplicadas nas dimensões da imagem projetada, como demonstra a Equação 9 para largura e a Equação 10 para a altura, teremos o ponto onde devemos realizar a animação para que ela seja projetada bem abaixo do toque do usuário. X Projecao =Largura Projecao ( X Toque Largura Calibracao Equação 9: Reprojeção X do ponto de toque da superfície para o ponto de animação na imagem. Y Projecao =Altura Projecao ( Y Toque Altura Calibracao Equação 10: Reprojeção Y do ponto de toque da superfície para o ponto de animação na imagem.

7 Por fim, o software emite eventos de toque ao sistema operacional, nas posições calculadas. Dessa forma, outros programas podem utilizar esse informação como entrada de uma interação com o usuário. 5 RESULTADOS Após a elaboração do software de calibração e de reprojeção dos pontos tocados, codificou-se um aplicativo que fizesse uma animação simples de icones se afastando do ponto tocado pelos pés do usuário. A Figura 2 apresenta um exemplo do aplicativo desenvolvido. Figura 2: Teste do software desenvolvido pela presente pesquisa. Como o SDK do sensor utilizado permite rastreamento de mais de um corpo humano, fez parte da bateria de testes, a interação com mais de um usuário ao mesmo tempo e o software conseguiu atender a todos os toques. 6 CONCLUSÃO Apesar dos bons resultados obtidos, ao longo dos teste se percebeu o problema que obstáculos entre o sensor e a superfície projetada podem causar. Por exemplo, ao ocultar parte da superfície com o próprio corpo do utilizador, a uma distância onde não se é considerado toque, fica difícil determinar atrás dele a superfície está sendo tocada ou não. Alêm de uma possível correção para este problema, sugere-se para trabalhos futuros a utilização de classificação de cores do sensor RGB para uma auto calibração da projeção ao se iniciar o software. BIBLIOGRAFIA AZEVEDO, Eduardo. Computação Gráfica Teoria e Prática, Campus. Rio de Janeiro, RJ, 2003

8 BASTOS, I. L. O.;GÓES, C. E. Desenvolvimento de uma Lousa Digital de baixo custo utilizando Visão Computacional. VIII Worshop de Visão Computacional. Goiânia, GO, BRADSKI, G; KAEHLER, A. Learnig Opencv. Sebastopol, Estados Unidos da America: O REILLY, L. SHI, Y. WANG, AND J. LI. A real time vision-based hand gestures recognition system. In Z. Cai, C. Hu, Z. Kang, and Y. Liu, editors, Advances in Computation and Intelligence, volume 6382 of Lecture Notes in Computer Science. Springer Berlin / Heidelberg, MICROSOFT. Microsoft Developer Network. Disponível em Acessado em agosto de 2012.