UMA APLICAÇÃO PRÁTICA DE INTERFACE NATURAL DE USUÁRIO COM MICROSOFT KINECT

UMA APLICAÇÃO PRÁTICA DE INTERFACE NATURAL DE USUÁRIO COM MICROSOFT KINECT Alan da Silva 1 Orientador Agnus Horta 2 RESUMO Este trabalho descreve o desenvolvimento de uma aplicação prática de interface natural de usuário utilizando o dispositivo Microsoft Kinect. O objetivo deste trabalho é aplicar os conceitos adquiridos ao longo do curso, para a implementação de um software, capaz de controlar o computador, com gestos realizados pelos braços e mãos através do Kinect. A implementação evidenciou a complexidade do processo de comunicação humano e a dificuldade de transmitir essa comunicação a um computador. Palavras-chave: Sensor Kinect. Interface Natural de Usuário. Software. 1 INTRODUÇÃO A interação entre o homem e a máquina é uma das áreas mais interessantes da computação. Desde os primórdios, o homem tem procurado meios e estratégias de interatividade, que visam à simplicidade e naturalidade ao passar uma instrução para um computador. É também tema de várias pesquisas que contribuem para o seu desenvolvimento. O objetivo da interação homem-computador é, ou deveria ser, prover uma interface tão natural quanto possível. De fato, a solução perfeita seria aquela na qual o usuário nem percebesse a utilização de uma interface, expõe TEBBUTT (1995). O estudo de interfaces homem-máquina vem contribuindo para o avanço multidisciplinar como computação, psicologia educacional, sociologia e design. A maioria das interfaces atuais utilizam equipamentos de controle, que exigem uma curva de aprendizagem, geralmente dotadas de botões e às vezes de difícil manuseio. Com o avanço da tecnologia, a interação natural, se tornou primordial para o sucesso tanto da aplicação como o dispositivo, seja ela através de gestos ou fala. 1 Aluno do 8º período do curso da Ciência da Computação do Centro Universitário do Sul de Minas UNIS-MG. alansilva2005@hotmail.com. 2 Orientador do curso da Ciência da Computação do Centro Universitário do Sul de Minas UNIS-MG.. agnus@unis.edu.br.

Este trabalho descreve, através do desenvolvimento de um software, um conceito recente de utilização de computadores, onde, um comando do mundo real é passado para o mundo digital através de gestos corporais com auxílio de um equipamento. Esse é o conceito de interface natural de usuário (NUI). 2 REFERENCIAL TEÓRICO 2.1. Interface Natural de Usuário Barthet (1998) afirma que existe uma linguagem de interação que permite ao usuário, através de um grupo de palavras e de regras, expressar as operações que ele deseja executar em uma máquina, que podem ser comandos ou dados. O meio pelo qual se realiza essas operações dá-se o nome de interface de usuário. É nas interfaces de usuário de computador que ocorrem às interações, análises e visualizações das informações. Este trabalho aborda uma das áreas de interfaces de usuário, a Interface Natural de Usuário ou a NUI (Natural User Interface), que é uma evolução de comunicação entre homem e computador (NATURAL, 2011). O propósito da NUI é incorporar a naturalidade de se realizar movimentos ou gestos para a manipulação da aplicação. O usuário tem que se sentir a vontade para interagir com a aplicação. Deve possui uma curva de aprendizagem mínima ao ponto de que o usuário tenha a sensação de estar interligado com a aplicação. 2.2. Engenharia de Software O desenvolvimento de um software envolve diversas etapas que devem ser analisadas para que se atinja um bom desempenho e qualidade na implementação. Esse desenvolvimento pode ser visto como um conjunto de atividades, métodos, transformações e práticas que norteiam pessoas na produção de um software (REZENDE, 2005). O presente projeto contempla a engenharia de software como metodologia de desenvolvimento, manutenção e gestão, por que abrange todo o processo de desenvolvimento, do começo ao fim (PRESSMAN, 1995).

O paradigma de desenvolvimento seguido foi a prototipação como mostra a figura 1, pois atende dois grandes requisitos pertinentes a implementação do software. O primeiro diz a velocidade de desenvolvimento, no sentido de propiciar-se o usuário uma visão mais real do software que será projetado. O segundo é o envolvimento do usuário à medida que o desenvolvimento do software evolui (TOSING, 2008). Figura 1 Diagrama de Paradigma de Prototipação. Fonte: (TOSING, 2008).

2.3. Plataforma.NET Framework O.NET Framework é um projeto da Microsoft para desenvolvimento de aplicações que visam à abstração de vários códigos para um interesse comum, podendo ser utilizado em vários projetos. O programador escreve o código especificamente para a plataforma.net e não para um sistema operacional específico, com isso ganha-se portabilidade da aplicação, onde o aplicativo gerado pode ser executado em qualquer dispositivo que contenha.net Framework. A plataforma foi criada para atender certos objetivos como, consistência na programação no paradigma orientação a objeto, minimizar conflitos em ambientes de execução, implantação e versionamento, atender aos padrões de comunicação dados das tecnologias atuais e garantir que os códigos baseados em.net Framework possam se integrar a qualquer outro código (LIMA, 2002). O desenvolvimento da aplicação de interface natural de usuário utilizou esta tecnologia, pois esta agrega valor, interoperabilidade confiabilidade com os outros sistemas, visto que a aplicação é executada em uma camada acima do sistema operacional. 2.4. Linguagem de Programação C# O avanço da tecnologia exige um grande esforço do desenvolvedor no que tange a criação e implementação de aplicativos para os sistemas operacionais atuais. Novos conceitos e paradigmas surgem e dificuldades são encontradas para o desenvolvimento. Algumas dessas dificuldades são associadas à linguagem de programação escolhida para o desenvolvimento da aplicação. A linguagem de programação escolhida para o desenvolvimento foi o C# 3,, que é uma evolução da linguagem Microsof C e Microsoft C++ (GUIMARÃES, 2011). A linguagem de programação C# é uma linguagem de programação orientada a objeto criada pela empresa Microsoft, que permite o desenvolvimento de aplicações para sistema operacional Windows, aplicações para internet, implementação de Web Service, aplicações console, entre outras. Assim como o framework.net, a linguagem faz parte do Visual Studio. É uma linguagem recente, derivada do C/C++, e foi desenvolvida para trabalhar especialmente para a plataforma.net (LIPPMAN, 2003). 3 C# Pronuncia-se C Sharp.

2.5. Microsoft Kinect O sensor Kinect Microsoft, como mostra a figura 2, é um dispositivo (acessório) de interação natural, desenvolvido para ser utilizado em um console de vídeo game da empresa Microsoft, o Xbox360. O nome Kinect é uma junção de um termo grego kínésis (que significa movimentar ou mover) com connect (que em inglês se refere ao ato de conectar). Ele tem por função, realizar o mapeamento do movimento corporal e transferir de forma digital para o console. Pode ser considerado um verdadeiro sistema de detecção de gestos e movimentos. Conta também com microfones que são utilizados para detecção da voz do usuário ou jogador (PROGRAMMING GUIDE, 2010). O Kinect é uma barra horizontal conectada a uma pequena base com um pivô motorizado e é designado a ser posicionada pouco acima ou pouco abaixo da tela. Formado por uma câmera RGB 4, um sensor de profundidade e um microfone e rodando um software proprietário, provê uma completa captura tridimensional, reconhecimento facial e vocal (MOUSINHO 2011, p.1). O uso sensor Kinect apresentado neste projeto é fundamental, pois é o dispositivo que compõe todo o sistema de identificação de movimentos e gestos. É a partir do sensor que a aplicação recebe os dados gerados e os transforma em informação tangível de ser trabalhada. Figura 2 Microsoft Kinect Fonte: http://www.xbox.com/pt-br/kinect 4 RGB Abreviatura utilizada para Red Green Blue (Vermelho Verde Azul), sistema utilizado na reprodução de cores em dispositivos eletrônicos corrente.

2.6. SDK Kinect O PROGRAMMING GUIDE (2010) descreve o SDK 5 kinect como uma ferramenta de programação para desenvolvedores de aplicativos, permitindo o acesso fácil aos recursos oferecidos pelo dispositivo Kinect Microsoft. Ele possui todo o suporte necessário para o desenvolvimento de aplicações para o Kinect Microsoft, incluindo drives de instalação, documentação técnica divida em tópicos com mais de 100 páginas de instruções detalhadas para a maioria das funcionalidades do dispositivo. É através do SDK que foi tratado o acesso às fluxos de dados gerados pelo Kinect Microsoft, além da capacidade de controlar a angulação do dispositivo. 2.7. Transformação de Sistema de Coordenadas A transformação do sistema de coordenadas é um conceito de computação gráfica utilizado na aplicação para mapear as coordenadas da janela de visualização para área de trabalho do computador. Utiliza-se a transformação de sistema de coordenadas do mundo real, que é usado para representar um ambiente de interatividade criado para usuário, para o sistema de coordenada da porta de visão, que é a área de trabalho do computador (BUENO, 2011). A técnica utilizada na aplicação é a especificação de uma área retangular chamada área de controle que irá representar as coordenadas da área de trabalho. Para realização deste intento será conseguido através da utilização da equação: Onde, xd é o ponto de coordenada destino, xdi é o ponto inicial da coordenada do ponto de destino, xdf é o ponto final da coordenada do ponto de destino, xm é o ponto de coordenada do mundo real, xmi é o ponto inicial da coordenada do mundo real e xmf é o ponto final da coordenada do mundo final (FOLEY, 1996). 5 SDK Sigla utilizada para Software Development Kit (ou Software Developers Kit pacote de desenvolvimento de software), é um pacote que permite os desenvolvedores criar aplicativos para uma plataforma específica.

3 DESENVOLVIMENTO 3.1. O Sistema O sistema desenvolvido foi batizado com o nome de NUI UNIS e tem por finalidade interpretar os gestos do usuário e realizar ação. Está ação pré-determinada e específica. Possui duas funções que são chamadas modos de operação, o modo apresentação de slides e controle de computador. A iniciação do sistema só é concedida se o sensor Kinect estiver corretamente instalado e configurado, caso não atenda a nenhum desses requisitos, a aplicação emitirá uma mensagem de erro e fechará. A aplicação consegue reconhecer os gestos com uma distância mínima de um metro até quatro metros. Apesar de o sensor Kinect reconhecer duas pessoas, apenas uma pessoa deve ficar em frente ao aparelho para que não haja interferência de identificação de usuário. 3.2. Tela Principal A tela inicial do sistema, figura 4, tem uma apresentação em tempo real do que o sensor Kinect está enviando para a aplicação, isso foi definido para que o usuário possa ter um feedback do que está acontecendo na aplicação. A forma escolhida para apresentação dos dados segue o mesmo padrão escolhido por Blake (2011), onde os controles são destacados por elipses de cor vermelha, alterando o formato caso atenda a uma ação específica. Contém também, uma barra de menus onde cada opção é representada por ícones, para acesso as configurações e controle de funções com a qual se deseja trabalhar.

Figura 4 Tela principal do sistema. Fonte: Próprio Autor. 3.3. Menu de Configurações Possui uma tela de configurações, figura 5, onde o usuário deverá salvar as preferências que se tornará padrão para o sistema. Logo que o sistema é iniciado ele recupera as informações de configuração e ajuste. Essas informações são transferidas para a aplicação e para o sensor Kinect. Possui o modo de operação inicial, que define qual a funcionalidade a aplicação iniciará. A tela contém os ajustes da caixa de controle, como dito anteriormente, tem a função limitar a área de atuação para controle do computador. As distâncias informadas nessa caixa de controle são medidas em pixels.

O usuário poderá definir a angulação inicial do sensor Kinect, limitado a 27 graus para cima e 27 graus para baixo. Essa movimentação está limitada a 2 toques a cada 15 segundos. Essa limitação é imposta pelo SDK Kinect para evitar o esforço excessivo das engrenagens do sensor. Possui também a possibilidade de especificar a distancia que ativa a ação da função específica. Essas distâncias são medidas em metros e tem como ponto de origem a cabeça. Essas configurações se fazem necessário, pois é considerado que a aplicação poderá ser utilizada em vários ambientes e diferentes situações. Figura 5 Tela de configurações do sistema. Fonte: Próprio Autor.

3.4. Variáveis de Retorno Como complemento de informação ao usuário, a aplicação dispõe de uma tela específica que demonstra as distâncias no plano gerado pelo sensor Kinect, como mostra a figura 6. Essas distâncias estão em unidades de metros e contempla as coordenadas em 3 dimensões, para a cabeça, mão direita e mão esquerda. As informações são apresentadas em tempo real e com precisão. Essas informações são de fundamental importância para que o usuário possa se posicionar melhor em relação ao sensor Kinect e tirar maior proveito das funcionalidades da aplicação. Figura 6 Tela de apresentação de variáveis principais do sistema. Fonte: Próprio Autor. 3.5. Funções Pré-Estabelecidas A aplicação possui duas funções pré-estabelecidas que podem ser alternadas através do menu na tela principal do sistema. Essas funções são chamadas de modos de operação. Como dito anteriormente as funções funcionam de modo alternado, isto é, não podem ser acionadas ao mesmo tempo. Com isso evitou-se o alto custo no processamento das funções, evitando que a aplicação trave ao interpretar o comando ou causar lentidão na interpretação. Os modos de operação definidos são modo de apresentação de slides e modo de controle de computador.

3.5.1. Modo Apresentação de Slides Este modo de operação tem por finalidade utilizar gestos dos braços e as mãos para avançar ou retroceder apresentações no computador. A lógica utilizada para essa função é calcular o distância que a mão direita ou esquerda afasta perpendicularmente em relação à cabeça. Essa distância é pré-definida na tela de configurações e é calculada em metros. Essa configuração se faz necessária para que o usuário tenha a liberdade de ajustar o melhor ponto de acionamento de acordo com a distância ideal desejada, para que no momento da apresentação o usuário possa se movimentar e não acionar o comando indevidamente. Afastando-se a mão direita perpendicularmente para a direita em relação à cabeça ativa-se a ação de avançar o slide. Afastando-se a mão esquerda perpendicularmente para a esquerda em relação à cabeça ativa-se a ação de retroceder slide. A dificuldade encontrada nesse modo de operação, o movimento das mãos que mais se adequa para o avanço e retrocesso dos slides, de maneira que ao realizar o movimento, fique o mais natural possível. 3.5.2. Modo Controle de Computador O modo de operação de controle de computador simula a utilização do mouse do computador, utilizado os gestos do braço da mão direita para mover o cursor e a mão esquerda para simular o clique do mouse. Para essa função foi utilizada o cálculo da distância em que a mão direita avança frontalmente em relação à cabeça para ativar o controle do computador e simular a movimentação do mouse. Na implementação dessa função, encontrou-se, uma grande dificuldade para o movimento das mãos alcançarem toda a área de trabalho do computador e simular o movimento do mouse. Para gerar essa simulação e suavizar os movimentos, como dito anteriormente, foi utilizada a técnica de transformação de coordenadas, também utilizada na área de conhecimento de computação gráfica, com isso, o usuário poderá acessar os itens existentes na área de trabalho do computador.

Utilizando-se dessa mesma lógica, o movimento frontal em relação à cabeça para a mão esquerda, simula o clique do botão esquerdo do mouse. O modo Controle de Computador comtempla as funções básicas de acesso aos itens do computador. 4 CONCLUSÃO Este trabalho teve como proposta o desenvolvimento de uma aplicação prática de interface natural de usuário utilizando o dispositivo Microsoft Kinect. Obteve-se resultado satisfatório no desenvolvimento da aplicação. A transmissão de uma ação humana através de gestos e expressões corporais torna-se complexa e dispendiosa. Isso se dá pelo fato da complexidade do processo de comunicação humana. A utilização do sensor Kinect foi de fundamental importância, pois facilita os cálculos e a identificação da posição dos membros corporais (cabeça e mãos), visto que o sensor tem funções implementadas específicas para este fim. Foi detectada que o SDK da Microsoft apesar da facilidade no desenvolvimento, é uma versão de testes e tem-se melhorar a sua precisão nos cálculos. Como melhoria na aplicação, pode-se melhorar a precisão no controle do computador assim que o SDK Kinect for atualizado, além de suavizar ainda mais o movimento do mouse do computador, bem como melhorar a interpretação dos gestos para avançar ou retroceder os slides. Pode-se ainda implementar o movimento de acesso que simula o botão direito do mouse.

A PRACTICAL APPLICATION OF NATURAL USER INTERFACE WITH MICROSOFT KINECT ABSTRACT This Scientific Article describes the development of an practical application of natural user interface using the Microsoft Kinect device. The objective of this article it s applying the concepts that was been acquires during this course, to implement the software, capable of the computer controlling, with gests driven by the arms and hands. This intent was achieved by using a device that was developed for this goal, the Kinect. The implementation evidenced the complexity of the human communication process and the difficulty to transmit this communication for a computer. Key Words : Kinect Sensor. Natural User Interface. Software.

REFERÊNCIAS BARTHET, Marie-France. Logiciels interactifs et ergonomie: modèles e méthodes de conception. Paris: Dunod, 1988. BLAKE, Joshua. Kinect PowerPoint Control. Disponível em: <http://kinectpowerpoint.codeplex.com/>. Acesso em: 13 out. 2011. BUENO, Márcio; SOUSA, Robson Pequeno de; LINS, Robson. Transformações 2D. Disponível em: <http://marciobueno.com/arquivos/ensino/cg/cg_05_transformacoes_2d.pdf>. Acesso em: 12 nov. 2011. FOLEY, James D. et al. Computer graphics: principles and practice: Second Edition in C. 2ª Ed. United States: Addison-wesley, 1996. 1175 p. GUIMARÃES, Rentado. Conceitos Básicos de Programação e Introdução ao C#. Disponível em: <http://msdn.microsoft.com/pt-br/vcsharp/gg252001.aspx>. Acesso em: 10 set. 2011. INTERFACES NATURAIS Disponível em: <http://www.eps.ufsc.br/disserta/hugo/cap_2/cp2_hug.htm>. Acesso em: 20 set. 2011. LIMA, Edwin. C# e.net - Guia do Desenvolvedor. 1ª Ed. Rio de Janeiro: Campus, 2002. 358 p. LIPPMAN, Stanley B.. C# Um Guia Prático. 1ª Ed. Porto Alegre: Bookman, 2003. 309 p. MICROSOFT.Net Framework, o que é isso e para que serve? Disponível em: <http://dicasdainformatica.blogspot.com/2011/04/microsoft-net-framework-o-que-e-issoe.html#ixzz1batdxanc>. Acesso em: 12 set. 2011. MOUSINHO, Lucas. Sobre o Kinect. Disponível em: <http://www.portalkinext.com/kinect/saiba-um-pouco-mais-do-sensor-da-microsoft.html>. Acesso em: 04 nov. 2011. NATURAL User Interface Disponível em: <http://en.wikipedia.org/wiki/natural_user_interface>. Acesso em: 05 set. 2011. PRESSMAN, Roger S.. Engenharia de Software: Uma abordagem profissional. 3ª Edição São Paulo - Sp: Makron Books, 1995. 1056 p. PROGRAMMING GUIDE. Getting Started with the Kinect for Windows SDK Beta from Microsoft Reserch. Disponível em: <http://research.microsoft.com/enus/um/redmond/projects/kinectsdk/guides.aspx>. Acesso em: 10 ago. 2011.

REZENDE, Denis Alcides. Engenharia de Software e Sistemas de Informação. 3ª Edição Rio de Janeiro: Brasport, 2005. 316 p. TEBBUTT, David. In touch with tomorrow. In PC PRO, Feb 1995, p. 206-11. Dennis Publication, United Kingdom. TOSING, Sérgio Luiz. Engenharia de Software: Análise e Projeto de Sistemas. 2ª Ed. Rio de Janeiro: Ciência Moderna, 2008. 318 p.