Desenvolvimento de Aplicações com uso de Interação Natural: Um Estudo de Caso voltado para Vídeo Colaboração em Saúde

Transcrição

1 UNIVERSIDADE FEDERAL DA PARAÍBA CENTRO DE CIÊNCIAS EXATAS E DA NATUREZA DEPARTAMENTO DE INFORMÁTICA CURSO DE BACHARELADO EM CIÊNCIA DA COMPUTAÇÃO Desenvolvimento de Aplicações com uso de Interação Natural: Um Estudo de Caso voltado para Vídeo Colaboração em Saúde Rafael Henrique Assis de Castro João Pessoa - PB Agosto de 2012

2 UNIVERSIDADE FEDERAL DA PARAÍBA CENTRO DE CIÊNCIAS EXATAS E DA NATUREZA DEPARTAMENTO DE INFORMÁTICA CURSO DE BACHARELADO EM CIÊNCIA DA COMPUTAÇÃO Rafael Henrique Assis de Castro Desenvolvimento de Aplicações com uso de Interação Natural: Um Estudo de Caso voltado para Vídeo Colaboração em Saúde Monografia submetida ao Curso de Graduação em Ciência da Computação da Universidade Federal da Paraíba como parte dos requisitos necessários para obtenção do título de Bacharel em Ciência da Computação. Orientadora: Profa. Dra. Tatiana Aires Tavares João Pessoa - PB Agosto de 2012

3 Rafael Henrique Assis de Castro Desenvolvimento de Aplicações com uso de Interação Natural: Um Estudo de Caso voltado para Vídeo Colaboração em Saúde Monografia submetida ao Curso de Graduação em Ciência da Computação da Universidade Federal da Paraíba como parte dos requisitos necessários para obtenção do título de Bacharel em Ciência da Computação. Aprovado no dia, agosto de 2012 BANCA EXAMINADORA: Prof. Dr. Christian Azambuja Pagot Profª. Drª. Danielle Rousy Dias da Silva Profª. Drª. Tatiana Aires Tavares

4 Dedico este trabalho especialmente à minha família e amigos pelo apoio oferecido na conclusão desta etapa da minha vida.

5 AGRADECIMENTOS Agradeço primeiramente a Deus, pela força e sabedoria recebida durante essa jornada. Agradeço a minha família, por estar sempre ao meu lado, me apoiando e me ajudando a ser uma pessoa melhor. Agradeço também aos professores da Universidade Federal da Paraíba, por todos esses anos de ensino, em especial a professora Dra. Tatiana Aires Tavares pela ajuda na pesquisa e redação desse trabalho. Agradeço aos meus amigos do curso, pelos ótimos momentos vividos durante a graduação e por toda a ajuda recebida durante essa jornada, especialmente Anna e Leandro por terem estado sempre ao meu lado. Por fim, gostaria de agradecer aos amigos que me ajudaram no desenvolvimento desse trabalho, Anna Carolina Soares Medeiros, Bryan Kern e Sarah Soares de Oliveira.

6 "O valor encontra-se em lugares improváveis." John R. R. Tolkien

7 RESUMO A Interação Natural se tornou popular com o advento de jogos para videogame com tecnologias como o Kinect e o Wii. No entanto, seu conceito já faz parte da ficção e da literatura científica. Neste trabalho é abordado desenvolvimento voltado à Interação Natural através de ferramentas que viabilizam o controle e a manipulação de movimentos gerados pelo usuário através do uso do Kinect. O piloto foi desenvolvido no contexto do projeto Vídeo Colaboração em Saúde (GTAVCS) e apresenta uma solução de Interação Natural para manipulação de objetos tridimensionais em um sistema de telemedicina. Palavras-chave: Interação Natural, Kinect, Manipulação 3D, Sistemas de Telemedicina.

8 ABSTRACT The Natural Interaction became popular with the advent of videogames with technologies like the Kinect and the Wii. However, its concept is already part of fiction and scientific literature. In this work it is addressed the development focused on Natural Interaction through tools that enable the control and manipulation of movements user generated using the Kinect. The pilot was developed in the context of the project Video Collaboration in Health (GTAVCS) and presents a solution using Natural Interaction for three dimensional objects in a telemedicine system. Key-words: Natural Interaction, Kinect, 3D Manipulation, Telemedicine Systems.

9 Lista de Figuras Figura 1 - SwissRanger SR Figura 2 - Dispositivo Háptico PHANTOM Omni da Sensible Figura 3 Dispositivos comenrciais para interação natural. Em (a) observamos o controle Nunchuck (Expansão do Wii Remote - Esquerda) e em (b) os controles do Wii - Wii Remote (Direita) Figura 4 - PlayStation Eye Figura 5 Dispositivos comerciais para interação natural. Em (a) Controle Adicional com Joystick e em (b) Controles PS Move - Controle de Movimento Figura 6 - Componentes do Kinect Figura 7 - Funcionamento do Kinect Figura 8 - Visão do Conceito do OpenNI Figura 9 - Interação Entre o Hardware, a Biblioteca e a Aplicação Figura 10 - Arquitetura Kinect SDK Figura 11 - Diagrama Casos de Uso UML para o Módulo de Manipulação 3D da Arthron.. 33 Figura 12 Visão de Módulos da Aplicação. Nesta figura observamos os principais módulos da aplicação: Screen, Tracker, Gesture, Renderer e Object 3D. Destacamos que para o funcionamento da aplicação é necessário o uso de todos os módulos, no entanto, neste trabalho o foco em termos de desenvolvimento está centrado nos módulos Renderer e Object 3D Figura 13 - Diagrama de Classes Figura 14 - Escolha do Modelo Figura 15 - Interface do Programa Figura 16 - Modelo Sendo Rotacionado Figura 17 - Imagem para o Rastreio da Primeira Mão Figura 18 - Figura para o Rastreio da Segunda Mão Figura 19 - Versão com Botões no Topo... 43

10 Figura 20 - Versão com Botões no Inferior Figura 21 - Primeira Versão das Animações Figura 22 - Segunda Versão das Animações Figura 23 - Painel de Informação Figura 24- Gráfico de CSUQ da Segunda Fase de Testes Figura 25 - Gráfico de CSUQ da Terceira Fase de Testes... 49

11 Lista de Siglas NI - Natural Interface IHC - Interfaces Humano-Computador LAVID - Laboratório de Vídeos e Aplicações Digitais GTAVCS - Grupo de Trabalho em Vídeo-Colaboração em Saúde LASID - Laboratório de Sistemas Digitais LARQSS - Laboratório de Arquitetura e Sistemas de Software HULW - Hospital Universitário Lauro Wanderley RNP - Rede Nacional de Ensino e Pesquisa RUTE - Rede Universitária de Telemedicina GUI - Graphical User Interfaces NUI - Interface Natural de Usuário WIMP - Window, Icon, Menu, Pointer OpenNI - Open Natural Interaction API - Application Programming Interface SDK - Software Development Kit SBTVD Sistema Brasileiro de Televisão Digital HUUFMA Hospital Universitário da Universidade Federal do Maranhão UFT Universidade Federal do Tocantins

12 Sumário Introdução Motivação Objetivos Trabalhos Correlatos na Instituição Estrutura da Monografia Desenvolvimento com Interação Natural Evolução da Interação Tecnologias para Interação Natural Telas Sensíveis ao Toque Reconhecimento de Gestos/Movimentos Háptico Reconhecimento de Fala Dispositivos para Interação Natural Como Funciona o Kinect Desenvolvimento utilizando Kinect Desenvolvendo para o Kinect Framework Open NI Desenvolvendo para o Kinect SDK da Microsoft Trabalhos Correlatos Identificação e Localização em Tempo Real de Partes do Corpo a partir de Imagens de Profundidade Uma Interface de Computador Orientada a Gestos Usando Kinect Análise Comparativa Desenvolvimento do Piloto Modelo Conceitual Modelo Arquitetural Detalhes de Implementação... 35

13 Criação do Rastreio e Definição da Mão Principal e da Secundária Atualização da Posição da Mão e as Ações de Interação Perda do Rastreio Instruções Interface de Usuário Validação (Testes com Usuário) Primeira Fase de Teste Segunda Fase de Testes Terceira Fase de Testes Consideração Finais Resultados Obtidos Contribuições Trabalhos Futuros Referências... 52

14 13 Capítulo 1 Introdução A Interação Natural trata de criar sistemas que entendem ações naturalmente utilizadas pelas pessoas para se comunicar, enquanto permite aos usuários interagir entre eles e com o ambiente a seu redor [1]. Por usar ações comumente utilizadas na vida real, a Interface Natural persuade os usuários que eles não estão lidando com o abstrato, mídia digital, e sim com o físico, objetos reais. Diminuindo assim a carga cognitiva, resultando em uma maior atenção ao conteúdo [1]. O desenvolvimento com de trabalhos de pesquisa e aplicações com Interação Natural está cada vez mais frequente. É possível ver vários exemplos nos seus mais variados modos, como: telas de multitoque em [2] e [3] e, reconhecimento de fala em [4], expressões faciais em [5] e movimentos/gestos em [6] e [7]. O mundo dos jogos eletrônicos causou grande popularização da Interação Natural, com o lançamento de dispositivos que permitem a sua utilização nos jogos. Iniciado em 2003 pelo lançamento da Sony do EyeToy para o PlayStation 2, tipo de webcam usada para reconhecimento de gestos para os jogos. Em 2006 a Nitendo lançou o seu novo console, o Wii, utilizando controles com sensores de movimento, tornando a nova experiência de se utilizar gestos em jogos em algo muito popular e desejável. Quatro anos depois a Sony lança o PlayStation Move que são controles com sensores de movimentos, mas para uma melhor precisão utiliza também processamento de imagens com a ajuda do PlayStation Eye, o sucessor para o PlayStation 3 do EyeToy. Meses depois a Microsoft lança para o seu console Xbox360, o Kinect, onde não há a necessidade de controles físicos, permitindo com precisão o uso de movimentos para a interação. O lançamento dessas tecnologias trouxe também avanço à pesquisa com Interação Natural, iniciaram-se diversos projetos utilizando os equipamentos lançados para os consoles, como pode ser visto em [8] e [9].

15 14 O surgimento de APIs que favorecem o desenvolvimento de aplicações voltada para Interação Natural possibilitou um grande avanço no desenvolvimento de sistemas intuitivos, visto que as mesmas facilitam a produção desses sistemas. E com o Kinect tem-se um equipamento que possibilita o uso de imagens com informações de profundidade permitindo o uso de análise de movimento e gestos com mais facilidade e menor poder computacional. Com essa promissora tecnologia à preço acessível iniciou-se o estudo e desenvolvimento de aplicações utilizando o Kinect, auxiliados posteriormente pelo surgimento de Frameworks e APIsnão oficiais, a Microsoft lançou o SDK(Software Development Kit) oficial somente meses depois do lançamento do Kinect. A Interação Natural tem um potencial enorme, tanto no mundo do entretenimento como no mundo científico. Ela permite sistemas com controle mais intuitivo, promove maior imersão, além de apresentar diversas novas possibilidades, como permitir o uso de sistemas sem necessidade de entrar em contato físico com dispositivos, o que se torna muito útil em algumas situações, por exemplo salas cirúrgicas. O presente trabalho visa investigar o desenvolvimento de aplicações que utilizam-se da interação natural como interface de usuário. Sendo desenvolvido um protótipo de uma aplicação no cenário de Saúde, que utiliza a tecnologia Kinect para proporcionar ao usuário o controle de objetos tridimensionais utilizando linguagem gestual Motivação O uso de Interação Natural permite outras formas de comunicação com a máquina, como através do uso de expressões, gestos e fala, ações essas naturais na comunicação humana; ao contrário do que se tinha com somente o mouse e o teclado como meios de entrada. O desenvolvimento para Interação Natural gera novas possibilidades para Interação Homem-Máquina, tornando o processo mais intuitivo. Isso gera uma maior liberdade e facilidade no uso do sistema, permitindo ao usuário maior atenção ao conteúdo do que ao modo de uso. Com a evolução e popularização da Interação Natural nos consoles de jogos eletrônicos, tem-se a possibilidade de utilizar equipamentos de qualidade que permitem a interação através de movimento a custo acessível. Utilizando-se do Kinect, dispositivo lançado para o console da Microsoft Xbox360, que permite a captação de imagens com informações de profundidade, para permitir através

16 15 do sistema GTAVCS (Grupo de Trabalho em Vídeo-Colaboração em Saúde) a manipulação de modelos 3D com o uso de reconhecimento de movimento não necessitando o contato físico com nenhum dispositivo Objetivos Este trabalho tem como objetivo geral investigar o desenvolvimento de aplicações que utilizam-se da interação natural como interface de usuário. Como prova de conceito foi desenvolvido um protótipo de uma aplicação no cenário de Saúde, que utiliza a tecnologia Kinect para proporcionar ao usuário o controle de objetos tridimensionais utilizando linguagem gestual. Além disto, tem-se como objetivos específicos: Objetivo 1. Levantamento do estado da arte em Interação Natural. Objetivo 2. Investigação de tecnologias (APIs) para interação natural. Objetivo 3. Avaliação de tecnologias disponíveis para implementação de aplicativos com Interação Natural. Objetivo 4. Desenvolvimento de um piloto para poder validar a proposta deste trabalho. Objetivo 5. Testes e avaliação do piloto desenvolvido Trabalhos Correlatos na Instituição O Laboratório de Vídeos e Aplicações Digitais (LAVID) tem desenvolvido iniciativas com o objetivo de explorar novas áreas dentro de Sistemas Multimídia, especialmente jogos e novas formas de interação. Dentro dessas iniciativas destacamos o GTAVCS (Grupo de Trabalho em Vídeo Colaboração em Saúde) [10]. O GTAVCS é uma iniciativa conjunta dos laboratórios LAVID (Laboratório de Aplicações de Vídeo Digital), LASID (Laboratório de Sistemas Digitais) e LARQSS (Laboratório de Arquitetura e Sistemas de Software) da UFPB. Este grupo de trabalho foi aprovado no Edital de Grupos de Trabalho da RNP (Rede Nacional de Ensino e Pesquisa). Durante a primeira fase do GTAVCS foi proposta uma infraestrutura de hardware e software com gerência remota para captura e distribuição segura de múltiplos fluxos simultâneos a fim de prover suporte a diversos cenários de vídeo colaboração em saúde. Através de experimentos realizados dentro do Hospital Universitário Lauro Wanderley

17 16 (HULW, na UFPB) em conjunto com outras universidades, tais como: Universidade Federal do Tocantins (UFT), demonstrou-se o potencial agregador do protótipo desenvolvido na primeira fase do GTAVCS. O serviço proposto à RNP através do projeto GTAVCS Fase II tem como foco aprimorar e melhorar o atual o serviço de transmissão de cirurgias ao vivo (desenvolvido na Fase I) e, sobretudo, desenvolver serviços adicionais para o apoio à atividade de ensino e aprendizagem baseadas em colaboração e recuperação de informações. O público alvo deste projeto é composto por acadêmicos, professores e profissionais da área de cirurgia dos hospitais escola, em particular, os ligados a RUTE (Rede Universitária de Telemedicina). Para Fase II deste GTAVCS, como parte do processo de avaliação dos resultados ao longo do desenvolvimento, vamos contar com o apoio dos integrantes de um SIG (Grupo de Interesse Especial da RUTE) que envolve o HULW, o HUUFMA e o núcleo RUTE da UFT Estrutura da Monografia Este projeto está estruturado em cinco capítulos: (i)introdução; (ii) Fundamentação Teórica; (iii) Trabalhos Correlatos; (iv) Estudos de Casos; e (iv) Considerações Finais. O Capítulo 1 (Introdução) destina-se a contextualizar o projeto sucintamente, descreve o problema encontrado e qual a solução proposta, expõe os objetivos gerais e específicos a serem atingidos com este trabalho. O Capítulo 2 (Fundamentação Teórica) apresenta conceitos necessários e relevantes para o entendimento da problemática e da solução da aplicação desenvolvida. Além de entender melhor o processo de análise de interface para a proposta do trabalho. O Capítulo 3 (Trabalhos Correlatos) mostra alguns trabalhos de desenvolvimento com rastreio ou reconhecimento de movimentos fazendo uma análise comparativa. O Capítulo 4 (Desenvolvimento do Protótipo) apresenta como o trabalho foi desenvolvido e mostra com detalhes o seu funcionamento. Por fim, o Capítulo 5 (Considerações Finais) conclui exibindo os resultados que foram alcançados com este projeto e possibilidades futuras para avançar na pesquisa.

18 17 Capítulo 2 Desenvolvimento com Interação Natural Neste capítulo é apresentada uma visão geral das tecnologias para o desenvolvimento voltado a Interação Natural. Primeiramente é apresentado o conceito de Interação Natural e a evolução da Interação que fundamenta o presenta trabalho. Em seguida, são apresentadas as tecnologias em termos de hardware e software voltadas para o mesmo contexto. 2.1.Evolução da Interação Interação Homem-Computador é a disciplina que se preocupa com o planejamento, avaliação e implementação de sistemas computacionais interativos para o uso humano e com o estudo dos fenômenos mais importantes que os rodeiam [11]. Antes da Interação Natural a evolução dessa área era dividida em três eras: Computação em Lote, Interface de Linhas de Comando e Interface Gráfica de Usuário (GUI - Graphic User Interface). A interação na Computação em Lotes dava-se através do uso de cartões perfurados como entrada ou fitas K7 e saída era por meio de impressora. Com o uso das Interfaces de Linhas de Comando, passou-se como modelo de interação uma série de transações de pedido e resposta, com os pedidos expressados em comandos de texto em um vocabulário especializado.com os computadores capazes de exibir gráficos e com o mouse como mais um método de entrada surgiu então as Interfaces Gráficas [12]. A Interface Natural de Usuário (NUI - Natural User Interface) é o mais novo modelo de interface, onde procura-se criar sistemas que entendem ações que são naturais ao usuário, como gestos, expressões e movimentos [1] Tecnologias para Interação Natural Como pode ser visto em [13]se tem muitos modelos diferentes de interação natural em desenvolvimento, abaixo são mencionados algumas dessas formas de interação.

19 Telas Sensíveis ao Toque Telas Sensíveis ao Toque permitem o usuário a interagir diretamente com o que está sendo exibido. Essa tecnologia já é muito utilizada atualmente, principalmente em smartphones e tablets. Microsoft Surface 2.0 SDK [14] proporciona APIs para o desenvolvimento de aplicações com interação por toque. As aplicações desenvolvidas com o Surface SDK podem ser executados em dispositivos feitos para o Surface 2.0 e em computadores com Windows Reconhecimento de Gestos/Movimentos Permite o uso de gestos como modo de interação com o sistema. Atualmente existe diversos sensores de profundidade, como câmeras time-of-flight. Sensores time-of-flight fornecem medições de profundidade para todos os pontos da cena em alta taxas de frames medindo o tempo que um sinal de luz leva para chegar a uma superfície em todos os pontos da imagem. Exemplo de sensor time-of-flight é o SwissRanger SR4000 da Mesa Imaging [15]. Figura 1 - SwissRanger SR4000 Graças ao investimento das empresas de jogos eletrônicos no uso de interação natural, hoje é possível o reconhecimento de movimentos de forma mais acessível. Com o lançamento do Kinect, é possível o desenvolvimento com tal forma de interação por menos de 200 dólares Háptico Tecnologia que possuindo feedback de força permitindo interação com sensação de tato. Para a criação de sistemas hápticos, é possível usar o toolkit OpenHaptics [16] para desenvolvimento com dispositivos hápticos PHANTOM da Sensable [17].

20 19 Figura 2 - Dispositivo Háptico PHANTOM Omni da Sensible Reconhecimento de Fala Proporciona a tradução da fala para texto, permitindo o uso de comandos de voz como modo interação como sistema.os sistemas Windows Vista e 7 possuem o Windows Speech Recognition que permite o controle do computador usando comando de vozes. Essa característica pode ser utilizada no desenvolvimento de sistemas com a utilização de API de Fala (Speech API - SAPI) [18] oferecida pela Microsoft Dispositivos para Interação Natural O avanço tecnológico nas diversas áreas do aprendizado sempre tentou implementar dispositivos cujo uso se aproximasse da interação natural, interação esta que não necessitaria de treinamento por parte do usuário para utilizar o dispositivo, pois seus comandos seriam intuitivos. A agregação da interação natural a qualquer sistema o torna muito interessante, por isso mesmo o mercado de jogos se interessou tanto por esse conceito. O uso de movimento como modo de interação no mundo dos jogos pode ser visto a partir do Sony PlayStation 2 em 2003 com EyeToy, utilizando-se de visão computacional e reconhecimento de gestos no processamento das imagens capturadas pela câmera.

21 20 Em 2006 o Nitendo Wii é lançado com a utilização de controles com sensores de movimento como modo de interação, proporcionando melhor jogabilidade do que era mostrado no sistema da Sony que fazia seu reconhecimento de movimentos a partir de imagens. O Wii tornou popular o novo modo de jogar, usando gestos como comando. Figura 3 Dispositivos comenrciais para interação natural. Em (a) observamos o controle Nunchuck (Expansão do Wii Remote - Esquerda) e em (b) os controles do Wii - Wii Remote (Direita). (a) (b) A Sony lançou em 2007 o PlayStation Eye, a versão do EyeToy para o seu novo console, o PlayStation 3, possuindo o dobro da sensibilidade do seu antecessor. Três anos depois a Sony lança o PlayStation Move, controles com sensores de movimento, que utilizados juntamente com o PlayStation Eye, mesclando os sensores com o rastreamento por imagem permitiu uma grande precisão no rastreamento dos movimentos.

22 21 Figura 4 - PlayStation Eye Figura 5 Dispositivos comerciais para interação natural. Em (a) Controle Adicional com Joystick e em (b) Controles PS Move - Controle de Movimento. (a) (b) Alguns meses depois foi lançado pela Microsoft o Kinect, que trazia ao mundo dos jogos um sistema que não exigia o uso de controles físicos e que permitia grande precisão no reconhecimento de movimentos, possível através do uso de uma câmera que produz imagens de profundidade (que possuem informações de profundidade). A tecnologia do sensor de profundidade por trás do Kinect foi desenvolvido em 2005 pelo grupo de pesquisadores israelenses Zeev Zalevsky, Alexander Shpunt, Aviad Maizels e

23 22 Javier Garcia [19], dois dos quais são fundadores da empresa de interação natural PrimeSense [20]. A PrimeSense desenvolveu um sistema que interpreta gestos específicos, tornando possível o controle de dispositivos eletrônicos a mãos livres através de um projetor infravermelho, uma câmera e um microchip especial que rastreia o movimento de objetos e indivíduos em três dimensões. A este sistema 3D nomeado de Light Coding emprega uma variante de reconstrução 3D baseada em imagens [21]. O software utilizado no Kinect foi desenvolvido pela Rare, empresa subsidiaria da Microsoft. Em 2009 foi anunciado o Kinect, ainda sob o nome de Projeto Natal, e em 2010 foi lançado como Kinect. Diferentemente do sistema original Light Coding o processamento dos dados provenientes do Kinect é feito fora do dispositivo, tomando como referencia o XBOX 360 da Microsoft, o consumo do Kinect é menos de 10% da capacidade do processador de tal console. Figura 6 - Componentes do Kinect O lançamento do Kinect abalou não somente a industria de videogames como também interessou muitos pesquisadores e desenvolvedores curiosos com a nova gama de possibilidades aberta pela interação natural. Diversas pesquisas e trabalhos de caráter acadêmico já eram realizados em cima desses dispositivos voltados para o mundo dos jogos, como o estudo do uso do EyeToy, em [9] e [22], e do Wii, em [8] e [23], na reabilitação de pessoas que sofreram derrame.

24 23 O mesmo acontece com o Kinect, após seu lançamento iniciaram-se vários trabalhos que o utilizavam para adicionar Interação Natural às mais diversas aplicações, como exemplos de trabalhos com Kinect podem ser citados [24], onde se usa o Kinect para rastrear a mão e assistir na animação do avatar da mão em aplicação com uso de dispositivo háptico (permite a sensação de toque), e [25] onde há o uso do Kinect para a reabilitação de vítimas de derrame Como Funciona o Kinect O sensor de profundidade do Kinect é composto por duas partes: um projetor e uma câmera VGA de Infravermelho (IR - Infrared). O projetor emite um laser pelo ambiente de visão, que a câmera capta para criar o campo de profundidade, que é a imagem composta pelos pixels que o Kinect recebe de volta medidos por cores variadas, dependendo da distância que se encontram do sistema [26]. Figura 7 - Funcionamento do Kinect

25 24 Fonte: PrimeSense Natural Interaction [27] O software executa um conjunto de filtros sobre essa imagem, para que o Kinect possa detectar o que é usuário e o que não é, seguindo um conjunto de guidelines que definem o que é necessário para que seja um usuário. A partir daí são feitas a identificação das partes do corpo e dos movimentos realizados Desenvolvimento utilizando Kinect As principais ferramentas utilizadas no desenvolvimento com o Kinect são o framework OpenNI e o SDK oficial lançado pela Microsoft. Nesse trabalho será utilizado o framework OpenNI para o desenvolvimento, por permitir o uso em sistema operacional aberto, no caso o Linux Desenvolvendo para o Kinect Framework Open NI OpenNI (Open Natural Interaction) é um framework multi-plataforma e multilinguagem que define APIs para escrita de aplicações utilizando Interação Natural. Suas APIs são compostas por um conjunto de interfaces para a escrita de aplicações de Interação Natural [28]. O objetivo principal do OpenNI é formar uma API padrão que permite a comunicação entre os sensores de áudio e visão e os middleware de percepção de áudio e visão (componentes de software que analisam os dados de áudio e visão gravados e os compreendem). OpenNI fornece um conjunto de APIs para serem implementadas pelos dispositivos dos sensores e um conjunto de APIs para serem implementadas pelos componentes de middleware [28]. A OpenNI define um conjunto de APIs para serem implementadas pelos dispositivos sensoriais e um outro para os componentes de middleware, quebrando a dependência entre os sensores e os middleware. Permitindo o desenvolvimento de aplicações sem trabalho adicional de aplicações que funcionam com diferentes middlewares, o desenvolvimento de middlewares com utilização de datos em formato bruto para seus algoritmos, independente do sensor e o desenvolvimento de sensores para qualquer aplicação utilize o OpenNI Conceito Geral Na Figura 8é mostrada o conceito por trás do OpenNI que é composto de três camadas independentes:

26 25 Superior: aplicação que utiliza interação natural a partir do OpenNI; Central:representada pela OpenNI, proporciona interfaces de comunicação que interagem com os sensores e com os middlewares; Inferior: composta pelos dispositivos sensoriais. Figura 8 - Visão do Conceito do OpenNI Conceitos Para o Desenvolvimento Módulos A API permite múltiplos componentes serem registrados no framework OpenNI, esses componentes são chamados módulos(modules), e são utilizados para produzir e processar dados sensoriais. Os módulos suportados atualmente são: Módulos de Sensor: Sensor 3D; Câmera RGB; Câmera Infravermelha; Dispositivo de Áudio. Componentes de Middleware:

27 26 Middleware de análise do corpo inteiro; Middleware de análise de ponto da mão; Middleware de detecção de gestos; Middleware analizador de cena Nós de Produção Nós de Produção (Production Nodes) é um conjunto de componentes definidos pelo OpenNI que gerenciam o processo de criação dos dados requeridos pelas aplicações com Interação Natural a partir de dados brutos. Cada nó de produção encapsula a funcionalidade que relaciona com a geração do tipo de dado específico. A API dos nós de produção só definem a linguagem. A lógica da geração de dados deve ser implementada pelos módulos que se conectam a OpenNI. Cada nó de produção tem um tipo, e está relacionado ao sensor ou ao middleware: Sensor: o Dispositivo(Device): representa um dispositivo físico, habilita configuração do dispositivo; o Gerador de Profundidade (Depth Generator): gera um depthmap(imagem que contém informações de profundidade); o Gerador de Imagem (Image Generator): gera image-maps; o Gerador de Infravermelho (IR Genarator): gera image-maps de infravermelho; o Gerador de Áudio (Audio Generator): gera stream de áudio. Middleware: o Gerador de Alerta de Gestos (Gestures Alert Generator):gera callbacks para a aplicação quando gestos específicos são identificados; o Analisador de Cena (Scene Analyser):Analisa a cena, incluindo separação do foreground do background; o Gerador de Ponto da Mão (Hand Point Generator):Suporta detecção e rastreamento de mão; o Gerador de Usuário (User Generator):Gera representação de um corpo em uma cena 3D Recursos

28 27 O OpenNI define recursos (capabilities) opcionais para os nós de produção, permitindo os provedores de middleware ou dispositivos decidirem se implementam ou não tais recursos. Recursos suportados atualmente pela OpenNI: Visão Alternativa (Alternative View): Permite qualquer tipo de gerador de map transformar seus dados para aparecerem como se o sensor estivesse em outro lugar (representado por outro production node, normalmente outro sensor); Recorte (Cropping): Permite um gerador de map a ter como saída uma área selecionada do frame em vez do frame todo; Sincronia de frame (Frame Sync): Permite dois sensores produzindo frame data sincronizarem seus frames para que eles cheguem ao mesmo tempo; Espelhar (Mirror): Permite espelhamento dos dados produzidos por um gerador; Detecção de Pose (Pose Detection): Permite um user generator reconhecer quando um usuário está em uma posição específica; Esqueleto (Skeleton): Permite um user generator ter como saída skeletal data do usuário. Esses dados incluem a localização das articulações do esqueleto e a habilidade de rastrear as posições do esqueleto; Posição do Usuário (User Position): Permite um depth generator otimizar o depth map de saída que é gerado para uma área específica da cena; Estado de Erro (Error State): Permite um nó reportar que está em um estado de erro; Bloqueio Conciente (Lock Aware): Permite o nó ser travado fora do limite do contexto Desenvolvendo para o Kinect SDK da Microsoft A Microsoft lançou em junho de 2011 um SDK (Software Development Kit) para o Kinect. O SDK proporciona APIs e ferramentas para o desenvolvimento de aplicações com o Kinect para o sistema operacional Windows nas linguagens C++ e C#. Os componentes do SDK, listados na sua documentação [29], são: Kinect; Drivers e documentação técnica para implementar aplicações que usam

29 28 APIs de referência e documentação para a programação em C# e C++; Samples (amostras) que demonstramboas práticas para usar o Kinect; Códigos de exemplo que divide as samples em tarefas do usuário Funcionalidades Kinect SDK 1.0 A primeira versão do SDK trazia como funcionalidades: Fluxos de dados brutos dos sensores; Rastreamento do esqueleto (skeleton) de até duas pessoas; Identificação da localização fonte de som e integração com a API de Reconhecimento de Fala do Windows Kinect SDK 1.5 Na versão seguinte (1.5) foram adicionados as seguintes funcionalidades: Kinect Studio: ferramenta que permite gravar e reproduzir dados gerados pelo Kinect para ajudar no desenvolvimento; Rastreamento do Esqueleto Próximo: possível o rastreio quando o Kinect está próximo do usuário; Rastreamento do Esqueleto Sentado: Rastreio somente das articulações (joints) da cabeça, ombros e braços, ignorando as do quadril e das pernas. Orientação das Articulações: oferece informações sobre a rotação das articulações; Novas Linguagens são adicionadas ao Reconhecimento de Fala; Rastreamento de Face SDK (Face Tracking SDK) que fornece as seguintes funcionalidades: o Rastreia a posição, orientação e características da face em tempo real; o Uma mesh 3D da face rastreada junto com a posição da sobrancelha e o formato da boca é animada em tempo real; o Múltiplas faces podem ser rastreadas ao mesmo tempo Arquitetura A interação da biblioteca do SDK com a aplicação e o hardware pode ser mostrada na Figura 9.A biblioteca recebe os fluxos de dado do Kinect e trata-os para serem utilizados pela aplicação, não havendo contato direto da aplicação com o dispositivo.

30 29 Figura 9 - Interação Entre o Hardware, a Biblioteca e a Aplicação O SDK, como pode ser visto na Figura 10, é composto por: 1. Hardware do Kinect; 2. Drivers do Kinect; 3. Componentes de Áudio e Vídeo - NUI do Kinect para rastreio do esqueleto, áudio, e imagens de cor e de profundidade; 4. DirectX Media Object (DMO); 5. APIs padrão do Windows 7 - APIs de áudio, fala e mídia. Figura 10 - Arquitetura Kinect SDK

31 30 Capítulo 3 Trabalhos Correlatos Neste capítulo são apresentados trabalhos que fazem uso do Kinect como tecnologia para atender requisitos de Interação Natural. O objetivo é buscar na literatura trabalhos com características e experiências similares que demonstrem o uso da Interação Natural como interface de usuário em sistemas computacionais Identificação e Localização em Tempo Real de Partes do Corpo a partir de Imagens de Profundidade Plagemann et al. [30] mostra uma abordagem para a identificação e localização de partes do corpo (cabeça, pés e mãos) com a utilização de uma câmera time-of-flight para a captura de imagem de profundidade. Na abordagem utilizada a identificação das partes do corpo é feita diretamente na imagem de profundidade, em vez de primeiro identificar um modelo do corpo inteiro do usuário e então inferir as partes do corpo. Primeiramente a nuvem de pontos das superfícies consideradas no primeiro plano é dividida em malhas de superfície, onde são identificados pontos de interesse, que são posteriormente classificados em classes de partes do corpo (cabeça, pé, mão e sem classe), classificação é feita da comparação com dados gravados de exemplos positivos (malhas que possuem a parte do corpo) e negativos (que não possui). 3.2.Uma Interface de Computador Orientada a Gestos Usando Kinect

32 31 O trabalho com uso do Kinect apresentado por Lai et al. [31] usa como ferramenta o SDK lançado pela Microsoft,com o objetivo de extrair informações do modelo do esqueleto fornecido por ele. Lai et al. [31] propõe reconhecer gestos da mão em tempo real usando o Kinect, usando algoritmos supervisionados, no sentido de que é usado um dicionário de gestos da mão rotulados para serem comparados com os gestos executados. Nos algoritmos são utilizadas somente as articulações dos cotovelos e das mãos, onde são analisados gestos de curta duração e com intervalos de 1 segundo após a execução Análise Comparativa Em Plagemann et al. [30]é utilizado uma câmera time-of-flight, modelo SwissRanger SR4000,como método de entrada, já em Lai et al. [31] é utilizado o Kinect assim como o trabalho aqui apresentado. Foi visto que o uso do Kinect permite uma implementação mais simples e eficiente de detecção de movimento, que oferece com as bibliotecas já disponíveis informações resultantes do tratamento das imagens de profundidade, como o rastreio do esqueleto. No primeiro trabalho mostrado tem-se o reconhecimento e rastreio de cinco partes do corpo (cabeça, mãos e pés) com processamento de seis frames por segundo, já com as bibliotecas do Kinect isso é realizado para 20 articulações em trinta frames por segundo. Enquanto a aplicação do primeiro trabalho desenvolve um algoritmo para identificar as partes do corpo, no segundo trabalho é feito uma aplicação que utiliza as informações das articulações do esqueleto fornecido pela biblioteca do SDK da Microsoft para reconhecer gestos das mãos. No trabalho aqui apresentado, não foi necessário o reconhecimento de gestos, com exceção do gesto iniciar o rastreio da mão, reconhecimento feito pela biblioteca do OpenNI, para a realização da interação. A reconhecimento das ações é feio a partir do rastreio das mãos. Além das vantagens encontradas no desenvolvimento com o Kinect citadas acima, depois de pesquisa feita pela internet, foi também visto que há uma grande diferença de preço entre os dispositivos, enquanto o Kinect custa menos de 200 dólares a câmera SwissRanger SR4000 tem preço superior à dólares, tornando-a inacessível para o desenvolvimento do projeto aqui apresentado. Abaixo tem-se uma tabela comparando os dois trabalhos. Tabela 1 - Comparação dos Trabalhos Discutidos Dispositivo Preço Frames por Segundo

33 32 Plagemann et al. [30] SwissRanger SR4000 Superior a $ Lai et al. [31] Kinect Inferior a $ Capítulo 4 Desenvolvimento do Piloto O trabalho aqui apresentado foi desenvolvido em parceria com Anna Carolina Soares Medeiros [32] a partir da aplicação desenvolvida por Sarah Soares de Oliveira [33] para exibição de modelos 3D dentro do GTAVCS [10] e da ferramenta Artrhon [34]. O GTAVCS desenvolveu a Arthron que é uma ferramenta de gerenciamento remoto para captura e distribuição de múltiplos fluxos simultâneos de mídia a fim de prover suporte a diversos cenários de videocolaboração. Para tanto, apresentam-se experiências no âmbito de pesquisa e desenvolvimento em Arte e Tecnologia, Saúde e Telemedicina, bem como a experiência dos autores na realização de espetáculos de arte distribuída e transmissões de cirurgias no contexto de telemedicina. A Arthron tem por principal funcionalidade oferecer ao usuário uma interface simples para manipulação de diferentes fontes/fluxos de mídia simultâneos. Dessa forma o usuário pode remotamente adicionar, remover, configurar o formato de apresentação e programar a exibição no tempo e no espaço dos fluxos de mídia. A ferramenta é composta pelos seguintes componentes: Articulador (Manager), Agente Codificador (Encoder), Agente Decodificador (Decoder), Refletor (Distribuidor de fluxo), Servidor de Vídeo (VideoServer), Servidor de Gerenciamento do Usuário (WebService) e o Agente para Videoconferência (VideoRoom). Esses fluxos podem ser gerados em localizações geograficamente distribuídas e são manipulados pela ferramenta Arthron que é responsável por capturar, controlar, transcodificar, transmitir e decodificar as mídias capturadas em tempo real ou de arquivo. Essas mídias podem ser enviadas em alta,

34 33 média e baixa definição, simultaneamente, tanto para decodificadores específicos na rede quanto para a Internet. Atualmente existe uma preocupação do GTAVCS em também oferecer aos usuários recursos adicionais ao fluxo de mídias, essencialmente vídeo. O objetivo do oferecimento de recursos adicionais é enriquecer a experiência do usuário. Por exemplo, através do oferecimento de recursos tridimensionais como parte da interação. Através desses recursos o usuário poderá navegar em modelos 3D (de partes do corpo humano) enquanto recebe os fluxos de vídeo. Dentro desse, contexto a Interação Natural é uma alternativa para facilitar a manipulação desses objetos durante a interação Modelo Conceitual Na parte de manipulação de modelos 3D dessa aplicação foi introduzido o conceito de interação natural com a ferramenta Kinect. A Figura 11 apresenta o modelo conceitual do piloto mostrado através de um diagrama de casos de uso UML. As principais funcionalidades da aplicação são: escolher, rotacionar, aumentar, diminuir, mudar e parar a manipulação do objeto 3D. Figura 11 - Diagrama Casos de Uso UML para o Módulo de Manipulação 3D da Arthron Modelo Arquitetural A arquitetura de software de um sistema consiste na definição dos componentes de software, suas propriedades externas, e seus relacionamentos com outros softwares. O termo também se refere à documentação da arquitetura de software do sistema.

35 34 A arquitetura de software é normalmente organizada em visões [35], as quais são análogas aos diferentes tipos de plantas utilizadas no estabelecimento da arquitetura. Na Ontologia estabelecida pela ANSI/IEEE , visões são instâncias de pontos de vista, onde cada ponto de vista existe para descrever a arquitetura na perspectiva de um conjunto de stakeholders e seus consortes. A Figura 12mostra a visão lógica do piloto desenvolvido: o Tracker reconhece os gestos e começa a rastrear a mão identificada, O Renderer então recebe o rastreamento da mão e decide que manipulação exercer no objetos 3D e a executa. O presente trabalho está no desenvolvimento da classe Renderer que interage com o objeto 3D conforme destaque na Figura 12. Figura 12 Visão de Módulos da Aplicação. Nesta figura observamos os principais módulos da aplicação: Screen, Tracker, Gesture, Renderer e Object 3D. Destacamos que para o funcionamento da aplicação é necessário o uso de todos os módulos, no entanto, neste trabalho o foco em termos de desenvolvimento está centrado nos módulos Renderer e Object 3D. O detalhamento da visão geral supracitada é mostrado na Figura 13. Nesta figura utilizamos o diagrama de classes UML como ferramenta para especificação e representação das estruturas e suas relações no sistema.

36 35 Figura 13 - Diagrama de Classes 4.3. Detalhes de Implementação A aplicação é iniciada na janela de escolha do modelo que foi desenvolvida usando o Swing de Java, após a escolha é criada uma instância para a classe principal da aplicação, Screen, onde são iniciadas a classe Renderer e a classe HandTracker. HandTracker é a classe responsável pela utilização da biblioteca fornecida pelo framework OpenNI, onde é inicializado o Kinect e o rastreio das mãos e é feita a exibição do

37 36 fluxo de imagem de profundidade. Para o início do rastreio é criado um evento que reconhece a ação de acenar que ativa o rastreio para a mão utilizada iniciando outros eventos, para criar, atualizar e destruir o rastreio. Esses últimos utilizam um objeto do tipo HandTrackerHandler para passar todas as atualizações relacionadas ao rastreio que são: criação de um rastreio, a atualização do ponto onde se encontra a mão e que o rastreio foi perdido. A classe Renderer é uma implementação da interface HandTrackerHandler e tem uma instância passada como parâmetro no instanciação de um objeto do tipo HandTracker na classe Screen, fazendo assim que o objeto Renderer receba as atualizações relacionada ao rastreio Criação do Rastreio e Definição da Mão Principal e da Secundária O objeto Renderer ao receber a informação de um novo rastreio iniciado, salva o ponto inicial e caso não haja outro rastreio no momento define-o como a mão principal, se houver outra mão já sendo rastreada é então definido como a mão secundária Atualização da Posição da Mão e as Ações de Interação Quando a uma atualização da posição de uma mão é primeiro visto que mão é. Caso seja a principal vê-se qual função está ativa e executa a ação necessária, senão é analisado se o cursor se encontra dentro de um dos botões circulares Mão Principal Quando a atualização é da mão principal, primeiramente é visto qual ação está ativada para depois realizar a ação desejada. Para as manipulações é usado um ponto inicial como referência para calcular o movimento da mão, esse ponto é a posição da mão principal salva quando o rastreio dela é criado ou quando uma nova ação é selecionada. Para rotação são considerados somente os deslocamentos nas coordenadas x e y, enquanto para o zoom os na coordenada z Mão Secundária Quando a atualização é da mão secundária, é o ponto recebido é adaptado por um objeto da classe BoundingBox, que permite uma movimentação mais rápida do cursor pela área de visualização. Essa classe utiliza uma caixa proporcional à tela do modelo,

38 37 transformando o movimento da mão dentro dessa caixa para as coordenadas utilizadas na tela. Após adaptado é analisado se o ponto resultante se encontra dentro de um dos botões circulares, cujo tamanho, posição e comando à qual é correspondente são definidos pela classe CircleButton. Caso seja escolhido um botão que não estava selecionado, é então modificada a ação ativa. Se a ação ativada foi a do novo modelo, o programa é reiniciado, voltando a janela de escolha do modelo Perda do Rastreio Quando é perdido o rastreio de uma das mãos são reiniciadas as variáveis que guardam as informações relativas a mão perdida. Para a mão principal tem-se armazenados a posição e o id do rastreio, para a secundaria somente a posição Instruções As instruções são exibidas nos Canvas recebidos como parâmetros no objeto Renderer. Elas são modificadas quando acontece a criação ou destruição de um rastreio. Alternadas de acordo com o rastreio de qual mão foi criado/destruído Interface de Usuário Ao iniciar a aplicação é mostrada a interface da escolha do modelo, como pode se ver na Figura 14. Essa etapa se utiliza de método de entrada padrão, o mouse.

39 38 Figura 14 - Escolha do Modelo Na Figura 15 pode ser vista a interface do programa após a escolha do modelo. Ela é composta pela área de visualização do modelo e uma barra inferior, onde são mostradas as instruções (tanto na forma de texto como na de animação) e o fluxo de imagem de profundidade capturado pelo Kinect. Na área de visualização existe 4 círculos que funcionam para selecionar a ação que se deseja realizar: rotação, ampliar/reduzir, manter modelo parado e selecionar novo modelo; essas opções são escolhidas com o uso do cursor menor, que pode ser visto na Figura 16, colocando-o dentro de um dos círculos.

40 39 Figura 15 - Interface do Programa Após o início do programa para começar a interagir, deve-se seguir as instruções apresentadas na barra inferior: Primeiro deve-se acenar com um dos braços (preferencialmente o direito) para o início do rastreio da mão; Depois, mantendo a mão levantada, deve-se acenar com a outra mão para o início do rastreio da segunda mão; Usando a segunda mão a ser rastreada, representada na visualização pelo cursor menor, deve-se escolher que ação deseja-se realizar utilizando os círculos na parte inferior da área de visualização; Caso seja selecionado a rotação, movendo a mão representada com o cursor maior para os lados, para cima e para baixo gira-se o modelo; Caso seja selecionado o zoom (ampliar/reduzir), movendo a mão do cursor maior para frente aumenta-se o modelo e para traz o diminui; Caso seja selecionado a opção de novo modelo, o sistema volta para a janela inicial da escolha de modelo. Na Figura 16 tem-se o uso da rotação e é possível ver os dois cursores, o maior e mais escuro para a mão principal (a primeira mão rastreada) e o menor e mais claro para a outra.

41 40 Figura 16 - Modelo Sendo Rotacionado 4.5. Validação (Testes com Usuário) A etapa de validação desejada para esta proposta está centrada no funcionamento das funcionalidades desenvolvidas e implementadas. Em outras palavras, a execução de uma verificação funcional. No entanto, foi desenvolvido um conjunto de testes com usuários o que possibilitou a validação e a avaliação do protótipo funcional (piloto) desenvolvido. Esta etapa também contribui bastante para o desenvolvimento da interface de usuário do sistema. Foram realizadas três fases de teste na aplicação para o aprimoramento da interface. O teste inicial da ferramenta de manipulação 3D serviu para acumular dados qualitativos. Quatro participantes foram usados para ajudar a testar o sistema, e todos eles foram filmados enquanto o faziam. Ainda, há uma gravação de áudio juntamente com o questionário pósteste. Dois dos participantes são estudantes da Universidade Federal da Paraíba pelo curso de ciência da computação, e os outros dois, estudantes de intercâmbio da State University of New York in Oswego, de diversos cursos. Dos quatro participantes, três eram do sexo masculino e um do sexo feminino. O teste consistia no seguinte roteiro:

42 41 1. Escolha de modelo 3D; 2. Ativação de rastreamento de ambas as mãos; 3. Rotação do modelo 3D; 4. Zoom do modelo 3D; 5. Pausa nas manipulações do modelo 3D (botão Stop ) ; 6. Pular para a tela inicial (botão New Model ) Primeira Fase de Teste Primeiramente o usuário se utiliza do mouse para a escolha do modelo 3D na interface representada na Figura 14. Essa é a tela de entrada para a aplicação, após ela não será necessário utilizar mouse ou teclado, pois todas as manipulações podem feitas através do Kinect. Atualmente, depois da tela inicial o usuário visualizará a interface representada na Figura 15. Seguindo as instruções, o usuário irá escolher uma das mãos para acenar para o Kinect, depois a outra mão deve acenar para a ferramenta de interação natural, obtendo assim o rastreio de ambas as mãos. Se assim for desejado é possível acenar com as duas mãos ao mesmo tempo, permitindo assim uma utilização mais eficiente da aplicação, mas tal opção não é contemplada nas instruções pois poderia confundir o usuário principiante. A primeira mão rastreada é responsável pela manipulação da opção escolhida pela segunda mão. Ou seja, se o usuário escolher com sua segunda mão o botão Zoom o que definirá o quanto o objeto vai se aproximar ou se distanciar da tela serão os movimentos de aproximação ou distanciamento da primeira mão rastreada, em relação ao Kinect. Seguindo o roteiro, o usuário deve mover o cursor designado a sua segunda mão rastreada para o botão Rotation, e com a movimentação controlada pelo cursor designado a sua primeira mão rastreada, o usuário poderá rotacionar o modelo 3D escolhido. Para a segunda movimentação descrita pelo roteiro, a segunda mão irá selecionar o botão Zoom e modificar a visualização do modelo 3D de acordo com a movimentação da sua primeira mão rastreada. A Seleção do botão Pause independe da movimentação da primeira mão rastreada, pois a função de tal botão é somente manter a posição exata do modelo no momento em que tal botão foi ativado. Ao escolher o botão New Model o usuário volta à tela inicial representada nafigura 14 e completaria com sucesso o roteiro proposto. Os participantes responderam quatro perguntas no questionário pós-teste. As perguntas seguem: A aplicação foi intuitiva?, Você achou a aplicação agradável?, Caso posto em uma situação em que você precisasse usar uma aplicação semelhante a esta, você se

43 42 vê usando a mesma?, Se você pudesse melhorar qualquer aspecto da aplicação, qual seria?. No geral, os usuários definiram a aplicação como útil quando perguntados sobre alguma situação em que eles usariam a mesma. Cada participante tinha um diferente nível de conhecimento da ferramenta Kinect, porém todos conseguiram completar o teste com sucesso. As questões anteriores foram escolhidas pelo avaliador de interfaces, aluno de intercâmbio, Bryan Kern. Segundo o mesmo, tais questões foram escolhidas por razões específicas. A primeira pois se a aplicação não faz sentido para o usuário, inicialmente, então o mesmo perde interesse em utilizá-la. Tornar a interface e aplicação agradáveis faz com que a aplicação seja fácil de utilizar, fazendo com que o interesse do usuário,pela mesma, cresça. A terceira pergunta foi elaborada para fazer com que o participante que não pertença ao domínio da aplicação, se utilize da abstração. A pergunta final teve o intuito de obter a opinião do participante sobre o processo de desenvolvimento, tornando a aplicação mais íntima do usuário, com a mentalidade de que o mesmo poderia no futuro se deparar com um programa tal qual este. Dois dos participantes não sabiam o que fazer inicialmente no programa. Após ler as instruções eles puderam completar o teste, mas ambos destacaram que as instruções eram muito pequenas, e difíceis de ler. Outro participante respondeu na última questão que as instruções ajudaram, porém estavam demasiadamente pequenas. O avaliador de interfaces perguntou aos participantes, após o questionário, se os mesmos haviam percebido a figura de uma pessoa acenando com a mão (mostrando como ativar o rastreio das mãos), e um dos participantes não havia visto tal figura e ficou surpreso. Figura 17 - Imagem para o Rastreio da Primeira Mão

44 43 Figura 18 - Figura para o Rastreio da Segunda Mão Durante a avaliação foi chamada a atenção dos desenvolvedores para o posicionamento dos três botões da tela. Cada um dos botões controla uma ferramenta de manipulação. O zoom, a rotação e o stop, que desativa a manipulação do objeto na tela. Um dos participantes precisou ser instruído verbalmente que não era necessário manter a mão em um botão, após ativá-lo. O participante compreendeu a instrução mas preferiu manter a mão no mesmo lugar. Após esse evento foi decidido mudar o local dos botões do topo, para o inferior da tela. Figura 19 - Versão com Botões no Topo

45 44 Figura 20 - Versão com Botões no Inferior Estas foram as principais questões que os usuários destacaram. Após os testes iniciais, o avaliador de interfaces e os desenvolvedores debateram o que deveria ser modificado e melhorado. Houve modificações no posicionamento dos botões e nas instruções. As mesmas agora seriam maiores, assim os usuários teriam mais facilidade para acompanha-las. Além disso, também foi sugerido pelo avaliador de interfaces um botão de retorno para a tela inicial, o catálogo de modelos 3D, sugestão esta acatada pelos desenvolvedores Segunda Fase de Testes A segunda fase de testes serviu para avaliar as modificações feitas e reavaliar a aplicação como um todo. Nesta etapa, três participantes foram usados para ajudar a testar o sistema, e todos eles foram filmados enquanto o faziam. Todos os participantes eram estudantes da Universidade Federal da Paraíba, do curso de ciência da computação.dos três participantes, dois eram do sexo masculino e um do sexo feminino. O teste consistia na execução do roteiro anteriormente mencionado. Após as modificações foi cronometrado o tempo de conclusão dessa tarefa, para todos os participantes. Em um primeiro contato o tempo médio dos participantes era de dois minutos para conclusão desse roteiro com sucesso, em uma segunda tentativa este tempo caia para

46 45 aproximadamente trinta e oito segundos. Assim pode-se concluir que após as modificações a aplicação apresentou uma curva de aprendizado satisfatória. Quando questionados verbalmente sobre algum melhoramento que fariam na aplicação, os participantes sempre apontaram duas questões, a primeira foi a necessidade de uma borda para a área de animação, a segunda foi a posição da pessoa que acena na animação. A necessidade de uma borda viria do fato de que todos os usuários confundiam o vídeo com a aplicação devido a cor do plano de fundo dos mesmos serem o mesmo em alguns momento. A animação consistia em uma figura humana inicialmente acenando com uma das mãos, enquanto a outra permanecia abaixada (Figura 21), e após o usuário reconhecer essa mão com sucesso, a animação mudaria para uma figura humana com a outra mão acenando, enquanto a primeira voltava a ficar abaixada. O problema é que o usuário precisa permanecer com a primeira mão acenando para o Kinect não perder o rastreamento da mesma, sendo assim a animação estaria induzindo o usuário ao erro pois não estaria mantando a primeira mão em pé. Figura 21 - Primeira Versão das Animações Com relação à borda os desenvolvedores preferiram modificar o locar do painel de animações para junto das instruções, solucionando assim o problema de contraste com o plano de fundo da aplicação. A modificação na animação foi acatada (Figura 23). As devidas implementações foram feitas. Os participantes responderam o Questionário de Usabilidade de Sistema (CSUQ) presente no anexo deste relatório Terceira Fase de Testes Essa etapa final serviu para avaliar as modificações feitas após a segunda etapa de testes. Foram usados quatro participantes para ajudar a testar o sistema, mas somente os questionários por eles respondidos ficaram como registro do ocorrido. Dos participantes, um cursa enfermagem na Universidade Estadual da Paraíba, outro estuda medicina na Universidade Federal de Campina Grande e os dois últimos eram estudantes de ciência da

47 46 computação da Universidade Federal da Paraíba.Dos quatro participantes, três eram do sexo masculino e um do sexo feminino. Esse teste consistia novamente na execução do roteiro anteriormente mencionado. Após as modificações foi cronometrado o tempo de conclusão dessa tarefa, para todos os participantes. Em um primeiro contato o tempo médio dos participantes era de um minuto, havendo uma melhora de 50% do tempo em relação à segunda fase de testes, para conclusão desse roteiro com sucesso, em uma segunda tentativa este tempo caia para aproximadamente trinta segundos. Assim pode-se concluir que houve um desempenho superior dos participantes, em relação à fase de testes anterior, visto que o tempo para que o usuário iniciante complete a tarefa proposta diminuiu pela metade. Dentre as modificações a que mais contribuiu para a melhora no desempenho dos participantes foi modificação na animação. Anteriormente (Figura 21), havia uma falha na animação pois ela não mantinha a primeira mão levantada, induzindo o usuário ao erro. Agora (Figura 22) o usuário interage com o sistema mais rapidamente já que tal falha foi corrigida. Figura 22 - Segunda Versão das Animações O resultado da modificação na localização do painel de animações do foi bastante satisfatório, não havendo nenhuma reclamação sobre o mesmo nesta fase de testes. O painel de animações antes estava localizado na parte superior direita da aplicação (Figura 20), devido a reclamações no contraste entre algumas animações e a cor do fundo de tela do aplicativo, tal painel agora está compreendido dentro do painel de informação (Figura 15). Figura 23 - Painel de Informação