Projeto Interface Interativa Inclusiva.

Transcrição

1 Projeto Interface Interativa Inclusiva. Alunos: Ícaro Manoel Quelis Alves João Henrique Branquinho Rocha Pedro Henrique Chagas Alves Professores Orientadores: Ailton Luiz Dias Siqueira Junior André Luiz França Batista Rodrigo Grassi Martins

2 PROJETO INTERFACE INTERATIVA INCLUSIVA Ícaro Manoel Quelis Alves 2, João Henrique Branquinho Rocha 1, Pedro Henrique Chagas Alves 2 Ailton Luiz Dias Siqueira Jr. 3, André Luiz França Batista 3, Rodrigo Grassi Martins Aluno do curso Técnico em Informática na forma integrada ao Ensino Médio, Instituto Federal do Triângulo Mineiro, campus de Ituiutaba. 2 - Aluno do curso Técnico em Informática na forma concomitante, Instituto Federal do Triângulo Mineiro, campus de Ituiutaba. 3 - Professor orientador, área de Informática, do Instituto Federal do Triângulo Mineiro, campus de Ituiutaba. Resumo O Projeto Interface Interativa Inclusiva tem como objetivos principais desenvolver um software que: a) reproduza um ambiente de realidade virtual; b) crie um ambiente que permita que o usuário faça uso de fala e de expressões faciais para interagir com o ambiente de realidade virtual. c) um protocolo de testes para verificar a viabilidade do ambiente proposto. Além disso, o Projeto Interface Interativa Inclusiva justifica-se pela tentativa de consolidar junto aos alunos conceitos estudados nas unidades curriculares de programação criando um ambiente mais próximo de sua realidade do que, por exemplo, softwares de fluxo de caixa. Adicionalmente, por se tratar da reprodução de um ambiente de realidade virtual o aluno irá consolidar a aprendizagem de uma série de conceitos de geometria vistos na unidade curricular de matemática. Introdução Nos dias de hoje na área de informática existem duas áreas de pesquisa que vêm apresentando uma evolução significativa, são elas: utilização de interfaces naturais e realidade aumentada.

3 Quando se pensa em um humano interagindo com uma máquina normalmente vem a cabeça que esse contato é feito através de botões. Sejam esses botões disponibilizados em um mouse, um teclado, um controle remoto, enfim com algum dispositivo artificial, que foi criado para tal finalidade. Interface Natural é a ciência que estuda outras maneiras de interação entre homem-máquina. Essas maneiras visam deixar a interação mais natural para o usuário, como por exemplo a utilização de comando de voz ou por captura do movimento do corpo. Já a realidade aumentada é área da informática que tem como objetivo principal promover a interação entre elementos do mundo real com elementos virtuais, criados através de computador. A Microsoft, uma das maiores empresas de tecnologia do mundo, possui vários produtos que vem sendo comercializados atualmente. Dentre esses produtos dois deles possuem como público alvo principal os adolescentes: o Xbox 360, console de vídeo game, e o Kinect, aplicativo que pode ser acoplado ao Xbox 360. O Kinect é um sensor que possui uma câmera de vídeo, um microfone e um sensor de profundidade que consegue capturar elementos do mundo real e levado até o mundo virtual. Recentemente a Microsoft disponibilizou um SDK, Kit de Desenvolvimento de Software, que permite a programação de Softwares utilizando o Kinect. Dentro desse cenário surge o Projeto Interface Interativa Inclusiva tem como objetivos principais desenvolver um software que: a) reproduza um ambiente de realidade virtual; b) crie um ambiente que permita que o usuário faça uso de fala e de expressões faciais para interagir com o ambiente de realidade virtual, C)um protocolo de testes para verificar a viabilidade do ambiente proposto. Além disso, o Projeto Interface Interativa Inclusiva justifica-se pela tentativa de consolidar junto aos alunos conceitos estudados nas unidades curriculares de programação criando um ambiente mais próximo de sua realidade do que, por exemplo, softwares de fluxo de caixa. Adicionalmente, por se tratar da reprodução de um ambiente de realidade virtual o aluno irá consolidar a aprendizagem de uma série de conceitos de geometria vistos na unidade curricular de matemática.

4 Revisão Bibliográfica Em computação, interface homem máquina é o estudo da interação entre o usuário e o computador. Dentro dessa linha de pesquisa surge o tema interface natural. Ao longo dos tempos muito se falou sobre interface homem máquina, Oliveira [1] realizou um estudo mostrando a evolução das interfaces ao longo dos tempos, começando com interfaces textuais cujo foco eram os comandos, passando pelas interfaces gráficas cujo foco era principalmente o mouse, até chegar as interfaces naturais conforme pode ser visto na figura 1. Figura 1 Interface Homem-Máquina ao longo dos tempos. Realidade Aumentada é a ciência que esttuda a integração do mundo real e elementos virtuais ou dados criados pelo computador.segundo Kirner e Tori [2] a realidade aumentada permitem ao usuário retratar e interagir com situações imaginárias, como os cenários de ficção, envolvendo objetos reais e virtuais estáticos e em movimento. Permitem também reproduzir, com fidelidade, ambientes da vida real como a casa virtual, a universidade virtual, o banco virtual, a cidade virtual, etc, de forma que o

5 usuário possa entrar nesses ambientes e interagir com seus recursos de forma natural, usando as mãos (com ou sem aparatos tecnológicos, como a luva) e eventualmente comandos de voz. Procedimentos O Kit de desenvolvimento do Kinect provê uma série de classes para auxiliar o processo de interação com o usuário. Todas essas classes estão implementadas na linguagem de programação.net, desenvolvida pela Microsoft. O software possui dois ambientes: o de interface natural e o de realidade aumentada, conforme a figura 2. Ambiente Interface Natural Ambiente Realidade Aumentada Software Figura 2 Funcionamento do Projeto Interfaces. O ambiente de interface natural foi desenvolvido com o auxilio das classes fornecidas pelo kit de desenvolvimento. Uma das bibliotecas do kit é responsável pela captura dos movimentos realizados pelo usuário. A biblioteca possui uma implementação que devolve a posição no espaço (xi,yi,zi) de 86 pontos do rosto humano, conforme a figura 3.

6 Figura 3 Pontos do rosto que o Kinect reconhece. Além do sistemas de pontos que compõe o rosto o Kinect é dotado de um microfone e um ambiente que permite a utilização do reconhecimento de fala, figura 4. Figura 4 Microfone e Reconhecimento de Voz. Foi desenvolvido um ambiente de realidade aumentada utilizando a linguagem de programação.net. No ambiente de realidade aumentada foi implementado um dicionário de dados que possibilita o reconhecimento de voz e que permite que o olho da pessoa seja utilizado para controlar o ponteiro do mouse. O software processa a posição em que se encontram o olho da pessoa e movimenta o cursor do mouse de acordo com essa posição além disso através de um simples

7 comando de voz a pessoa pode pedir a abertura de um navegador web ou de uma determinada pasta do computador, conforme a figura 5. Figura 5 Ambiente controlado via reconhecimento facial e comando de voz. Além do ambiente de realidade virtual e aumentada será implementado um aplicativo de testes em linguagem de programação Java. que possui três protocolos para medir o reflexo do usuário. Esses protocolos formam um teste, que mede o tempo que o usuário leva para concretizar a tarefa e também rastreia o caminho que ele percorre com o mouse, conforme mostra a figura 6. Figura 6 - Aplicativo de testes em linguagem de programação Java. Resultados

8 Ao final do projeto espera-se que seja possível desenvolver por completo o software que: a) reproduza um ambiente de realidade virtual; b) crie um ambiente que permita que o usuário faça uso de fala e de expressões faciais para interagir com o ambiente de realidade virtual. c) um protocolo de testes para verificar a viabilidade do ambiente proposto. Conclusão O projeto Interface Interativa Inclusiva está sendo desenvolvido no IFTM, campus Ituiutaba e até o momento apresentou resultados significativos. Pode-se afirmar que é possível desenvolver um software que: : a) reproduza um ambiente de realidade virtual; b) crie um ambiente que permita que o usuário faça uso de fala e de expressões faciais para interagir com o ambiente de realidade virtual. c) um protocolo de testes para verificar a viabilidade do ambiente proposto. Além disso, é possível afirmar que o desenvolvimento do projeto está sendo de grande valia tanto para os alunos e professores envolvidos pois permite trabalhar de maneira integrada os conteúdos abordados nas diferentes unidades curriculares do curso técnico em informática e os conceitos de geometria. De tal forma que é possível afirmar que o projeto possui como característica principal a indissociabilidade entre ensino, pesquisa e extensão característica marcante do Instituto Federal de Educação, Ciência e Tecnologia do Triângulo Mineiro. Referências [1] Oliveira, I. A.. Interface de Usuário: A interação Homem-Computador através dos tempos Olhar Científico, Vol. 1, No [2] Kirner, C. ; Tori, R.. Fundamentos de Realidade Aumentada. In: Romero tori; Claudio Kirner; Robson Siscouto. (Org.). Fundamentos e Tecnologia de Realidade Virtual e Aumentada. 1 ed. Porto Alegre: Sociedade Brasileira de Computação - SBC, 2006, v. 1, p