IMAV Interação Móvel para Ambientes Virtuais.

Transcrição

1 IMAV Interação Móvel para Ambientes Virtuais. Bianchi Serique Meiguins 1, Marcelo de Brito Garcia 2, Rosevaldo Dias de Souza Jr 2, Aruanda Simões Meiguins 2, Manoel Ribeiro Filho 2 1 Departamento de Informática - Centro de Exatas e Naturais Universidade Federal do Pará, C.P CEP Belém - PA Brasil 2 Programa de Pós-Graduação - Universidade Federal do Pará (UFPA) Departamento de Engenharia Elétrica, C.P CEP Belém - PA Brasil. bianchi.serique@terra.com.br, {mbgarcia,rosico}@amazon.com.br, aruanda@redeinformatica.com.br, mrf@ufpa.br Resumo. O objetivo deste artigo é propor o uso de dispositivos móveis para a manipulação de sistemas de realidade virtual multiusuário baseado em projeção. O middleware desenvolvido é baseado em tecnologias padronizadas, que permitam a comunicação de um dispositivo móvel e de mão com o computador que manipula um ambiente virtual 3D. A base para o desenvolvimento do protótipo do middleware é a linguagem Java: J2ME para os aplicativos dos dispositivos móveis, J2SE para o desenvolvimento de aplicações com tarefas de gerenciamento, e Java 3D para modelagem do ambiente virtual. A comunicação dependerá do suporte dado pelo hardware do dispositivo móvel, que normalmente é bluetooth ou WI-FI. Abstract. The goal of this paper is to propose the use of mobile devices for the manipulation of projection-based multi-user virtual reality applications. The developed middleware is based on standard technologies, allowing the communication of a handheld device with the computer that manipulates the 3D virtual environment. The development base of the middleware prototype is the Java language: J2ME for the mobile devices applications, J2SE for development of management applications, and Java 3D for modeling the virtual environment. The communication will depend on the hardware of the mobile device, which usually supports either bluetooth or WI-FI. 1 Introdução O uso de sistemas de realidade virtual, que se refere a um ambiente tridimensional simulado por computador que permite interações em tempo real, nos dias atuais, está em franca expansão de uso. Contudo, os preços associados aos hardwares, pouco convencionais, para uma manipulação mais natural ainda são proibitivos pra o usuário comum. Para sistemas de realidade virtual baseado no uso de PCs, pode-se fazer uso de periféricos comuns e baratos, como mouse, teclado e monitor. Para ambientes virtuais baseados em projeção, há situações onde teclado e mouse não atingem um grau de interação satisfatório, principalmente, quando a variável distância está envolvida, pois há tecnologias de comunicação sem fio que só funcionam adequadamente com poucos metros e não permite obstáculos entre os pontos de comunicação, que é o caso do

2 infravermelho. Somando se a isso, manipular um teclado e mouse sem fios sem um apoio adequado, seria muito prejudicial à usabilidade e ergonomia do sistema. Como proposta de interação em sistemas de realidade virtual baseado em projeção, usando dispositivos sem fio mais baratos que os utilizados normalmente em sistemas de realidade virtual, sugerem-se o uso de qualquer dispositivo móvel, celular ou handheld, que tenha suporte a J2ME e um protocolo de comunicação sem fio, como bluetooth ou WI-FI. As interações possíveis seriam principalmente de controle da visão: translação e rotação; inserção, remoção e manipulação de objetos: translação, rotação, escala. Assim, o objetivo deste artigo é propor um middleware (software que conecta duas aplicações diferentes e separadas, por exemplo, J2SE e J2ME) que permita que uma aplicação em um dispositivo móvel possa se comunicar com outra aplicação que controla um ambiente virtual, onde este faz parte de um sistema de realidade virtual baseado em projeção. A base para o desenvolvimento do protótipo do middleware é a linguagem Java: J2ME é utilizado para implementar o módulo do Cliente, ou seja, os aplicativos dos dispositivos móveis e comunicação; J2SE para desenvolvimento aplicações de gerenciamento, comunicação e atualização do ambiente virtual, e JAVA 3D, para modelagem do ambiente virtual. A comunicação dependerá do suporte dado pelo hardware do dispositivo móvel, que normalmente é bluetooth ou WI-FI, o que é transparente para o midlleware proposto. De maneira geral, este trabalho envolve conceitos sobre aplicações de Realidade Virtual, Desenvolvimento de aplicações em dispositivos móveis e Aspectos de comunicação sem fio, e está organizado como segue: na seção 2 são apresentados conceitos sobre Realidade Virtual. Na seção 3 são apresentados padrões de comunicação sem fio. Na seção 4 são apresentados aspectos de desenvolvimento utilizando o J2ME. Na seção 5 é apresentado o protótipo desenvolvido. Finalmente, na seção 6 são discutidas algumas considerações sobre o desenvolvimento do projeto e trabalhos futuros. 2 Realidade Virtual Várias designações têm sido atribuídas à RV: ambientes sintéticos, ciberespaço, realidade artificial, tecnologia de simulação, etc [Sherman, 2003] [Cruz-Neira, 1998] [Kirner, 1998]. No entanto, foi o termo realidade virtual que apresentou maior aceitação. De igual forma, o significado que lhe é atribuído também varia muito, ora referindo-se a componentes físicos (hardware), ora à sua aplicação específica como, por exemplo, em jogos. No entanto, pode-se definir realidade virtual como sendo uma forma de visualizar, manipular e interagir em tempo real com ambientes tridimensionais simulados por computador. As principais características da tecnologia de RV e que a distinguem, atualmente, de qualquer outra são [Pinho, 1998] [Burdea, 2003]: Interatividade: permite a navegação no ambiente virtual, escolha do referencial, etc. Esta característica está relacionada com a detecção dos comandos de entrada fornecidos pelo usuário e à modificação do cenário virtual, face às ações sobre ele. Visualização tridimensional: pode ou não ser imersiva. A idéia de imersão advém da sensação de se estar dentro do ambiente, de se fazer parte dele.

3 Um sistema imersivo pode ser obtido, por exemplo, com um capacete de visualização [Cruz-Neira, 1998], mas existem também sistemas imersivos baseados em salas com projeções nas paredes, teto e piso. Um sistema não imersivo pode ser obtido através de um monitor, que funciona como uma janela para um mundo virtual [Sherman, 2003]. Manipulação: permite realizar ações sobre os modelos do ambiente real, e se possível, de forma idêntica à do mundo real. Devido a sua interdisciplinaridade, as aplicações desenvolvidas para realidade virtual são vastas [Sherman, 2003] [Cruz-Neira, 1998], desde jogos até arquitetura, passando pela educação, medicina, engenharia, treinamento militar, etc. Além disso, é importante ressaltar que na utilização de certas aplicações há perspectivas vantajosas que não são possíveis no mundo real, como, por exemplo, interagir com moléculas de água em qualquer uma dos seus estados. 3 Aspectos de Comunicação sem Fio Há muito se estuda como transportar dados utilizando um meio de comunicação diferente de cabos, um meio alternativo é o ar. Através de ondas de rádio, inicialmente era possível apenas transportar voz e imagens de TV utilizando um canal analógico. Avanços sobre o estudo de técnicas de modulação e multiplexação permitiram a digitalização das ondas, conhecidas como portadoras de sinal [Schiller, 2000]. As ondas de rádio dividem-se em várias faixas de freqüência, onde cada faixa representa um padrão de comunicação via rádio: infravermelho, UHF, VHF, RaioX, Raios Gama [Dornan, 2001]. Órgãos internacionais, como o European Telecommunications Standards Institute (ETSI) e o IEEE (Institute of Electrical and Electronics Engineers) são responsáveis por padronizar a utilização de determinada faixa de freqüência, seja para celulares, satélites, e mais recentemente para redes locais sem fio (Wireless LANs). Um dos padrões mais aceitos atualmente em WLANs é o padrão IEEE b [GAST 2002], ou Wireless Ethernet (por usar o mesmo protocolo de acesso ao meio que a Ethernet convencional: CSMA Carrier Sense Multiple Access ), ou Wi-FI, que possui uma velocidade de comunicação que atinge 11Mbps, graças a técnicas melhoradas de modulação, utilizando uma banda de 2.4 GHz [Schiller, 2000]. Há outros padrões, como o a que pode atingir até 54Mbps. Todos os sistemas de LANs sem fio podem ser utilizados para a conexão ponto a ponto de dois ou mais usuários quaisquer, basta ter uma interface de rede. Áreas, como escritórios ou casas, também podem ser ajustados com ponto de acesso, que estendem a faixa do sistema e permite links para LANs comuns ou para Internet. Os pontos de acesso podem ter duas formas, hubs e switches. O hub é o mais simples, apenas retransmitindo tudo que recebe. O switch é mais seletivo, enviando transmissões somente a subgrupos menores. Outro padrão é o Bluetooth [KUMAR, 2003], bastante utilizado para comunicação sem-fio de curto alcance e baixo custo, por meio de conexões de rádio adhoc. Através do Bluetooth, os usuários poderão conectar uma ampla variedade de dispositivos de computação, de telecomunicações e eletrodomésticos de uma forma bastante simples, sem a necessidade de adquirir, carregar ou conectar cabos de ligação. A idéia é permitir a interligação desses dispositivos de uma forma automática e sem que o usuário necessite se preocupar com isso. Atualmente tem alcance de no máximo 10 metros de raio, apresenta uma taxa de transmissão em torno de 1 Mbps. Além disso, no bluetooth, a rede formada pelos dispositivos que se comunicam, chamada de piconet,

4 limita-se a no máximo 8 elementos, sendo que um destes assume o papel único de mestre. Pode-se se afirmar que se a distância entre o dispositivo móvel e o computador que gerencia o ambiente virtual para projeção for maior que 10,00 metros, ou o número de dispositivos for superior a sete, a opção mais apropriada é o Wi-Fi. 4 Visão Geral sobre J2ME A linguagem Java, durante muito tempo, teve sua atenção voltada para o desenvolvimento de soluções aplicáveis a máquinas desktop (PCs, notebooks, estações de trabalho). Recentemente, é possível desenvolver aplicativos Java para serem executados em dispositivos com capacidades de processamento e memória limitados, como os handhelds e os celulares. Além destas limitações, o desafio é lidar com tamanhos reduzidos de tela para abrigar uma interface com o usuário. A esta versão de Java, dá-se o nome de Java 2 Micro Edition (J2ME) [Muchow, 2002]. Em relação ao J2SE, J2ME apresenta uma biblioteca de classes e interfaces bem reduzida para atender as características dos aparelhos. No J2ME são feitas algumas ramificações baseadas nos diferentes tipos de dispositivos. Um celular e um handheld, por exemplo, podem ser visivelmente distintos em termos de resolução de tela de visualização [Muchow, 2002]. Sun definiu então dois importantes conceitos de classificação que abrange diversos tipos de dispositivos: configuração e perfil (Figura 1). Estes dois elementos criam, portanto, um ambiente de execução J2ME [Piroumian, 2002]. Figura 1 Configurações e Perfis [Piroumian, 2002] 4.1 Configuração e Perfil Uma configuração define uma plataforma Java para uma variedade de equipamentos. Especifica quais as características da linguagem e quais bibliotecas (APIs) serão disponibilizadas para determinada máquina virtual [Piroumian, 2002]. A Sun definiu duas configurações baseadas principalmente na memória dinâmica alocada para aplicações Java, ou seja, a capacidade do dispositivo, e no tipo de conexão em rede (largura de banda, persistência): a CDC (Connected Device Configuration) e a CLDC (Connected Limited Device Configuration). [Muchow, 2002] Tornou-se ampla a variedade de dispositivos que se enquadram nestas características. Interface de entrada com o usuário, conexões e serviços de rede, tamanhos de tela são itens não equivalentes.

5 Para lidar com esta situação, Sun introduziu uma interface para aplicações destinadas a uma particular classe de dispositivos chamada de perfil (profile). Um perfil introduz mais classes às existentes em uma configuração. E sobre uma configuração podem existir um ou mais perfis regularizados pelo Java Community Proccess (JCP) ( [Topley, 2002]. A Figura 2 mostra um dos perfis mais utilizados do J2ME, o Mobile Information Device Profile (MIDP). Um perfil pode ter várias implementações. Neste trabalho, é utilizada a implementação da Sun do perfil MIDP versão 1.0, que extende a configuração CLDC 1.0. Figura 2 Configuração CLDC e seu mais famoso perfil: MIDP. Para lidar com aspectos de comunicação em rede e conexões de entrada e saída, foi desenvolvido um framework para lidar com qualquer tipo de conexão: arquivo, http, datagramas, sockets. A este framework dá-se o nome de Generic Connection Framework (GCF). E apenas uma classe é utilizada para criar todo tipo de conexão. Para que a troca de mensagens seja efetivada são utilizadas interfaces específicas ao tipo de conexão estabelecida. [Piroumian, 2002] 5 IMAV 5.1 Descrição A possibilidade de manipular um AV através de um dispositivo que utiliza uma forma de comunicação sem fio possibilita a um ou mais usuários deslocarem-se livremente em uma sala enquanto realizam suas experiências. Neste caso, os usuários estão limitados ao mesmo espaço físico e, diante de um mundo virtual compartilhado, precisarão se coordenar durante as interações. Para o desenvolvimento do protótipo, o dispositivo utilizado possui como padrão de comunicação sem fio o bluetooth, e a versão do perfil J2ME suportada é o MIDP1.0. O desafio é propor uma interface que se adapte às limitações e variações tecnológicas dos dispositivos utilizados, onde itens de interface podem ser exibidos de diferentes formas e tamanhos. Estas limitações também influenciam o tráfego de dados entre os elementos envolvidos na comunicação. 5.2 Ambiente virtual O ambiente virtual é exibido em uma aplicação executando em um microcomputador. Esta aplicação possui ainda um histórico das ações dos usuários, bem como a informação dos dispositivos conectados em um determinado momento (Figura 3).

6 Figura 3 Ambiente Virtual. 5.3 Protótipo A aplicação, onde mais de um cliente pode manipular o mesmo ambiente virtual, permite a criação de mundos baseados em áreas como a química e a arquitetura (Figura 4). Esta interface permite escolher um determinado ambiente para inserção, remoção e manipulação de objetos pré-determinados para a área (Figura 5). Operações como translação, rotação e escalas são realizadas através do teclado do dispositivo ou do joystick (se houver) baseadas em uma imagem com eixos representativos do espaço tridimensional (Figura 6 e 7). Figura 4 - Tela de manipulação de ambiente Figura 5 Tela de manipulação de objetos Figura 6 Tela com os eixos para translação e escala. Figura 7 Tela com os eixos para rotação Arquitetura do IMAV IMAV é construído inteiramente em Java. Para a construção do ambiente virtual foi utilizada a linguagem Java3D [Walsh, 2002]. A aplicação do dispositivo móvel é construída em J2ME [Piroumian, 2002] [Muchow, 2002]. E a infra-estrutura de

7 comunicação entre os diferentes módulos do protótipo é desenvolvida em J2SE [Horstmann, 2001]. O IMAV é baseado na arquitetura cliente-servidor, onde o servidor wireless é implementado com o conceito de threads e sockets para permitir o acesso simultâneo e compartilhado. Os clientes utilizam o Generic Connection Framework (GCF), que é um framework para o estabelecimento de conexões de qualquer tipo. Aqui o protocolo utilizado é o de socket (Figura 8). Figura 8: Arquitetura de Comunicação A arquitetura genérica do IMAV é mostrada na Figura 9. Figura 9 Arquitetura do IMAV. A Figura 8 mostra como a comunicação entre os principais elementos do sistema é feita. O usuário interage com o dispositivo móvel que envia uma mensagem para o Servidor Wireless, que repassa para o Gerenciador de Comunicações, este é o responsável pelo envio de mensagens para todos os outros módulos envolvidos em uma ação específica. Dentre as principais operações que podem ser realizadas pelo usuário estão: Criar e salvar uma nova instância do ambiente, onde serão realizadas operações de translação e rotação; Inserir, remover, transladar, rotacionar e escalonar objetos no ambiente; O banco de dados guarda as instâncias dos ambientes salvos com todas as configurações das características dos objetos realizadas pelos usuários.

8 Serão utilizados diagramas UML (Unified Modeling Language) para um melhor entendimento da concepção do protótipo Diagrama de Casos de Uso Um diagrama de casos de uso [Bezerra, 2002] [Booch, 2000] (Figura 10) foi desenvolvido para descrever os requisitos a serem implementados do protótipo. Figura 10 Diagrama de Casos de Uso do Protótipo Diagrama de Classes Baseado na arquitetura genérica do protótipo foi desenvolvido um diagrama (Figura 11) com as principais classes e como elas se relacionam. Figura 11 Diagrama de Classes

9 5.3.4 Diagrama de Seqüência O diagrama de seqüência demonstra as trocas de mensagens entre os objetos em um determinado caso de uso (Figura 10). [Bezerra, 2002] [Booch, 2000] A ação de Conexão (Figura 12) é a primeira executada pelo usuário, e é realizada no momento de inicialização da aplicação no dispositivo móvel. Figura 12 Diagrama de Seqüência para a Conexão do usuário. Uma outra ação do usuário é a Inserção de Objetos (Figura 13). Figura 13 Diagrama de Seqüência para a Inserção e Objetos 5.4 Exemplo de inserção de uma molécula em um ambiente de química. Após escolher qual o tipo de ambiente para o experimento (neste exemplo será química) (Figura 4), no mesmo formulário o usuário escolhe um nome para este novo ambiente, escolhe a opção Novo e seleciona o menu Avançar (Figuras 14 e 15) para abrir a tela de manipulação de objetos (Figura 5) com uma lista de objetos pré-determinados, correspondendo ao experimento de química. Figura 14 Criar novo ambiente Figura 15 Avançando para a inserção de objetos

10 Para inserção de uma molécula de água, no formulário da Figura 5 o usuário escolherá o Tipo de objeto Água, a opção de Inserção e, finalmente, o menu Avançar. Isto atualizará o ambiente virtual como mostrado na Figura 16. Figura 16 Ambiente Virtual com uma molécula de água. Operações de translação, rotação e escalas são baseadas na imagem com eixos representativos do espaço tridimensional (Figura 6 e 7). Por exemplo, para transladar o objeto para a direita (no eixo X), pode-se utilizar a tecla 6 do teclado de um celular. Para rotacionar o objeto no sentido horário sobre eixo Y deve-se utilizar a tecla 8. A Figura 17 representa uma translação e uma rotação da molécula de água. Figura 17 Ambiente Virtual com uma molécula de água após uma translação e rotação. Na versão atual do protótipo o usuário não poderá criar objetos, mas poderá salvar ambientes modificados, ou seja, ambientes que sofreram alterações de inserção,

11 remoção, translação, etc. de objetos. Para a utilização de novos objetos e ambientes o usuário deverá atualizar os dados no dispositivo móvel, através de um processo de sincronização. 6 Considerações Finais Este artigo tem como objetivo propor uma alternativa para manipulação de ambientes virtuais baseados em projeção, pois estes podem necessitar de uma interação distante de onde o ambiente virtual é renderizado, ou seja, o uso de luvas necessitaria de longos cabos, e a utilização de teclado ou mouse sem fio seria desconfortável. Assim, o projeto intitulado IMAV apresentou a utilização de um dispositivo com um padrão de comunicação sem fio para manipulação de ambientes virtuais. Tendo em mente este objetivo, a interface gráfica com possibilidades de interação do usuário é apresentada em um dispositivo fisicamente separado de onde o ambiente virtual é exibido. Uma outra vantagem é a possibilidade de vários usuários estarem manipulando o ambiente virtual simultaneamente, em outras situações, várias luvas seriam necessárias. Contudo, o fato do IMAV poder ser um ambiente multiusuário necessitaria de certo controle de concorrência pela manipulação dos objetos, como todos os usuários estão fisicamente em um mesmo local, o uso de um protocolo social, onde as pessoas terão que se coordenar durante a realização do experimento é uma possibilidade de solução para esse problema. O IMAV está em seu começo e necessita de muitos aperfeiçoamentos ainda, por exemplo, a atualização da aplicação através da própria aplicação. Para este trabalho o protótipo foi disponibilizado em um celular (dispositivo disponível no momento), porém, a aplicação é portável para handhelds que se enquadrem na implementação do perfil MIDP estudado. Acredita-se em uma melhoria da usabilidade de interação do IMAV quando utilizado em um dispositivo com mais recursos tecnológicos (handheld), nos aspectos de: dimensão da tela, sensores de toque (touchscreen), processamento, etc. Além disso, alguns componentes da interface (como as listas de objetos) podem ter uma apresentação mais simplificada nestes dispositivos.. Um trabalho futuro importante e de curto prazo é avaliação da aceitação (usabilidade e ergonomia) do usuário na manipulação de ambiente virtual através de um dispositivo limitado em recursos. 7 Referências Bibliográficas BEZERRA, Eduardo. Principios de análise e projeto de sistemas com UML. Rio de Janeiro: Campus BOOCH, Grandy; Rumbaugh, James; Jacobson, Ivar. UML: Guia do Usuário Rio de Janeiro: Campus BURDEA. G.; COIFFET, P. Virtual Reality Technology. John Wiley & Sons - 2a Edition, CRUZ-NEIRA, Carolina; et al. Course Notes - Applied Virtual Reality. 25th International Conference on Computer Graphics and Interactive Techniques. SIGGRAPH Orlando, Florida, USA. July 19th-24th, 1998

12 DORNAN, Andy. Wireless Communication: O guia essencial de comunicação sem fio. Ed. Campus. Rio de Janeiro, GAST, Matthew S Wireless networks The Definitive Guide. O Reilly HORSTMANN, Cay S., CORNELL, Gary. Core Java 2 Volume II: Recursos Avançados. São Paulo: Makron Books, KIRNER, C. Sistemas de Realidade Virtual. Grupo de Pesquisa em Realidade Virtual. Departamento de Computação. Universidade Federal de São Carlos. Disponível:. [janeiro 1998] KUMAR, C. Bala, et. al. Bluetooth Application Programming with the Java APIs. Morgan Kaufmann, 2003 PINHO, M. S. Uma Introdução à Realidade Virtual. Grupo de Pesquisa em Realidade Virtual. Instituto de Informática PUCRS Disponível: [janeiro 1998] PIROUMIAN, Vartan. Wireless J2ME Platform Programming. Prentice Hall PTR 2002 SCHILLER, Jochen. Mobile Commnunications. Addison-Wesley. London, SHERMAN, William R., Craig, Alan B. Understanding Virtual Reality: Interface Application and Design. Morgan Kaufmann Publishers TOPLEY, Kim. J2ME in a Nutshel. O Reilly, WALSH, Aaron E, et al. Java 3D API Jump-start. USA: Prentice-Hall PTR 2002