AR-Hardware - Um modelo de Interatividade em Ambientes de Realidade Aumentada

Transcrição

1 AR-Hardware - Um modelo de Interatividade em Ambientes de Realidade Aumentada José M.P. Júnior 1,3, Gilson Giraldi (orientador) 1, Rodrigo L.S. Silva (orientador) 1,2,3 1 LNCC Laboratório Nacional de Computação Científica 2 LAMCE UFRJ COPPE 3 Universidade Estácio de Sá {pilato,gilson,rodrigo}@lncc.br Resumo O sistema proposto neste trabalho visa apresentar um modelo de interação entre objetos em um sistema de Realidade Aumentada. Nosso estudo de caso trata de um modelo de treinamento em hardware. Objetos virtuais texturizados foram utilizados para ilustrar a utilização desse sistema. Uma característica importante de um sistema desse tipo é que o usuário pode utilizá-lo de forma fácil e intuitiva, como se estivesse manipulando um modelo real. 1. Introdução A Realidade Aumentada é uma área na qual objetos virtuais gerados por computador são inseridos numa cena real [1]. Tem como característica a interatividade com tais objetos em tempo real. Essa característica nos permite construir sistemas intuitivos e de fácil manipulação, onde o usuário não necessita ter uma boa experiência em computadores [6]. Uma das principais bibliotecas para desenvolvimento de sistemas de Realidade Aumentada é o ARToolKit [5]. Uma das partes mais difíceis do desenvolvimento de uma aplicação em Realidade Aumentada é calcular precisamente o ponto de vista do usuário em tempo real [8], para que as imagens virtuais estejam exatamente alinhadas com os objetos do mundo real. O ARToolKit usa técnicas de Visão Computacional para calcular a posição real da câmera e orientação relativa a marcadores, permitindo ao sistema sobrepor objetos virtuais sobre esses marcadores [5]. Nossa proposta foi criar um sistema para ensino e treinamento em hardware baseado no ARToolKit (Fig. 1). Nesse sistema, o usuário poderá manusear de maneira intuitiva objetos virtuais, da mesma forma como faria com objetos reais. O sistema foi construído fazendo uso de um modelo de interatividade baseado na distância 3D entre os objetos. O artigo seguirá a seguinte ordem. Na seção 2, serão Figura 1. Ensino de Hardware utilizando Realidade Aumentada. apresentados os trabalhos relacionados ao tema. A seção 3 mostrará o modelo de interatividade proposto seguido de alguns exemplos de aplicação (seção 4). Finalmente, na seção 5, serão apresentadas algumas propostas para trabalhos futuros e uma breve conclusão. 2. Trabalhos Relacionados Em [7], foi demonstrado um sistema em Realidade Aumentada que permite a construção de plantas de cidades. Neste trabalho, cada objeto da planta é mostrado em forma de miniatura. O usuário pode manipular os objetos de forma fácil e intuitiva. No sistema, a interface é feita através de um copo transparente. O usuário segura o copo de cabeça para baixo para manipular os objetos. Quando o copo cobre um determinado objeto, o mesmo é selecionado e projetado em cima do copo. Assim o usuário pode pegar os objetos e reorganizá-los em diferentes posições. Em [4], foi apresentado um desktop totalmente em três dimensões usando Realidade Aumentada. Neste exemplo de desktop, os marcadores foram fixados nas paredes e colo-

2 cados em cima de uma mesa para que o sistema, que usa o ARToolKit, possa reconhecê-los e renderizar os respectivos modelos 3D. O usuário pode manipular qualquer objeto, como por exemplo um relógio, um vaso de plantas e um cartão de recados. Em [6], foi apresentado um sistema que mostra como a Realidade Aumentada pode ser explorada em sistemas colaborativos. Foi desenvolvido um sistema com o objetivo de ser bastante intuitivo, para ser usado por pessoas que não possuem experiência em computadores. Este sistema foi baseado no simples jogo de cartões usado por crianças. Quando objetos de assuntos similares são colocados lado a lado, uma animação entre esses objetos é iniciada. Este sistema, batizado de Shared Space, foi testado por aproximadamente pessoas em uma conferência na Alemanha. Todos os usuários que testaram o sistema, ao terminar, responderam um questionário. Constatou-se então que os usuários não encontraram qualquer dificuldade em usar o sistema. Outro sistema que trata de interação entre usuários foi demonstrado em [9]. O sistema denominado AR 2 Hockey, permite que dois usuários compartilhem o mesmo ambiente para jogar hockey de mesa. Cada usuário, sentado em um dos extremos de uma mesa, interage com um disco, que é um objeto virtual, jogando um para o outro. O sistema apresentado neste trabalho lida com manipulação de objetos no contexto de treinamento e/ou aprendizado de manipulação de Hardware. Detalhes a respeito do modelo de interatividade proposto e sua respectiva aplicação serão mostrados abaixo. snapping para facilitar aos usuários o manuseio e posicionamento das peças durante o jogo. O modelo de interatividade utilizado neste trabalho pode ser considerado uma reimplementação de SNAP, baseado em magnetismo, onde leva em consideração a distância entre objetos. Cada objeto virtual possui uma posição inicial no sistema e uma posição de destino. O usuário deverá através de uma pá virtual capturar o objeto e levá-lo até sua posição final. No caso do exemplo implementado, a posição final será o slot apropriado de cada componente. A idéia é que se um objeto estiver a uma distância σ em relação ao seu local de destino, o mesmo será deixado neste local. O mesmo método é utilizado para capturar os objetos com a pá virtual. Se a posição da pá no espaço estiver a uma distância σ do objeto virtual, o mesmo será capturado (Fig. 2). Para calcular a distância entre os objetos, utilizamos um modelo simples de distância Euclidiana 3D entre os pontos centrais dos objetos, fornecidos pelo ARToolKit. 3. Modelo de Interatividade Um dos principais desafios na computação gráfica é o desenvolvimento de técnicas eficazes de interação 3D para dispositivos de entrada e saída em 2D. Apesar desse problema ser tratado de forma satisfatória no contexto de realidade virtual e/ou realidade aumentada com o uso de dispositivos especiais, a maioria dos usuários não dispõem de tais dispositivos. Técnicas de interação 3D para dispositivos de entrada e saída em 2D foram desenvolvidas para resolver esse problema [3]. Uma das técnicas clássicas utilizadas é a SNAP, voltada para aplicações CAD/CAM. SNAP tem como objetivo usar funções de gravidade que ajudam o usuário a colocar pontos de objetos em vértices, arestas e superfícies [2]. Algumas aplicações em realidade virtual e realidade aumentada tem utilizado técnicas de SNAP para fornecer ao usuário uma forma mais adequada de manipular os objetos. Em [13] foi desenvolvido um jogo em realidade aumentada, cujo o enredo é um tradicional jogo chinês chamado Matt-Jongg. Neste trabalho, foram utilizadas técnicas de Figura 2. Objeto sendo levado à pá virtual através do cálculo de distância no R Estudo de Caso - Ensino em Hardware Nesta seção, vamos demonstrar a potencialidade do nosso sistema aplicando as idéias apresentadas na seção anterior ao problema de ensino e treinamento em equipamentos eletrônicos. Nossa motivação para escolher esse tema advém do fato de nem sempre termos a disposição equipamento necessário para fazer treinamento de funcionários para uma determinada aplicação específica. Em muitos casos o custo do

3 hardware impede este treinamento. No caso do sistema que será apresentado que envolve ensino em hardware de micro computadores, o custo do hardware em si pode ser relativamente baixo. Contudo, pode-se estender a sua utilização para outros tipos de aplicações envolvendo outros tipos de equipamentos, tornando seu uso uma possibilidade comercialmente atrativa. Foi desenvolvido um sistema de Realidade Aumentada baseado em monitor (Monitor Based) [1], onde o usuário posiciona a câmera na posição desejada, bem como os marcadores que comporão a cena. O sistema é visualizado em monitores convencionais, mas não há qualquer restrição ao uso de HMD s (Head Mounted Display). Nosso sistema visa criar um ambiente foto-realista no qual o usuário conduz as peças para seus locais de destino. Somente quando as mesmas estiverem suficientemente próximas aos seus locais apropriados, a etapa é concluída. Na figura 3, vemos um exemplo no qual o usuário utiliza uma pequena pá virtual que será utilizada para pegar os objetos. O usuário deverá conhecer as peças e identificar sua função para saber onde colocá-la. Uma vez capturado, o objeto só será solto no seu local de destino. Para realizar o ensino de hardware foram escolhidas quatro peças: placa mãe, processador, cooler e um pente de memória. Cada objeto foi devidamente modelado, de acordo com sua forma e proporção real em relação à placa mãe. Para dar mais realidade ao sistema, aplicamos em cada objeto texturas relacionadas aos objetos a serem manipulados. Nosso sistema é baseado no ARToolKit, que usa marcadores para calcular a orientação e posição de cada objeto em relação a câmera. Se o usuário com uma das mãos cobrir o marcador, este não será mais identificado pela câmera e assim o objeto desaparecerá. Portanto, para proporcionar uma melhor estabilidade ao sistema, optamos por usar dois marcadores para referenciar a placa mãe (Fig. 4). Os dois marcadores são colocados lado a lado, e um deles é escolhido como principal. Para desenhar a placa mãe, primeiro o sistema procura pelo marcador principal. Se o mesmo for encontrado a placa é desenhada, senão, o sistema passa agora a procurar pelo outro marcador. Da mesma forma, se o segundo marcador for encontrado a placa mãe é desenhada. Isso dará ao usuário mais mobilidade ao manusear o sistema, podendo cobrir com as mãos um dos marcadores. Deve-se ter o cuidado de renderizar a placa-mãe no mesmo local independente do marcador a ser utilizado. Para isso, sempre a desenharemos no centro dos dois marcadores, ou seja, se o marcador de referência for o da esquerda, transladamos para direita e se for o mais a direita, é feito o contrário. As demais peças virtuais serão desenhadas em relação aos marcadores da placa mãe, respeitando o mesmo esquema dos parágrafos anteriores. Um outro marcador foi utilizado para referenciar a pá Figura 4. Marcadores para placa-mãe (indicados por setas) e da pá virtual. virtual. Esse objeto é usado para capturar as peças virtuais e levá-las até a sua posição destino. Para capturar uma peça virtual o usuário deve segurar a pá virtual e levá-la até a peça virtual. Como explicado na seção anterior, se a distância entre a posição da peça virtual e a pá virtual for menor que um valor previamente determinado, o sistema identifica que o usuário capturou a peça. A partir desta etapa a peça virtual será desenhada sobre a pá virtual. Para encaixá-la em sua posição correspondente na placa mãe, o usuário deverá levála até o local correto. Por exemplo, se a peça virtual for o pente de memória, o usuário deverá levá-lo até seu slot correspondente. Se a distância entre a pá virtual e a posição correta na placa virtual for aceitável, o sistema identifica que o usuário deixou o objeto no seu lugar destino. Similar para os outros objetos. Para facilitar a utilização do sistema proposto, o modelo de interatividade utilizado não leva em consideração o posicionamento dos objetos. Em outras palavras, se a distância σ for satisfeita o objeto será encaixado, até mesmo se o objeto possuir apenas uma posição apropriada de encaixe e esta estiver incorreta. O valor de σ utilizado no sistema apresentado foi correspondente a 1cm no mundo real. Não utilizamos de qualquer artefato para escolher este valor. Sua escolha foi baseada em testes, onde achamos esse valor aceitável para nossa aplicação, levando em consideração a estrutura disponível. Quanto menor o valor de σ mais precisa se torna a aplicação, entretanto, para proporcionar tal precisão, se faz necessário o uso de dispositivos mais apropriados, como câmeras com melhor resolução do que as webcams mais comuns. O sistema teve desempenho compatível com o próprio

4 (a) (b) (c) (d) (e) (f) (g) (h) Figura 3. Em (a) pode-se observar o sistema em seu estado inicial estando a câmera posicionada ortogonalmente em relação a placa mãe virtual. (b)-(g) mostra a pá virtual pegando os objetos e colocando-os em locais apropriados. Em (h) tem-se uma visão do sistema em sua situação final.

5 ARToolKit. Os testes foram feitos em um Pentium 4 2.4GHz com 1GB de RAM, placa de vídeo GeForce FX 5600 com 128MB de memória e uma WebCam Genius VideoCam III. O sistema operou a fps enquanto os exemplos do ARToolKit operaram a fps. Acreditamos que o sistema poderá funcionar a uma taxa de atualização superior se utilizarmos uma câmera mais apropriada. 5. Conclusão e trabalhos futuros Neste trabalho apresentamos um modelo de interatividade em um sistema de Realidade Aumentada baseado em SNAP [2]. Para validar o modelo mostramos uma implementação de um sistema de treinamento em hardware. No sistema apresentado, o usuário captura as peças virtuais e as encaixa em suas posições corretas. Outra iniciativa que se faz necessária para validar o sistema é a realização de uma bateria de testes com usuários reais para verificar a eficácia da metodologia. Nossos experimentos foram realizados em uma arquitetura baseada em monitor (Monitor Based), que é substancialmente menos atrativa e imersiva do que um sistema baseado em HMD. Portanto, para obtermos uma validação mais satisfatória da proposta, seria interessante utilizarmos equipamentos mais adequados. Uma limitação do sistema atual diz respeito à orientação das peças virtuais. Como citado na seção 4, o sistema proposto não leva em consideração a orientação das peças virtuais ao serem encaixadas. Um processador real por exemplo só pode ser encaixado em seu slot se sua orientação em relação a placa mãe estiver correta. Desenvolver uma extensão do presente trabalho levando-se em consideração essa questão seria interessante, apesar de tornar a interface com o usuário um pouco mais complexa. Outra possível extensão do presente trabalho seria adicionar objetos reais para servirem como marcadores. No exemplo explorado nesse trabalho, poderíamos colocar uma placa mãe real e os objetos a serem colocados sobre a mesma virtuais. Técnicas que envolvem utilização de marcadores genéricos [10][12][11] poderiam ser utilizadas nesse contexto. [2] E. A. Bier. Snap-dragging in three dimensions. In SI3D 90: Proceedings of the 1990 symposium on Interactive 3D graphics, pages , New York, NY, USA, ACM Press. [3] E. A. Bier and M. C. Stone. Snap-dragging. In SIGGRAPH 86: Proceedings of the 13th annual conference on Computer graphics and interactive techniques, pages , New York, NY, USA, ACM Press. [4] S. DiVerdi, D. Nurmi, and T. Höllerer. Arwin-a desktop augmented reality window manager. In ISMAR, pages , [5] H. Kato and M. Billinghurst. Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In IWAR 99: Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality, page 85. IEEE Computer Society, [6] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, and K. Tachibana. Virtual object manipulation on a table-top ar environment. In ISAR, [7] H. Kato, K. Tachibana, M. Tanabe, T. Nakajima, and Y. Fukuda. A city-planning system based on augmented reality with a tangible interface. In ISMAR, pages , [8] V. Lepetit, L. Vacchetti, and P. Fua. Fully automated and stable registration for augmented reality applications. In Proc. of International Symposium on Mixed and Augmented Reality, Arlington, VA, USA, Nov [9] T. Ohshima, K. Sato, H. Yamamoto, and H. Tamura. Ar2hockey: A case study of collaborative augmented reality. In VRAIS 98, pages , [10] D. M. C. Rodrigues, P. S. Rodrigues, G. A. Giraldi, and R. L. S. Silva. A bayesian network model for object recognition environment using color features. In Eletronic Proceedings of Sibigrapi 04, [11] R. Silva, P. S. Rodrigues, G. Giraldi, and G. Cunha. Object recognition using bayesian networks for augmented reality systems. 9th International Conference on Information Visualisation, [12] R. Silva, P. S. Rodrigues, D. Mazala, and G. Giraldi. Object recognition using bayesian networks for augmented reality applications. VII Symposium on Virtual Reality, [13] Z. Szalavári, E. Eckstein, and M. Gervautz. Collaborative gaming in augmented reality. In VRST 98: Proceedings of the ACM symposium on Virtual reality software and technology, pages , New York, NY, USA, ACM Press. Agradecimentos Agradecemos ao Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq, pelo apoio financeiro dado a este projeto. Referências [1] R. Azuma. A Survey of Augmented Reality. ACM SIG- GRAPH, 1-38, 1997.