O Uso de Realidade Aumentada no Ensino de Física

O Uso de Realidade Aumentada no Ensino de Física Márcio Duarte, Alexandre Cardoso e Edgard Lamounier Jr. Universidade Federal de Uberlândia UFU Programa de Pós-graduação em Engenharia Elétrica marcio@cesuc.br, alexandre@ufu.br, lamounier@ufu.br Abstract This paper presents a new interactive technique to support Augmented Reality (AR) applications. This technique alows dynamic information visualization associated to real time scene changes which is not observed in current AR systems. A velocity/time phisical experiment with achieved results is taken as a case study to demostrate the proposed technique. 1 - Introdução Realidade Aumentada (RA) consiste numa técnica avançada de interface computacional, que permite a sobreposição de objetos virtuais no mundo real. Considerada uma variante da Realidade Virtual, a RA suporta uma visualização de maneira altamente realista, incrementando a percepção do usuário no uso de uma interface de computador [1]. Assim, a RA proporciona um aumento da percepção humana, possibilitando ao usuário identificar melhor as informações do ambiente visualizado, favorecendo com isso a construção do seu conhecimento. A maioria dos sistemas desenvolvidos em RA limita-se a inserir informações no ambiente real, associadas a marcadores, de forma a complementar uma cena estática com uma dada informação. A proposta deste trabalho é utilizar RA para apresentar, dinamicamente, informações associadas à mudança do cenário que está sendo utilizado no mundo real. Desta forma, em um experimento real de Física que é digitalizado e apresentado no computador informações que são variantes no tempo, como por exemplo, velocidade e aceleração poderiam ser estimadas e exibidas em tempo real, como será visto através do estudo de caso deste artigo. Para isso, está sendo utilizado um sistema de desenvolvimento de aplicações de RA, denominado ARToolKit [2]. 2 Conceitos Básicos 2.1 - ARToolKit ARToolKit é uma biblioteca que permite desenvolver aplicações em RA utilizando técnicas de visão computacional para o processo de orientação, calibração da câmera, sobreposição e visualização de imagens reais e virtuais no mesmo cenário, além de detecção de movimentos em tempo real, cujo processo é feito com a utilização de marcadores [3], como ilustram as Figuras 1 e 2. O ARToolKit pode ser executado nas plataformas SGI Irix, PC Linux e PC Windows 95/98/NT/2000/XP, com versões separadas para cada uma destas. O sistema é livre e "open-source" para uso em aplicações não-comerciais e é distribuído sob licença GPL. As versões mais utilizadas e mais atualizadas do software, atualmente, são as implementadas na linguagem C. Há ainda versões implementadas para Matlab e Java (o jartoolkit). Algumas versões possuem suporte a VRML, mas a maioria está disponível apenas para OpenGL. 1

Figura 0: Marcador Figura 2 Objeto virtual no ambiente real 2.2 Experimento de Física Relacionado O experimento físico realizado baseia-se na utilização de um Air Track (Trilho de Ar), que envolve a segunda Lei de Newton-Galileu, onde um planador de massa Ma desliza praticamente sem atrito puxado por um porta-pesos de massa Mb, estando os dois ligados por um fio leve, que passa por uma polia fixa também considerada ideal, como pode ser visto na Figura 3. Figura 3 Trilho de Ar (Segunda Lei de Newton) Fonte: http://educar.sc.usp.br/licenciatura/2002/trilho_de_ar/tda.htm O objetivo deste experimento é mostrar como uma força de atrito pode atuar sobre um corpo. Assim, dependendo desta força, variáveis como aceleração e velocidade podem ser modificadas. Vários experimentos realizados em laboratórios acadêmicos, apenas ilustram como essa força de atrito pode agir sobre um corpo, mas não estimam e nem ilustram em tempo real as variáveis citadas anteriormente. Pensando nisto, uma estratégia computacional utilizando RA foi implementada para que estes dados pudessem ser expressos de forma mais sucinta, uma vez que suporte para tal experimento não foi encontrado em outros sistemas de RA com fins educacionais. 3 Detalhes da Implementação De forma a permitir a inserção de dados relativos ao tempo, espaço, velocidade e aceleração, na forma de RA e prover ao usuário a verificação destes valores no momento do experimento, foram feitas adaptações (que não alteram a condição da experiência em execução), onde um conjunto de marcadores acomoda-se para uma câmera, que está posicionada sobre o experimento. Assim, um painel contendo vários marcadores foi criado, como é mostrado na Figura 4. 2

Figura 4 Trilho de Vento e Marcadores Um problema encontrado foi de como detectar a passagem do objeto por cada marcador. A solução relaciona-se com a criação de uma abertura na borda de cada marcador, de maneira que, quando o objeto que percorre o trilho de ar passa por este, causa o fechamento da borda, definindo a imagem de um marcador e ativando uma ação. Esta ação é a identificação do marcador pelo software ARToolKit através de uma WebCam e a projeção, (relativa, por exemplo, à da velocidade do objeto) no monitor de vídeo, concebida em VRML. Como o ARToolKit é uma ferramenta de código aberto, foi possível desenvolver modificações no código referente a detecção dos tempos de aparições entre um marcador e outro. Outra dificuldade encontrada refere-se à atualização dos valores das variáveis do experimento que estão associadas a estes marcadores. Faz-se necessário atualizar os objetos virtuais associados com os marcadores, em função do tempo decorrido até a detecção do mesmo. Como o ARToolKit trabalha com objetos virtuais pré-armazenados, isso não possibilitava gerar suas atualizações. Assim, uma rotina complementar foi desenvolvida. Desta forma, cada marcador identifica uma mudança de um estado, permitindo obter o tempo gasto entre a aparição de um marcador e de outro. Armazenando o tempo anterior e subtraindo do tempo atual, obtém-se a variação de tempo ( t) que é usado nas fórmulas associadas ao cômputo de aceleração e velocidade do objeto. Para o experimento, foram utilizados um computador Pentium IV, uma WebCam Creative NX, os softwares ARToolKit 2.52Vrml e Visual C++. A Figura 5a mostra a imagem capturada pela câmera através da execução do programa SimpleVRML modificado do ARToolKit, aplicado ao experimento de Física. Nesta figura, a velocidade do objeto é exibida em frente ao marcador central. A Figura 5b mostra uma nova velocidade identificada quando o objeto passa diante do marcador à direita. Figura 5 (a) Imagem Real do Experimento Figura 5 (b) Imagem Real do Experimento 3

4 Conclusões e Trabalhos Futuros Este artigo descreveu um projeto para utilização de Realidade Aumentada em laboratórios de ensino de Física. A visualização de informações reais e estimadas durante o experimento, com o uso de RA, mostrou ser uma técnica bastante eficiente, pois dessa forma experimentos podem ser mais bem detalhados, facilitando o processo de abstração e auxiliando o processo cognitivo de aprendizado. Outra vantagem do sistema de Realidade Aumentada está relacionada ao custo, pois é possível o desenvolvimento de ambientes relevantes utilizando materiais acessíveis e disponíveis nos laboratórios de informática. Porem, é preciso ressaltar que não foi realizada uma medição para verificação dos resultados obtidos e que estes foram meramente conseguidos através da utilização de fórmulas físicas. O uso de web-cam e marcadores pode introduzir alguma forma de erro nessas medidas. Dessa forma, como trabalhos futuros são propostas a verificação da precisão destes resultados, medição dos possíveis erros introduzidos e a criação de uma interface mais intuitiva, unificando a imagem da câmera ao sistema de entrada de dados. REFERÊNCIAS WRA 2005 - II Workshop de Realidade Aumentada [1] SANTIN, R., KIRNER, C. ARToolKit Aspectos Técnicos e Aplicações Educacionais. In: Anais do WRA 2004 I WorkShop Sobre Realidade Aumentada, 2004, Piracicaba - SP. WRA 2004 WORKSHOP SOBRE REALIDADE AUMENTADA. Piracicaba - SP: UNIMEP, 2004. v. 01. p. 13-16. [2] ARToolKit - Download. Disponível em http://www.hitl.washington.edu/artoolkit/. Acesso em: 04/04/2005. [3] LAHR, P. S., LOURENÇO, P. C., DAINESE, C. A.. Rastreamento em Realidade Aumentada com Artoolkit e Marcadores. In: Anais do WRA 2004 I WorkShop Sobre Realidade Aumentada, 2004, Piracicaba - SP. WRA 2004 WORKSHOP SOBRE REALIDADE AUMENTADA. Piracicaba - SP: UNIMEP, 2004. v. 01. p. 37-40. [4] CONSULARO, L. A., JUNIOR, N. C., DAINESE, C. A., GARBIN, T. R., KIRNER, C., TRINDADE, J., FIOLHAIS, C.. ARToolKit Aspectos Técnicos e Aplicações Educacionais. In: Livro dos Minicursos do VII Symposium on Virtual Reality, 2004, São Paulo - SP. SVR 2004 ARTOOLKIT ASPECTOS TÉCNICOS E APLICAÇÕES EDUCACIONAIS. São Paulo - SP: SENAC, 2004. v. 01. p. 141-182. [5] Trilho de Ar Disponível em http://educar.sc.usp.br/licenciatura/2002/trilho_de_ar/tda.htm. Acesso em: 06/05/2005. 4

Catalog System: Um Sistema de Autoria Espacial de Realidade Aumentada Francinee Benam¹, Claudio Kirner² ¹ ²Universidade Metodista de Piracicaba UNIMEP. ¹ ²Faculdade de Ciências Exatas e da Natureza FACEN. ²Programa de Pós Graduação em Ciência da Computação. fbenam_tmc@yahoo.com, ckirner@unimep.br Abstract This paper aims to demonstrate the forthcoming scenarios of possibilities when developing augmented reality authoring systems. The merged technological conditions embedded into an augmented reality environment suggest its amplitude as the foundation of all humancomputer interaction to come. Keywords: Augmented Reality (AR); Authoring Systems; Ubiquitous Computing. 1 Introdução Realidade Aumentada é um assunto ainda pouco difundido e, para pesquisadores e cientistas, é uma das áreas mais promissoras da tecnologia. A abrangência de seu espectro gera um campo multidisciplinar de estudos - técnicas de Visão Computacional, Computação Gráfica, Sistemas Inteligentes, Robótica, dispositivos móveis e sem fio (celulares/wireless/telecomm) permitindo a criação de novas vertentes tecnológicas. Alguns observadores sugeriram que uma das muitas aplicações em potencial de realidade aumentada irá emergir como a aplicação em inglês definida como the killer app, mais especificamente a aplicação que virá em primeiro e irá matar as outras prévias tentativas com um uso tão atrativo que resultaria em uma adoção em massa dessa tecnologia. Estes dispositivos não fazem parte de um só tipo de aplicação; são anfitriões de aplicações que estarão no dia a dia das pessoas - aplicações comerciais para celulares, jogos por computador, manutenção de equipamentos/ maquinários, imagens médicas etc. A noção de que os computadores são, inexplicável e transparentemente, incorporados em nossas vidas diárias é o que o cientista computacional Mark Weiser (1991) afirmou ao cunhar o termo Ubiquitous Computing (computação ubíqua) mais de uma década atrás. Os sistemas de realidade aumentada, com suas informações virtuais sobrepostas em dispositivos móveis, painéis, displays e projetores holográficos, logo se integrarão ao cenário diário observado. Quando interfaces computacionais para usuários estiverem em todo lugar - rótulos virtuais como post its animados pairando no ar para indicar direções e anunciar as últimas notícias e, conteúdos multimídia em sistemas e dispositivos de realidade aumentada como novo tipo de mídia publicitária -, esta permissiva mistura de realidade e virtualidade (MILGRAM; HERMAN, 1999) poderá se transformar no midium primário (Figura 1) para uma nova geração de visionários da tecnologia que contribuirá para a construção do futuro próximo. 5

Figura 1:. Mixed-fantasy framework (MILGRAM et al, 1999). 2 Sistema Espacial: Catalog System O sistema de autoria criado e, apresentado neste artigo, visa mostrar o potencial do desenvolvimento de aplicações de realidade aumentada. O sistema espacial assim chamado por possibilitar a movimentação de objetos virtuais no espaço real de coordenadas x, y, z captado pela câmera - foi denominado CatalogSystem e pode funcionar como um catálogo de objetos virtuais. O usuário escolhe o tema e movimenta o objeto, coletando-o de um catálogo de objetos, para fazer seu depósito na mesma cena, interagindo com outros objetos virtuais ou em outro cenário (base virtual), conforme suas necessidades. Para ilustrar a idéia foi elaborada a aplicação aquarium, na qual, o usuário, movimenta com as mãos, elementos de um aquário virtual, incluindo o próprio aquário, peixes e outros objetos do cenário. A Figura 3 ilustra a montagem de um aquário com um peixe, através de interação no espaço real. Para tornar o ambiente virtual mais realista, optou-se por colocar o marcador do aquário sob a mesa, de forma que o fundo do aquário o cubra, fazendo que os marcadores não apareçam na cena final. Assim, os outros marcadores sob a mesa, representando peixes e outros objetos do aquário, também não serão vistos na cena final. Nesta primeira versão, o catálogo contém as placas móveis correspondentes aos objetos virtuais (Figura 2). Ao colocar-se o catálogo no campo de visão da webcam, os objetos virtuais aparecerão, de forma que as placas poderão ser retiradas e colocadas sob a mesa para formar o cenário. O catálogo contém várias cópias do mesmo objeto, de forma que possa ser usado várias vezes. Figura 2: marcadores para sobreposição dos objetos virtuais. Numa segunda versão, será usado um catálogo com placas impressas no catálogo, e uma pá de movimentação. Ao colocar-se o catálogo no campo de visão da webcam, os objetos 6

virtuais aparecerão e, com o uso da pá, cópias poderão ser removidas e depositadas sob a mesa, em placas hospedeiras que poderão ser manipuladas. Uma terceira versão será uma variante da segunda, que não exigirá as placas hospedeiras, permitindo o transporte da cópia do objeto com a pá para qualquer local da mesa, sem a necessidade de placas hospedeiras. Entretanto, a realocação dos objetos sob a mesa exigirá o uso da pá, uma vez que os mesmos não estarão sob placas. Figura 3: Captura de cenas do CatalogSystem_aquarium. A coleção de bibliotecas ARtoolKit (BILLINGHURST; KATO, 2004), disponível gratuitamente no Laboratório HITL da Universidade de Washington, foi utilizada para este processo. Algumas funcionalidades foram incluídas no software como a pá e a associação de sons com os objetos virtuais (SANTIN et al, 2004). O sistema espacial CatalogSystem[aquarium] insere-se no contexto de um ambiente formado pelo computador, incluindo o monitor, uma câmera de vídeo e um marcador, que consiste em uma placa de papelão com marcas fiduciais chamadas de patterns ou padrões. Nesse ambiente, podem-se desenvolver aplicações gráficas tridimensionais sofisticadas - cenários animados interativos e/ou jogos educacionais (BILLINGHURST; KATO; POUPYREV, 2001), que serão gerados pelo computador e colocados sob a placa/ marcador. A criação da aplicação evidenciou a modificação de aspectos ferramentais para a verificação e testes com o sistema. Objetos virtuais cones, quadrados, elipses, cilindros, entre outros - foram criados, através de primitivas gráficas e, sobrepostos em novos marcadores. Alterações no código fonte foram feitas para testar a usabilidade do sistema. Os exemplos de aplicações foram propiciados pela compilação do novo código, no ambiente integrado de desenvolvimento, através da geração do arquivo executável. O trabalho de associação dos novos marcadores (placas reais) aos objetos virtuais foi feito através da prática de cadastramento dos marcadores. Veja as fotos dos exemplos de aplicações interativas (figura 4). 7

Figura 4: Exemplos de interação e marcador com o pattern fish. 3 Conclusão O desenvolvimento do sistema de autoria espacial de realidade aumentada CatalogSystem_aquarium, ao evidenciar suas características, como a manipulação do marcador pelo usuário que visualiza e move o ambiente virtual sobreposto ao mundo real, interagindo e transformando a cena real, objetivou demonstrar as possibilidades e potencialidades do desenvolvimento de aplicações de realidade aumentada. Essas características viabilizam interfaces mais naturais, na medida em que sobrepõem o espaço do usuário com o espaço virtual, dando a impressão que o espaço virtual encontra-se na frente do usuário. Além disso, o uso das mãos manipulando placas é bastante natural e não exige treinamento, o que faz com que o sistema seja de fácil utilização. Assim, qualquer pessoa, dispondo do ambiente de realidade aumentada, como foi descrito, e de um catálogo de marcadores associados com objetos virtuais mais variados, consegue realizar a composição de ambientes virtuais na cena real, juntando placas, além de alterar esse ambiente a qualquer momento, mudando a localização das placas. O sistema pode ser útil em ensino e treinamento, além de ter alto potencial para entretenimento através de jogos. Há também a possibilidade de uso desse sistema em rede, permitindo a montagem de ambientes em grupos de pessoas, remotamente localizadas. 4 Referências Bibliográficas BILLINGHURST, M.; KATO, H. ARToolKit. Human Interface Technology Lab (HITL), Washington, 2004. Disponível em http://www.hitl.washington.edu/artoolkit. Acesso em: 15 ago. 2004. BILLINGHURST, M.; KATO, H. & POUPYREV, I. The MagicBook-Moving Seamlessly between Reality and Virtuality, IEEE Computer Graphics and Applications, p. 2-4, May/June 2001. MILGRAM, P.; HERMAN, C.J. A Taxonomy of Real and Virtual World Display Integration, in Mixed Reality, Merging Real and Virtual Environments, Ohmshda & Springer-Verlag, p. 5-30, 1999. SANTIN, R. et al. Ações Interativas em Ambientes de Realidade Aumentada com ARToolKit, in SVR, VII Symposium on Virtual Reality, São Paulo, SP, p.161-168, Outubro 2004. WEISER, M. The Computer for the 21 st Century. Scientific American, Sep. 1991. 8

Anotações Geo-Virtuais Rafael A. D. Souza 1, Fábio R. Miranda 2 Centro Universitário SENAC 1 radiaz@gmail.com 2 fabio.rmiranda@sp.senac.br Abstract This article emphasizes a subtype of augmented reality, mobile augmented reality. It is shown how augmented reality and mobile devices technology can be mixed and proposes an application that leverages both augmented reality and mobility, through a server that provides dynamic AR content over a wireless network. Resumo Este artigo destaca uma especialidade de realidade aumentada, a realidade aumentada móvel. Mostra como se pode usufruir das vantagens da realidade aumentada junto com a tecnologia de dispositivos móveis atuais e propõe uma aplicação que explora algumas das características de realidade aumentada e mobilidade, através do uso de um servidor de conteúdo dinâmico via redes sem fio. 1. Introdução A Realidade Aumentada (RA) se utiliza da realidade virtual para enriquecer os ambientes reais com objetos virtuais, através de algum dispositivo tecnológico, funcionando em tempo real. Tecnologicamente é comum o uso de um óculos ou capacete com visor semitransparente, de forma que a visão do ambiente real possa ser sobreposta com informações virtuais. Também é possível coletar a imagem real com uma câmera de vídeo e misturá-la com a imagem virtual antes de ser apresentada. Com isso podemos enxergar, por exemplo, um objeto real com o seu detalhamento interno gerado por realidade virtual. Um sistema típico de RA é composto de um capacete de visualização com sistema de rastreamento de posição, sobre o qual é disposta uma câmera de vídeo, conforme a figura 1a. Nesse caso, a imagem real é obtida pela câmera de vídeo montada sobre o capacete, enquanto que a imagem virtual é gerada por um computador que considera o posicionamento do rastreador. Um misturador combina as duas imagens e mostra o resultado final ao usuário. A finalidade desse tipo de sistema é o enriquecimento do mundo físico com informações digitais, como o SignPost [1], que ajuda na navegação em um ambiente supostamente desconhecido, fornecendo uma indicação, por meio de uma seta, do caminho que se deve seguir para atingir o destino alvo. Como mostra a figura 2. Figura 1. (a) Uma típica mochila setup para RA móvel versus (b) dispositivo handheld leve e prático. [2] 9

A realidade aumentada pode naturalmente ser complementada com a computação móvel em um dispositivo portável, fornecendo uma relação intuitiva a um espaço tridimensional da informação encaixado dentro da realidade física, tornando possível associar informação computacional a ambientes cotidianos. Infelizmente, os sistemas usáveis atuais de RA são relativamente complexos, caros, frágeis e pesados (figura 1a). São inadequados para a distribuição em grande escala e normalmente envolvem ambientes confinados em que sempre há um especialista por perto. Conseqüentemente, a escala de experiências multi-usuários não excedeu ainda um punhado dos participantes. Figura 2. Um guia móvel de navegação em realidade aumentada. [2] Azuma [3] agrupou as aplicações de realidade aumentada em três áreas: aplicações móveis, aplicações colaborativas e aplicações comerciais. As aplicações móveis de realidade aumentada incluem: - visualizar anotações virtuais em edifícios, salas e outros elementos urbanos para orientar o usuário; - mostrar ou recuperar prédios e outros elementos inexistentes ou em ruínas, enfatizando o planejamento urbano e a arqueologia; - turismo. Protótipos de aplicações móveis têm sido desenvolvidos pela equipe do Studierstube Project [4], que demonstraram que os assistentes digitais pessoais (PDAs) têm características que os tornam particularmente interessantes para realidade aumentada. No contraste aos notebooks, PDAs podem ser carregados sem inconvenientes ergonômicos, simplesmente porque foram projetados para exatamente essa finalidade. São suficientemente pequenos e leves para o manuseio. Recentemente estão sendo lançados PDAs com um maior poder de processamento (na casa de 600MHz) e aceleradores gráficos dedicados. O trabalho proposto neste texto consiste em utilizar o PDA como assistente para a realidade aumentada, sendo este o dispositivo para a captura das informações do ambiente (usando uma câmera acoplada), e de mixagem de objetos virtuais com as imagens do mundo real e no seu display LCD será apresentado o resultado dessa mistura. Temos, portanto, uma infra-estrutura de RA independente (de equipamentos desajeitados, especialista, etc) utilizando o PDA. Veja a Figura 1b. Das muitas aplicações que poderiam ser desenvolvidas no contexto desse projeto, foi escolhido um aplicativo para anotações virtuais geograficamente posicionadas no mundo real com diferentes usos. Tendo o conteúdo (objetos apresentados pelo PDA) dinâmico como diferencial, usando para isso uma comunicação wireless. 10

2. Objetivos Este projeto tem por objetivo criar um sistema que auxilie pessoas dentro de um lugar geograficamente determinado a colocarem e visualizarem informações (sejam simples anotações em textos puros ou objetos 3D virtuais interativos) nesses lugares georeferenciados (através de marcadores especiais). O sistema que irá possibilitar esse ambiente é o foco deste projeto. O equipamento utilizado consiste em um PocketPC Dell Axim 50v (com Wi-Fi 802.11 b/g) e uma câmera digital (para o PocketPC). Um ambiente interessante para o uso deste sistema são escolas, em que se coloca marcadores de realidade aumentada na parte de fora da porta de cada sala de aula, e através do sistema de Anotações Geo-Virtuais conseguimos ter informações sobre o local, como horário de aulas, reclamações de alunos, avisos quanto a problemas em patrimônios da sala, lembretes para a próxima turma, publicidade, avisos chamativos sobre eventos e etc. A grande vantagem é que todas essas informações estarão associadas apenas a aquele local geográfico específico, ou melhor, à sala na qual foi visualizado o marcador, dessa maneira, as anotações colocadas em uma sala (ao visualizar o marcador da sala) não estarão disponíveis na próxima sala, só estarão presentes na sala que foram disponibilizados os dados, seja via o AGV-Mobile (entrada de uma anotação ou objeto virtual pelo PDA) ou pelo AGV-Server (informação colocada no sistema através do servidor de conteúdo local). Não é intuito deste projeto criar a melhor forma possível de manipular anotações em lugares geograficamente determinados, e sim criar uma forma intuitiva de associá-las aos espaços cotidianos, utilizando recursos da realidade aumentada para uma melhor visualização e interação. 3. Projeto O sistema de Anotações Geo-Virtuais utilizará as funcionalidades de visão computacional presentes no ARToolKitPlus [5][6] para identificar o local, que conterá um marcador único, buscando no servidor as anotações referentes a aquele lugar, tais anotações poderão conter também objetos virtuais manipuláveis, sons e talvez pequenos vídeos. O ambiente em que será inicialmente testado é uma escola, com marcadores únicos para cada sala de aula, e através do sistema de Anotações Geo- Virtuais o usuário que passeia pela escola com o seu PDA contendo o sistema de AGV-Mobile, poderá visualizar as surpresas que cada sala contém, mirando a câmera de seu PDA para o marcador da sala e visualizando as anotações que a sala detêm ou o(s) objeto(s) virtual(is) da sala. Sendo que nos dois casos, o usuário poderá interagir, seja criando novas anotações e as postando na sala ou manipulando o objeto virtual de acordo com as características desse objeto. A figura 3 fornece uma visão da arquitetura proposta: Figura 3. Mostra como será desenvolvida a arquitetura deste projeto. O PDA contém o sistema AGV- Mobile, uma câmera e se comunicando com o servidor (rodando o AGV-Server) via wireless. 11

Os módulos que compõem a arquitetura do sistema são melhor descritos abaixo: PDA (AGV-Mobile) Realidade aumentada: responsável pela captura dos marcadores postos em lugares de fácil visualização. Guarda a identificação do marcador para ser enviado pelo módulo de comunicação. É responsável também pela mixagem dos dados, recebidos do sistema de comunicação, mostrando-os na tela do PDA. Esse módulo é baseado na biblioteca de RA ARToolkitPlus, toda a implementação desse módulo será feita com base nesta biblioteca. Sistema de comunicação integrada: após a captura do marcador e primeira identificação dele, este módulo é responsável pela comunicação com o servidor (via Wi-Fi) através de um protocolo a ser desenvolvido para o envio da identificação do marcador até o sistema servidor. Também é responsável por receber e disponibilizar ao módulo de RA os objetos virtuais (textos e objetos 3D interativos) para serem mixados ao mundo real e apresentados na tela do PDA. Servidor de conteúdo - PC (AGV-Server) Sistema de comunicação: responsável por receber as identificações dos marcadores e disponibilização dos objetos virtuais para o PDA requerente, comunicando com o PDA via wireless. Banco de dados: abrigará todas as informações dos marcadores (identificadores das salas que serão pré-cadastradas e armazenadas nesse banco), as anotações e os objetos virtuais relacionados a cada marcador. Cadastro: responsável pelo cadastro dos marcadores do ambiente, e terá também uma interface para a entrada de anotações e objetos virtuais. 4. Conclusão O emprego da realidade aumentada contribui significativamente para o estabelecimento de uma interação mais amigável e natural com os ambientes para visualização de informações. Facilitando a interação com objetos virtuais e potencializando os aspectos cognitivos, relacionados com o entendimento da informação[7]. O conceito de realidade aumentada móvel é capaz de proporcionar experiências novas, quando se utiliza um PDA alido aos sistemas grandes e complexos existentes hoje. Tem-se, assim, uma variedade muito grande de aplicações que podem usar cada vez mais intensamente a realidade aumentada de formas inovadoras nesses pequenos equipamentos. 5. Referências [1] Handheld Augmented Reality - http://studierstube.org/handheld_ar/ Acesso em: 04/04/2005. [2] Wagner, D., Pintaric, T., Ledermann, F., Schmalstieg, D., Towards Massively Multi-User Augmented Reality on Handheld Devices. [3] Azuma.R.et al. Recent Advances en Augmented Reality. IEEE Computer Graphics an Applications, 2001. [4] Applications - http://studierstube.org/handheld_ar/applications.php Acesso em: 19/05/2005. [5] Wagner, D., Schmalstieg, D., ARToolKit on the PocketPC Platform. [6] ARToolKitPlus - http://studierstube.org/handheld_ar/artoolkitplus.php Acesso em: 06/09/2005. [7] Kirner, C., Kirner, T., Calonego Jr., N., Buk, C., Uso de Realidade Aumentada em Ambientes Virtuais de Visualização de Dados. Proceedings of the 7th Symposium on Virtual Reality. 12

Ambientes Colaborativos com Realidade Aumentada Thiago Humberto Geraldi¹, Claudio Kirner² Universidade Metodista de Piracicaba UNIMEP Faculdade de Ciências Exatas e da Natureza - FACEN ¹Curso de Ciência da Computação. ²Programa de Pós Graduação em Ciência da Computação. {thgerald,ckirner }@unimep.br Abstract Collaborative Work has being discussed during years, because it is a very important tool to improve learning and performance. Manual interaction is the main problem to get full collaborative, but with the use of Augmented Reality, it is possible to get good results in this area. This work presents a research in this way, implementing an augmented collaborative environment, using the software ARToolKit. The software was modified to work with a computer network connected by sockets, so that marker positions can be sent to all computers of the network, allowing interaction and visualization of all objects of the shared environment. 1. Introdução O aumento da carga de trabalho, juntamente com a complexidade das diversas áreas da ciência, está exigindo mais do que os sentidos naturais que o homem pode utilizar. Com a pressão crescente pela melhoria do rendimento dos trabalhos realizados em grupo, o Trabalho Colaborativo Suportado por Computador (Computer Supported Cooperative Work - CSCW ) está sendo cada vez mais utilizado. Sendo assim, a Realidade Aumentada e os Ambientes Colaborativos podem auxiliar na percepção e na interação, promovendo situações mais motivadoras e intuitivas aos usuários e melhorando seu desempenho e produtividade. Com base nestas informações, este trabalho enfoca o desenvolvimento de situações mais motivadoras e intuitivas aos usuários de sistemas computacionais, usando uma rede de computadores com câmeras, aplicações de realidade aumentada e trabalho colaborativo suportado por computador, de forma que usuários remotos possam participar de um mesmo ambiente, interagindo entre si com o uso das mãos ou de dispositivos simples. Como resultado, são apresentados os estudos e o desenvolvimento de um protótipo de um ambiente colaborativo, usando realidade aumentada. 2. Realidade Aumentada Segundo [KIRNER, 2004] a Realidade Aumentada é uma particularização da Realidade Misturada e pode ser definida como a técnica da adição de objetos virtuais no ambiente real. Com esse principio a Realidade Aumentada surgiu para incrementar o ambiente real, adicionando a esse ambiente objetos virtuais tridimensionais, que são mostrados ao usuário através de um dispositivo computacional em tempo real, complementando esse ambiente e dando a idéia ao usuário de que, tanto os objetos virtuais quanto os reais fazem parte do mesmo ambiente. [DAINESE, 2003]. Para que as imagens do mundo real e virtual possam ser fundidas na posição correta é preciso que a posição e orientação da câmera sejam rastreadas constantemente. Essa varredura é denominada tracking. 13

Três elementos são essenciais para qualquer sistema de Realidade Aumentada: Interação - permite que o usuário controle o sistema, a inexistência desse elemento reduz o sistema a um filme ou vídeo. Percepção - aguça a percepção do usuário através dos sentidos (visão, tato, audição). Simulação - permite que os objetos virtuais reproduzam ou ultrapassem as leis da física, possibilitando que a Realidade Aumentada possa ser aplicada a qualquer área do conhecimento. A Realidade Aumentada busca também a representação de aspectos ocultos dos ambientes reais, ou seja, faz uma espécie de "fusão" da imagem real com uma informação gerada por computador (imagens virtuais) a fim de facilitar a sua análise e visualização. A Figura 1 mostra um ambiente de realidade aumentada contendo um carro e um vaso virtuais, devidamente posicionados sobre a mesa. Figura 1 - Ambiente com Realidade Aumentada [KIRNER, 2004] Um dos recursos de software bastante populares para o desenvolvimento de aplicações de Realidade Aumentada é o ARToolKit [ArtoolKit, 2005]. Ele baseia-se no uso de vídeo para misturar as cenas reais capturadas com os objetos virtuais gerados por computador. Para ajustar a posição dos objetos virtuais na cena, ele se serve de marcadores (placas com molduras quadradas, circundando símbolos escolhidos pelo usuário), funcionando como código de barras. A moldura serve para o cálculo de sua posição, em função da imagem em perspectiva do quadrado, previamente cadastrado, enquanto que o símbolo interno funciona como identificador do objeto virtual com ele associado em uma etapa anterior do sistema. Assim, ao colocar-se a placa marcadora no campo de visão da webcam, o software identifica sua posição e seu objeto virtual, gerando e posicionando o objeto virtual sobre a placa. Ao movimentar-se a placa, o objeto virtual é movimentado junto como se a ela estivesse preso, permitindo que seja manipulado com as mãos. 3. Ambientes Colaborativos com Realidade Aumentada Há bastante tempo, estão sendo desenvolvidas pesquisas, visando o uso do computador em tarefas colaborativas, envolvendo participantes, tanto locais quanto remotos. No entanto, a colaboração por computador, incluindo a manipulação natural de objetos, só foi desenvolvida mais recentemente, através de interfaces com realidade aumentada. Essas interfaces abrangem colaboração local e colaboração remota, envolvendo objetos reais e virtuais. A colaboração local com Realidade Aumentada [SCHMALSTEIG, 1996] baseia-se no compartilhamento do ambiente físico, misturado com objetos virtuais e visto através de capacete ou no monitor. Os participantes do trabalho colaborativo atuam nos objetos reais e virtuais do mesmo 14

ambiente, tendo cada um sua visão, quando usam capacete com micro-câmera, ou a mesma visão, quando se usa monitor com webcam. A colaboração local com Realidade Aumentada, usando visão baseada em monitor e webcam, permite que os usuários manipulem os objetos, visualizando-os no monitor, de forma que todos os usuários possuam o mesmo ponto de vista, mostrado no monitor. A colaboração remota com Realidade Aumentada, por sua vez, baseia-se em interfaces computacionais em rede, que compartilham informações e sobrepõem os espaços físicos dos vários usuários remotos. Assim, cada usuário pode colocar objetos virtuais sobre uma mesa compartilhada, de forma a visualizar todo o conjunto de objetos e manipulá-los. Usando o software ARToolKit, cada usuário poderá colocar suas placas no campo de visão da webcam, enxergando seus objetos e os objetos dos outros que aparecem no cenário, em função de suas posições, promovendo assim a colaboração remota. 4. Implementação de um Ambiente Colaborativo com realidade Aumentada O trabalho consistiu no desenvolvimento de um sistema bastante simples, baseado no uso do software ARToolKit, configurado para funcionar em rede, através do uso de sockets. Para isto, o ARToolKit foi modificado para importar e exportar posições, permitindo a colocação de objetos virtuais em posições recebidas e o envio das posições das placas marcadoras existentes no ambiente local. Inicialmente, os objetos virtuais, que serão compartilhados, são cadastrados em todas as máquinas, enquanto cada local terá cadastrado suas placas marcadoras associadas aos objetos virtuais. Quando um usuário coloca sua placa marcadora no campo de visão da webcam, o objeto virtual associado aparece sobre ela, de forma que ao mover-se a placa, o objeto move junto como se a ela estivesse preso. Como a posição e a identificação da placa é exportada para as outras máquinas, as máquinas remotas receberão estas informações e farão a colocação do mesmo objeto virtual na mesma posição, permitindo que os usuários enxerguem e manipulem seus objetos no mesmo ambiente. Na primeira versão do ambiente, cada usuário só pode manipular os objetos associados com suas placas. mas numa Segunda versão em desenvolvimento, uma pá de manipulação, permitirá coletar qualquer objeto em qualquer posição e depositá-lo em outra. Figura 2 - Visualização individual dos objetos virtuais associados aos respectivos marcadores. Para evitar sobrecarga de tráfego na rede, o envio da atualização de posições só está sendo feito, quando qualquer uma das três coordenadas variar mais do que um valor previamente estabelecido, como meio centímetro, por exemplo. Assim, uma placa parada ou sofrendo uma pequena tremida na placa de controle, não gera mensagens na rede. A Figura 2 mostra primeiramente cada usuário em sua máquina, mostrando sua placa marcadora com o objeto virtual associado. Nesse caso, pode ser visto o disco voador e o boneco ET. 15

Ao ativar-se o sistema colaborativo, conforme a Figura 3, percebe-se que uma placa marcadora com seu objeto aparece na cena junto com o outro objeto posicionado sem a placa, uma vez que sua posição veio pela rede. Isto permitiu uma interação fazendo com que o boneco ET procura-se pelo disco voador, A movimentação do disco e do boneco fez com que os dois usuários passassem a movimentar suas placas para atingir o objetivo da sobreposição. 5. Conclusão Figura 3 - Visualização dos objetos virtuais em ambiente colaborativo. Após as pesquisas e implementação do protótipo, foi possível concluir que a utilização da Realidade Aumentada beneficia de maneira muito significativa a percepção dos usuários e sua interação, principalmente em ambientes colaborativos. Esses ambientes mostraram-se muito interessantes e eficientes para realizar interações com as mãos, abrindo espaço para jogos e outras atividades dinâmicas em grupo. Assim, neste trabalho procurou-se demonstrar que é possível, através de algumas modificações na estrutura do ARToolKit e o uso de conexão em rede, obter novas formas de interação entre os usuários. Referências Bibliográficas - ARTOOLKIT (2005) Software disponível em: <http://www.hitl.washington.edu/artoolkit/> (acesso em 08/08/2005). - AZUMA, R. et al. (2001) Recent Advances in Augmented Reality. IEEE Computer Graphics and Applications, v.21, n.6, pp. 34-47. - DAINESE.C.A.; GARBIN, T.R.; KIRNER, C. (2003) Sistema de Realidade Aumentada para Desenvolvimento Cognitivo da Criança Surda In: VI Symposium on Virtual Reality, Ribeirão Preto. Proceedings, SBC, pp. 273-282. - KIRNER, C.; TORI, R. (2004) Introdução à Realidade Virtual, Realidade Misturada e Hiperrealidade. In: Claudio Kirner; Romero Tori. (Ed.). Realidade Virtual: Conceitos, Tecnologia e Tendências. 1ed. SBC, pp. 3-20. - SCHMALSTEIG, D.; FUHRMANN, A.; SZALAVARI, Z.; GERVAUTZ, M. (1996) "Studierstube - An Environment for Collaboration in Augmented Reality", CVE '96 Workshop. 16

!"#!"!"# $#" " $ % &'"#!" ( )* )+#, -.!!) )+ ) /! * /0 1!2 *!34 ) #!32 345 * /#, 6 -&7/)! -. #%#&- 8- &)+) ' $ (! * /0!! )+! )/!!!3!+ -8 ) 32!) /!! )32 34 '!! / '! 3 ' ( )! 32 /,!34 32 11!) )+*/1!!!! "'+9:;,32 -.!<- 8!#! &)+)! -. )*2!)!!32 3! #! ) <!34!)9=; )+!! )*! >! /) )+ )! * /0 1!2 *!34 ) #!32 345 *!! -. 6-&7:??5, 32 > 32: 32 )+, 1 /!' 325),! > +)>>32@ ) 34 / ) )+ ( WRA 2005 - II Workshop de Realidade Aumentada )**#! '!!! /# A! 32 * )32! 32 *! 17

!! ' 1*)/0 34) /2)! <32 B! *C '+ A # + 1!# ()! 2!! 32! 32 ),!! *!! ) / )+ ' >!), * /0!!!1**)*# )#/2 1 )1/ )#!! 32 * /0!!/!! A!! D/> )+# E!*A!1!,!,!34 * *!#! A), 34!! )34 4 +! # > ' F!) ) * *34 '!# 95;!! F 1 *34 ' 2 *34 +,! )! +! ) *32'5 '5G) + +CH666') '!I!1)! */0+ 1 #!34! '! '!!!!F *34' C )32!32!!!! 32 )!, /!32 / '! /!34!' + 34)!,!1!! /+!!)#!!!! *!/ 2!,!34'!32 #!!*!# 32! 32329J;!/! '! '!!34! 323' 1!! 32!34!/ 2 3 #!/0!! 2!! 2 ' 3 F!,, //!! +!! 6 + 6! F1#! : 18

1 -.!! '!! * *#!/!A '! )!!, ' 4!!!/! )!34!)9@; '!!! )+,32 -! -32!>/ )/ 32#/ +! <!32 ) 34 /!!!!/!! 34! *!,32!! 0!! F, WRA 2005 - II Workshop de Realidade Aumentada -. (>!!32 34! * /0!! #! -.! 1 */0#+! '! 34! *, 6! 2 :??@ (!!! 5$ 2!!8-. K# 6!!!! "#!/2< 325#!F!)/2,! *34)!F!)2!34!!+!2+/3!'#'! F!) :5!!! F!)!!! /:! &)=34!/2#FF!)!!/&):(!!!34 325#,32 *# A!/!!)F!!)#!* */ )!! &)=1$&LM(=&):1$&LM(:!2)*,! 8-. K!F F '!! )* /!!'!32 N!!! ) -&7, 4!! 32!' ( 4!!2 &)5 5 19

)*,%/0/1231$01)0)$/20/40)/0)502/ /0 # O O P PO PPO 'Q - >)+ 6 'QG >!7 )+!>/))+)/, -. /!,32!/ )! *!!! 32)! /! '!!!34!!! 32! 32!! *,32 -. 34!!! * /!/!! /!32! +'!, / 32 32! * -.!! )32 *!/!!) )+ /! <!34 )32 8 +9 9=;,! - & $R '! -R $ % & ' ( "8S@'5JJ15TJ=UUQ 9:;"'+.VO). -R$.-WUUU1==.3 =UUU X7+!Y$ ) *" + =UUU:S@1:T@ 95; KF 'I &,+&- :??@ F!C Z+CH666!H-&7H +![!C?=!) :??@ 9@;R&C," +,) C:??==1J!) \/!+ ' &-&:??=:??=55@15@= 9J;-)"+ ',., /%+ 01*01,01 $2 =UUU==J 32.!'+ 321'! >1E 32! '+ 32 $ >=UUU @ 20