UNIVERSIDADE ANHEMBI MORUMBI CAMILA MAGALHÃES DE SOUZA EDGAR WEN CHIANG CHEUNG PATRICIA BOSELLI DE MELLO

Transcrição

1 UNIVERSIDADE ANHEMBI MORUMBI CAMILA MAGALHÃES DE SOUZA EDGAR WEN CHIANG CHEUNG PATRICIA BOSELLI DE MELLO O USO DA REALIDADE AUMENTADA COMO GUIA VIRTUAL PARA A EXPLORAÇÂO DE AMBIENTES REAIS São Paulo 2011

2 CAMILA MAGALHÃES DE SOUZA EDGAR WEN CHIANG CHEUNG PATRICIA BOSELLI DE MELLO O USO DA REALIDADE AUMENTADA COMO GUIA VIRTUAL PARA A EXPLORAÇÃO DE AMBIENTES REAIS Trabalho de Conclusão Curso apresentado como exigência parcial para a obtenção do título de Bacharel em Ciência da Computação da Universidade Anhembi Morumbi. Orientador: Prof.ª MSc. Simone de Abreu São Paulo 2011

3 CAMILA MAGALHÃES DE SOUZA EDGAR WEN CHIANG CHEUNG PATRICIA BOSELLI DE MELLO O USO DE REALIDADE AUMENTADA COMO GUIA VIRTUAL PARA A EXPLORAÇÃO DE AMBIENTES REAIS Trabalho de Conclusão Curso apresentado como exigência parcial para a obtenção do título de Bacharel em Ciência da Computação da Universidade Anhembi Morumbi, sob a orientação da Prof.ª Simone de Abreu. Aprovado em Prof.ª Simone de Abreu Universidade Anhembi Morumbi Prof. Emerson dos Santos Paduan Universidade Anhembi Morumbi Prof. Marcos Cavalhieri Universidade Anhembi Morumbi

4 Dedicamos este trabalho a nossa orientadora Prof.ª Simone de Abreu por todo apoio, motivação e amizade durante o curso e principalmente para o desenvolvimento deste trabalho.

5 AGRADECIMENTOS Agradecemos aos professores Edson Luis Recchia, Augusto Mendes Gomes Jr., Emerson dos Santos Paduan, Carlos Magno Baptista Lopes, Luis Fernando Aires, Fabiano do Prado Marques e Luciano Freire, pois nos acompanharam desde o início do curso sempre demonstrando compreensão, paciência, inteligência, dedicação e principalmente amizade. Diante disso só temos a agradecer por todos esses momentos, sentiremos saudades. Eu, Camila, agradeço em especial aos professores Stevan Arambasic e Simone Judice Pires que me guiaram na escolha do curso. A vocês todo meu carinho e muito obrigada por tudo.

6 RESUMO Atualmente, os profissionais de diversas áreas estão se deparando com um nível de complexidade cada vez maior em suas atividades. É necessário que as pessoas evoluam seus conhecimentos, pensando em criatividade e praticidade para que a tecnologia avance. Assim sendo, as técnicas de Realidade Aumentada colaboram para com a eficiência dessas atividades, já que elas possuem uma maior abrangência de informações e implementações que podem vir a contribuir com a evolução das aplicações computacionais. Este trabalho tem por objetivo explorar os recursos da Realidade Aumentada aplicada a um tour virtual com a utilização de marcadores que irão substituir ou complementar os painéis convencionais e placas informativas, através da biblioteca FLARToolkit, permitindo que qualquer sistema que possua uma webcam funcional e o software devidamente instalado possa visualizar corretamente o projeto a partir dos marcadores. PALAVRAS CHAVE: Realidade Aumentada. Realidade Virtual. FLARToolkit. Tour Virtual.

7 ABSTRACT Currently, the professionals of different areas are experiencing an increasing level of complexity in its activities. It is necessary that people evolve beyond their natural senses, thinking in creativity and practicality to that technology progresses. Therefore, the augmented reality techniques to collaborate with the efficiency of these activities, as they have a greater breadth of information and implementations that may contribute to the development of applications. This work aims to explore augmented reality features applied to a virtual tour with the use of bullets that will replace or supplement the conventional panels and plaques, through the library FLARToolkit, enabling any system that has a webcam and functional software installed can show correctly the project from the bullets. KEY WORDS: Augmented Reality. Virtual Reality. FLARToolkit. Tour Virtual.

8 LISTA DE FIGURAS Figura 1 - Sensorama Figura 2 - Máscara de simulação projetada por Heilig Figura 3 - HMD Figura 4 - Experimento de tele presença realizado por Ivan Sutherland Figura 5 - Exemplo de aplicação de RV Figura 6 - Formas de interação de um único usuário Figura 7 - Interação de vários usuários Figura 8 - Diagrama de blocos de um sistema de RV Figura 9 - Estrutura de um sistema de RV imersivo com ênfase nas interfaces Figura 10 - Estrutura de um sistema de RV Figura 11 - Homem Virtual que é projetado ao usuário Figura 12 - Projeto Immersence, usuário interagindo com o objeto Figura 13 - Voluntário no experimento "Troca de corpo" Figura 14 - Diagrama de realidade/virtualidade contínua Figura 15 - Visão ótica direta - Capacete Figura 16 - Visão direta por vídeo - HMD Figura 17 - Visão direta por vídeo baseado em monitor - Webcam Figura 18 - Visão ótica por projeção - Espelho no monitor Figura 19 - Diagrama das artificialidades e espaços Figura 20 - Iluminação em ambientes Figura 21 - Distâncias dos marcadores Figura 22 - Páginas ao acessar o link da coleção Figura 23 - Imagem que é vista pelo usuário Figura 24 - Vitrine virtual em Londres Figura 25 - Veias projetadas no corpo do paciente Figura 26 - Visão geral do ARToolkit Figura 27 - Arquitetura do ARToolkit Figura 28 - Estrutura hierárquica do ARToolkit utilizando Gsub_Lite module Figura 29 - Fluxo de dados do ARToolkit Figura 30 - Etapas do funcionamento do ARToolkit Figura 31 - Raiz da árvore de diretórios do FLARToolKit... 48

9 Figura 32 - Mapeamento do Tour Virtual Figura 33 - Fluxograma do marcador Figura 34 - Marcador sendo detectado através do MarkerGenerator Figura 35 - Marcador simétrico e assimétrico Figura 36 - Marcadores gerados para o Tour Virtual Figura 37 - Segmento do código para realizar o link da imagem ao marcador Figura 38 - Adição de um áudio ao marcador Figura 39 - Segmento do código comentado para a reprodução do áudio Figura 40 - Inserção de vídeo ao marcador Figura 41 - Resultado dos testes... 58

10 LISTA DE QUADROS Quadro 1 - Classes e formatos de arquivos de modelos virtuais Quadro 2 - Quadro comparativo das bibliotecas... 50

11 LISTA DE ABREVIATURAS E SIGLAS API ARToolkit AS3 AVM ECMA FLARToolkit GLUT HMD IDE JARToolkit JNI JOGL NASA OPENGL P3D PC RA RV SDK VRML X3D 2D 3D Application Program Interface Augmented Reality Tool Kit Action Script 3 ActionScript Virtual Machine European Computer Manufacturers Association Flash Augmented Reality Tool Kit OpenGL Utility Toolkit Head-Mounted Display Integrated Development Environment Java Augmented Reality Tool Kit Java Native Interface Java OpenGL National Aeronautics and Space Administration Open Graphics Library Papervision 3D Personal Computer Realidade Aumentada Realidade Virtual Software Development Kit Virtual Reality Modeling Language Extensible 3D Bidimensional Tridimensional

12 SUMÁRIO 1 INTRODUÇÃO OBJETIVO JUSTIFICATIVA ABRANGÊNCIA ESTRUTURA DO TRABALHO REALIDADE VIRTUAL HISTÓRICO DA REALIDADE VIRTUAL DEFINIÇÃO Característica da Realidade Virtual Multimídia e Realidade Virtual Realidade Virtual imersiva ou Não imersiva AMBIENTES VIRTUAIS Modelos de Interação do usuário Estrutura de um sistema de Realidade Virtual APLICAÇÕES DE REALIDADE VIRTUAL Medicina Experimentos científicos CONSIDERAÇÕES REALIDADE AUMENTADA SISTEMAS DE REALIDADE AUMENTADA AMBIENTES DE REALIDADE AUMENTADA Interação em ambientes de Realidade Aumentada COMPARAÇÃO ENTRE REALIDADE VIRTUAL E REALIDADE AUMENTADA DIFICULDADES DE APLICAÇÕES DE REALIDADE AUMENTADA Iluminação Distância APLICAÇÕES DE REALIDADE AUMENTADA Moda Vitrine virtual em Londres Medicina CONSIDERAÇÕES... 41

13 4 BIBLIOTECAS GRÁFICAS VISÃO GERAL DO ARTOOLKIT FLARTOOLKIT COMPONENTES DO FLARTOOLKIT Linguagem de Programação Ambiente de Desenvolvimento Bibliotecas e Dependências Estrutura de Diretórios COMPARATIVO ENTRE AS BIBLIOTECAS CONSIDERAÇÕES TOUR VIRTUAL ANHEMBI MORUMBI CRIAÇÃO DOS MARCADORES PARA FLARTOOLKIT MARCADORES DO TOUR TESTE DOS MARCADORES TESTES INICIAIS TESTES DOS MARCADORES DO TOUR RESULTADOS OBTIDOS CONCLUSÃO TRABALHOS FUTUROS REFERÊNCIAS BIBLIOGRÁFICAS APÊNDICE A CÓDIGO DO MARCADOR DA ENTRADA APÊNDICE B CÓDIGO DO MARCADOR DA ACADEMIA APÊNDICE C CÓDIGO DO MARCADOR DO ELEVADOR APÊNDICE D CÓDIGO DO MARCADOR DO CORREDOR APÊNDICE E CÓDIGO DO MARCADOR DA SALA DE AULA... 84

14 10 1 INTRODUÇÃO A tecnologia está em constante evolução e, portanto, influencia na vida pessoal e profissional do ser humano chegando até mesmo a invadir a realidade. Nesse contexto, a tecnologia de Realidade Aumentada (RA) poderá quebrar os conceitos mais antigos no que diz respeito à realidade, uma vez que ela é capaz de unir o mundo real ao virtual. A RA é um sistema que executa interativamente em tempo real, combinando objetos reais e virtuais, que são gerados por computador, parecendo coexistir no mesmo espaço. A forma mais comum de encontrar essa tecnologia atualmente é através de marcadores impressos. Eles interagem com uma webcam conectada a um computador no qual um software específico reconhece um símbolo, projetando um objeto virtual no mesmo local onde existem elementos reais, mesclando-os em uma única visão, que passa a ser a realidade para quem a está manipulando. Portanto, baseando-se em pesquisas sobre o assunto surge a ideia de utilizar as técnicas de RA para um estudo de caso na Universidade Anhembi Morumbi que consiste em um tour pela universidade, onde marcadores irão fornecer informações de determinados locais, substituindo assim os convencionais painéis. 1.1 OBJETIVO O objetivo do trabalho é explorar os recursos de RA por meio de inserção de dados de orientação e informação em ambientes fechados reais, substituindo e/ou complementando assim, os convencionais painéis e placas informativas, com a vantagem de não ocupar o seu espaço físico. Será feito um estudo de caso na Universidade Anhembi Morumbi onde marcadores substituirão placas informativas proporcionando um tour virtual pela universidade.

15 JUSTIFICATIVA A RA é uma das diversas linhas de pesquisa dentro da computação gráfica e possui potencial para ser utilizada em diversas áreas do conhecimento, desde jogos, simples navegação e entretenimento até aplicações em medicina e arquitetura. Portanto, a ideia é fornecer uma maneira diferenciada de adquirir conhecimento e criar novos métodos de visualização de informações através da tecnologia de RA. Ao substituir as placas informativas por marcadores, ocorre também a diminuição da poluição visual e é gerada uma curiosidade adicional sobre o conteúdo dos marcadores. 1.3 ABRANGÊNCIA O trabalho aborda a tecnologia de RA com o apoio de um notebook que contenha uma webcam, que é responsável pelo reconhecimento dos marcadores. A aplicação reconhece e projeta as informações contidas nesses marcadores assim que eles forem posicionados em frente ao notebook. Os marcadores estarão espalhados em diferentes locais da Universidade Anhembi Morumbi e cada um deles irá armazenar a informação referente a cada ambiente e essas informações serão representadas por textos, imagens estáticas, sons e vídeos. Não será abordada a tecnologia embarcada para celulares, pois conforme as pesquisas apontam, no momento este projeto não é viável devido ao tempo do trabalho. Portanto, o aplicativo para celular ficará para projetos futuros. 1.4 ESTRUTURA DO TRABALHO - O capítulo 2 aborda as informações necessárias para o entendimento da Realidade Virtual (RV), já que esta é a base da RA.

16 12 - O capítulo 3 aborda os conceitos principais de RA necessários para o entendimento da tecnologia para o planejamento da aplicação. - O capítulo 4 aborda algumas bibliotecas gráficas derivadas do ARToolkit e a biblioteca utilizada no trabalho, a FLARToolkit. - O capítulo 5 explica todo o processo de como foi feito o tour virtual. - O capítulo 6 apresenta os testes realizados da aplicação e a discussão dos resultados obtidos. - O capítulo 7 apresenta a conclusão e os trabalhos futuros.

17 13 2 REALIDADE VIRTUAL Esse capítulo aborda tópicos importantes e necessários sobre Realidade Virtual (RV) para melhor compreensão do conceito de Realidade Aumentada (RA). Os assuntos são apresentados de forma clara e objetiva, desde um breve histórico da tecnologia, definição, características e estrutura do sistema, até exemplos de aplicações utilizadas atualmente em diversas áreas. 2.1 HISTÓRICO DA REALIDADE VIRTUAL O termo RV foi criado no final da década de 1980 por Jaron Lainer, artista e cientista da computação que foi capaz de captar a essência dessa tecnologia. Entretanto, foi muito antes da denominação definitiva que surgiram as primeiras propostas e os primeiros resultados que embasaram a RV. (TORI, KIRNER II, 2006) Em 1962 foi emitida a patente americana #3,050,870 a Morgan Heilig por sua invenção intitulada Simulador Sensorama (Figura 1), que foi o primeiro equipamento de vídeo de RV. (BURDEA, 1994) O usuário desse equipamento era submetido a uma experiência de imersão aonde diversas sensações, movimentos, sons, odores, vento e visão estereoscópica podiam ser vivenciadas. Esse equipamento não obteve sucesso comercial, porém ele foi o precursor da imersão do usuário num ambiente sintético. Figura 1 - Sensorama (THE CINEMA OF THE FUTURE, 2011)

18 14 Burdea compara Heilig a Jules Verne por pensar bem à frente do seu tempo, e também a Thomas Edison por não apenas ter ideias inovadoras, mas por transformar estas em máquinas reais. Heilig também projetou uma máscara de simulação (Figura 2) que incluía slides tridimensionais (3D) com amplos efeitos periféricos. Essa ideia foi continuada pelo engenheiro Ivan Sutherland na década de 1960, que após ter criado o sistema Sketchpad, que definiu as bases da atual computação gráfica, trabalhou em um projeto o qual chamou de Ultimate Display e também produziu no final da década de 1960 o 1 capacete de RV que desencadeou uma série de pesquisas e desenvolvimentos de várias aplicações. Ivan Sutherland demonstrou em um de seus experimentos, a possibilidade da imersão e da tele presença ao acoplar um HMD (Figura 3) a duas câmeras, posicionadas na laje de um edifício. Figura 2 - Máscara de simulação projetada por Heilig (BURDEA, 1994)

19 15 Essas câmeras eram controladas pelo observador que usava o capacete e estava no interior do edifício (Figura 4). As reações, movimentos, e até mesmo o pânico ao olhar para baixo, foram similares se efetivamente o observador estivesse no topo do edifício. Figura 3 - HMD (TORI, KIRNER II, 2006) Figura 4 - Experimento de tele presença realizado por Ivan Sutherland (TORI, KIRNER II, 2006) Em 1961 a empresa Philco produziu o primeiro sistema de circuito fechado de televisão montado num capacete, cujo sistema tinha um rastreador que permitia ao usuário controlar remotamente uma câmera de televisão em movimentos da sua cabeça. (KIRNER, PINHO, 1997) Ivan Sutherland construiu em 1968, na Universidade de Harvard, o primeiro capacete de visualização de imagens e sistema de rastreamento gerado por computador na posição da cabeça. Ele foi considerado por muitos o marco inicial da imersão em ambiente virtual e início da RV.

20 16 Em 1986, uma equipe da National Aeronautics and Space Administration (NASA) possuía um ambiente virtual, permitindo aos usuários determinar comandos de voz, escuta sintetizada, som 3D, e manipular objetos virtuais através dos movimentos das mãos. Através desse trabalho verificou-se a importância e a possibilidade de comercialização de um conjunto de novas tecnologias com o custo acessível, entendendo que a conscientização dos empreendimentos da NASA transformava-se em tecnologias comercializáveis, que deu início a inúmeras pesquisas em RV no mundo inteiro. (BOTEGA, CRUVINEL, 2009) Em 1987, a empresa VPL Research Inc, da qual Zimmernam foi um dos fundadores colocou pela primeira vez produtos de RV no mercado com a comercialização da luva "Data Glove". Em seguida, a empresa também passou a vender um capacete de visualização chamado "Eye Phones". (KIRNER, PINHO, 1997) Em 1989 a Auto Desk começou a vender capacetes e luvas digitais e apresentou o primeiro sistema de RV para computadores pessoais (PC). (BOTEGA, CRUVINEL, 2009) Apesar de a RV ter sido inventada há mais de 30 anos, ela tem evoluído substancialmente a cada ano. Seu custo permaneceu alto durante muito tempo devido aos equipamentos de alta tecnologia envolvidos. Entretanto, a evolução das indústrias de computadores e o grande avanço tecnológico possibilitaram a utilização da RV a um preço acessível, movimentando um mercado multimilionário de crescimento extraordinário. 2.2 DEFINIÇÃO A RV é uma interface avançada do usuário que acessa aplicações no computador, proporcionando a visualização, movimentação e interação do usuário em tempo real, em ambientes virtuais tridimensionais. (KIRNER, SISCOUTTO, 2007) Segundo Myron Krueger, a RV também pode ser definida como Realidade Artificial. Krueger (1991) define o objetivo da Realidade Artificial como a oportunidade de se criar realidades sintéticas para as quais não há antecedentes reais.

21 17 A utilização de linguagens como Virtual Reality Modeling Language (VRML) e sua sucessora Extensible 3D (X3D), permitem ao usuário visualizar ambientes tridimensionais, movimentar-se e manipular seus objetos virtuais. Os objetos virtuais podem ser animados e possuir comportamentos autônomos. A figura 5 mostra um exemplo de um ambiente virtual visto no monitor. Figura 5 - Exemplo de aplicação de RV (KIRNER, SISCOUTTO, 2007) Uma definição que sintetiza melhor os diversos aspectos da RV é a seguinte: RV é uma interface avançada para aplicações computacionais, que permite ao usuário navegar e interagir, em tempo real, com um ambiente tridimensional gerado por computador, usando dispositivos multisensoriais. (KIRNER, SISCOUTTO, 2007, p. 9) Para que a RV ocorra, a plataforma computacional deverá ser apropriada, apresentando capacidade de processamento gráfico, e suportando dispositivos não convencionais de interação, atendendo assim a demanda multisensorial Característica da Realidade Virtual Há várias definições e evoluções para a RV, de uma maneira ou de outra os sistemas de RV acabaram vindo de sistemas computacionais de mesa, simuladores, entre outros. (KIRNER, PINHO, 1997) Segundo Kirner, a RV pode ser considerada como a junção de três ideias básicas: imersão, interação e envolvimento. Analogamente, Burdea (1994) descreve

22 18 os três i s da RV: imersão, interação e imaginação. A ideia de imersão está ligada com o sentimento de estar dentro do ambiente, que é obtido com o uso de capacete de visualização, bem como sistemas imersivos baseados em salas com projeções das visões nas paredes. Também são importantes para o sentimento de imersão outros recursos, tais como som, posicionamento automático da pessoa e dos movimentos da cabeça. Com a capacidade de o computador detectar as entradas do usuário e modificar em tempo real o mundo virtual e as ações sobre ele, está unido à ideia de interação. (KIRNER, SISCOUTTO, 2007; BURDEA, 1994) A ideia de envolvimento está ligada a uma modalidade sensorial que é usada para representar o ambiente, como sentido visual, sonoro, espacial, entre outros. (KIRNER; SISCOUTTO, 2007) Multimídia e Realidade Virtual Marshall (2001) define multimídia como o campo preocupado com a integração de textos, gráficos, desenhos, imagens estáticas e dinâmicas (vídeo), animação, áudio e qualquer outra mídia onde todo tipo de informação pode ser representada, armazenada, transmitida e processada digitalmente. As plataformas computacionais multimídia precisam de processamentos específicos executados em placas de vídeo e de som, além de canais internos e externos com alta capacidade de transmissão. (TORI, KIRNER II, 2006) Apesar de a RV usar múltiplas mídias, seu maior interesse está na interação do usuário com o ambiente tridimensional e na geração das imagens em tempo real. A principal característica da plataforma computacional, apropriada a RV é a capacidade de processamento gráfico complementado com dispositivos não convencionais de interação. Uma comparação entre Multimídia e RV pode ser sintetizada da seguinte maneira: (TORI, KIRNER II, 2006, p. 7) Multimídia trabalha com imagens capturadas ou préprocessadas; prioriza a qualidade das imagens; exige alta capacidade de transmissão; usa técnicas de compressão de

23 19 dados; atua no espaço 2D e 3D; e funciona com dispositivos convencionais. RV trabalha com imagens calculadas em tempo real; prioriza a interação com o usuário; exige alta capacidade de processamento; usa técnicas e recursos de renderização de modelos tridimensionais e funciona com dispositivos especiais. Assim como na multimídia, a RV necessita que o usuário seja transportado para o domínio da aplicação (ambiente virtual), exigindo adaptação e treinamento Realidade Virtual imersiva ou Não imersiva A RV imersiva é baseada no uso de capacete (HMD), de salas de multiprojeção e em outros dispositivos multissensoriais, enquanto a RV não imersiva é implementada no modo janela, ou seja, baseia-se no uso de monitores. De qualquer maneira os dispositivos acabam proporcionando algum grau de imersão e mantendo a sua caracterização. (KIRNER, PINHO, 1997; KIRNER, KIRNER, 2011) Normalmente, a definição de RV envolve imersão total. A forma alternativa de RV, não imersiva, está sendo muito utilizada e explorada por vários laboratórios de pesquisa e desenvolvimento. Assim como a RV imersiva, a não imersiva também transporta o usuário para um ambiente 3D que pode ser diretamente manipulado, mas faz isso através de monitores, teclado e mouse. A RV imersiva e a não imersiva utilizam a mesma modelagem e renderização 3D, além de utilizarem as mesmas técnicas de interação (ROBERTSON, CARD, MACKINLAY, 2007) Mesmo que tenha evoluído e seja considerada típica a RV com o uso de capacetes, a RV com monitor apresenta alguns pontos positivos à utilização de vantagens da evolução da indústria de computadores, evitando limitações técnicas e problemas decorrentes do uso de capacetes. (KIRNER, PINHO, 1997) Muitas aplicações, que inicialmente se beneficiariam amplamente de um sistema imersivo, podem ser realizadas com sistemas não imersivos sem grandes perdas. O usuário controla as animações e se foca nelas, sendo assim mentalmente

24 20 e emocionalmente transportado para o ambiente 3D, compensando a falta de imersão visual e perceptiva. (ROBERTSON, CARD, MACKINLAY, 2007) 2.3 AMBIENTES VIRTUAIS Este tópico aborda as principais características necessárias para o conhecimento e desenvolvimento de ambientes virtuais Modelos de interação do usuário Num cenário composto por um ou mais usuários, um mundo real e um ambiente virtual equivalente, existem várias maneiras de o usuário comunicar-se com seus parceiros, com o mundo real e com o ambiente virtual. (KIRNER, PINHO, 1997, p. 40) Limitando a interação do usuário a uma mediação tecnológica, através do uso de dispositivos não convencionais e do ambiente virtual, pode-se reduzir a dois grupos: um onde o usuário participa isoladamente e outro onde há vários usuários interagindo entre si e com o ambiente. (KIRNER, PINHO, 1997; BISHOP et al, 1992) A interação de um único usuário (Figura 6) pode ocorrer como espectador de três modos: com participação real, com participação simulada e sem participação ou possível supervisão. Figura 6 - Formas de interação de um único usuário (KIRNER, PINHO, 1997)

25 21 No modo Espectador tem-se uma situação particular de sistema de telepresença que só faz inspeção; no caso da participação real é um típico exemplo de sistema de telepresença; no caso da participação simulada é um exemplo de sistema de realidade virtual e o último sem participação ou possível supervisão refere-se ao exemplo de um robô com capacidade de supervisão. (KIRNER, PINHO, 1997) A interação de vários usuários pode acontecer de três maneiras: comunicação entre usuários, compartilhar o ambiente virtual e realizar trabalho cooperativo no mundo real através do ambiente virtual compartilhado, conforme a figura 7. Na comunicação, os usuários trocam informações através do ambiente virtual; nesse caso os usuários interagem entre si; e no último caso, o trabalho colaborativo, os usuários também cooperam entre si no mundo real através de sua reprodução como um ambiente virtual compartilhado. Figura 7 - Interação de vários usuários (KIRNER, PINHO, 1997) Estrutura de um sistema de Realidade Virtual A estrutura de um sistema de RV pode ser exibida sob diferentes pontos de vista e graus de detalhamento. O diagrama de blocos da figura 8 fornece uma visão geral de um sistema de RV.

26 22 A interação do usuário com o processador de RV é intermediada pelos dispositivos de entrada e saída. O processador de RV primeiramente lê a entrada do usuário e acessa o banco de dados para calcular as instâncias do mundo que se referem aos quadros a serem mostrados em sequência. Como não é possível prever as ações do usuário, os quadros devem ser criados e distribuídos em tempo real. Do ponto de vista de interface, um sistema de RV imersivo pode ser visto na figura 9. (KIRNER, PINHO, 1997) Figura 8 - Diagrama de blocos de um sistema de RV (KIRNER, PINHO, 1997) Figura 9 - Estrutura de um sistema de RV imersivo com ênfase nas interfaces (KIRNER, PINHO, 1997) O gerador de ambiente virtual é um sistema de computação de alto desempenho que contém um banco de dados referente ao mundo virtual, no qual

27 23 existe a descrição dos objetos do ambiente virtual, junto com a descrição dos seus movimentos, comportamentos, efeitos de colisões, entre outros. Devido à necessidade de acesso e operação em tempo real é indispensável dispor-se da quantidade de memória suficiente, bem como usar técnicas de compressão de informação que não danifiquem as restrições de tempo. As imagens devem ser geradas com um atraso aceitável para não provocar desconforto ao usuário, da mesma maneira todas as características sensoriais ligadas com interfaces deverão ser tratadas em tempo real para que o usuário tenha a impressão de estar imerso e interagindo com o mundo virtual. A estrutura de um sistema de RV pode ser visualizada na figura 10. Nessa estrutura, o usuário é conectado ao computador através dos dispositivos multissensoriais. Cada aspecto sensorial requer uma simulação preparada especialmente para seu caso específico. Uma atuação unificada é necessária para organizar as várias modalidades sensoriais e sincronizá-las. Finalmente, as informações devem ser estendidas pela rede de forma a manter a consistência do ambiente simulado distribuído. Figura 10 - Estrutura de um sistema de RV (KIRNER, PINHO, 1997)

28 APLICAÇÕES DE REALIDADE VIRTUAL Este tópico apresenta exemplos de aplicações existentes de algumas das inúmeras áreas que utilizam a tecnologia de RV para suas mais diferentes necessidades. Serão abordados alguns exemplos nas áreas de medicina e experimentos científicos Medicina Um projeto chamado Homem Virtual foi criado no ano de 2003 pelos professores doutores: Gyorgy Miklós Bohm e Chao Lung Wen, que buscavam um novo método para transmitir conhecimentos sobre saúde. (TELEMEDICINA USP, 2011) O projeto Homem Virtual (Figura 11) consiste no desenvolvimento de imagens tridimensionais das estruturas do corpo humano que reproduzem os componentes do organismo. Essas imagens apresentam o conhecimento científico de maneira objetiva, simples e rápida permitindo não só a compreensão da anatomia e fisiologia, mas também a demonstração de patologias, ações dos medicamentos e das técnicas de procedimentos cirúrgicos. Figura 11 - Homem Virtual que é projetado ao usuário (TELEMEDICINA USP, 2011)

29 25 Graças aos recursos de computação gráfica o Homem Virtual pode ser usado em diversas áreas e projetos da medicina e também nas áreas do conhecimento e aprendizagem, como por exemplo: Educação médica onde o Homem Virtual é um eficiente complemento ao ensino médico convencional, tornando-se uma ferramenta de apoio ao professor em aulas descritivas; Orientação aos pacientes consiste em um projeto que estreita a relação médico-paciente onde a estrutura visual dinâmica ajuda o paciente a entender o próprio corpo, no qual a segurança e confiança facilitam a adesão ao tratamento; Treinamento de agentes promotores são pessoas envolvidas em projetos de educação e prevenção em saúde que atuam ativamente em suas comunidades; População geral com campanhas de prevenção e projetos educacionais voltados para a população em geral, a eficiência com o uso do Homem Virtual permite a construção do conhecimento, bem como com a comunicação visual tornando-se mais fácil a compreensão para públicos que são analfabetos funcionais; Ambientes interativos de aprendizagem A interatividade nos ambientes de aprendizagem, o homem virtual adaptado e instalado nos mais variados espaços: escolas, museus, bibliotecas, áreas comunitárias, entre outros. Atuam na construção de conhecimentos e na prevenção de doenças para a qualidade de vida Experimentos Científicos Algumas aplicações da RV em experimentos científicos são: Immersence e Troca de Corpo, descritas a seguir. Uma equipe de cientistas europeus teletransportou virtualmente objetos reais através do cyber espaço, ou seja, usaram RV para simular uma experiência real. (GOMES, 2010) O projeto Immersence, desenvolvido por nove universidades e institutos de

30 26 pesquisa, criou uma tecnologia que torna palpáveis objetos no ambiente virtual. Os usuários não apenas veem e ouvem o que acontece no ambiente virtual, com seus objetos e avatares, mas podem interagir com eles: como tocá-los, movê-los e até sentir o peso dos objetos. Todo o processo exigiu a criação de novas técnicas de processamento digital, onde objetos virtuais eram gerados a partir de objetos do mundo real. Para isso foi utilizado um scanner 3D e um sistema de modelagem para criar uma representação virtual do objeto. A representação digital 3D do objeto pode então ser transmitida a alguém em outro local, que com o auxílio de óculos e luvas especiais, interage com o objeto. Essa tecnologia abre caminho para novas aplicações em telepresença, telemedicina e design industrial, além, da indústria do entretenimento. Se casamento com personagens de games já era até comum quando eles ficavam presos dentro dos consoles, imagine agora que os encontros podem ser mais reais. A Figura 12 mostra o usuário interagindo com o objeto. O experimento de troca de corpo (Figura 13) foi realizado na Suécia no qual muitos participantes voluntários usando óculos de realidade virtual podiam sentir que trocaram de corpo com um manequim ou até mesmo com outra pessoa. O objetivo desse experimento era usar truques que enganem a percepção do ser humano. (GLOBO, 2008) Figura 12 - Projeto Immersence, usuário interagindo com o objeto (GOMES, 2010) Neste experimento, um manequim usava um óculos com função de câmera e filmava seu próprio corpo, enquanto o voluntário, também usando um capacete especial, olhava para baixo e via as filmagens feita pelo manequim e assim tinha a

31 27 sensação de que o corpo de plástico que via era o seu. Ao passar uma caneta na barriga do manequim, o voluntário ainda mantinha a sensação de que o corpo do boneco era o seu. Logo após colocaram uma faca contra a barriga do boneco, o que provocou o aumento do nível de ansiedade do voluntário conforme mostrado pelos eletrodos que estavam presos aos seus dedos. Pesquisas como estas estão proporcionando ideias para novas tecnologias, que irão possibilitar e facilitar a criação de aplicações de RV em jogos, onde os jogadores poderão ter experiências inovadoras com seus avatares. Figura 13 - Voluntário no experimento "Troca de corpo" (GLOBO, 2008) 2.5 CONSIDERAÇÕES Este capítulo apresentou alguns conceitos sobre RV, descrevendo suas principais características citando exemplos de algumas aplicações. O intuito do que foi exposto é proporcionar um conhecimento mais específico da área, garantindo uma base de estudos para os próximos capítulos.

32 28 3 REALIDADE AUMENTADA O surgimento das bases da Realidade Aumentada (RA) aconteceu durante a década de 1960, através do pesquisador Ivan Sutherland, que proporcionou duas grandes e principais contribuições: (KIRNER, KIRNER, 2011) Escreveu um artigo onde fica claro seu vislumbre pela evolução da RV e seus reflexos no mundo real; Desenvolveu um capacete de visão ótica direta para visualizar objetos em 3D no mundo real. A RA é definida como a sobreposição de objetos virtuais tridimensionais, gerados por computador, com um ambiente real, através de um dispositivo tecnológico. Kirner (2011) define a RA como o enriquecimento do mundo real através de informações virtuais (imagens dinâmicas, sensações hápticas), geradas pelo computador em tempo real e posicionadas devidamente no espaço 3D e percebidas através de dispositivos tecnológicos. (REALIDADE AUMENTADA I, 2011) Diferente da RV, que transporta o usuário para o ambiente virtual, a RA mantém o usuário em seu ambiente físico transportando o ambiente virtual até ele, permitindo a interação com o mundo virtual de maneira mais natural e sem a necessidade de adaptação ou treinamento. Entretanto, a conceituação de RA é muito geral e só fica clara com o esclarecimento do conceito de Realidade Misturada. A Realidade Misturada (Figura 14) combina o mundo real com o mundo virtual, abrangendo duas possibilidades: a RA, onde o ambiente predominante é o mundo real, e a Virtualidade Aumentada, onde o ambiente predominante é o mundo virtual. Figura 14 - Diagrama de realidade/virtualidade contínua (TORI, KIRNER I, 2006)

33 29 Nesse ambiente de realidade misturada, a RA ocorre quando os objetos virtuais são colocados no mundo real e a interface do usuário é aquela usada em seu ambiente real, adaptada para a manipulação e visualização dos objetos virtuais que serão colocados no seu espaço. A virtualidade aumentada, por sua vez, ocorre quando elementos reais são inseridos no mundo virtual e a interface do usuário passa a ser aquela que transporta o usuário para o ambiente virtual, mesmo que ele veja ou manipule elementos reais ali inseridos. (TORI, KIRNER I, 2006) A RA envolve três aspectos importantes: Renderização de alta qualidade do mundo combinado; Calibração precisa, envolvendo o alinhamento dos objetos virtuais em posição e orientação dentro do mundo real; Interação em tempo real entre objetos reais e virtuais. A RA pode ser utilizada em qualquer ambiente e não possui restrições com dispositivos. É utilizada em aplicações individuais ou aplicações coletivas, locais ou remotas, além de apresentar a vantagem de operações multimodais, que envolvem o tato, a voz, os gestos, etc. e também permite o uso de ações tangíveis. (TORI, KIRNER I, 2006; KIRNER, SISCOUTTO, 2007) Essa tecnologia terá grande impacto no modo de viver das pessoas através de novas maneiras de visualizar, comunicar e interagir com as outras pessoas e também no modo de encarar as informações recebidas diariamente. (WENDER, 2009) 3.1 SISTEMAS DE REALIDADE AUMENTADA A classificação dos sistemas de RA depende do modo que o usuário visualiza o mundo misturado e do tipo de display que é utilizado. Os displays envolvem visão ótica ou visão por vídeo. A RA é considerada de visão direta ou imersiva quando o usuário visualiza o mundo misturado através de seus próprios olhos ou através de um vídeo, alinhado às posições reais. Pode também ser de visão indireta ou não imersiva quando o usuário visualiza o mundo misturado através de algum dispositivo como um monitor

34 30 ou um projetor, não alinhado às posições reais. Existem quatro tipos de sistemas: (REALIDADE AUMENTADA II, 2011; TORI, KIRNER I, 2006) Sistema de visão ótica direta; Sistema de visão direta por vídeo; Sistema de visão por vídeo baseado em monitor; Sistema de visão ótica por projeção. No sistema de visão ótica direta a imagem pode ser visualizada tanto com óculos quanto com capacetes que possuam lentes. Deste modo permitem que a imagem real seja recebida diretamente enquanto as imagens virtuais são projetadas já ajustadas à cena real. Um método comum que adota essa característica é utilizar uma lente inclinada que permite ao usuário uma visão direta e que reflete a projeção das imagens geradas pelo computador diretamente nos olhos da pessoa. (REALIDADE AUMENTADA II, 2011) A figura 15 representa a visão ótica direta. Figura 15 - Visão ótica direta - Capacete (TORI, KIRNER I, 2006) No sistema de visão direta por vídeo (Figura 16) são utilizados capacetes acoplados com micro câmeras de vídeo. A webcam captura uma cena real misturada com elementos virtuais, que são gerados pelo computador, e é diretamente apresentada aos olhos do usuário através de monitores que se encontram no capacete. (REALIDADE AUMENTADA II, 2011)

35 31 No sistema de visão por vídeo baseado em monitor a captura da cena real é feita através de uma webcam. Após a captura, a cena real é misturada com os objetos virtuais gerados pelo computador e apresentada no monitor. Dessa maneira, o usuário fica em um ponto fixo e depende do posicionamento da webcam. (REALIDADE AUMENTADA II, 2011) A figura 17 apresenta a visão por vídeo baseado em monitor. Figura 16 - Visão direta por vídeo - HMD (TORI, KIRNER I, 2006) Figura 17 - Visão direta por vídeo baseado em monitor - Webcam (TORI, KIRNER I, 2006) No sistema de visão ótica por projeção (Figura 18) são utilizadas superfícies do ambiente real, onde as imagens dos objetos virtuais são projetadas e apresentadas ao usuário que as visualiza sem precisar do auxílio de nenhum equipamento. Este sistema possui restrições quanto às condições do espaço real em função das superfícies em projeção. (REALIDADE AUMENTADA II, 2011)

36 32 Figura 18 - Visão ótica por projeção - Espelho no monitor (TORI, KIRNER I, 2006) Para situações onde a perda da imagem pode se tornar perigosa, os sistemas de visão direta são mais apropriados, como por exemplo, um usuário pilotando um avião. Já em locais fechados onde o usuário tem o controle da situação, o uso da visão por vídeo é mais adequado, pois em caso de dano na imagem é só retirar o capacete com segurança. Finalmente, o sistema de visão por vídeo possui duas vantagens: é mais barato e ajustável. (REALIDADE AUMENTADA II, 2011) 3.2 AMBIENTES DE REALIDADE AUMENTADA O ambiente de RA utiliza recursos de multimídia como imagens e sons de qualidade e recursos de RV que inclui a interação em tempo real e a geração de imagens dos objetos virtuais. (KIRNER, SISCOUTTO, 2007) A plataforma computacional para ambientes desse tipo deve conter características apropriadas para RV e multimídia, como: interação em tempo real, capacidade de transferência e processamento de mídia (sons, imagens, etc.) e capacidade de processamento gráfico 3D Interação em ambientes de Realidade Aumentada Técnicas de interação específicas para interfaces de RA foram desenvolvidas, para aproveitar características essenciais deste tipo de interface, tais como a

37 33 possibilidade de interação do usuário tanto com objetos virtuais quanto reais durante a utilização da aplicação. (KELNER; TEICHRIEB, 2008) Atualmente, ainda não existe um acordo, na literatura, sobre como estas técnicas de interação devam ser adequadamente classificadas. Trevisan (2002), Bowman (2004) e Broll (2005) publicaram propostas de classificações, tais como: Interfaces Tangíveis: Permite aos usuários manipular objetos físicos, ferramentas, superfícies ou espaços para interagir com as aplicações. Essa manipulação dos objetos reais pelo usuário é natural e intuitiva; Interfaces Baseadas em Gestos: Este tipo de interface usa como entrada gestos espontâneos do usuário, mímicas e gestos simbólicos; Walking: A técnica Walking prevê o andar físico através do mundo 3D, sendo bastante natural para o usuário. É classificada como uma técnica de interação para navegação em ambientes de RV, mas é muito adequada para aplicações móveis de RA. Um aspecto importante a considerar é o fornecimento de avisos ao usuário durante a caminhada que auxiliem no equilíbrio, de forma a promover entendimento espacial; Reconhecimento de Gestos Pen-Stroke: Esta técnica reconhece o movimento de uma caneta, por exemplo, sobre a tela touch-screen de um handheld ou smartphone. 3.3 COMPARAÇÃO ENTRE REALIDADE VIRTUAL E REALIDADE AUMENTADA A RA e a RV podem ser inseridas num diagrama que considera a dimensão da artificialidade e a dimensão do espaço, conforme a figura 19. (TORI, KIRNER I, 2006)

38 34 Ambos os casos tratam de objetos gerados por computador, mas, no mundo físico, a RA está ligada com a realidade física, enquanto a RV refere-se ao sentido de tele presença. Figura 19 - Diagrama das artificialidades e espaços (TORI, KIRNER I, 2006) Uma comparação entre realidade virtual e realidade aumentada pode ser sintetizada da seguinte maneira: (TORI; KIRNER I, 2006, p.24) Realidade virtual trabalha unicamente com o mundo virtual; transfere o usuário para o ambiente virtual; e prioriza as características de interação do usuário; Realidade Aumentada possui um mecanismo para combinar o mundo real com o mundo virtual; mantém o senso de presença do usuário no mundo real; e enfatiza a qualidade das imagens e a interação do usuário. Como a RA mantém o senso de presença do usuário no mundo real, há uma forte tendência em usar recursos tecnológicos não visíveis ao usuário para deixá-lo livre em seu ambiente. Recursos como rastreamento óptico, projeções e interações multimodais estão, cada vez mais sendo usados em aplicações de realidade aumentada, enquanto a realidade virtual usa um maior número de dispositivos especiais para equipar os usuários com recursos multissensoriais.

39 DIFICULDADES DE APLICAÇÕES DE REALIDADE AUMENTADA Durante o desenvolvimento de aplicações de RA é comum encontrar alguns problemas, como por exemplo, iluminação e distância. Esses problemas serão descritos e detalhados a seguir Iluminação A principal preocupação ao se desenvolver sistemas de RA está relacionada à iluminação dos ambientes, já que o excesso e a falta de iluminação acabam influenciando no processo de reconhecimento dos padrões dos marcadores. O modo com que os marcadores são iluminados também é um fator que deve ser acompanhado, já que pode ocasionar na criação de sombras que também podem provocar o não reconhecimento do padrão. (FILHO, 2005) O problema da iluminação deve ser tratado com cautela, pois caso contrário ocasionará no funcionamento inadequado da aplicação. Portanto, é preciso que a luz utilizada esteja o mais próximo possível da luz ambiente. Ambientes que contêm excesso ou insuficiência de iluminação fazem com que o padrão dos marcadores não seja reconhecido e desapareça, sendo assim a aplicação não consegue identificar qual marcador está sendo utilizado e a aplicação não consegue projetar a informação. A Figura 20 a seguir apresenta ambientes com pouca e com muita iluminação, comprovando que a identificação do marcador não é feita. Apresenta também a imagem de um marcador que foi reconhecido e teve sua informação projetada, pois está em um ambiente com a iluminação adequada. Viabilizando, portanto a aplicação.

40 36 Figura 20 - Iluminação em ambientes (FILHO, 2005) Distância O problema da distância também merece a devida atenção, já que se o limite entre o marcador e a webcam não for respeitado, a aplicação não conseguirá reconhecer o padrão do marcador e por fim não funcionará corretamente. Os marcadores que forem posicionados a uma distância muito longa ou muito curta não serão reconhecidos, pois o padrão acaba desaparecendo e a webcam não consegue detectar e projetar a informação. Sendo assim, o marcador deve ser posicionado a uma distância de aproximadamente 1m e 50 centímetros da webcam para que não haja problemas no processo de reconhecimento adequado e para que a aplicação funcione corretamente. A Figura 21 a seguir, apresenta marcadores posicionados com uma distância muito longa e muito curta, confirmando que a informação não é projetada. Apresenta também a imagem de um marcador que foi reconhecido, pois está

41 37 posicionado na distância indicada. A solução deste problema, portanto é respeitar o limite de alcance. Figura 21 - Distâncias dos marcadores (OS AUTORES, 2011) 3.5 APLICAÇÕES DE REALIDADE AUMENTADA Atualmente a área que mais utiliza a tecnologia de RA é a publicidade, pois esta área trabalha com base em imagem e divulgação de seus produtos para atrair o maior numero de consumidores. A RA possui uma grande mobilidade e pode ser utilizada em várias aplicações, como por exemplo, na área da medicina que proporciona beneficios que vão além dos que os aparelhos por si só podem oferecer. Este tópico aborda algumas das inúmeras aplicações que podem ser geradas a partir desta tecnologia.

42 Moda No ano de 2010 a Adidas adotou a tecnologia de RA para criar uma coleção de tênis chamada Originals AR Game Pack. Essa coleção possui cinco modelos de tênis, no qual cada um tem um marcador diferente impresso na língua. É através desses marcadores que o usuário navega em um jogo interativo, apresentado por celebridades diferentes dos Estados Unidos. (MERIGO, 2009) Para o acesso do jogo é necessário ter um cadastro na página referente à coleção e também uma webcam para o reconhecimento do marcador. A figura 22 mostra como são essas páginas ao acessar o link da coleção. Figura 22 - Páginas ao acessar o link da coleção (ADIDAS, 2011) Como estratégia de marketing, o usuário que não possui o tênis pode baixar um desenho do modelo do tênis, que pode ser recortado e montado para que tenha a sensação de estar segurando o tênis e não colocar somente a folha impressa em frente a webcam. Com esse protótipo do tênis o usuário terá uma idéia do que ele poderá usufruir se adquirir o produto. A imagem do jogo que é vista pelo usuário pode ser vista conforme visto na figura 23. (ADIDAS, 2011)

43 39 Figura 23 - Imagem que é vista pelo usuário (MERIGO, 2009) Vitrine virtual em Londres A Tissot, uma marca que fabrica relógios, criou uma vitrine virtual (Figura 24) em Londres. Nesta vitrine são distribuídos marcadores com formas de relógios, que são colocados no pulso. Sendo assim, a imagem é gerada em um monitor que seja sensível ao toque e que permite que as pessoas mudem o estilo, a cor e o tamanho do relógio, além de exibir algumas funcionalidades como o horário e cronometro. (RODELLO, BREGA, 2011) O aplicativo também pode ser visualizado através da internet, onde está disponível um arquivo com o marcador do relógio para ser impresso e em seguida recortado. Se a pessoa quiser acessar através da internet, terá que fazer o download e a instalação desse aplicativo. E mesmo possuindo alguns inconvenientes, como o tamanho do arquivo (82 Mbytes) e problemas na instalação, as soluções possuem um bom alcance, pois a quantidade de pessoas que possuem acesso a internet e a webcam é grande. A intenção dessa ação da Tissot é tentar quebrar a imagem inacessível que algumas pessoas têm de seus produtos.

44 40 Figura 24 - Vitrine virtual em Londres (RODELLO, BREGA, 2011) Medicina A Veinviewer é uma tecnologia inovadora na área vascular de medicina. O aparelho, que contem a tecnologia implementada, permite uma melhor e maior visualização das veias do paciente. A máquina emite raios infravermelhos que captam a temperatura do corpo e faz com que as veias ressaltem. As informações obtidas são transformadas em imagens que são projetadas na área onde será realizado o devido tratamento. (VEJA, 2010; LUMIERE LASER, 2011) A figura 25 mostra como as veias ficam projetadas ao serem captadas pela máquina. Essa técnica é utilizada no Hospital Albert Einstein e também em laboratórios como o Fleury Medicina e Saúde. De fato, essa tecnologia aliada ao emprego dos lasers proporciona benefícios para o paciente e facilidade para os médicos, já que ela proporciona alternativa para que o paciente evite passar por cirurgias e torna o processo de tratamento vascular mais simples e eficiente. (VEJA, 2010)

45 41 Figura 25 - Veias projetadas no corpo do paciente (FERRARI, 2009) 3.6 CONSIDERAÇÕES Este capítulo apresentou conceitos necessários e essenciais para o desenvolvimento do trabalho, descrevendo as principais características, ambientes e sistemas da RA, bibliotecas utilizadas para o desenvolvimento de aplicações e por fim citou alguns exemplos utilizados em áreas distintas. O intuito deste capítulo foi aprofundar ainda mais o conhecimento na tecnologia para ter a base de estudos completa e assim iniciar o desenvolvimento da aplicação.

46 42 4 BIBLIOTECAS GRÁFICAS Esse capítulo aborda a visão geral do ARToolkit, algumas bibliotecas derivadas desta e também os principais conceitos da biblioteca FLARToolkit. E, por fim, apresenta um quadro comparativo entre as bibliotecas ARToolkit, JARToolkit, FLARToolkit e NYARToolkit que auxiliou na escolha da biblioteca a ser utilizada no desenvolvimento do trabalho. 4.1 VISÃO GERAL DO ARTOOLKIT O ARToolkit é uma biblioteca baseada em software livre desenvolvida em C/ C++, criada na Universidade de Osaka no Japão, pelo Dr. Hirokazu Kato. Atualmente, a biblioteca é desenvolvida pelo Laboratório de Tecnologias de Interface Humana, da Universidade de Washington (Estados Unidos da América) e da Universidade de Canterbury (Nova Zelândi a ). (JAIROFRANCHI, 2010) Essa biblioteca utiliza o rastreamento óptico, que implementa técnicas de visão computacional para identificar e estimar em tempo real, a posição e a orientação de um marcador (moldura quadrada desenhada em papel) em relação ao dispositivo de captura de vídeo. Assim, o cálculo da correlação entre os dados estimados do marcador real e a sua imagem, possibilita posicionar objetos virtuais alinhados à imagem do marcador. (KATO, 2000) Inicialmente, o ARToolkit transforma a imagem capturada em uma imagem com dados binários. Após isso, verifica a imagem para diagnosticar regiões quadradas e, dessa forma, encontra todos os quadrados na imagem binária e, para cada quadrado localizado, captura-se a imagem em seu interior e a compara com algumas imagens já cadastradas. Caso haja similaridade entre as imagens, o ARToolkit a considera como um marcador de referência e utiliza o padrão detectado nessa imagem juntamente com o quadrado (cujo tamanho é conhecido) para calcular a posição real da câmera em relação à posição real do marcador. Se as coordenadas reais e virtuais da câmera forem iguais, o objeto virtual pode ser

47 43 desenhado sobre o marcador. (COMPPET I, 2011) A figura 26 apresenta uma visão geral do ARToolkit.. Figura 26 - Visão geral do ARToolkit (COMPPET I, 2011) Em relação a arquitetura, o ARToolkit (Figura 27) é uma ferramenta de que utiliza uma biblioteca de software que possibilita a codificação de programas em Open Graphics Library (OpenGL) independentes da plataforma de hardware utilizada chamada OpenGL Utility Toolkit (GLUT). Ela fornece funções pré-definidas necessárias para chamar uma ordem específica para o desenvolvimento de um programa de RA. Apesar disso é possível usar diferentes partes do kit de ferramentas separadamente. O ARToolkit suporta múltiplas plataformas, ao tentar minimizar a dependência da biblioteca sem sacrificar a eficiência. (ARTOOLKIT, 2011) Figura 27 - Arquitetura do ARToolkit (ARTOOLKIT, 2011)

48 44 A biblioteca do ARToolkit consiste em 4 módulos: AR module: Módulo principal com rotinas de rastreamento de marcadores e calibração; Video module: Conjunto de rotinas que encapsulam a captura de frames de vídeo padrão; Gsub module: Conjunto de rotinas gráficas baseadas nas bibliotecas OpenGL e GLUT; Gsub_Lite module: substitui o Gsub Module com rotinas gráficas mais eficientes e independentes do sistema de janelas. O Gsub não é mais utilizado e foi descontinuado. A figura 28 mostra a estrutura hierárquica do ARToolkit utilizando Gsub_Lite module. Figura 28 - Estrutura hierárquica do ARToolkit utilizando Gsub_Lite module (ARTOOLKIT, 2011) O ARToolkit manipula uma grande quantidade de diferentes tipos de variáveis. Internamente, ele usa variáveis globais, que restringem a parte reentrante do código. Por outro lado, o argumento interface multipadrão é utilizado com base em uma abordagem de fluxo de dados. O ARToolkit utiliza diferentes formatos de imagem (Figura 29) entre os diferentes módulos. Alguns estão disponíveis apenas em algumas plataformas ou com determinado hardware.

49 45 seguir. Figura 29 - Fluxo de dados do ARToolkit (ARTOOLKIT, 2011) As etapas de funcionamento do ARToolkit podem ser vistas na figura 30 a A partir da biblioteca ARToolkit surgiram algumas derivações de bibliotecas destinadas a outros tipos de aplicações de RA, como por exemplo aplicações web, aplicativos em flash, entre outros. Algumas dessas bibliotecas são: FLARtoolkit, NYARtoolkit e JARtoolkit. Figura 30 - Etapas do funcionamento do ARToolkit (ARTOOLKIT, 2011) 4.2 FLARTOOLKIT A biblioteca FLARToolkit surgiu a partir da biblioteca ARToolkit, porém é voltada para aplicações web. Ela é um conjunto de classes desenvolvidas através da linguagem AS3 (ActionScript 3.0), que junto com o software open source para criação de cenas 3D, o P3D (Papervision3D) possibilita o desenvolvimento de

50 46 aplicações de RA. Esta biblioteca funciona independente do sistema operacional, ou seja, não é preciso ser configurada no computador, diferentemente da ARToolkit. (COMPPET II, 2001; REALIDADE AUMENTADA, 2011) A linguagem AS3 por ser utilizada principalmente para aplicações web, pode ser executada nos navegadores que suportam o Adobe Flash Player a partir da versão 9 e que permitem o acesso ao plugin da webcam. (REALIDADE AUMENTADA I, 2011; SISCOUTTO, FILHO, 2011; SPARK PROJECT, 2011) Aplicações de RA com FLARToolKit consistem em um conjunto de diferentes tecnologias como, por exemplo: (SISCOUTTO, FILHO, 2011) Linguagem de programação; Ambientes para desenvolvimento; Bibliotecas e Dependências. É necessário identificar todas as particularidades das tecnologias utilizadas, para tratar as possíveis dificuldades, tanto no processo de desenvolvimento quanto na execução, obtendo assim melhores resultados. 4.3 COMPONENTES DO FLARTOOLKIT É fundamental ter conhecimento sobre os componentes do FLARToolkit para o entendimento da estrutura durante o processo de desenvolvimento de um projeto de software. Os principais componentes serão descritos a seguir Linguagem de Programação Apesar de a biblioteca FLARToolkit utilizar a linguagem AS3, toda sua estrutura é derivada da biblioteca NyARToolkit, que é escrita em Java. A linguagem utilizada neste trabalho é a AS3, que é orientada a objetos e voltada para os ambientes de execução Adobe Flash Player e Adobe AIR, roda sobre uma máquina virtual denominada ActionScript Virtual Machine (AVM) e é baseada nos padrões da European Computer Manufacturers Association (ECMA).

51 Ambiente de Desenvolvimento O ambiente de desenvolvimento para aplicações com o FLARToolkit é o Flash Professional CS5. 5, que é um Integrated Development Environment (IDE) que oferece suporte para desenvolvimento em back-end e design front-end independentes. Porém, pode-se utilizar outros ambientes para o desenvolvimento de aplicações, como por exemplo, o Flash Develop. (SISCOUTTO, FILHO, 2011) Bibliotecas e Dependências A biblioteca FLARToolkit calcula a orientação dos marcadores, define a posição dos objetos virtuais e possui ações como movimentação e escala, porém não renderiza os objetos 3D da cena. No pacote do FLARToolkit estão disponíveis algumas bibliotecas para renderização desses objetos virtuais, como o Papervision 3D e o Away 3D. Sem estas bibliotecas externas, não é possível renderizar objetos 3D na cena, tornando assim a ferramenta ineficaz na criação de aplicativos para RA. (SISCOUTTO, FILHO, 2011) Neste trabalho é utilizado o Papervision 3D como biblioteca externa para renderizar os modelos virtuais. O quadro 1 detalha as classes e formatos de arquivos de modelos virtuais que são utilizados nas aplicações pelo Papervision 3D. Quadro 1 - Classes e formatos de arquivos de modelos virtuais (SISCOUTTO, FILHO, 2011)

52 Estrutura de Diretórios Para a instalação da biblioteca, é preciso fazer o download da última versão e logo em seguida, é necessário descompactar o arquivo no local desejado. O local escolhido será referenciado como {FLARToolkit_ver_2_5_4}, como mostra a figura 31 abaixo. (SISCOUTTO, FILHO, 2011) Figura 31 - Raiz da árvore de diretórios do FLARToolKit (SISCOUTTO, FILHO, 2011) Na raiz do FLARToolKit, existem dois arquivos, o.actionscriptproperties e o.project, que representam a configuração para um projeto no ambiente de desenvolvimento Flex Builder, possibilitando a compilação dos códigos-fonte, assim como uma implementação com as configurações do projeto original. No diretório.settings estão armazenadas as configurações para o projeto na IDE Flex Builder. O Flash Professional CS5.5 consegue importar este tipo de projeto. O diretório libs armazena as bibliotecas externas que podem ser importadas no FLARToolKit. Lá estão disponíveis as quatro engines 3D responsáveis pela renderização dos objetos virtuais 3D, que são: Away3D, Away3D Lite, NyARToolKitAS3 e o Papervision3D. No diretório resources estão as subpastas Data e model. Na pasta Data, encontram-se dois exemplos de marcadores que podem ser utilizados no FLARToolkit, o flarlogo-marker.pdf e o hiro-marker.pdf e também seus respectivos arquivos.pat (vem de pattern), que mantém o registro da imagem de

53 49 reconhecimento do marcador são referenciadas durante o desenvolvimento de uma aplicação. Nesta pasta encontram-se também dois arquivos referentes aos parâmetros da câmera que devem ser informados à aplicação, o camera_para.dat e o câmera_para_16x9.dat, sendo que o câmera_para_16x9.dat é para aplicações com visão widescreen. Já a pasta model, é um repositório para arquivos tridimensionais. Nesta pasta já contém um modelo de uma imagem tridimensional, sendo que um dos arquivos é o earth.blend, que está no formato de projeto de um programa open source para modelagens de objetos tridimensionais, o Blender e o outro earth.dae, arquivo com texturas no formato Collada, que é um padrão de exportação e importação de arquivos criado pela Sony e que é suportado pelos editores 3D como por exemplo, Blender, Maya, entre outros. O diretório src contém os códigos fontes do FLARToolkit. Dentro desta pasta, contém duas subpastas, a examples e a org. Na pasta examples estão as classes com vários exemplos de aplicações e a pasta org é a raiz para o código-fonte da biblioteca, contendo as classes implementadas. 4.4 COMPARATIVO ENTRE AS BIBLIOTECAS A biblioteca JARtoolkit surgiu como uma alternativa para desenvolvimento de aplicações de RA na linguagem Java e também possui a vantagem de ser gratuita, de ter código aberto e funcionar em qualquer plataforma que esta opera. Ela acessa a ARToolkit através da Java Native Interface (JNI), uma característica do Java que oferece a possibilidade de reaproveitamento de códigos de outras linguagens dentro da linguagem Java. Esta biblioteca dá suporte a diferentes Applications Program Interface (APIs) de renderização como, por exemplo, GL4Java, Java OpenGL (JOGL) e Java3D. (GEIGER et. al., 2011) Desenvolvida em 2008, pelo japonês Nyatla, a NyARtoolKit é uma biblioteca construída em linguagem Java, de software multiplataforma (Android, Linux, Mac OS X e Windows) e multilinguagens (Java, Android SDK, C# e C++), que viabiliza o desenvolvimento de aplicações de RA. Apesar de ser propriedade de uma empresa

54 50 comercial, ARtoolworks.Inc, mantém a natureza gratuita e de código aberto, como se fosse um software não comercial. (NYATLA, 2011) Após a explicação das bibliotecas citadas, o quadro 2 apresenta uma comparação entre elas, ilustrando um resumo das características da biblioteca ARToolkit e das bibliotecas derivadas. Quadro 2 - Quadro comparativo das bibliotecas (OS AUTORES, 2011) 4.5 CONSIDERAÇÕES O conteúdo apresentado neste capítulo englobou os principais conceitos sobre o ARToolkit, descreve as principais características de suas bibliotecas derivadas e descreve a biblioteca utilizada neste trabalho, a FLARtoolkit. Este capítulo encerra todos os conceitos que são necessários para dar início ao desenvolvimento aplicação.

55 51 5 TOUR VIRTUAL ANHEMBI MORUMBI O tour consiste em uma aplicação de RA baseada no sistema de visão ótica por projeção, conforme apresentado no capítulo 3. A finalidade é desenvolver uma aplicação na área de entretenimento, proporcionando ao usuário uma maneira diferenciada de visualizar informações dos locais da Universidade. A aplicação é feita através de uma rede local com o auxílio de um notebook com uma webcam integrada, que será responsável por realizar todo o processamento dos marcadores e fornecer a visualização do conteúdo destes para o usuário. É utilizada para o desenvolvimento a biblioteca FLARToolkit com o auxílio da ferramenta Adobe Flash Professional CS5.5, que é responsável pela compilação da codificação da biblioteca. A modelagem dos objetos virtuais da aplicação foi realizada utilizando Actionscript 3.0 e Papervision 3D. O tour virtual proposto consiste em um passeio pela Universidade onde cada ambiente possui um marcador que contém informações referentes a ele. A proposta é que futuramente esses marcadores substituam os painéis e/ou placas informativas. O trajeto consiste em passar pelos ambientes mais relevantes da Universidade para exemplificar a aplicação em funcionamento. A origem do trajeto é na entrada da unidade 5 da Universidade que contém a apresentação do Tour Virtual Anhembi Morumbi. Em seguida, o usuário passa pela academia visualizando os horários e dias de funcionamento da mesma e logo após segue até o elevador. Ao chegar em frente do elevador, o usuário encontra as informações respectivas a todos os andares e se dirige ao andar desejado. Quando atingir seu destino o usuário irá se locomover até uma sala de aula onde há informações do professor que esta ministrando a aula naquele momento. A figura 32 apresenta o mapeamento do tour virtual.

56 52 Para entender melhor o funcionamento desses marcadores no tour virtual, a figura 33 apresenta o fluxograma deste. Figura 32 - Mapeamento do Tour Virtual (OS AUTORES, 2011) Figura 33 - Fluxograma do marcador (OS AUTORES, 2011)