Construindo Ambientes com Realidade Aumentada Utilizando Sistemas de Partículas

Transcrição

1 UNIVERSIDADE FEDERAL DE GOIÁS UFG CAMPUS CATALÃO CaC DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO DCC Bacharelado em Ciência da Computação Projeto Final de Curso Construindo Ambientes com Realidade Aumentada Utilizando Sistemas de Partículas Autor: Fábio Gomes de Assunção Orientador: Márcio Antônio Duarte Catalão

2 Fábio Gomes de Assunção Construindo Ambientes com Realidade Aumentada Utilizando Sistemas de Partículas Monografia apresentada ao Curso de Bacharelado em Ciência da Computação da Universidade Federal de Goiás Campus Catalão como requisito parcial para obtenção do título de Bacharel em Ciência da Computação Área de Concentração: Computação Gráfica Orientador: Márcio Antônio Duarte Catalão

3 de Assunção, Fábio G. Construindo Ambientes com Realidade Aumentada Utilizando Sistemas de Partículas/Márcio Antônio Duarte- Catalão Número de paginas: 87 Projeto Final de Curso (Bacharelado) Universidade Federal de Goiás, Campus Catalão, Curso de Bacharelado em Ciência da Computação, Palavras-Chave: 1. Realidade Virtual. 2. Realidade Aumentada. 3. Sistemas de Partículas

4 Fábio Gomes de Assunção Construindo Ambientes com Realidade Aumentada Utilizando Sistemas de Partículas Monografia apresentada e aprovada em Pela Banca Examinadora constituída pelos professores. de Márcio Antônio Duarte Presidente da Banca Alexsandro Santos Soares Selma Teresinha Milagre

5 Dedico este trabalho aos meus pais. Que tanto me estimularam ao longo do curso, desde a aprovação no vestibular até este momento de integralização. Essa conquista também é de vocês!

6 AGRADECIMENTOS Acima de todos, a Deus. Minha fortaleza, meu guia. Por iluminar meus passos com sua proteção e sabedoria. Mostrando-me o caminho correto a seguir. Aos meus pais, Antônio e Sidarly. Pela educação que me foi concedida, pelo apoio que me foi fornecido. Pelos conselhos que me foram dados, para que eu pudesse chegar até aqui. E especialmente pelo amor que me foi doado, me ensinando a cultivar as pessoas ao meu redor. Ao meu irmão Ricardo, pela ajuda na hora de fazer escolhas, não apenas pela opinião, mas também pela experiência. Aos amigos, que estiveram junto a mim, me encorajando para enfrentar os desafios. Sempre com discurso de motivação no início de uma nova caminhada. Gostaria de falar de muitos, se possível todos, mas em especial, não posso deixar de citar estes poucos: Jeferson Diniz, Jaqueline e Renata Guimarães, Claudeir Germano e Natasha Pimentel. Aos colegas da graduação, que na maioria das vezes ajudaram de forma nobre. Riram comigo nos momentos de descontração. Brigaram comigo nos momentos de tensão. Estudaram comigo nos momentos de dedicação e agora, lutam junto comigo pelos seus títulos de bacharéis neste momento de conclusão. Destes, em especial, agradeço à Mirian e Andréa Alves que se tornaram verdadeiras companheiras ao longo dessa jornada. E desde já digo: Não importa que estrada escolhamos para trilhar, quais caminhos iremos seguir daqui em diante, o que importa é o sentimento que já se concretizou, e que agora me ensina o significado da palavra amizade. Aos colegas de curso, que embora não estivessem sempre por perto, apareciam de alguma forma quando eu precisava. Agradeço os bons momentos compartilhados comigo. Em especial Mayara Amaral, Marina Mendes, Rejane Gomes, Eduardo Ribeiro, Glenda Botelho, Leonardo Garcia, Douglas Cordeiro, Adair Borba, Rosângela Alves, Márcia Ribeiro, Lorena Teixeira, Amanda Cristina e Bruno Calçado. Ao meu orientador professor Ms. Márcio Antônio Duarte, pela paciência e dedicação, pelas risadas e pelas ponderações. Por toda a convivência e experiência oferecida durante a elaboração deste trabalho. Aos outros mestres da graduação, que sempre tinham a acrescentar de alguma forma com suas colocações. Enfim, a todas as pessoas, mestres e amigos, familiares e colegas, que de qualquer forma, contribuíram para o meu crescimento profissional e pessoal, para minha formação e para minha vida. Obrigado.

7 Ao tomar uma sábia decisão, não olhes para trás. Ao alcançar o tão desejado objetivo, lembre-se dos que ficaram para trás. Ao vencer, ao final de uma grande luta, não abandone a quem lá de trás torceu muito por você. Anônimo

8 RESUMO de ASSUNÇÃO, F. G. Construindo Ambientes com Realidade Aumentada Utilizando Sistemas de Partículas. Curso de Ciência da Computação, Campus Catalão, UFG, Catalão, Brasil, 2008, 87p. Este trabalho apresenta a construção de ambientes virtuais através de técnicas de Realidade Virtual (RV) e Realidade Aumentada (RA)apresentando novas formas de interação através do uso de Sistemas de Partículas (SP), visando conseguir maior aplicação de sistemas de RA, pois, a maioria destes sistemas aumentam a realidade através da inserção de objetos virtuais estáticos com intuito de complementar uma cena. Com o uso de SP para modelagem de objetos virtuais, essas aplicações ganharam um novo propósito, já que a interação direta do usuário com as informações virtuais garantida pelas técnicas de RV e RA agora se realizará com entidades virtuais que se encontram em constante movimento. A adequação destes métodos possibilita a construção de aplicações naturalmente mais interativas. Como resultado, foi implementado um sistema utilizando a biblioteca ARToolKit, que permitiu o desenvolvimento de aplicações de RA, e para modelagem dos SP, utilizou-se OpenGl. Palavras-Chaves: Realidade Virtual, Realidade Aumentada, Sistemas de Partículas i

9 Sumário 1 Introdução Motivação Objetivos Organização da Monografia A Realidade Virtual Introdução Histórico da Realidade Virtual Caracterização da Realidade Virtual Sistemas de Realidade Virtual Sistemas Imersivos e Sistemas Não Imersivos Sistemas de Telepresença Sistemas Mistos - Imagens Reais e Imagens Virtuais Sistemas Distribuídos e Sistemas Centralizados Dispositivos de Realidade Virtual A Visão e a Tridimensionalidade Dispositivos para Visualização Dispositivos de Rastreamento Luvas Digitais e o Tato Virtual Dispositivos Acústicos Dispositivos para Sistemas Baseados em Projeção Aplicações da Realidade Virtual Arquitetura e Projeto Aplicações Médicas e na Área de Saúde Treinamento Profissional Tratamento de Fobias Área de Indústria e Tecnologia Entretenimento Telepresença e Teleoperação ii

10 3 A Realidade Aumentada Introdução A Realidade Misturada Caracterização da Realidade Aumentada Tipos de Sistemas de Realidade Aumentada e Seus Dispositivos Sistemas Imersivos e Sistemas Não imersivos Sistemas de Visão Ótica Direta Sistemas de Visão Direta por Vídeo Sistemas de Visão por Vídeo Baseada em Monitores Sistemas de Visão Ótica por Projeção Componentes de um Sistema de Realidade Aumentada Hardware Software Realidade Aumentada x Realidade Virtual Aplicações da Realidade Aumentada Aplicações Móveis Aplicações Colaborativas Aplicações Comerciais Os Sistemas de Partículas Introdução Histórico dos Sistemas de Partículas Caracterização dos Sistemas de Partículas O Que é Uma Partícula? Os Atributos de Uma Partícula Simulação das Partículas Gerando e Visualizando Imagens com Sistemas de Partículas Tipo de Sistemas de Partículas Sistemas de Partículas Estocásticos Sistemas de Partículas Estruturados Sistemas de Partículas Dirigidos Vantagens dos Sistemas de Partículas Aplicações dos Sistemas de Partículas Tecnologias Relacionadas e Arquitetura Proposta Introdução O Software ARToolKit Histórico do ARToolKit iii

11 5.2.2 Alinhamento Real x Virtual com Cartões Marcadores Funcionamento do ARToolKit Desenvolvimento de Aplicações Utilizando ARToolKit Versões do ARToolKit A OpenGL Histórico da OpenGL O que é a OpenGL? Funcionamento da OpenGL Utilização/Inserção de Bibliotecas OpenGL Sistemas de Partículas em OpenGL Arquitetura Proposta Módulo ARToolKit Módulo Gerador de Objetos Virtuais Submódulo Atualizador Implementação, Resultados e Discussão Introdução Alterações no Software ARToolKit Geração dos Objetos Virtuais Cartão Marcador Resultados Sistemas de Partículas Simples Sistemas de Partículas Junto com Cenário Sistemas de Partículas Interativos e Agregados Múltiplos Sistemas de Partículas Múltiplos Sistemas de Partículas com Interação do Usuário Tipo de Sistema de Realidade Aumentada Métodos para Modelagem dos Sistemas de Partículas Detalhes da Implementação Limitações e Discussão Iluminação Visão da Câmera Rastreamento Renderização e Escala Discussão Considerações Finais Conclusões iv

12 7.2 Trabalhos Futuros Referências 67 Apêndices 69 A Código Fonte 70 A.1 Fonte Áquatica A.2 Nave Espacial com Interação v

13 Lista de Figuras 1.1 Ambiente com RA [Duarte, 2006] Sensorama Desenvolvido por Morton Heiling [Oliveira, 2006] Usuário com Capacete Desenvolvido por Sutherland em 1968 [Oliveira, 2006] Nasa View: Sistema de Simulação da NASA [Duarte, 2008] I 3 da RV [Duarte, 2008] Sistema de Telepresença [Guanabara, 2007] Aplicação de RM para Remoção de Tumores [Oliveira, 2006] Óculos Estereóscopicos e Tela de Projeção [Kirner et al., 2006] Sistema Imersivo com Capacete e Luvas [Kirner et al., 2006] Elementos de uma Luva Digital [Tori et al., 2006] Estádio Jornalista Mário Filho no Rio de Janeiro e Sua Maquete Virtual Exemplo de Projeto Simulado por RV [Deultz, 2008] Tela de Jogo Desenvolvido para Plataforma PlayStation 3 [MCO, 2008] Diagrama Realidade x Virtualidade [Milgran, 1994] Objetos Virtuais Posicionados Sobre Mesa Real [Tori et al., 2006] Sistemas Imersivos x Sistemas Não Imersivos [Kirner et al., 2006] Diagrama do Sistema de Visão Ótica Direta [Duarte, 2006] Diagrama do Sistema de Visão Direta por Vídeo [Duarte, 2006] Diagrama do Sistema de Visão por Vídeo Baseada em Monitores [Zorzal, 2008] Diagrama Artificialidade x Espaço [Kirner et al., 2006] SP de Fogo do Filme Star Thek II: The Wrath of Khan [Reeves, 1985] Arquitetura do SP de Explosão de Reeves [Oliva, 2004] Explosão de Fogos Multicolorados Modelada por SP [Reeves, 1985] Simulação de Fluidos Através de SP: Colisão com Corpo Sólido [Oliva, 2004] Processamento da Imagem Capturada Diagrama de Funcionamento do ARToolKit [Consularo et al., 2005] Diagrama de Funcionamento da OpenGL [Manssour, 2008] Arquitetura Proposta vi

14 6.1 Inversão da tela do ARToolKit Modelagens em OpenGL Cartão Marcador [Kirner, 1999] SP de tornado - Primeiro Resultado SP de tornado - Resultado Final SP de Água - Cenário: Fonte Aquática SP de Água - Cenário: Isqueiro SP Agredados e Interativos SP de Estrelas - SP Interativo Múltiplos SP de Fogo - Propulsores Nave Espacial Múltiplos SP com Dinâmicas de Simulação Diferentes Controle de Renderização dos SP Sistema de RA Não Imersivo de Visão por Vídeo Baseada em Monitores.. 60 vii

15 Lista de Algoritmos 4.1 Possível Laço de Simulação de um Sistema de Partículas viii

16 Lista de Códigos Estrutura das Partículas Partículas Ativas Código de Inversão de Tela Método Genérico iniciaparticulas Método Genérico conceberparticulas Método Genérico desenhaparticulas Método Genérico extinguirparticulas Alterações no Método keyevent ix

17 Lista de Siglas 3D CG GL RA RV RM SO SP VA FSG GLU GLX HMD SGI GLUT NASA VRML NURBS OpenGL ARToolKit Tridimensional Computação Gráfica Graphic Language Realidade Aumentada Realidade Virtual Realidade Misturada Sistema Operacional Sistema(s) de Partículas Virtualidade Aumentada Fahrenheit Scene Graph Graphic Language Utility Graphic Language Extention Head Mounted Display Silicon Graphic Inc Graphic Language Utility Toolkit National American Spacial Agency Virtual Reality Modeling Language Non Uniform Rational B-Splines Open Graphic Language Augmented Reality Tool Kit x

18 Capítulo 1 Introdução 1.1 Motivação Desde tempos pré-históricos, a sociedade manifestou a necessidade de representar imaginação e realidade. Prova disso, são as pinturas primitivas encontradas em cavernas e montanhas, feitas há milhares de anos. Ao longo da história, essa necessidade vem se transformando desde simples pinturas até grandes obras de teatro, jogos, cinema, música e outros meios de expressão. Essas expressões ganharam força com a introdução do uso do computador, pois, os princípios da multimídia complementam a criação de imagens, sons e animações [Tori et al., 2006]. A Computação Gráfica (CG) é uma ferramenta de concepção de arte. Essa ferramenta permite transcender técnicas tradicionais de modelagem, a partir da combinação de luz, tempo e movimento. Cabe ao criador imaginar o trabalho e deixar que a máquina resolva a complexidade da criação [Azevedo e Conci, 2004]. A CG é uma área que se integra a todas as outras ciências, pois através dela é possível alcançar a simulação do universo real explicado cientificamente ou o fruto da imaginação humana, mesclando conhecimento e realidade para soluções e conclusões [Tori et al., 2006]. A história da computação se alonga por mais de 50 anos, mas apenas há algumas décadas que avanços na área de CG ocorreram consideravelmente. A partir da década de 80, surgiram os conceitos de gráficos em três dimensões (3D) e Realidade Virtual (RV)[Vince, 1995]. A RV pode ser definida como a forma mais avançada de interface com o usuário de computador disponível até então, pois, permite ao usuário a manipulação, visualização e interação com computadores e dados de grande complexidade. A RV aparece como uma abordagem para aumentar a interação entre o mundor real e os modelos virtuais utilizados nas simulações [Duarte, 2006]. 1

19 Segundo Kirner, Tori e Siscoutto (2006), o avanço da multimídia e da RV, proporcionado pela melhoria na potência dos computadores, permitiu a integração, em tempo real, de vídeo e ambientes virtuais interativos. Da mesma forma, o aumento da largura de banda das redes de computadores também vem influenciando positivamente na evolução da multimídia, permitindo a transferência de fluxos de informação, como imagens, com eficiência. Mas o escopo da RV é limitado, por idealizar modelos e ambientes de cunho totalmente virtual. Para integrar o ambiente real em que estamos e modelos virtuais, introduz-se uma nova abordagem, a Realidade Aumentada (RA). A RA beneficiou-se desses progressos obtidos no fluxo de informações, tornando viáveis aplicações dessa tecnologia, tanto em plataformas sofisticadas quanto em plataformas populares [Kirner et al., 2006]. As técnicas de RA, possibilitam aumentar uma cena real, capturada por câmera ou outro dispositivo, com elementos virtuais, tornando a cena mais rica. Visando a criação de aplicações interativas. Um bom exemplo, visualizar a decoração, em tempo real, de um apartamento vazio (no ambiente real em que estamos) com móveis virtuais. É necessário que o usuário utilize dispositivos apropriados, para visualizar a cena real enriquecida com os elementos virtuais posicionados e orientados pelo sistema em todo o apartamento. As técnicas de RA permitem que o mobiliário permaneça estático em sua posição, mesmo que o usuário se movimente pelo apartamento, causando a sensação que os móveis realmente estejam ali. O usuário tem a possibilidade de manipular o cenário criado sem o uso de mouse ou teclado [Duarte, 2006]. As técnicas de mistura e sobreposição da RA, abrangem um imenso campo de aplicações, desde trabalhos de graduação até grandes empreendimentos nos mais diversos setores sociais. A Figura 1.1, ilustra o uso da RA enriquecendo o ambiente real. Através deste exemplo é possível imaginar como esse ambiente teria sido. Figura 1.1: Ambiente com RA [Duarte, 2006] Dessa forma, a RV e a RA, permitem ao usuário retratar e interagir com situações imaginárias, como cenários fictícios, envolvendo objetos reais e virtuais, estáticos ou em movimento [Kirner et al., 2006]. Permitem também, a reprodução com fidelidade, de 2

20 ambientes da vida real de forma a possibilitar ao usuário, navegar por tais ambientes e interagir com seus recursos de forma natural, usando as mãos, por exemplo, e agir neste mundo fictício da mesma maneira que aconteceria no mundo real. Segundo Duarte (2006), a maioria dos sistemas baseados em RA, limita-se, a inserir informações estáticas no ambiente real, de forma a complementar uma cena com uma dada informação. No entanto, algumas entidades do mundo virtual não podem ser modeladas através de primitivas geométricas simples ou disposição de vértices no espaço, pois, cada uma delas apresenta características próprias de superfície e comportamento, especialmente se tratando de uma entidade que se encontra em constante movimento no mundo virtual. Tais como, modelagem de furacões, chuva, água, fumaça, fogo, multidões, etc, ou até mesmo modelagens estáticas, como gramados, árvores, floresta, etc. Essas entidades são modeladas com o uso de Sistemas de Partículas (SP), pois, cada partícula tem suas propriedades para formar um dado objeto como um todo [Reeves, 1985]. Com o desenvolvimento dos campos de aplicação da CG, surgiu a necessidade de modelagem de objetos não determinísticos, ou simplesmente, objetos cuja superfície não poderia se compor continuamente com polígonos, por conta da aleatoriedade das propriedades de cada objeto [Azevedo e Conci, 2004]. Para modelagem virtual de objetos deste escopo, Willian T. Reeves propôs os Sistemas de Partículas (SP). Reeves (1985) propôs que, um SP consiste em uma coleção de partículas virtuais com comportamentos específicos, que torna possível, a modelagem virtual pelas bases de leis físicas. Uma partícula é um ponto tri-dimensional no espaço, que possui uma série de propriedades, sujeitas à mudanças de acordo com ações que possam agir sobre a mesma. As partículas recebem atributos específicos entre si, que podem ser aleatórios ao sistema e obedecem a determinadas regras de comportamento de acordo com o objeto que está se modelando [Clua, 1999]. Os SP tornam possível a modelagem de objetos virtuais de grande complexidade. A motivação por trás da RA, é o fato de o usuário possuir o conhecimento do ambiente real, e até possuir habilidades visuais sobre o mesmo, tornando possível a interação com objetos virtuais gerados por computador e sobrepostos no mundo real, ou mesmo a recepção de informações adicionais a cerca de objetos do mundo real. A motivação por trás dos SP, é o fato da modelagem, com fidelidade, de objetos virtuais mais complexos, que não podem ser modelados por primitivas básicas ou disposição de vértices e arestas no espaço, sejam eles estáticos ou animados. Logo, a motivação por trás da RA e SP é a inserção de objetos virtuais complexos e animados nestes sistemas, possibilitando uma interação mais natural com o usuário e expandindo o campo de aplicação dos sistemas baseados em RA, inserindo em tais sistemas, mais modelagens, de forma a acompanhar o desenvolvimento de ferramentas de 3

21 ensino, treinamento e entretenimento. Através da união dessas tecnologias se torna possível, por exemplo, a elaboração de sistemas baseados em RA utilizando SP para a modelagem de fenômenos da natureza para meteorologistas, vegetação para ambientalistas, queima de fogos, incêndios e fumaça para treinamentos militares, corpo de bombeiros e ainda outros treinamentos como: gramado e água para treinamentos esportivos, animação de multidões para treinamento de policiais em missão de controle, estrelas e corpos espaciais para treinamento de astronautas e astrônomos, simulações para lazer, jogos, cinema e uma série de aplicações baseadas nas técnicas de sobreposição da RA e modelagem dos SP. 1.2 Objetivos O objetivo deste trabalho é demonstrar as possibilidades de sistemas baseados em RA utilizando modelagem de objetos virtuais por SP. Dentro deste contexto, é também objetivo demonstrar a versatilidade de sistemas baseados em RA que enriquecem o mundo real com objetos e informações que se encontram em constante movimento, a fim de tornar a interação mais natural. Visando alcançar estes objetivos, apresentam-se as metas propostas para a apresentação deste trabalho: Analisar sistemas de RA e RV, relacionados a diversos temas, bem como seus pontos fracos e fortes, critérios de aplicação e modelagem; Estudar e Compreender a metodologia, plataforma, utilização dos sistemas de apoio destinados ao desenvolvimento de um sistema de RA; Modelar várias entidades virtuais através dos SP; Encontrar melhorias na criação de SP para modelagem de objetos virtuais; Mesclar essas entidades com o mundo real a fim de possibilitar uma interação para com o usuário (Mesclar RA e SP); Demonstrar resultados obtidos na forma de aplicações; Encontrar novas aplicações para sistemas baseados em RA assim como novas aplicações de modelagem para SP; Detalhar dificuldades e limitações. 4

22 1.3 Organização da Monografia O trabalho descrito neste texto está divido em 7 capítulos, sendo este o primeiro deles, responsável pela introdução ao tema trabalhado. O Capítulo 2 aborda os conceitos e fundamentos da RV, como histórico, tipos de sistemas, caracterização, dispositivos e aplicações. Ao longo do Capítulo 3 são apresentados os conceitos e fundamentos da RA, semelhante ao Capítulo 2. São apresentandos tipos de sistemas, dispositivos, variações, interação e aplicações. No Capítulo 4 são apresentados conceitos e fundamentos dos SP. Através de histórico, dinâmica de simulação, exemplos e aplicações. O Capítulo 5 traz as tecnologias utilizadas na implementação e visualização das aplicações. São abordados ARToolkit e OpenGL, a arquitetura proposta e o detalhamento do processo. No Capitulo 6 são abordados os resultados, dificuldades, limitações e sugestões para trabalhos futuros relacionados ao tema. Para finalizar, o Capitulo 7 traz as conclusões obtidas com o desenvolvimento deste trabalho. É possível encontrar no apêndice que está localizado no fim deste trabalho, os códigos fonte das aplicações desenvolvidas para fins de alcançar resultados. 5

23 Capítulo 2 A Realidade Virtual 2.1 Introdução O termo Realidade Virtual foi citado primeiramente na década de 1980 [Oliveira, 2006]. O advento da Realidade Virtual (RV) e o avanço dos recursos computacionais, tornaram a representação do imaginário e a reprodução do real, algo mais fácil. Segundo Kirner e Tori (2004), com o uso interfaces mais intuitivas, o usuário pode atuar no espaço tridimensional. A interação com as representações e aplicações não se limita mais ao uso do mouse e teclado. Torna-se então, possível ativar aplicações computacionais, executando ações diretamente sobre elementos tridimensionais ampliando em intensidade os sentidos das pessoas. Mas o que é a RV? Existem várias definições para o termo Realidade Virtual, serão citadas duas que particularmente se mostram mais interessantes. A RV pode ser definida de uma maneira simplificada, como sendo, a forma mais avançada de interface do usuário de computador disponível até então [Hancock, 1995]. Uma definição mais detalhada sugere: Realidade Virtual é uma forma das pessoas visualizarem, manipularem e interagirem com computadores e dados extremamente complexos [Aukstakalnis e Blatner, 1992]. Englobando algumas outras definições de RV, pode-se dizer que RV é uma avançada técnica de interface, onde é possível ao usuário realizar imersão, navegação e interação em um ambiente abstrato tridimensional gerado por computador, através de canais multisensoriais [Kirner, 1999]. A interface utilizada em sistema de RV envolve dispositivos de fluxo de dados, entrada e saída, específicos, dispositivos não convencionais, como capacete de visualização, controles, luvas e outros. Esses dispositivos possibilitam um mapeamento dos movimentos do usuário, permitindo a exploração do ambiente e a manipulação indutiva dos objetos [Kirner, 1999]. 6

24 Dispositivos convencionais, tais como, mouse, teclado, monitor de vídeo para execução do sistema de RV, também podem ser utilizados [Oliveira, 2006]. A seção 2.5 trará uma abordagem sobre os dispositivos empregados em sistemas de RV. Segundo Kirner (1999), para a elaboração de sistemas de Realidade Virtual é necessário ter algum domínio sobre dispositivos não convencionais de E/S, computadores de alto desempenho e boa capacidade gráfica, sistemas paralelos e distribuídos, modelagem geométrica tridimensional, simulação em tempo real, navegação, detecção de colisão, avaliação, impacto social, projeto de interfaces, e aplicações simples e distribuídas em diversas áreas. Nas próximas seções serão apresentados diversos conceitos sobre sistemas de RV. Como histórico, tipos de sistemas de RV, características, dispositivos e aplicações. 2.2 Histórico da Realidade Virtual A década de 1950 é marcada como o advento das experiências com equipamentos desenvolvidos para obter a RV, com o surgimento do Cinerama e do Cinemascope. O Cinerama consistia em uma projeção em 180 o com três tomadas com ângulos levemente diferentes entre si em relação à visão do expectador. Essa projeção induzia ao usuário a sensação de estar dentro da cena. O Cinemascope consistia em um formato alargado de filmes obtido através de lentes anamórficas que forneciam uma imagem no padrão proporcional 2,66:1 (Um pouco maior que o padrão proporcional utilizado pelos cinemas nos dias atuais) combinada ao áudio estereofônico, que segue como padrão até os dias atuais [Oliveira, 2006]. Em 1956 surgiu o Sensorama, desenvolvido por Morton Heiling. O Sensorama expunha o usuário a uma combinação de visão 3D, som estéreo, vibrações, sensações de aroma, todos estes elementos reunidos em uma única cabine, como mostra a Figura 2.1 [Cardoso, 2008]. Este foi um dos primeiros dispositivos que possibilita ao usuário a sensação de imersão em um ambiente virtual. O início da década de 1960 foi marcado pelo primeiro dispositivo que respondia à movimentação do usuário [Kirner, 1999]. Comeu e Bryan idealizaram um sistema de circuito fechado de televisão, tal que, o visor estava fixado a um capacete com um rastreador, que poderia controlar, de forma remota, as câmeras de televisão, alterando a apresentação a partir de movimentos do usuário [Cardoso, 2008]. Ainda na década de 1960, é idealizado e construído por Ivan Sutherland o primeiro capacete de visualização, cujas imagens eram geradas por um computador [Oliveira, 2006]. Esta é considerada a primeira implementação de um sistema de RV imersiva [Kirner, 1999]. O projeto concebido na Universidade de Harvard, também contava com um sistema de rastreamento fixado ao capacete do usuário, como ilustra a Figura 2.2 [Oliveira, 2006]. De acordo com Oliveira (2006), ao fim da década de 1960 os projetistas já tinham 7

25 Figura 2.1: Sensorama Desenvolvido por Morton Heiling [Oliveira, 2006] condições de operar em tempo real, o que foi de suma importância para geração de imagens em RV, apesar da resolução disponível ainda ser muito precária. A necessidade de criar um termo que descrevesse a interação entre homens e computadores era emergente, e em 1973, Myron Krueger concebia o termo Realidade Vitual. Figura 2.2: Usuário com Capacete Desenvolvido por Sutherland em 1968 [Oliveira, 2006] Em 1977 e 1982 surgiram as primeiras luvas digitais (data gloves), desenvolvidas por um grupo da Univeridade de Illions e por Thomas Zimmerman respectivamente, para serem acopladas aos computadores. Em 1987, a empresa VPL Research Inc colocou, pela primeira vez, produtos de RV no mercado com a comercialização das luvas digitais e um capacete de visualização chamado Eye Phones [Kirner, 1999]. Na década de 1990, destacam-se as técnicas de RV utilizadas em treinamentos de simulação de vôo [Oliveira, 2006]. Por estas questões, a NASA foi pioneira em RV [Cardoso, 2008]. Segundo Oliveira (2006), estes simuladores se limitavam a uma cabine construída sobre plataformas móveis e eram capazes de apresentar mudanças de nível e movimentação (Figura 2.3), sendo considerados um dos mais influentes marcos da RV. A partir de então, a demanda dos componentes e produtos de RV vem evoluindo, impulsionada pelo avanço das pesquisas, interesses comerciais, crescimento da indústria e usuários. Expandindo cada vez mais um ramo que não para de evoluir [Kirner, 1999]. 8

26 Figura 2.3: Nasa View: Sistema de Simulação da NASA [Duarte, 2008] 2.3 Caracterização da Realidade Virtual Como foi abordado na introdução, há várias definições e descrições para o termo Realidade Virtual. Isso se deve ao fato da interdisciplinaridade em que a RV apresenta e a sua constante evolução. Segundo Kirner (1999), de uma forma ou outra, os sistemas de RV estão conectados a sistemas de simulação, interoperabilidade e outras características. Por este fato, a RV também pode ser considerada como a coexistência de três conceitos que formam o termo I 3 (ilustrado na Figura 2.4) da RV: Imersão, Interação e Imaginação. Figura 2.4: I 3 da RV [Duarte, 2008] A imersão está associada ao sentimento, por parte do usuário, de estar dentro do ambiente virtual. Este ambiente pode ser explorado de diferentes formas, dependendo de cada sistema (Os sistemas de RV serão apresentados na Seção 2.4), como o uso de capacetes, projeção em paredes e teto, som, controles reativos, movimentação entre outros [Cruz-Neira, 1992]. A interação está associada à capacidade apresentada, por parte do sistema, de receber dados enviados pelo usuário através de algum dispositivo e modificar o ambiente virtual de forma instantânea, de acordo com essas ações [Kirner, 1999]. 9

27 A imaginação está associada ao envolvimento, por parte do usuário, que mede o grau de motivação do mesmo para com as atividades encontradas em determinado sistema. O envolvimento pode ser ativo, como participação em jogos, ou passivo, como a leitura de livros. Os sistemas de RV oferecem suporte para estes dois tipos de envolvimento [Kirner, 1999]. 2.4 Sistemas de Realidade Virtual Quando uma pessoa utiliza um capacete e luvas que interajam com um ambiente abstrato, pode-se dizer que, trata-se de um exemplo clássico de RV. Mas os sistemas de RV não se limitam apenas a sistemas que utilizam dispositivos específicos. Nesta seção são abordados os tipos de sistemas de RV Sistemas Imersivos e Sistemas Não Imersivos A RV Imersiva é dependente de dispositivos (hardware) específicos, como luvas, capacetes e projeções no ambiente real. Estes dispositivos realizam um mapeamento dos movimentos do usuário, provocando uma reação do sistema que caracteriza uma interação com o ambiente virtual e os objetos abstratos contidos no mesmo. Esta interação acontece de forma direta, seja apontando, tocando ou realizando outras reações com estes objetos [Oliveira, 2006]. A RV Não Imersiva é baseada no uso de monitores [Kirner, 1999]. A interação do usuário com o ambiente acontece por intermédio do mouse, teclado ou outras formas de controle, enquanto os resultados das entradas emitidas por estes dispositivos são visualizados em um monitor de vídeo. Segundo Oliveira (2006), a principal vantagem dos sistemas não imersivos sobre os sistemas imersivos, consiste no baixo preço Sistemas de Telepresença De acordo com Kirner (1999), telepresença é uma situação, onde uma pessoa está objetivamente presente num ambiente real que está separado fisicamente da pessoa no espaço. Os sistemas de telepresença são implementados por mecanismos de teleoperação, que envolvem usuário, interface homem-computador e ambiente remoto. Os sistemas de telepresença mantêm a principal característica dos sistemas de RV, a interação com ambientes externos, embora os ambientes possam ser constituídos de outras pessoas do mundo real. A Figura 2.5 ilustra um sistema de telepresença. 10

28 Figura 2.5: Sistema de Telepresença [Guanabara, 2007] Sistemas Mistos - Imagens Reais e Imagens Virtuais Há sistemas mistos, que cruzam imagens reais com imagens geradas por computador. Entre eles pode-se citar Realidade Aumentada (RA) (abordagem do capítulo 3 deste trabalho) e a Realidade Misturada (RM). A RM consiste em melhorar a visualização de objetos do mundo real, como ampliar a visão do ser humano com informações abstratas, conforme Figura 2.6 [Oliveira, 2006]. Figura 2.6: Aplicação de RM para Remoção de Tumores [Oliveira, 2006] Esses sistemas mistos exigem dispositivos que sobreponham a imagem real com a imagem virtual. Nesse sentido pode-se usar capacetes com visor semitransparente ou captar as imagens utilizando câmeras de vídeo. É necessário um rastreador para mapear os movimentos [Cardoso, 2008]. Sistemas RA ainda são considerados recentes na escala evolutiva da RV, mas o cinema já utiliza técnicas de RA para alcançar objetivos em cenas. Já para a RM além das aplicações já existentes, há estudos para que carros projetem informações no pára-brisa [Oliveira, 2006] Sistemas Distribuídos e Sistemas Centralizados Os sistemas de RV também podem ser classificados de acordo com os usuários que podem interagir com o ambiente [Oliveira, 2006]. Há sistemas de RV Distribuídos e Cen- 11

29 tralizados. Nos sistemas de RV Distribuída, existem vários usuários que podem navegar pelo ambiente e interagirem entre si, manipulando os mesmos objetos de forma concorrente. Para que naveguem pelo ambiente são utilizados os avatares, representação geométrica do usuário no mundo virtual. Essa abordagem é bastante empregada em jogos eletrônicos online [Kirner, 1999]. Nos sistemas de RV Centralizada, podem existir vários usuários, caso em que o ambiente se encontra em servidor web, navegando pelo ambiente, mas não há interação entre eles. O ambiente existe de forma independente para cada um. Os sistemas de RV podem ser idealizados como combinação das características dos sistemas de cada seção anterior. Por exemplo, pode-se idealizar um sistema de RV imersiva, aumentada e centralizada [Oliveira, 2006]. 2.5 Dispositivos de Realidade Virtual Como abordado nas seções anteriores, os sistemas de RV dependem de dispositivos específicos, sejam convencionais ou não. Estes dispositivos são a interface entre o usuário e ambiente virtual. Através destes dispositivos o ambiente reage às ações do usuário. A finalidade desta seção é apresentar os principais dispositivos de sistemas de RV A Visão e a Tridimensionalidade A percepção linear é um dos fatores que permitem o ser humano enxergar em três dimensões. Algumas de suas características são a sombra, oclusão, textura, rotação dos o- lhos, convergência e motion paralax. A oclusão se refere ao fato que objetos mais próximos ao observador escondam parte de objetos mais distantes. A convergência permite o ser humano determinar exatamente a posição de cada objeto. Motion paralax caracteriza o fato que objetos mais próximos ao observador se movimentem com uma velocidade maior que objetos mais distantes [Oliveira, 2006]. Outro fato importante é a capacidade da visão estereoscópica. Esse conceito de visão consiste no fenômeno de que cada olho capta uma imagem diferente, e o cérebro realiza uma análise do deslocamento lateral destas duas imagens, causando a sensação de profundidade [Pinho e Kirner, 1997] Dispositivos para Visualização Para conceder ao usuário a sensação de visualização 3D, os dispositivos de sistemas de RV podem ser monoscópicos e estereoscópicos [Kirner et al., 2006]. Os dispositivos 12

30 monoscópicos rederizam uma única imagem que é exibida aos dois olhos. Já os dispositivos estereoscópicos exibem uma imagem para cada olho, com ligeira diferenciação, acarretando a construção de um par de imagens, simulando assim, a visão humana (estereóscopica). Tanto os capacetes tanto os óculos estereoscópicos causam a sensação de pronfundidade. Segundo Kirner, Tori e Siscoutto (2006), os capacetes causam a sensação de imersão, enquanto os óculos não causam esta sensação por si só, pois, dependem do ambiene de visalização. Os monitores não causam a imersão, já as CAVEs (Seção 2.5.6) causam. O funcionamento dos óculos estereoscópicos, representado na Figura 2.7, se baseia na comutação do estado das lentes, através de dois processos sendo eles a abertura (clareamento) e o fechamento (escurecimento). A comutação rápida das lentes e a defasagem entre as imagens exibidas para cada olho proporcionam a sensação de visualização de uma imagem real. Figura 2.7: Óculos Estereóscopicos e Tela de Projeção [Kirner et al., 2006] Os capacetes ilustrados na Figura 2.8 são dispositivos que apresentam duas imagens defasadas, uma para cada olho, diretamente nos olhos do usuário, o que causa a sensação de imersão. Devido ao fato dos capacetes serem dispositivos rastreadores (seção 2.5.3), as imagens apresentadas ao usuário mudam de acordo com a movimentação do mesmo. Figura 2.8: Sistema Imersivo com Capacete e Luvas [Kirner et al., 2006] 13

31 2.5.3 Dispositivos de Rastreamento Os dispositivos de rastreamento mapeiam a movimentação do usuário basicamente para duas funções: animação de personagens ou aplicações de RV [Kirner e Tori, 2004]. Na animação, estes dispositivos são usados para que a movimentação de entidades virtuais seja mais realista, enquanto que nas aplicações de RV, estes dispositivos monitoram a posição e orientação da cabeça e mãos do usuário em tempo real, para que o sistema reaja à movimentação do usuário Luvas Digitais e o Tato Virtual A Realidade Virtual permite ao usuário interagir com o ambiente e os objetos virtuais abstratos que nele existem. Para se interagir com este ambiente, uma das formas é o toque [Oliveira, 2006]. O tato virtual, concebido pelo uso de luvas digitais (data gloves), ilustradas na Figura 2.8 e mais detalhadamente na Figura 2.9, permite ao usuário pegar, soltar, empurrar, puxar, girar e movimentar os objetos do cenário do ambiente virutal [Kirner e Tori, 2004]. Figura 2.9: Elementos de uma Luva Digital [Tori et al., 2006] Dispositivos Acústicos O som presente em ambientes virtuais, faz com que a ilusão de realismo seja maior. As principais características do som, como timbre, duração e volume, podem ser facilmente reproduzidas por um sintetizador [Oliveira, 2006]. A característica mais importante do som em ambientes reais é a possibilidade de identificação da fonte sonora, ou seja, é poder saber de onde som está sendo emitido. Para a simulação dessas propriedades em ambientes virtuais, características como posicionamento, reflexão, geração móvel, atraso, absorção e outras devem interagir com usuário de acordo com suas ações [Kirner e Tori, 2004]. Para que o usuário receba o som de acordo com seus estímulos, o som geralmente é gerado por fones fixados no capacete de visualização, de forma que cada ouvido receba 14

32 uma fonte sonora. Estas fontes mudam o som de acordo com os movimentos da cabeça ou da fonte geradora, isso se a fonte pertencer ao cenário do ambiente virtual [Oliveira, 2006] Dispositivos para Sistemas Baseados em Projeção Sistemas de RV baseados em projeção são capazes de apresentar cenas em tamanho real, possibilitando imersão total ou parcial, por parte do usuário. Um dos sistemas de RV baseados em projeção é a tela panorâmica. Este sistema consiste em uma tela de projeção em formato de curva, que atinge aproximadamente 180 o em relação ao posicionamento do expectador. As imagens são sincronizadas, tratadas e projetadas nesta tela de forma que o usuário possa navegar pelo ambiente virtual, já que as emendas das imagens são quase imperceptíveis [Kirner e Tori, 2004]. A mesa virtual é outro exemplo. Para esse tipo de sistema é necessário outro dispositivo específico, que consiste de uma mesa horizontal de vidro ou plástico, que receba uma projeção estereoscópica, permitindo ao usuário manipular os objetos 3D que se apresentam em sua frente com o uso de óculos estereoscópicos. Outro exemplo de sistema de RV baseado em projeção, e o mais popular, é a CAVE. Este sistema consiste em um cômodo onde todo o ambiente (paredes, teto e piso) é constituído de telas de projeção. O usuário navega pelo ambiente virtual totalmente cercado pelo mesmo, ou seja, completamente imerso [Oliveira, 2006]. 2.6 Aplicações da Realidade Virtual A evolução da RV ao longo das últimas décadas acarretou uma grande variedade de dispositivos de hardware e software. Essa variedade combinada com a constante evolução da tecnologia abriu as portas para o surgimento de novas aplicações da RV cada vez mais sofisticadas e complexas. Esta seção aborda o uso da Realidade Virtual em diversos campos de aplicação Arquitetura e Projeto É do escopo de profissionais de Engenharia civil e Arquitetura projetar edificações. Tais projetos contêm uma planta baixa da edificação a ser construída. Os clientes destes profissionais aguardam que a obra esteja concluída para que possam realizar uma avaliação. Mas esta avaliação nem sempre é positiva. As medidas podem parecer maiores ou menores comparadas às medidas previstas no projeto, as cores podem não se combinar, enfim, uma série de elementos que não poderiam ter sido visualizados antes [Oliveira, 2006]. Uma das saídas encontradas pelos projetistas foi o uso de maquetes. As maquetes são representações em miniaturas de como o projeto deve ficar após a conclusão. Mas as 15

33 maquetes ainda sim continham problemas: Erros humanos que afetam medidas, detalhes de finalização, ambientação e mais uma série de fatores. Mas o mais crítico é a navegação. A RV aplicada à Arquitetura reduz os erros humanos e infortúnios por parte dos clientes, pois, caracteriza um ambiente de acordo com os padrões do projeto e possibilita ao usuário a sensação de realismo através da navegação pela maquete virtual, pelas características de interação da RV, como ilustra a Figura Figura 2.10: Estádio Jornalista Mário Filho no Rio de Janeiro e Sua Maquete Virtual Aplicações Médicas e na Área de Saúde O uso da RV na medicina foi além de tomografias tridimensionais. É possível, por exemplo, realizar treinamento cirúrgico em cadáveres virtuais. Como já foi citada na seção 2.4.3, a Figura 2.6 mostra uma aplicação médica de sistema de RV para auxílio em cirurgias. Na área da saúde, a RV possibilita ensino de anatomia, visualização com Realidade Aumentada, planejamento cirúrgico, simulação cirúrgica, terapia virtual, tratamento de deficientes, fisioterapia virtual, cirurgias pouco invasivas, informações adicionais de objetos em órgãos com Realidade Misturada e mais uma série de aplicações Treinamento Profissional Como visto em seções anteriores, um dos principais elementos da evolução da RV foi a criação de sistemas de treinamento de vôo na década de 1990 (Figura 2.3). Apesar de nos dias atuais estes sistemas formarem as bases para maioria dos jogos eletrônicos, ainda existem empresas que treinam seus colaboradores utilizando estes sistemas, devido as suas grandes vantagens. Médicos podem realizar treinamento com órgãos e partes do corpo sem que se tenha um cadáver real. A RV possibilita a representação 3D de todo o corpo humano e de outros animais para estudo, além de fornecer informações adicionais sobre todos órgãos e partes do corpo humano. 16

34 Profissionais da área de tecnologia podem idealizar e visualizar suas criações e projetos com o uso da RV. Para demonstração de conhecimento, é possível criar um museu em RV para que possa se realizar uma exposição dos objetos em estudo [Oliveira, 2006] Tratamento de Fobias As pessoas que desenvolvem fobias podem encontrar um tratamento confiável com o uso de RV. A RV permite criar ambientes imersivos, como ambientes fechados e escuros para a claustrofobia, simuladores de automóveis para pessoas que desenvolveram pânico no trânsito, aranhas virtuais para o tratamento da aracnofobia entre outros Área de Indústria e Tecnologia Construir protótipos, além de exigir alto investimento financeiro, pode ainda representar um fracasso. Testes gerados em computador viabilizam a construção ou não de um protótipo [Oliveira, 2006]. A Realidade Virtual é empregada para realização de diversas simulações, como projeção, desempenho, funcionamento entre outros, levando a equipe técnica a realizar correções e melhorias antes que o protótipo venha a ser construído, como ilustra a Figura As simulações feitas com RV podem auxiliar os pesquisadores a desenvolverem seus projetos com sucesso. Figura 2.11: Exemplo de Projeto Simulado por RV [Deultz, 2008] Entretenimento Segundo Kirner (1999), esta é a área onde a RV está tão presente que pode passar despercebida. Os jogos eletrônicos disseminam o uso de RV entre os jovens, publico alvo da indústria de jogos. Os jogos tendem a apresentar gráficos cada vez mais complexos, detalhados e realísticos, para que os usuários dos jogos possam imaginar o jogo como algo real. Isso pode ser visto na Figura

35 Outro setor que vem exigindo realismo, por parte dos efeitos visuais, é a indústria do cinema. Embora seja um tipo de realidade não imersiva, pois a aplicação é visualizada em monitor ou tela de projeção, algumas cenas podem ser criadas com o uso da Realidade Aumentada, enriquecendo as cenas reais com objetos e personagens digitais, que são cada vez mais detalhados e realísticos. Um filme pode ser totalmente idealizado com RV, incluindo os cenários, objetos e personagens. Figura 2.12: Tela de Jogo Desenvolvido para Plataforma PlayStation 3 [MCO, 2008] É algo comum perceber o uso da RV em programações de canais de TV aberta. Aplicações em jogos de futebol, cenários de telejornais, previsão do tempo, propaganda, seriados entre outros Telepresença e Teleoperação A RV permite criar ambientes compartilhados por vários usuários, que interagem e comunicam entre si. Empresas que necessitam reunir seus colaboradores com freqüência investem cada vez mais neste ramo. Não se trata apenas de uma videoconferência, uma vez que esses sistemas permitem uma projeção 3D dos colaboradores, como se de fato se encontrassem todos no mesmo ambiente. Voltar à seção e ver a Figura 2.5. Através de dispositivos de RV, o usuário pode realizar operações sobre determinados elementos à distância, especialmente os nocivos à vida humana. Operações delicadas podem ser realizadas utilizando estes sistemas. O campo de aplicação dos sistemas RV tem grandes proporções. A RV é uma ferramenta de grande potencial, utilizada para elaboração e solução de problemas. 18

36 Capítulo 3 A Realidade Aumentada 3.1 Introdução Já se torna algo cotidiano ao ser humano o uso dos computadores, uso de alta tecnologia, acesso à rede mundial, ferramentas de auxílio e outras formas de interface. Neste sentido, tecnologias da computação podem ser utilizadas como ferramentas de ensino, pesquisa, treinamento, visualização, tratamento e mais uma série de contextos. Mas o fato é que, o uso de tais tecnologias vem sendo crescente, e não é uma novidade [Duarte, 2006], já que estas acompanham os desejos e necessidades do usuário. Dessa forma, aplicações que compreendem a visualização e interação com informações em tempo real, também estão em constante evolução. A Realidade Virtual (RV), abordada no capítulo anterior, pode ser caracterizada como uma avançada técnica de interface, onde é possível ao usuário realizar imersão, navegação e interação em um ambiente abstrato tridimensional gerado por computador, através de canais multi-sensoriais. Possibilitando ao usuário, uma visualização e interação com informações virtuais abstratas em tempo real. Segundo Duarte (2006), por mais avançadas que sejam as tecnologias de criação em RV, a percepção humana consegue distinguir com clareza a sua artificialidade. Para tentar reduzir esta distância entre o real e o virtual, foi introduzida a Realidade Misturada, abordada detalhadamente na Seção 3.2. A RM compreende a Realidade Aumentada (RA) e a Virtualidade Aumentada (VA). A primeira é apontada como foco deste trabalho. A RA enriquece ambientes reais com objetos virtuais [Kirner et al., 2006], possibilitando ao usuário a visualização em tempo real de tais objetos introduzidos no ambiente real. Assim como os sistemas baseados em RV, sistemas baseados em RA, também exigem dispositivos de fluxo de dados específicos, para que as imagens do ambiente real possam ser capturadas e após a inserção dos objetos abstratos, sejam visualizadas pelo usuário. 19