CONCEITOS BÁSICOS DA REALIDADE VIRTUAL

Transcrição

1 MINISTÉRIO DA CIÊNCIA E TECNOLOGIA INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS INPE-5975-PUD/025 CONCEITOS BÁSICOS DA REALIDADE VIRTUAL Liliane dos Santos Machado INPE São José dos Campos Novembro de 1995

2 RESUMO Levando em conta o desenvolvimento da Realidade Virtual nos últimos anos, este trabalho procura enfocar os principais conceitos ligados à Realidade Virtual através de uma visão geral da área. São abordados assuntos como tipos de Realidade Virtual, tecnologia de hardware disponível, softwares desenvolvidos especialmente para criação de aplicativos, bem como outros conceitos importantes relacionados à área. Através de exemplos são enfocadas duas aplicações existentes de Realidade Virtual, permitindo observar a aplicabilidade da mesma em diversas áreas. 2

3 CONCEPTS OF VIRTUAL REALITY ABSTRACT Because Virtual Reality have been in great development, this paper hang the main concepts related to Virtual Reality through a general view of this area. Are broached some subjects as forms of Virtual Reality, available hardware technology, specific software s developed to create applications, and some important related concepts. Two actual Virtual Reality applications are showed, allowing see this area application. 3

4 SUMÁRIO LISTA DE FIGURAS... ix Pág. INTRODUÇÃO HISTÓRICO CONCEITOS BÁSICOS O que é Realidade Virtual (RV) Formas de RV Espaço Cibernético Estereoscopia Graus de Liberdade Som 3D DISPOSITIVOS DE SAÍDA DE DADOS Dispositivos Visuais Dispositivos Auditivos Dispositivos Físicos DISPOSITIVOS DE ENTRADA DE DADOS Dispositivos de Interação Dispositivos de Trajetória FERRAMENTAS PARA CRIAÇÃO DE RV APLICAÇÕES

5 7 CONSIDERAÇÕES FINAIS GLOSSÁRIO REFERÊNCIAS BIBLIOGRÁFICAS APÊNDICE A - BIBLIOGRAFIA COMPLEMENTAR APÊNDICE B - FIGURAS COMPLEMENTARES

6 LISTA DE FIGURAS Pág Esquema mostrando as diferentes posições em que um objeto pode mover-se no espaço 3D: três translações e três rotações Esquema com os elementos básicos de um sistema de head-coupled display suspenso Esquema de uma luva de dados baseada em fibra ótica Esquema de uma bola isométrica Diagrama de bloco de um sistema de detecção de trajetória típico Visão recortada do simulador de vôo do Boeing 777 mostrando o sistema de display sobre a cabine e o espelho esférico que envolve a cabine refletindo a imagem exibida para o piloto B.1 - Foto promocional de um protótipo do Sensorama B.2 - Piloto usando o capacete do projeto Super Cockpit de Tom Furness B.3 - Visão do usuário do Super Cockpit B.4 - A luva de dados DataGlove desenvolvida pela VPL com sensores de fibra ótica B.5 - Simulador Sega R360 para entretenimento com rotação de 360 graus B.6 - HMD desenvolvido na primeira geração de HMDs da NASA B.7 - Sistema de RV de Projeção com câmeras de vídeo capturando os movimentos dos participantes e combinando essas imagens com o mundo gerado pelo computador B.8 - HMD sendo utilizado para imersão no mundo virtual B.9 - Óculos obturadores CrystalEyes da StereoGraphics Corp B.10 - Anúncio do CrystalEyes da StereoGraphics Corp. mostrando um sistema de RV de Mesa baseado no uso de óculos obturadores B.11 - Capuz de visualização Cyberhood da Simsalabim preso a um monitor convencional B.12 - O sistema de display estereocópico BOOM utilizado com uma workstation de alta resolução B.13 - Exemplo de um sistema de feedback de força para mão e braço

7 B.14 - Luva de dados desenvolvida em 1976 pela Universidade de Illinois baseada no uso de tubos flexíveis e fotocélulas B.15 - Dispositivo de trajetória ultrassônico utilizado com um mouse para permitir movimentos de 6DOF B.16 - Sensor biológico que através de eletrodos colocados nos óculos captam a movimentação ocular do usuário pela atividade elétrica muscular dos olhos B.17 - O simulador de vôo do Boeing 777 considerado a mais sofisticada aplicação de RV

8 1 INTRODUÇÃO Apesar de existir há mais de duas décadas a Realidade Virtual tem emergido consideravelmente nos últimos anos. Por utilizar sofisticados equipamentos seu custo permaneceu alto por muito tempo. Atualmente, com o grande avanço tecnológico e o crescimento da indústria de computadores, a Realidade Virtual deixou de ser inviável e empresas de produtos eletrônicos passaram a desenvolver produtos para serem utilizados por ela, fazendo com que as pesquisas nesta área deixassem de ser exclusividade de instituições de pesquisa e/ou governamentais. Este trabalho fala sobre a evolução da Realidade Virtual ao longo dos últimos anos e procura definir Realidade Virtual tendo como base alguns pesquisadores e autores da área. Dispositivos de hardware encontrados no mercado e conceitos que ajudam a entender como esses dispositivos funcionam também são tratados aqui. Finalmente, são citadas duas aplicações da Realidade Virtual mostrando a utilização desta nova área por diferentes ramos da ciência. O glossário no final do trabalho contém termos comumentes encontrados em computação e eletrônica. Este trabalho foi apresentado como Exame Integrado no curso de mestrado em computação aplicada.

9 2 CAPÍTULO 1 HISTÓRICO Diane Ackerman afirma em seu livro A Natural History of the Senses, que 70% dos receptores do sentido humano encontram-se nos olhos, tornando-os os grandes monopolistas dos sentidos (citado por Jacobson, 1994). A maioria das informações recebidas pelo ser humano tem a forma de imagens visuais, e estas são interpretadas por um computador extremamente eficiente: o cérebro. Por outro lado, os computadores digitais também podem interpretar informações desde que estas sejam fornecidas através de algum dispositivo, como por exemplo um mouse ou um teclado. Atualmente, com a Realidade Virtual, computadores e mente humana entram numa esfera onde ambos podem atuar num nível cada vez mais íntimo. A Realidade Virtual começou na indústria de simulação, com os simuladores de vôo que a Força Aérea dos Estados Unidos passou a construir depois da Segunda Guerra Mundial (Jacobson, 1994). A indústria de entretenimento também teve um papel importante no surgimento da Realidade Virtual através do simulador Sensorama (Fig. B.1 em Apêndice B) (Jacobson, 1994). O Sensorama era um equipamento, uma espécie de cabine, que combinava filmes 3D, som estéreo, vibrações mecânicas, aromas, e ar movimentado por ventiladores; tudo isto para que o espectador tivesse uma viagem multisensorial. Patenteado em 1962 por Morton Heilig, o Sensorama já utilizava-se de um dispositivo para visão estereoscópica (Pimentel, 1995). Alguns anos depois, por volta de 1965, Ivan Sutherland apresentou à comunidade científica a idéia de usar computadores para desenhar projetos diretamente na tela de um computador através do uso de uma caneta ótica - foi o início dos gráficos computadorizados (computação gráfica). Sutherland tornou-se o precursor da atual indústria de CAD e desenvolveu o primeiro videocapacete totalmente funcional para gráficos de computador no projeto The Ultimate Display. Com o uso deste videocapacete era possível ao usuário ver, através da

10 3 movimentação de sua cabeça, os diferentes lados de uma estrutura de arame na forma de um cubo flutuando no espaço (Pimentel, 1995). Na mesma época em que Sutherland criava na Universidade de Utah seu videocapacete, Myron Krueger experimentava combinar computadores e sistemas de vídeo, criando Realidade Artificial na Universidade de Wisconsin (Pimentel, 1995). Em 1975 Krueger criou o VIDEOPLACE, onde uma câmera de vídeo capturava a imagem dos participantes e projetava-a em 2D numa grande tela. Os participantes podiam interagir uns com os outros e com objetos projetados nessa tela, sendo que seus movimentos eram constantemente capturados e processados. Essa técnica tornou-se também conhecida como Realidade Virtual de Projeção (Jacobson, 1994). Em 1982, Thomas Furness demonstrava para a Força Aérea Americana o VCASS (Visually Coupled Airborne Systems Simulator), conhecido como Super Cockpit - um simulador que imitava a cabine de um avião através do uso de computadores e videocapacetes interligados representando um espaço gráfico 3D (Fig. B.2 e Fig. B.3 em Apêndice B) (Pimentel, 1995). Os videocapacetes integravam a parte de áudio e vídeo. Assim, os pilotos podiam aprender a voar e lutar em trajetórias com 6 graus de liberdade (6DOF), sem decolar verdadeiramente, ficando praticamente isolados do mundo ao seu redor. O VCASS possuía uma alta qualidade de resolução nas imagens e era bastante rápido no rendering de imagens complexas. No entanto apresentava um problema: milhões de dólares eram necessários apenas para o capacete (Pimentel, 1995). Através do uso de uma nova tecnologia de visores de cristal líquido (LCD) Michael McGreevy começou a trabalhar no projeto VIVED (Virtual Visual Environment Display) em 1984 na NASA, no qual as imagens seriam estereoscópicas (Pimentel, 1995). A resolução das imagens era limitada em comparação ao VCASS mas o custo era bastante atrativo (Rheingold, 1991). A parte de áudio e vídeo foi então montada sobre uma máscara de mergulho utilizando dois visores de cristal líquido com pequenos auto-falantes acoplados. Scott Fisher juntase a esse projeto no ano de 1985 com o objetivo de incluir nele: luvas de dados,

11 4 reconhecimento de voz, síntese de som 3D, e dispositivos de feedback tátil (Pimentel, 1995). Thomas Zimmerman e Jaron Lanier fundam em 1985 a VPL Research tendo como primeiro produto uma luva de dados, chamada DataGlove (Fig. B.4 em Apêndice B), desenvolvida por Zimmerman e capaz de captar a movimentação e inclinação dos dedos da mão (Jacobson, 1994). No mesmo ano uma dessas luvas foi comprada para o projeto VIVED. No final de 1986 a equipe da NASA já possuía um ambiente virtual que permitia aos usuários ordenar comandos pela voz, escutar fala sintetizada e som 3D, e manipular objetos virtuais diretamente através do movimento das mãos. O mais importante é que através deste trabalho foi possível verificar a possibilidade de comercialização de um conjunto de novas tecnologias, sendo que o preço de aquisição e desenvolvimento tornava-se mais acessível (Pimentel, 1995). A conscientização de que os empreendimentos da NASA baseavam-se em equipamentos comercializáveis deu início a inúmeros programas de pesquisa em Realidade Virtual no mundo inteiro (Pimentel, 1995). Organizações variando de firmas de software até grandes corporações de informática começaram a desenvolver e vender produtos e serviços ligados à Realidade Virtual (Jacobson, 1994). Em 1989 a AutoDesk apresentava o primeiro sistema de Realidade Virtual baseado num computador pessoal (PC) (Jacobson, 1994).

12 5 CAPÍTULO 2 CONCEITOS BÁSICOS 2.1 O que é Realidade Virtual (RV) O termo Realidade Virtual é creditado a Jaron Lanier, que nos anos 80 sentiu a necessidade de um termo para diferenciar as simulações tradicionais por computação dos mundos digitais que ele tentava criar (Machover, 1994). O termo é bastante abrangente, e por isto acadêmicos, desenvolvedores de software e principalmente pesquisadores procuram definir Realidade Virtual baseados em suas próprias experiências. Pimentel (1995, p.15 e 17) define Realidade Virtual como o uso da alta tecnologia para convencer o usuário de que ele está em outra realidade - um novo meio de estar e tocar em informações : Virtual Reality is the place where humans and computers make contact. Latta (1994, p.23) cita Realidade Virtual como uma avançada interface homem-máquina que simula um ambiente realístico e permite que participantes interajam com ele: Virtual Reality involves the creation and experience of environments. Em geral, o termo Realidade Virtual refere-se a uma experiência imersiva e interativa baseada em imagens gráficas 3D geradas em tempo-real por computador (Pimentel, 1995). Machover (1994, p.15) afirma que a qualidade dessa experiência em RV é crucial, pois deve estimular ao máximo e de forma criativa e produtiva o usuário - a realidade precisa reagir de forma coerente aos movimentos do participante, tornando a experiência consistente. O principal objetivo desta nova tecnologia é fazer com que o participante desfrute de uma sensação de presença no mundo virtual (Jacobson, 1994). Para propiciar esta sensação de presença o sistema de RV integra sofisticados dispositivos. Estes dispositivos podem ser luvas de dados, óculos, capacetes, etc.

13 6 Dois fatores bastante importantes em sistemas de RV são imersão e interatividade. A imersão pelo seu poder de prender a atenção do usuário, e a interatividade no que diz respeito à comunicação usuário-sistema (Pimentel, 1995) Formas de RV Os sistemas de RV diferem entre si levando em conta o nível de imersão e de interatividade proporcionado ao participante. Ambos são determinados de acordo com os tipos de dispositivos de entrada e saída de dados usados no sistema de RV além da velocidade e potência do computador que suporta o sistema de RV (Jacobson, 1994). É claro que tudo vai depender da finalidade do sistema. De acordo com Pimentel (1995) estes estilos de RV poderiam ser classificados como: RV de Simulação, RV de Projeção, Augmented Reality (Realidade Realçada), Telepresença, Visually Coupled Displays ( Displays Visualmente Casados ) e RV de Mesa. a) RV de Simulação A RV de Simulação representa o tipo mais antigo de sistema de RV porque se originou com os simuladores de vôo desenvolvidos pelos militares americanos depois da Segunda Guerra Mundial (Jacobson, 1994). Um sistema de RV de Simulação basicamente imita o interior de um carro, avião ou jato, colocando o participante dentro de uma cabine com controles. Dentro dessa cabine, telas de vídeo e monitores apresentam um mundo virtual que reage aos comandos do usuário. Uma vez que o sistema de RV de Simulação não processa imagens em estéreo, as imagens aparecem de forma bastante rápida (Jacobson, 1994). Em alguns sistemas as cabines são montadas sobre plataformas móveis (Pimentel, 1995), além de dispor de controles com feedback tátil e auditivo (Fig. B.5 em Apêndice B) (Jacobson, 1994).

14 7 b) RV de Projeção Também conhecida como Realidade Artificial, esta categoria de RV foi criada nos anos 70 por Myron Krueger. Na RV de Projeção o usuário está fora do mundo virtual, mas pode se comunicar com personagens ou objetos dentro dele (Fig. B.7 em Apêndice B) (Jacobson, 1994). O sistema de RV de Projeção VIDEOPLACE criado por Krueger nesta época capturava a imagem do(s) usuário(s) e projetava-a numa grande tela que representava um mundo virtual. Nesse mundo virtual usuários podiam interagir uns com os outros ou com objetos. Krueger criou o termo Realidade Artificial para descrever o tipo de ambiente criado pelo seu sistema, que poderia ser utilizado sem a necessidade do participante vestir ou usar dispositivos de entrada de dados (Jacobson, 1994). Um outro sistema de RV de Projeção conhecido é o Mandala. Neste sistema um ou mais usuários podem dançar, jogar, tocar música, criar arte visual e até comunicarem-se dentro do mundo virtual (Jacobson, 1994), obtendo respostas instantâneas através de gráficos, efeitos visuais e som sintetizado (Pimentel, 1995). c) Augmented Reality ( Realidade Realçada ) A Augmented Reality utiliza dispositivos visuais transparentes presos à cabeça nos quais os dados são projetados. Pelo fato desses displays serem transparentes, o usuário pode ver dados, diagramas, animações e gráficos 3D sem deixar de enxergar o mundo real, tendo informações sobrepostas ao mundo real. Estes displays transparentes são chamados heads-up-displays (HUDs) pois permitirem essa visão através das informações geradas pelo computador. O usuário pode, por exemplo, estar consertando algo e visualizando nos óculos os dados necessários a esta operação (Pimentel, 1995).

15 8 d) Telepresença Este tipo de RV utiliza câmeras de vídeo e microfones remotos para envolver e projetar o usuário profundamente no mundo virtual. Controle de robôs e exploração planetária são exemplos de pesquisas em desenvolvimento. No entanto, existe um grande campo de pesquisa no uso de telepresença em aplicações médicas. Em intervenções cirúrgicas, médicos já utilizam camêras de vídeo e cabos de fibra óptica para visualizar os corpos de seus pacientes. Através da RV ele podem literalmente entrar no paciente indo direto ao ponto de interesse e/ou vistoriar a operação feita por outros (Fig. B.8 em Apêndice B) (Pimentel, 1995). e) Visually Coupled Displays ( Displays Visualmente Casados ) Esta é a classe de sistemas geralmente mais associada à RV. Nos sistemas desta classe as imagens são exibidas diretamente ao usuário, sendo que este está olhando em um dispositivo que deve acompanhar os movimentos de sua cabeça. Este dispositivo geralmente permite imagens e sons estéreo, além de conter sensores especiais ligados a ele que detectam a movimentação da cabeça do usuário, usando esta informação para realimentação da imagem exibida (Fig. B.6 e Fig. B.8 em Apêndice B) (Pimentel, 1995). f) RV de Mesa (Desktop VR) Pimentel (1995) vê a RV de Mesa como um subconjunto dos sistemas tradicionais de RV. Ao invés do uso de head-mounted displays (HMDs), são utilizados grandes monitores ou algum sistema de projeção para apresentação do mundo virtual (Fig. B.11 em Apêndice B). Alguns sistemas permitem ao usuário ver imagens 3D no monitor através do uso de óculos lightweight (baixo peso) ou obturadores de cristal líquido (LCD) (Fig. B.10 em Apêndice B).

16 9 2.2 Espaço Cibernético Espaço Cibernético (cyberspace) foi o termo utilizado por William Gibson em seu livro Neuromancer (Gibson, 1984) para designar uma representação gráfica de dados abstraídos dos bancos de dados de todos os computadores do sistema humano. Uma complexidade impensável. Linhas de luz alinhadas que abrangem o universo não-espaço da mente; nebulosas e constelações infindáveis de dados. Como luzes de cidades, retrocedendo. Gibson descreveu uma rede de computadores universal contendo todo tipo de informações, na qual seria possível entrar e explorar os dados de forma multisensorial (Pimentel, 1995), e onde pessoas com implantes nos seus corpos podiam transmitir informações diretamente para o computador. Na verdade, o Espaço Cibernético é uma simulação 4D do espaçotempo controlada pela interface de RV; é um espaço imaginário (Adams, 1994). Vince (1995 p.15) afirma que desde que os sistemas de RV criem o Espaço Cibernético é possível interagir com tudo e com todos num nível virtual. 2.3 Estereoscopia A Estereoscopia é uma ciência que lida com o fato de que cada um dos olhos humanos, devido à sua localização na face, vê imagens ligeiramente diferentes quando olha para algo (Pimentel, 1995). Ao contrário das imagens 3D que dão a noção de profundidade, as imagens estereoscópicas parecem flutuar no espaço diante da superfície na qual estão apresentadas (Jacobson, 1994). Nas imagens estereoscópicas geradas por computador, a quantidade de paralaxe - distância entre imagens esquerda e direita - determina a distância aparente dos objetos virtuais em relação ao observador. O cérebro reúne as duas imagens em uma, sendo que esta parece ter características de profundidade, distância, posição e tamanho. Uma paralaxe menor, por exemplo, resulta na ilusão de que o objeto está distante (Jacobson, 1994).

17 10 Em Realidade Virtual, a visão estereoscópica é um importante fator na determinação do nível de imersão do sistema (Pimentel, 1995). No entanto, deve-se levar em conta que, na maioria dos sistemas, exibir imagens separadas para olho esquerdo e direito, exige do hardware o dobro de potência de processamento de imagem (Jacobson, 1994). 2.4 Graus de Liberdade (DOF) Os graus de liberdade determinam flexibilidade de movimentação e/ou observação de algo. Objetos normalmente possuem 6 (seis) diferentes direções entre rotações e translações através das quais eles podem se mover no espaço (Pimentel, 1995). Isto pode ser observado na Fig Fig Esquema mostrando as diferentes direções em que um objeto pode mover-se no espaço 3D: três translações e três rotações. FONTE: Pimentel (1995) p.186. Objetos podem se movimentar para frente ou para trás (eixo X), para cima ou para baixo (eixo Y) ou para esquerda ou direita (eixo Z) - movimentos conhecidos como translação. Adicionalmente, os objetos também podem girar ao redor desses eixos principais, sendo esses movimentos chamados de rotação e conhecidos como: Roll (rotação ao redor de X), Yaw (rotação ao redor de Y) e Pitch (rotação ao redor de Z) (Pimentel, 1995).

18 11 Grande parte dos sistemas de RV utilizam dispositivos de entrada de dados que permitem movimentos de até 6DOF, proporcionando uma maior sensação de imersão no mundo virtual (Jacobson, 1994). 2.5 Som 3D Também conhecido como som binaural, o som 3D tem o objetivo de proporcionar uma sensação de imersão (Pimentel, 1995). Da mesma forma que o ser humano possui visão estereoscópica, também possui audição estéreo, e apesar dos sistemas de som 3D funcionarem de maneiras diversas, compartilham o mesmo objetivo: enganar o cérebro (Jacobson, 1994) visto que num sistema perfeito de som 3D não é possível diferenciar realidade e simulação: o som pode vir de toda e qualquer direção (Pimentel, 1995). As gravações de som tridimensional baseiam-se em um processo de manipulação auditiva que permite que o artista ou o engenheiro de gravação posicione os sons no espaço, controlando sua direção, distância e profundidade (Jacobson, 1994).

19 12 CAPÍTULO 3 DISPOSITIVOS DE SAÍDA DE DADOS A maioria das aplicações de RV é baseada no isolamento dos sentidos. Quase sempre, penetrar num mundo virtual requer o uso de um equipamento, parecido com uma máscara de mergulho, que procura isolar o usuário do mundo real. (Pimentel, 1995). O hardware de RV estimula principalmente a visão e a audição, enquanto o sentido do tato está apenas começando a ser explorado (Pimentel, 1995). 3.1 Dispositivos Visuais Uma grande porção do cérebro é dedicada ao processamento e organização dos estímulos visuais. Devido a isto, os dispositivos visuais e o tipo de imagem gerada por um sistema de RV influenciam na determinação do nível de imersão de um sistema de RV (Pimentel, 1995). Os sistemas de RV podem ser monoscópicos ou estereoscópicos, ou seja, cada um dos olhos pode visualizar ou não imagens diferentes. No caso de um sistema monoscópico, a mesma imagem será exibida para os dois olhos: apenas uma imagem passa pelo processo de rendering e é exibida para os dois olhos. Já no sistema estereoscópico, cada olho verá uma imagem ligeiramente diferente, sendo necessário um processo de rendering separado para cada uma das imagens (Pimentel, 1995). Um outro fator importante quanto à parte visual da RV refere-se ao número de quadros por segundo que aparecem no vídeo, ou seja, a velocidade da simulação. Filmes projetados para o cinema apresentam aproximadamente 24 quadros por segundo, enquanto os projetados para TV apresentam

20 13 aproximadamente 30 quadros por segundo (Foley (1990) em Apêndice A). Em RV, busca-se entre 15 e 22 quadros por segundo (Jacobson, 1994). Existem duas classes de dispositivos visuais, a primeira é composta pelos videocapacetes (HMDs) e head-coupled displays (dispositivos que utilizam-se de braços mecânicos para permanecerem diante do usuário), e a segunda é composta pelos monitores de computador e sistemas de projeção. O que diferencia estas duas classes é que na primeira existem sensores para os movimentos do usuário ligados ao dispositivo visual, enquanto que na segunda isso não ocorre e tudo vai depender dos comandos do usuário via outro dispositivo de entrada (Pimentel, 1995). a) Videocapacetes (HMDs) O videocapacete (HMD) é o dispositivo de saída de dados que mais isola o usuário do mundo real (Fig. B.6 e Fig. B.8 em Apêndice B). Ele é constituido basicamente de duas minúsculas telas de TV e um conjunto de lentes especiais. As lentes ajudam a focalizar imagens que estão a alguns milímetros dos olhos do usuário, ajudando também a estender o campo de visão do vídeo. O vídeocapacete funciona também como um dispositivo de entrada de dados porque contém sensores de rastreamento que medem a posição e orientação da cabeça transmitindo esses dados para o computador. Conseqüentemente, o computador gera uma sequência de imagens por quadro, correspondentes às ações e perspectiva do usuário (Jacobson, 1994). b) Head-Coupled Display Este dispositivo basicamente constitui-se de um display montado sobre um braço mecânico com um contra-peso, fazendo com que o display possua peso zero. Sensores ligados ao braço mecânico mais os controles presentes próximos ao display permitem movimentos com 6DOF (Pimentel, 1995).

21 14 O formato do head-coupled display permite uma transição fácil entre a visualização do mundo virtual e a interação com teclados, monitores e outros dispositivos que possam estar controlando a simulação. Além disso, o fato deste dispositivo utilizar sensores de posição mecânicos e não eletromagnéticos diminui o tempo de latência das imagens (Rheingold, 1991). Devido a essas características e ao seu preço ser inferior ao dos HMDs, os head-coupled displays são bastante populares entre a comunidade científica (Fig. B.12 em Apêndice B) (Rheingold, 1991; Pimentel, 1995). A Fig. 3.1 mostra os componentes básicos de um headcoupled display. Fig Esquema com os elementos básicos de um sistema head-coupled display suspenso. FONTE: Pimentel (1995) p.166.

22 15 c) Monitores e Sistemas de Projeção Dispositivos visuais baseados em monitores e sistemas de projeção não constumam oferecer um alto nível de imersão. Além disso o usuário precisa estar constantemente olhando para a tela e utilizar algum dispositivo de entrada para fazer sua movimentação pelo mundo virtual (Jacobson, 1994). Mas isso não quer dizer que as imagens não podem ser vistas em estéreo. Uma técnica básica utiliza óculos polarizadores/obturadores para filtrar as duplas de imagens geradas pelo computador. Ou seja, o computador exibe alternadamente as imagens direita e esquerda sincronizadas com óculos que bloqueiam cada um dos olhos, permitindo que o usuário visualize uma imagem que sai da tela (Fig. B.9 e Fig. B.10 em Apêndice B) (Jacobson, 1994). Existe ainda a técnica dos filtros coloridos, onde as imagens de cada olho são exibidas em cores complementares, como vermelho e azul (ou vermelho e verde). As imagens são observadas por óculos que tem a mesma correspondência de cores (são os filtros), permitindo a cada olho ver a sua respectiva imagem. No entanto, estes óculos cansam os olhos após algum tempo de uso, além de só poderem ser usados com monitores coloridos (Vince, 1995). Uma vantagem dos óculos na visualização baseada em monitores ou sistemas de projeção é que eles permitem que várias pessoas participem da experiência de RV, além do custo ser inferior ao de um HMD (Jacobson, 1994). Um outro dispositivo utilizado é o chamado capuz de visualização: uma peça plástica anexada à superfície frontal do monitor. Neste sistema o computador exibe as imagens esquerda e direita ao mesmo tempo e lado a lado no monitor, sendo que o capuz separa e reflete a dupla de imagens de forma que o usuário só percebe um único objeto flutuando à sua frente (Fig. B.11 em Apêndice B) (Jacobson, 1994).

23 Dispositivos Auditivos Os dois ouvidos captam ondas sonoras provenientes de todas as direções. O formato de concha do ouvido externo capacita-o para o trabalho de coletar ondas sonoras e direcioná-las para os vários caminhos através do canal auditivo. O cérebro então recebe e processa as características deste som para determinar ou localizar o local exato da fonte sonora. Os sistemas de som 3D duplicam artificialmente os ativadores naturais que auxiliam o cérebro a localizar o som, além de recriar eletronicamente esses efeitos em tempo-real (Jacobson, 1994). Existem diversas placas de som projetadas para trabalhar com conjuntos de ferramentas que constróem mundos em RV. Algumas dessas placas permitem trabalhar com diversas fontes de som simultâneas (Schweber, 1995). O método mais popular para criar e controlar sons é o MIDI (musical instrument digital interface) (Pimentel, 1995). 3.3 Dispositivos Físicos Os dispositivos físicos procuram estimular as sensações físicas, como o tato, tensão muscular e temperatura (Gradecki, 1994). Diferente dos dispositivos de saída de visão e audição, os dispositivos físicos requerem uma sofisticada interação eletromecânica com o corpo do usuário. A tecnologia existente atualmente não é capaz de estimular os sentidos físicos com o nível de realismo que atinge os sentidos visuais e auditivos: o problema está além da criação de dispositivos de feedback, pois envolve também a compreensão e simulação das forças apropriadas (Pimentel, 1995). a) Feedback tátil Feedback tátil é o nome dado a sistemas que transmitem sensações que atuam sobre a pele. O feedback tátil deve fornecer não apenas a sensação do toque mas também permitir ao usuário perceber se está tocando uma superfície lisa ou rugosa (Gradecki, 1994). Existem atualmente duas diferentes formas de fazer

24 17 essa simulação tátil: através de pressão de ar e através de vibrações (Pimentel, 1995). b) Feedback de força Sistemas que permitem as sensações de pressão ou peso oferecem feedback de força. Uma maneira de construção de um sistema de feedback de força seria através de uma espécie de exoesqueleto mecânico que se encaixa no corpo do usuário, fazendo com que determinados movimentos possam permitir-lhe sentir o peso ou a resistência do material de um objeto no mundo virtual (Gradecki, 1994). Alguns sistemas transmitem feedback de força apenas para as mãos e braços (Fig. B.13 em Apêndice B). Através do uso de pistões, por exemplo, é possível controlar a quantidade de resistência do braço e/ou da mão do usuário. No entanto, este tipo de sistema limita a faixa de possíveis situações de feedback, além de ser demasiadamente caro (Gradecki, 1994). c) Feedback térmico Um tipo de feedback que também pode ser fornecido por um sistema de RV é o feedback térmico. Este feedback poderia ser fornecido, por exemplo, quando o usuário se aproximasse de uma fogueira no mundo virtual (Gradecki, 1994). O feedback térmico não é muito utilizado em sistemas de RV devido ao seu alto custo, mas já existem algumas pesquisas neste campo sendo desenvolvidas. Uma dessas pesquisas fez uma empresa do Texas desenvolver um sistema que aquece parte do corpo através de um pequeno dispositivo que reúne um aquecedor, um sensor de temperatura e um inversor de calor (Gradecki, 1994).

25 18 d) Plataformas móveis As plataformas móveis também são consideradas um dispositivo de feedback físico, pois fornecem a sensação de movimento. Normalmente são utilizadas em caros videogames, simuladores de vôo e simuladores de movimento. Segundo Pimentel (1995) são facilmente controladas pelo computador de um sistema de RV (Fig. B.5 em Apêndice B).

26 19 CAPÍTULO 4 DISPOSITIVOS DE ENTRADA DE DADOS O participante da experiência de RV pode entrar no mundo virtual através dos dispositivos de saída de dados. Os dispositivos de entrada de dados, por outro lado, permitem a movimentação e interação do usuário com o mundo virtual. Sem o dispositivo de entrada de dados o usuário participa da experiência em RV apenas de forma passiva (Pimentel, 1995). Pimentel (1995) divide estes dispositivos de entrada de dados em duas categorias: dispositivos de interação e dispositivos de trajetória. Os dispositivos de interação permitem ao usuário a movimentação e manipulação de objetos no mundo virtual. Os dispositivos de trajetória, por sua vez, monitoram partes do corpo do usuário, detectando os movimentos, para criar a sensação de presença no mundo virtual. 4.1 Dispositivos de Interação Existem diferentes dispositivos de interação com diferentes finalidades: é importante escolher o mais adequado para a aplicação de RV em questão. A escolha do dispositivo de interação mais adequado leva em conta não apenas a finalidade do sistema, mas também o software utilizado, pois a eficiência do sistema vai depender da capacidade do software aproveitar as características do dispositivo (Pimentel, 1995). Existe uma série de dispositivos de interação disponíveis atualmente, variando desde luvas de dados até dispositivos chamados de sensores biológicos (Pimentel, 1995).

27 20 a) Luvas de dados Através das luvas de dados o sistema de RV pode reconhecer os movimentos da mão do usuário que veste a luva (Sturman, 1994). Para a determinação dos movimentos dos dedos são utilizados na maioria dos projetos sensores mecânicos ou de fibra ótica. Os sensores de fibra ótica são utilizados atualmente nas versões mais populares de luvas de dados. Seu uso consiste em um fio de fibra ótica com junções. Quando a junta é movida o cabo dobra-se reduzindo a passagem de luz por ele. Essas variações de luz são resumidas e transmitidas para o computador (Pimentel, 1995). O esquema básico deste tipo de luva pode ser na Fig Fig Esquema de uma luva de dados baseada em fibra ótica. FONTE: Pimentel (1995) p.183. O uso de luvas de dados ajuda a aumentar a sensação de presença no mundo virtual (Pimentel, 1995). Atualmente existem diversos modelos de luvas disponíveis no mercado de RV (Sturman, 1994), e estão sendo utilizados em sistemas de diferentes finalidades (Fig. B.4 e Fig. B.14 em Apêndice B) (Pimentel, 1995).

28 21 b) Dispositivos com 6DOF Os dispositivos de interação com 6DOF permitem uma movimentação bastante ampla quando utilizados em sistemas de RV. Apesar de parecidos com joysticks, esses dispositivos apresentam uma diferença crucial em relação a estes, pois são capazes de medir a quantidade de força aplicada a eles (Pimentel, 1995). Os dispositivos chamados isométricos, ou bolas isométricas (ver Fig. 4.2), são bastante fáceis de manipular, costumam constituir-se de uma bola sobre uma plataforma com botões (normalmente um deles é utilizado para o reset (reinicialização) do sistema) que são configurados via software (Pimentel, 1995; Schweber, 1995). Fig Esquema de uma bola isométrica. FONTE: Pimentel (1995) p.188. Algumas empresas procuram modificar o projeto do mouse padrão para que este possa funcionar com sensores de trajetória de 6DOF ou 3DOF. Esses mouses (o plural correto seria mice) passam então a utilizar dispositivos de rastreamento ultrassônicos ou eletromagnéticos, por exemplo (ver dispositivos de trajetória em 4.2), passando a funcionar da mesma forma que os bastões e ficando sua eficiência dependente da qualidade do sistema de rastreamento dos movimentos (Fig. B.15 em Apêndice B) (Pimentel, 1995).

29 22 c) Dispositivos com 2DOF Interagir com um mundo virtual nem sempre requer o uso de um complicado e/ou caro dispositivo. Muitas tarefas podem ser executadas com simples dispositivos com 2DOF, como um mouse ou um joystick. Apesar de limitar as possibilidades de movimento, estes dispositivos reduzem o tempo de latência e são fáceis de serem utilizados (Pimentel, 1995). d) Sensores de Entrada Biológicos Sensores de entrada biológicos processam atividades chamadas de indiretas, como comando de voz e sinais elétricos musculares (Pimentel, 1995). Estudos sobre reconhecimento de voz existem há mais de vinte anos, e em sistemas de RV o reconhecimento de comandos de voz pode facilitar a execução de tarefas no mundo virtual, principalmente quando as mãos estiverem ocupadas em outra tarefa e não possam acessar o teclado (Pimentel, 1995). Já os dispositivos que utilizam sinais elétricos musculares são utilizados para, através de eletrodos colocados sobre a pele, detectar a atividade muscular, permitindo ao usuário movimentar-se pelo mundo virtual através do simples movimento dos olhos, por exemplo (Fig. B.16 em Apêndice B) (Pimentel, 1995). e) Outros dispositivos de interação Existe uma série de diferentes dispositivos de interação além dos citados acima. Muitos são criados a cada ano, enriquecendo a possibilidade de hardware para RV (Pimentel, 1995). É claro que entre tantos dispositivos de entrada de dados o teclado não pode ser esquecido, ele também é capaz de emitir comandos para um sistema de RV (Pimentel, 1995).

30 Dispositivos de Trajetória Muitos dos dispositivos de interação mencionados acima contam com um dispositivo responsável pela tarefa de detecção ou rastreamento da trajetória, conhecido como dispositivo de trajetória ou tracking (Pimentel, 1995). Os dispositivos de trajetória trabalham baseados na diferença de posição ou orientação em relação a um ponto ou estado de referência. Basicamente existe uma fonte que emite o sinal (que pode estar localizada no dispositivo de interação), um sensor que recebe este sinal e uma caixa controladora que processa o sinal e faz a comunicação com o computador (Pimentel, 1995). Veja a Fig Fig Diagrama de bloco de um sistema de detecção de trajetória típico. FONTE: Pimentel (1995) p.194. A maioria das aplicações que utilizam detecção de trajetória fazem uso de pequenos sensores colocados sobre as partes do corpo ou sobre o objeto (se for o caso), técnica conhecida como tracking ativo. Dispositivos de trajetória de dispositivos de interação com 6DOF utilizam técnicas eletromagnéticas, ultrassônicas, mecânicas ou óticas para fazer a medida dos movimentos. Como alternativa, o tracking passivo utiliza câmeras ou sensores óticos ou de inércia para observar o objeto e determinar sua posição e orientação. Diferente dos dispositivos

31 24 que utilizam tracking ativo, os dispositivos de tracking passivo utilizam apenas um sensor para rastrear o objeto (Pimentel, 1995). Como exemplo, para o desenvolvimento de luvas de dados existem três tecnologias predominantes no que diz respeito à localização da mão no espaço e orientação da palma da mão. A primeira baseia-se no uso de câmeras para monitorar a luva a uma certa distância (tracking passivo), a segunda trabalha com a radiação de pulsos magnéticos emitidos pela luva (tracking ativo), e a terceira baseia-se na acústica (tracking ativo), onde dispositivos ultrassônicos transmitem a posição da mão (Sturman, 1994).

32 25 CAPÍTULO 5 FERRAMENTAS PARA A CRIAÇÃO DE RV Para a criação de um mundo virtual interativo é necessário criar um ambiente e habilitá-lo com objetos e características virtuais. O aplicativo de Realidade Virtual é uma simulação animada que permite definir e exibir um objeto 3D, alterar seu ponto de referência e campo de visão, manipular e interagir com os objetos, e fazer com que esses objetos afetem uns aos outros (Jacobson, 1994). O software de Realidade Virtual permite permear objetos com comportamentos (propriedades físicas) e programá-los para ativar algum tipo de feedback visual, auditivo ou tátil quando um evento específico acontece, além de gerenciar toda a sequência de eventos. A maioria dos sistemas de construção de mundos virtuais compartilham alguns conceitos básicos que caracterizam o desenvolvimento da Realidade Virtual e que permitem aos desenvolvedores a criação de uma simulação bastante realística. Segundo Jacobson (1994), estes conceitos básicos poderiam ser: o Universo e seus Objetos, técnicas de apresentação e dinâmicas e feedback. O Universo representa o lugar onde ocorrerá a experiência de RV, o lugar a ser modelado. Este Universo contém Objetos que são caracterizados por geometria (formato do objeto), aparência (tamanho, cor, composição, iluminação e sombreamento aplicados à geometria do objeto) e comportamento (reações do objeto frente a eventos). Estes Objetos são vinculados entre si por hierarquias, ou seja, um Objeto complexo do Universo pode incorporar muitos Objetos. Qualquer objeto é formado por um conjunto de polígonos e suas técnicas de apresentação envolvem conceitos de computação gráfica. Alguns desses conceitos são: perspectiva linear (o tamanho do objeto diminui conforme aumenta a distância do usuário), iluminação (intensidade da luz que incide sobre um objeto), sombreamento (sombra causada pelo posicionamento de um outro objeto entre a fonte de luz e o objeto) e sobreposição (objetos encobrindo outros objetos ou partes deles) (Jacobson, 1994; Foley, 1990 em Apêndice A).

33 26 Além de compartilharem os conceitos acima citados, os softwares para criação de RV também costumam oferecer recursos para determinados tipos de dispositivos de interação, permitindo programá-los para ativar algum tipo de feedback visual, auditivo ou tátil (Jacobson, 1994). A maioria dos softwares para criação de aplicativos de RV permite a importação e exportação de geometrias tridimensionais, ou seja, é possível utilizar um programa de modelagem 3D para a criação dos objetos e cenários do mundo virtual e importá-los para o software que cria a RV. A modelagem normalmente baseia-se em primitivas chamadas polígonos, sendo que um objeto do mundo virtual é composto de vários polígonos combinados. Então, os programas de modelagem 3D irão combinar modelagem (criação dos objetos), representação visual (aplicação de propriedades aos objetos, como textura e iluminação) e animação (movimentação dos objetos na cena), tornando a apresentação das cenas e dos objetos o mais próximo do real possível (Jacobson, 1994). Os objetos do mundo virtual costumam nascer de um modelo wireframe (modelo com contorno básico - contém todas as linhas do objeto) transparente. Esse modelo passa por um processo que faz a remoção das linhas que devem ficar ocultas. A partir daí a representação visual manuseia a superfície do objeto criando efeitos realísticos com a atribuição de cores, iluminação, sombreamento e textura. O toque final fica por conta da animação, onde os objetos e luzes serão movimentados conforme os comandos ou movimentos do usuário alterando as cenas seguintes a serem apresentadas. A animação é feita em tempo real a uma taxa que faz com que tudo pareça se deslocar com perfeição, numa média de 15 a 22 quadros por segundo (Jacobson, 1994). Atualmente, existem diversos softwares para o desenvolvimento da RV, alguns permitem apenas a criação de RV exploratória onde o participante não pode alterar nem interagir com o cenário e seus componentes; outros permitem a criação de sofisticadas cenas com recursos de interação através de dispositivos compatíveis (Jacobson, 1994). A seguir, vamos examinar rapidamente alguns desses softwares para criação de aplicativos de RV.

34 27 a) Cyberspace Development Kit O Cyberspace Development Kit da Autodesk é um software bastante potente. É um conjunto de bibliotecas para programadores C++ que permite interface com os dispositivos mais comuns de RV e geração de imagens em estéreo. Além de poder ser utilizado em diferentes plataformas, ainda reconhece arquivos com extensão DXF (modelados em CAD) (Pimentel, 1995; Isdale, 1993). b) REND386 Este software foi desenvolvido por Dave Stampe e Bernie Roehl na Universidade de Waterloo no Canadá. É uma ferramenta para programadores, pois exige conhecimentos da linguagem C e de geometria tridimensional. Na verdade o REND386 é um conjunto de bibliotecas para C que oferece suporte para imagens estéreo, óculos estereoscópicos (com obturadores) e PowerGlove (um tipo de luva de dados), além dos dispositivos convencionais (monitor, mouse e teclado). Com o REND386 é possível desenvolver mundos, difinir superfícies e atribuir cores. Programado para ser veloz, sua característica de animação permite a sensação virtual de tempo real. É distribuído gratuitamente via FTP pela universidade de Waterloo (Isdale, 1993) e atualmente é uma importante ferramenta para o desenvolvimento de RV (Jacobson, 1994). c) Virtual Reality Studio Desenvolvido por uma empresa européia de jogos interativos, o Virtual Reality Studio permite modelar e visualizar paisagens 3D e interagir com objetos 3D animados nos cenários. Este software permite o uso de placas de som para produção de som interativo e seu preço é diretamente proporcional à resolução de suas imagens: baixo (Jacobson, 1994).

35 28 d) VREAM A VREAM, Inc. desenvolvedora do VREAM (Virtual Dream) foi a primeira empresa de software de RV que não exigiu habilidades de programação para construir um mundo virtual. O VREAM possui uma boa interface gráfica com o usuário e a capacidade de criar, mudar e apagar objetos, além de suportar som interativo e imagens em estéreo. O VREAM permite também não só criar mas também visitar e interagir com mundos vituais em tempo real, usando um mouse ou joystick, bem como dispositivos de entrada e saída de dados mais exóticos. Com ele, é possível caminhar ou voar para qualquer ponto do espaço criado, além dos objetos deste espaço poderem possuir propriedades elásticas e de gravidade embutidas (Jacobson, 1994). e) WalkThrough Projetado pela Virtus Corporation, o WalkThrough é um programa de modelagem e visualização 3D. Apesar de não suportar imagens em estéreo nem som interativo, o WalkThrough é considerado RV pelo fato de permitir que através dos dispositivos de entrada e saída convencionais (monitor, teclado e mouse) possase caminhar pela cena criada. Seu principal objetivo é auxiliar no desenvolvimento conceitual de estruturas e construções civis (Jacobson, 1994). f) WorldToolKit para Windows A Sense8 foi fundada por uma dupla de hackers americanos que pretendia fornecer aos seus companheiros programadores ferramentas de RV de tempo real, independentes de plataforma (máquina utilizada). Surgiu então o WorldToolKit para Windows, um software bastante potente que oferece vídeo em tempo real, suporte para som interativo e exige sólidos conhecimentos de programação. Basicamente, o pacote é uma vasta biblioteca em C com funções que simplificam o processo de criação de simulações 3D interativas em tempo real (Jacobson, 1994).

36 29 CAPÍTULO 6 APLICAÇÕES Através da RV a forma de interação homem-máquina mudou. Com a evolução do hardware e software, o uso de recursos de RV deixou de ser algo dispendioso, e hoje em dia proporciona à empresas de todos os setores uma forma mais eficiente de agilizar e/ou enriquecer seus projetos (Gradecki, 1994). Aplicações de RV em simuladores de vôo são utilizadas há mais de duas décadas e mostram diversas (e diferentes) vantagens em relação ao modelo não virtual tradicional. Aplicações nas áreas de engenharia, entretenimento, ciências e treinamento, como subdivide Vince (1995), também são cada vez mais comuns. a) O Boeing 777 (Vince, 1995 p ) Um importante projeto de simulador de vôo que foi desenvolvido recentemente é o do Boeing 777. Através deste simulador, um piloto familiarizado com um outro avião pode facilmente aprender a pilotar o Boeing 777. O projeto incorpora o uso de plataforma móvel com 6DOF, controles de vôo com feedback tátil e sistema de som 3D (Fig. B.16 em Apêndice B). Neste projeto, o mundo virtual foi modelado para permitir que o piloto treine em aeroportos famosos. As imagens aparecem sobre uma grande tela curva sobre a cabine, e são refletidas para o piloto através de espelhos oferecendo uma visão bastante ampla e semelhante à de uma cabine real de avião (observe a Fig. 6.1). A interação piloto-sistema é feita de forma bastante precisa, uma vez que os objetos modelados no mundo virtual possuem propriedades e reagem de acordo com os comandos do piloto. As imagens são bastante realísticas e possuem inclusive objetos animados ilustrativos (como o tráfego de carrinhos de bagagem pela pista do aeroporto). Os dispositivos auditivos transmitem informações durante determinados períodos do vôo, como condições climáticas, direção do vento, etc.

37 30 O custo de um sistema como este é extremamente alto tornando projetos deste tipo viáveis apenas para empresas que necessitem de elevada garantia de segurança. Fig Visão recortada do simulador de vôo do Boeing 777 mostrando o sistema de display sobre a cabine e o espelho esférico que envolve a cabine refletindo a imagem exibida para o piloto. FONTE: Vince (1995), p b) Terapias Virtuais O tratamento de fobias como medo de altura ou profundidade tem sido auxiliado por aplicações de RV. Aplicações desse tipo procuram envolver o usuário no mundo virtual através do uso de HMDs (Hodges, 1995). O mundo virtual consiste de lugares altos, como pontes e outros panoramas que despertem a fobia do usuário. Um dispositivo de entrada de dados irá permitir que o usuário passeie pelo ambiente, tendo diferentes ângulos de visão (Mahoney, 1994).

38 31 A terapia virtual consiste basicamente de sessões onde o paciente utiliza um HMD e imerge num mundo virtual onde situações são simuladas. No caso do medo de alturas, essa situação simulada pode ser um elevador sem paredes, sem chão e sem teto visíveis. O elevador sobe gradativamente a cada sessão de terapia (Hodges, 1995). Durante a sessão o médico monitora os batimentos cardíacos e pressão arterial do paciente (Mahoney, 1994). As aplicações de terapia virtual mostram elevadas taxas de recuperação dos pacientes, sendo que o desconforto (medo) sentido pelos pacientes nas sessões iniciais praticamente desaparece nas últimas sessões. As alterações de batimentos cardíacos e pressão arterial tornam-se menos acentuadas para uma mesma situação no decorrer das sessões (Mahoney, 1994).

39 32 CAPÍTULO 7 CONSIDERAÇÕES FINAIS As aplicações de RV evoluíram bastante em relação às primeiras dos anos 50. A evolução dos dispositivos de entrada e saída de dados dos últimos anos, aliada à grande evolução dos computadores digitais colaborou para a criação de aplicações de RV mais robustas e dirigidas para diversas áreas. Apesar da grande evolução do hardware, sistemas de RV que fazem uso de dispositivos de visualização estereoscópios e mundos virtuais com imagens complexas mostram um intervalo de tempo significativo entre a ação do usuário e a resposta do sistema a esta. Já existem sistemas de RV que utilizam processadores separados para o rendering das imagens referentes a cada olho com o objetivo de diminuir este intervalo de tempo (Pimentel, 1995). Características como estereoscopia, interatividade, uso de dispositivos de feedback, uso de HMD, etc. influenciam no nível de imersão do usuário do sistema de RV. Essas características também encarecem o sistema e portanto exigem uma análise de custo-benefício.