Transcrição

1 O Sistema Visorama: Um Novo Ambiente de Multimdia e Realidade Virtual Andre Matos 1;3 Jonas Gomes 1 Andre Parente 2 Heloisa Siert 2 Luiz Velho 1 1 IMPA{Instituto de Matematica Pura e Aplicada famatos,jonas,lvelhog@visgraf.impa.br 2 Escola de Comunicac~ao UFRJ fhsiffert,aparenteg@cfch.ufrj.br 3 Departamento de Informatica, PUC-Rio amatos@inf.puc-rio.br Abstract The recent developments in image-based rendering have enabled a representation of virtual environments based on a simulation of panoramas, which we call virtual panoramas. Current virtual panorama systems do not provide a natural and immersive interaction with the environment. We present the architecture of a new system that uses hardware and software components to provide a natural and immersive interaction with virtual panoramas. As part of the system we propose a well suited representation for the interactions in a virtual panorama. This representation can be used as a basis for the design of a high-level language for the creation of such environments. Resumo O recente desenvolvimento de tecnicas de visualizac~ao baseada em imagens possibilitaram a representac~ao de ambientes virtuais utilizando panoramas geradas por computador, que chamamos de panoramas virtuais. Os sistemas de panoramas virtuais existentes n~ao permitem uma interac~ao natural e imersiva com o ambiente virtual. Propomos a arquitetura de um novo sistema que utiliza componentes de hardware e de software para oferecer esse tipo de interac~ao. Propomos tambem uma representac~ao para essas interac~oes que pode ser utilizada como base para o desenvolvimento de uma linguagem de alto nvel para a criac~ao desses ambientes. Palavras Chaves: Multimidia, Realidade Virtual, Panoramas, Ambientes Virtuais e Interativos, Rendericac~ao Baseada em Imagens.

2 1 Introduc~ao Os recentes desenvolvimentos na area de computac~ao graca t^em possibilitado a criac~ao de um grande numero de sistemas de realidade virtual. Esses sistemas utilizam modelos geometricos para representar um mundo virtual por onde os seus usuarios podem navegar, por vezes com o auxlio de algum equipamento adicional que proporciona uma interface mais realista anavegac~ao (imersibilidade) (Kalawsky, 1993). A visualizac~ao desse mundo e feita atraves de tecnicas de computac~ao graca 3D que s~ao executadas durante a navegac~ao. Para que isso seja feito em tempo real, esses mundos virtuais s~ao geralmente bastante simples e as imagens geradas para o usuario n~ao s~ao foto-realistas.com o objetivo de superar essas limitac~oes surgiram os sistemas de visualizac~ao baseada em imagens. As tecnicas utilizadas por esses sistemas para representar e visualizar ambientes virtuais t^em origens nas areas de vis~ao computacional, fotogametria e computac~ao graca (McMillan & Bishop, 1995). A representac~ao do ambiente virtual e criada a partir de um numero de fotograas, que podem ter sido obtidas do mundo real, ou de um ambiente modelado. Essa representac~ao e utilizada para reconstruir a vis~ao que um observador teria navegando pelo ambiente virtual. Alguns metodos de visualizac~ao baseada em imagens foram propostos utilizando representac~oes diferentes. McMillan e Bishop (McMillan & Bishop, 1995) fazem uma analise dos metodos existentes e apresentam um novo metodo. Outros metodos foram propostos recentemente baseados em tecnicas de holograa (Gortler et al., 1996)(Levoy & Hanrahan, 1996). A representac~ao utilizada por alguns metodos permite que os usuarios interajam com o ambiente virtual como se esse fosse mostrado por uma panorama. Chamaremos esse tipo de representac~ao de panorama virtual. O primeiro sistema comercial a utilizar panoramas virtuais foi o Quicktime VR da Apple Computer (Chen, 1995), mas outros sistemas semelhantes foram desenvolvidos recentemente. Apesar de suas diferencas, todos esses sistemas possuem certas limitac~oes em comum. Entre essas ressaltamos o fato de n~ao oferecerem uma interac~ao natural e imersiva com o ambiente virtual. Neste trabalho propomos a arquitetura de um novo sistema, o Sistema Visorama, que combina componentes de hardware e de software para oferecer uma interac~ao natural e imersiva com panoramas virtuais. O sistema tambem possui um ambiente de autoria que permite a especicac~ao de interac~oes caractersticas de ambientes representados por panoramas virtuais. Um prototipo deste sistema esta atualmente em desenvolvimento. O artigo comeca com uma introduc~ao as panoramas. Em seguida discute panoramas virtuais e os sistemas que as utilizam. Apresenta ent~ao a arquitetura do sistema Visorama com seus componentes de hardware e de software. Finalmente discute autoria no sistema visorama. 2 Panoramas Uma panorama e um tipo de pintura mural construda ao redor de uma plataforma circular onde espectadores podem olhar em qualquer direc~ao e ver uma cena como se

3 Figura 1: Sec~ao de uma panorama. estivessem no seu interior. Foi patenteada por Robert Baker em 1787 e nesse tempo era uma forma extremamente popular de representac~ao da natureza e de eventos historicos. As panoramas eram normalmente construdas em predios com dois ou tr^es andares de modo que os espectadores podiam passar por ambientes diferentes (Comment, 1993). A Figura 1 ilustra a sec~ao transversal de uma panorama de tr^es andares construda em Muitas variac~oes das panoramas foram criadas desde esse perodo ate meados deste seculo. Um exemplo dessas variac~oes e o Cinerama onde imagens cinematogracas eram projetadas em uma superfcie circular cobrindo 180 graus. Tr^es projec~oes eram utilizadas mas a imagem gerada aparentava ser criada por uma unica projec~ao. Algumas dessas variac~oes utilizavam outros recursos para tornar a interac~ao com o mundo ctcio mais imersiva. O Hale's Tour, por exemplo, simulava uma viagem de trem e os espectadores sentavam-se realmente no interior de um vag~ao. Durante a viagem simulada, imagens passavam pelas janelas do vag~ao. Ja o Sensorama utilizava efeitos como som stereo e odores para simular uma viagem de motocicleta pelo bairro do Brooklin, em Nova York. Todas essas variac~oes compartilham algumas caractersticas em comum. Os espectadores permanecem sempre no interior de um ambiente e imagens s~ao projetadas ao seu redor. Essas imagens mostram a vis~ao que o espectador teria se estivesse no interior do ambiente simulado, e buscam sempre o realismo com o objetivo de fazer com que o espectador se sinta imerso neste ambiente simulado. Essa forma de interac~ao oferecida pelas panoramas e naturalmente aceita pelos espectadores por ser muito semelhante ao modo como estamos acostumados a observar o mundo, como se estivessemos no seu centro. Talvez essa seja a explicac~ao psicologica de porque as panoramas e suas variac~oes t^em sido t~ao populares. 3 Panoramas Virtuais O recente desenvolvimento das tecnicas de visualizac~ao baseada em imagens possibilitou a simulac~ao de panoramas no computador. Chamaremos essa simulac~ao de

4 Figura 2: Uma c^amera virtual observando a panorama. panorama virtual. Em uma panorama virtual, uma imagem e pintada em uma superfcie panor^amica S R 3 utilizando tecnicas de mapeamento de textura (Heckbert, 1996). Uma c^amera virtual e utilizada para observar a superfcie panor^amica interativamente (Figura 2) e o usuario possui a liberdade de girar a c^amera em torno de seu centro e mudar o fator de zoom. A imagem mapeada na superfcie e chamada de imagem panor^amica. A imagem panor^amica representa a projec~ao do ambiente na superfcie panor^amica. Os sistemas de panorama virtual proporcionam ferramentas para a criac~ao dessa imagem a partir de fotograas, que podem ter sido obtidas do mundo real ou de um mundo modelado. Apos o mapeamento na superfcie, a imagem panor^amica pode ser interativamente observada, reconstruindo assim vistas arbitrarias do ponto do ambiente onde as fotos foram tiradas. A forma da superfcie determina as vistas que poder~ao ser reconstruidas. O processo que acabamos de descrever envolve duas projec~oes: Projec~ao do ambiente na superfcie panor^amica. Projec~ao da superfcie panor^amica na tela da c^amera virtual. A superfcie panor^amica deve ter uma forma geometrica simples para facilitar essas duas projec~oes. Os tipos de superfcies panor^amicas mais utilizadas s~ao o cilindro, a esfera e o cubo. No caso do cilindro, a imagem panor^amica deve ser obtida por uma c^amera panor^amica. O mapeamento dessa imagem na superfcie do cilindro pode ser feito \enrolando" a imagem ao seu redor. Essa transformac~ao dene uma isometria entre o cilindro e o domnio da imagem e assim a transformac~ao n~ao deforma a imagem. No caso da esfera, a imagem panor^amica e dividida em duas partes que devem ser obtidas com uma objetiva grande angular (\sheye"), de um mesmo ponto, em direc~oes opostas. Cada imagem e mapeada ortogonalmente em um hemisferio diferente. No caso do cubo, a imagem panor^amica e dividida em

5 seis partes, obtidas com uma lente comum de um mesmo ponto e em seis direc~oes perpendiculares diferentes. Cada imagem e mapeada em uma face do cubo. Segundo os processos descritos acima, um sistema de panorama virtual tem dois componentes principais: um ambiente de autoria e um visualizador. O ambiente de autoria permite que se crie a imagem panor^amica. Para que essa imagem represente uma projec~ao do mundo real, c^ameras e lentes especializadas para cada tipo de superfcie panor^amica devem ser utilizadas, conforme mencionamos anteriormente. Essas c^ameras e lentes podem tambem ser simuladas para a criac~ao de uma imagem panor^amica representando uma projec~ao de um ambiente modelado. Alternativamente, alguns sistemas permitem a criac~ao da imagem panor^amica a partir de fotograas obtidas com c^amera e lente comuns. Nesse caso as imagens obtidas de cada foto s~ao deformadas, alinhadas entre si, e combinadas, criando uma imagem panor^amica muito semelhante a imagem obtida utilizando-se as c^ameras e lentes especializadas. O visualizador reprojeta a superfcie panor^amica na c^amera virtual interativamente, permitindo ao usuario modicar a sua direc~ao de visualizac~ao e o seu fator de zoom. Para que essa reprojec~ao seja executada em tempo real, ela e aproximada por uma operac~ao de deformac~ao na imagem panor^amica e o resultado dessa deformac~ao e mostrado diretamente na tela (Smith, 1987). 4 Sistemas Existentes de Panoramas Virtuais Vamos comparar tr^es sistemas que utilizam panoramas virtuais disponveis comercialmente: Quicktime VR 1.0 da Apple Computer, PhotoBubbles da OmniView e RealVR da RealSpace. 4.1 Descric~ao O Quicktime VR 1.0 utiliza apenas superfcies panor^amicas cilndricas, e oferece um ambiente de autoria completo para a criac~ao de panoramas virtuais. A imagem panor^amica pode ser uma fotograa obtida com uma c^amera panor^amica, ou uma sequ^encia de fotograas parcialmente coincidentes que s~ao compostas pelo programa de autoria em uma imagem panor^amica. Atualmente, o sistema n~ao oferece nenhum suporte a audio, e n~ao permite que animac~oes ou objetos 3D sejam compostos com a panorama. Algumas dessas funcionalidades foram prometidas para a vers~ao 2.0 do programa, onde panoramas poder~ao ser compostas com video e audio Quicktime e objetos Quickdraw 3D, ambos padr~oes da Apple. O PhotoBubbles utiliza apenas superfcies panor^amicas esfericas. A imagem panor^amica deve ser obtida a partir de duas fotos tiradas com uma lente sheye de 180 graus, ou gerada por um programa de modelagem. O PhotoBubbles n~ao tem ambiente de autoria e todas as panoramas devem ser preparadas pela Omniview. O RealVR, por outro lado, suporta cilindros, esferas e cubos como superfcie panor^amica. No entanto, n~ao oferece, atualmente, nenhum ambiente de autoria para qualquer uma dessas superfcies, oferecendo apenas um programa para converter

6 panoramas do Quicktime VR para o formato do RealVR. Esse formato e uma extens~ao do VRML 2.0 criado pelo RealSpace, que permite a inclus~ao da panorama em um mundo especicado por VRML. Como consequ^encia, e relativamente simples incluir-se objetos modelados em 3D, guras, vdeo e audio nas panoramas virtuais. Os tr^es sistemas discutidos oferecem um visualizador para suas panoramas com uma interface que utiliza o mouse para modicar a direc~ao de visualizac~ao. No Quicktime VR e RealVR, o teclado e utilizado para o controle do fator de zoom. Nenhum desses sitemas utiliza metodos baseado em multiresoluc~ao para melhorar a qualidade das imagens durante a modicac~ao do fator de zoom. Finalmente, o Quicktme VR e o RealVR devem, no futuro, oferecer uma API em C, o que permitira o desenvolvimento de programas para controlar os par^ametros do visualizador desses sistemas. 4.2 Analise Em uma panorama real, o ambiente e pintado em uma parede e essa pintura e projetada diretamente nos olhos do observador. Como descrevemos na sec~ao 3, os sistemas de panoramas virtuais tentam simular esse processo de duas projec~oes. No entanto, uma panorama virtual utiliza tr^es projec~oes: projec~ao da imagem na superfcie panor^amica, reprojec~ao da panorama na c^amera virtual, produzindo a imagem no monitor, e a reprojec~ao do monitor nos olhos do usuario. Em grande parte dos sistemas n~ao existe uma correlac~ao (acoplamento) entre a projec~ao no monitor e a observac~ao do usuario. O modo de manipulac~ao da direc~ao de visualizac~ao na panorama virtual, utilizando o mouse, n~ao e natural, pois exige que o usuario associe o movimento da sua m~ao com a mudancạ na direc~ao de visualizac~ao. Com isso, esses sistemas n~ao permitem que o usuario se sinta imerso no ambiente virtual e, por essa falta de imersibilidade, n~ao podem ser considerados sistemas de realidade virtual, uma vez que a imersibilidade e uma das caractersticas principais desses sistemas. Outro problema e que os sistemas de panoramas virtuais n~ao oferecem uma linguagem de alto nvel para a especicac~ao da interac~ao entre o usuario e o ambiente virtual. Grande parte desses sistemas oferecem uma interface para especicac~ao de interac~oes de baixo nvel envolvendo a movimentac~ao do mouse na janela do visualizador. Mas os autores deveriam ser capazes de especicar interac~oes de alto nvel, como por exemplo uma sequ^encia de operac~oes na c^amera virtual. Relacionado a este problema, esta a incapacidade desses sistemas de suportar o conceito de ambiente virtual representado por uma panorama. Grande parte dos sistemas permitem que o usuario se movimente em um ambiente 3D "pulando"entre panoramas. Mas quando o usuario interage com uma so panorama, n~ao oferecem meios para a especicac~ao das interac~oes neste mundo virtual representado pela panorama. Uma excec~ao e o sistema RealVR, que tem todo o suporte da linguagem VRML para a criac~ao do ambiente virtual. Essa linguagem, no entanto, exige que se especique o mundo utilizando informac~oes 3D, o que n~ao esta disponvel em uma panorama virtual. Em geral, n~ao e trivial a determinac~ao de posic~oes em 3D que devem ser associadas a objetos para que uma determinada interac~ao na panorama virtual seja criada. Por outro lado, as interac~oes neste tipo de ambiente virtual s~ao

7 mais facilmente representadas em termos das operac~oes que podem ser executadas na c^amera virtual, pois essa informac~ao esta sempre disponvel. 5 O Sistema Visorama Nesta e nas proximas sec~oes apresentamos a arquitetura do sistema Visorama, seus componentes de software e de hardware, e mostramos como o sistema oferece uma soluc~ao para as limitac~oes dos sistemas existentes descritos na sec~ao anterior: Imersibilidade do usuario Interface de mudanca da direc~ao de visualizac~ao Linguagem de autoria de alto nvel Suporte para ambientes virtuais baseados em panoramas Como descrevemos anteriormente, o problema de imersibilidade do usuario e interface de visualizac~ao ocorre nos sistemas existentes porque s~ao utilizadas duas projec~oes na visualizac~ao: a projec~ao na c^amera virtual e a projec~ao do monitor nos olhos do usuario. Alem disso, as duas projec~oes n~ao s~ao acopladas. Para resolver esses problemas, e preciso utilizar-se um dispositivo com a seguinte funcionalidade: Acoplar as duas projec~oes de visualizac~ao. Correlacionar as projec~oes com o movimento da cabeca do usuario. Esse dispositivo de observac~ao cria uma abstrac~ao de que o usuario esta no meio do ambiente virtual, interagindo com este atraves do dispositivo. A sua implementac~ao e feita por um visualizador que simula um binoculo, porem ao inves de mostrar o mundo atraves de lentes, mostra a panorama virtual em um par de pequenos monitores. A Figura 3 ilustra um modelo do equipamento de observac~ao utilizado no sistema Visorama. O display binocular oferece ao usuario a imersibilidade visual na panorama virtual. Embora n~ao possa ser transladado, esse dispositivo pode rodar em torno de dois eixos, vertical e horizontal, e quando isso e feito, a imagem da panorama na tela e modicada para que a resposta visual para a rotac~ao seja produzida. Essa forma de manipulac~ao direta da direc~ao de visualizac~ao e uma interface natural para panoramas virtuais. Alem disso, o usuario n~ao pode, em principio, mudar sua localizac~ao, o que tambem e natural para panoramas virtuais. O usuario tambem pode interagir com o ambiente virtual atraves de um conjunto de controles adicionais. Para responder de modo apropriado a todas essas interac~oes, o software do sistema armazena uma representac~ao interna do ambiente virtual. Essa representaca~o e especca para ambientes representados por panoramas, e inclui o conjunto de interac~oes do usuario a que o ambiente deve responder. Uma linguagem de alto nvel permite a autores desse sistema especicarem essas interac~oes.

8 Figura 3: O equipamento de observac~ao do Visorama Nas proximas sec~oes descreveremos a arquitetura do sistema Visorama com maiores detalhes. Um prototipo baseado na arquitetura apresentada a seguir esta atualmente em desenvolvimento. 6 O Hardware do Visorama Os principais componentes de hardware do Visorama, o relacionamento entre eles e seus grupamentos funcionais s~ao mostrados na Figura 4. Esses componentes podem ser classicados em tr^es subsistemas de hardware: subsistema de entrada, subsistema de sada e subsistema de controle. O subsistema de controle e um computador com as interfaces necessarias para a comunicac~ao com os componentes dos subsistemas de entrada e de sada. O computador armazena todas as informac~oes sobre o ambiente virtual e executa programas que utilizam essas informac~oes para gerar a resposta do sistema as interac~oes do usuario. Esse processo deve ser feito em tempo real, o que imp~oe uma restric~ao de velocidade mnima no processador, ja que esse deve ser capaz de receber as entradas do usuario e gerar a sada apropriada sem introduzir quaisquer efeitos de retardamento (\latency"). Tambem e importante que os sistemas existentes de panoramas virtuais possam ser executados nessa plataforma ja que esses ser~ao parte do sistema Visorama. Para o subsistema de controle, decidimos utilizar um computador Macintosh da Apple com processador PowerPC. Essa plataforma tem diversas vantagens: tem a capacidade de processamento necessaria; diversos sistemas existentes de panoramas virtuais executam nessa plataforma; e todos os outros componentes de hardware do Visorama podem ser conectados a esse computador. O subsistema de controle gera dois tipos de dados para o subsistema de sada: imagem e som. O primeiro tipo e enviado para o display binocular e o segundo para

9 Figura 4: Componentes de Hardware. o sistema de som stereo. O display binocular e um dispositivo imersivo que se assemelha a binoculos mas ao inves de ter um par de lentes, tem, para cada visor, um display CRT miniatura. As imagens mostradas nesses displays aparecem para o usuario como se fossem projec~oes do mundo real atraves de lentes de um binoculo comum. Cada display CRT esta conectado a uma sada de vdeo no computador. Se duas sadas estiverem disponveis, cada diplay pode estar conectado de forma independente, e imagens diferentes podem ser mostradas para cada olho do observador. Isso permitiria que se mostrasse imagens estereoscopicas, mas a primeira vers~ao do Visorama n~ao suporta essa funcionalidade. O equipamento de som stereo e basicamente um par de headfones conectados a uma porta de sada de audio stereo no computador. Caixas de som podem tambem ser utilizadas mas essas tem a desvantagem de permitir que o som do ambiente real seja confundido com o som do sistema, o que resulta numa perda da imersibilidade sonora. A utilizac~ao de audio stereo permite que sons diferentes sejam associados a cada canal de sada, permitindo a simulac~ao de som 3D em panoramas onde fontes de som estejam associados a direc~oes de visualizac~ao especcas. Essa funcionalidade, no entanto, n~ao sera suportada pela primeira vers~ao do sistema devido a complexidade da sua implementac~ao. Toda sada gerada pelo subsistema de controle depende das informac~oes de autoria e dos dados de entrada. Esses dados s~ao de dois tipos: dados de direc~ao de visualizac~ao, gerados por uma cabeca de rotac~ao e um conjunto de sensores, e dados de controle do usuario, gerados por um conjunto de controles adicionais. A cabeca de rotac~ao permite a manipulac~ao direta da direc~ao de visualizac~ao na panorama. Potenci^ometros s~ao acoplados aos dois eixos de rotac~ao, vertical e horizontal, da cabeca para capturar o movimento do display binocular. O subsistema de entrada tem um conjunto de controles adicionais: dois bot~oes e um potenci^ometro. O potenci^ometro e utilizado para controlar o ^angulo de zoom. Um dos bot~oes e utilizado para eventos discretos em geral, como por exemplo a selec~ao

10 Figura 5: Modulos e seus relacionamentos. de um objeto na panorama. Esses dois controles devem ser facilmente acessados pelo usuario, ja que s~ao muito utilizados. Juntamente com o potenci^ometro da cabeca de rotac~ao, esses dois controles permitem a execuc~ao das tarefas de posicionamento, selec~ao e quanticac~ao (veja (Foley et al., 1987)). O segundo bot~ao e utilizado para que o sistema entre em um modo de controle que permite a especicac~ao de congurac~oes como, por exemplo, o controle do volume de som. Nesse modo, o potenci^ometro e utilizado para controle do par^ametro selecionado. Um circuito simples amostra todos os equipamentos de entrada periodicamente. Esses dados s~ao enviados para o subsistema de controle, que gera a resposta para o usuario conforme especicado pelo autor do ambiente virtual. Isso e feito pelos componentes de software do sistema. 7 Componentes de Software O software do sistema tambem pode ser dividido em tr^es modulos funcionais: entrada, sada e controle. Esses tr^es modulos e o relacionamento entre eles s~ao ilustrados na Figura 5. O modulo de entrada recebe todos os dados dos dispositivos de hardware e os envia para os outros modulos. O de sada recebe esses dados e utilizando os dados de comando do modulo de controle, gera a sada de imagens e sons. Finalmente,omodulo de controle examina os dados de entrada e envia comandos para o modulo de sada. 7.1 Entrada e Saida Omodulo de entrada l^e os dados que chegam pela porta de comunicac~ao e os converte para um formato que seja entendido pelos outros modulos. Essa convers~ao garante que os demais modulos n~ao precisem ser modicados quando algum dispositivo de entrada for trocado. Os valores resultantes s~ao periodicamente enviados para os outros dois modulos.

11 Omodulo de sada recebe os dados diretamente para que possa gerar com rapidez a resposta visual as interac~oes do usuario. Assim, qualquer atraso que possa ocorrer devido a processamentos feitos no modulo de controle n~ao afetam a resposta do sistema com relac~ao a mudancas de direc~ao de visualizac~ao e de ^angulo de zoom. E fundamental para a imersibilidade oferecida pelo sistema que essa resposta esteja sincronizada com o movimento do display binocular, ja que qualquer efeito de latency poderiam confundir o usuario. O modulo de sada tem dois componentes, o componente de gerac~ao de imagens e o componente de gerac~ao de som. O primeiro mostra a panorama virtual, imagens estaticas ou objetos 3D, todos combinados em uma unica sada. Qualquer sistema existente de panoramas virtuais pode ser utilizado, desde que possa mostrar imagens e objetos 3D compostos com a panorama e tenha uma API que possa ser usada para controlar a visualizac~ao da panorama virtual. O componente de gerac~ao de imagens recebe comandos do modulo de controle determinando qual panorama deve ser mostrada, quais objetos ou imagens devem ser compostos com a panorama, entre outros comandos. A direc~ao de visualizac~ao e fator de zoom s~ao obtidos diretamente do modulo de entrada e s~ao modicados cada vez que esse modulo envia novos dados, produzindo assim a resposta esperada pelo usuario. O componente de gerac~ao de som utiliza recursos do sistema para tocar audio no hardware de som do computador. Um ambiente como o Quicktime da Apple pode ser utilizado como base para esse componente, que recebe comandos do modulo de controle determinando quais arquivos de som devem ser tocados, a posic~ao corrente no arquivo de som, alem de comandos comuns de manipulac~ao de audio como play, pause, stop, e controle de volume. Esse componente tem acesso direto aos arquivos de som. 7.2 O Modulo de Controle Os comandos gerados pelo modulo de controle s~ao baseados em dados obtidos do modulo de entrada e em informac~oes de interac~oes no ambiente virtual. Essas informac~oes relacionam sequ^encias de entrada com as suas respostas correspondentes, conforme especicado pelo autor do ambiente virtual. A estrutura interna e conceitualmente equivalente a um diagrama de estados. Utilizando essa representac~ao, o sistema esta sempre em um estado discreto conhecido e um numero de eventos s~ao especicados que fazem com que o sistema sofra uma transic~ao para um estado diferente. Uma transic~ao e especicada pelos seus estados de origem e destino, por um conjunto de eventos que a causam, e por um conjunto de ac~oes que devem ser executadas quando ela ocorre. Uma transic~ao deve ent~ao ocorrer se algum dos seus eventos for gerado pelo usuario ou pelo proprio sistema. Ac~oes podem ser especicadas para execuc~ao quando uma transic~ao for efetuada. As ac~oes que podem ser executadas utilizando-se os sistemas de panoramas virtuais existentes s~ao: mudar a panorama sendo visualizada; modicar os par^ametros de visualizac~ao; tocar, parar, interromper ou pular para uma posic~ao em um arquivo de audio; mostrar ou esconder uma imagem ou objeto 3D; iniciar um temporizador. Outras ac~oes devem estar disponveis no futuro como, por exemplo, fazer uma

12 Figura 6: Diagrama de estado para um exemplo de interac~ao. interpolac~ao entre duas panoramas. Um diagrama de estados representando as informac~oes de interac~ao no ambiente virtual guia a execuc~ao do modulo de controle. Essa execuc~ao e basicamente composta de um unico loop onde o programa l^e os dados de entrada e verica se algum evento denido em alguma transic~ao partindo do estado atual se torna verdadeiro com essa entrada. Caso haja tal evento, o programa executa as ac~oes especicadas para aquela transic~ao e troca o estado atual para o estado destino da transic~ao. 8 Autoria no Sistema Visorama O principal problema com a representac~ao baseada em diagramas de estados e a diculdade do processo de criac~ao do diagrama para interac~oes complexas. Essa representac~ao e poderosa no sentido de representar todas as interac~oes possveis em panoramas virtuais e permitir uma implementac~ao eciente. Mas quando as interac~oes s~ao complexas, n~ao e trivial para o autor do sistema quais estados e transic~oes devem ser criados. Podemos ver isso pelo diagrama de estados ilustrado na Figura 6, que representa a seguinte especicac~ao de interac~ao: se o usuario visualizar a regi~ao R 1 por mais de t 0 segundos, toque um audio S 1 com durac~ao t 1 segundos. Se o usuario mudar a visualizac~ao para uma regi~ao R 2 e se S 1 tiver acabado de tocar, toque outro audio S 2. Se n~ao tiver acabado, espere acabar e ent~ao toque o audio S 2. Se o usuario parar de visualizar as regi~oes R 1 e R 2, pare de tocar o audio S 1. Se o usuario parar de visualizar a regi~ao R 2, pare de todar o audio S 2. Para permitir que autores especiquem as interac~oes possveis com esse sistema sem que tenham que especicar diagramas de estado complexos, estamos desenvolvendo um ambiente de autoria que contem primitivas de alto nvel para a especicac~ao de interac~oes. O sistema Visorama possibilita formas de interac~ao entre o usuario e o ambiente virtual n~ao disponveis nos outros sistemas de multimdia e realidade virtual, e

13 assim dene uma nova linguagem para a comunicac~ao entre o usuario e o sistema. A imersibilidade oferecida pelo sistema permite que o usuario navegue naturalmente pelo ambiente virtual, procurando as informac~oes que lhe interessa. Enquanto faz isso, o usuario, sem preceber, causa um numero de eventos que modicam o estado do ambiente virtual. Isso n~ao ocorre nos sistemas de multimdia existentes, onde os eventos s~ao explcitos e esta claro para os usuarios os pontos na navegac~ao onde devem tomar decis~oes. O sistema Visorama pode estimar as partes do ambiente virtual que mais interessam ao usuario, analizando, por exemplo, quanto tempo este olha para uma determinada area. Essa informac~ao pode ser utilizada para guiar o usuario atraves do ambiente vitual, fornecendo mais informac~oes nos pontos de maior interesse e sugerindo os proximos locais a serem visitados. Assim, dois usuarios interagindo com uma mesma area podem obter informac~oes completamente diferentes dependendo do caminho que tomaram para chegar a essa regi~ao. As formas de interac~ao possveis com o sistema denem uma linguagem que pode ser usada por autores para criar ambientes virtuais no Visorama. Para auxilia-los a explorar essas possibilidades, estamos denindo um conjunto de elementos basicos da linguagem e operac~oes para comp^o-los. A denic~ao de um bom conjunto de elementos basicos e uma quest~ao ainda em estudo e deve ser determinado apos a execuc~ao de um numero de experi^encias com o processo de autoria. Os elementos e operac~oes devem ter uma representac~ao conhecida em termos de diagramas de estado para que uma sentenca nessa linguagem possa ser convertida em uma descric~ao baseada nesses diagramas que pode ent~ao ser utilizada pelo modulo de controle. Alem de denir uma linguagem de autoria, estamos implementando um ambiente de autoria para usuarios criarem ambientes virtuais que utiliza um interpretador para essa linguagem. Com isso um script do usuario e convertido em uma representac~ao baseada em diagramas de estado. Pretendemos tambem criar um ambiente de autoria visual onde o ambiente virtual pode ser criado sem a necessidade de programac~ao. Os elementos e operac~oes da linguagem poder~ao ser especicados gracamente utilizando algum tipo de diagrama. Alem disso areas da panorama poder~ao ser especicadas navegando-se pelo ambiente virtual. Toda essa informac~ao pode sera automaticamente convertida na linguagem interpretada. 9 Conclus~oes Descrevemos a arquitetura de um sistema que permite uma interac~ao natural e imersiva com panoramas virtuais. O novo sistema inclui componentes de software e de hardware e possibilita formas de interac~ao que n~ao est~ao disponveis nos sistemas existentes atualmente. Inclui tambem uma linguagem que pode ser utilizada por autores para criar ambientes que utilizam todas as novas possibilidades de interac~ao. O sistema Visorama tem muitas aplicac~oes em areas como educac~ao, turismo, entretenimento, mercado imobiliario e muitos outros. Juntamente com o desenvolvimento do sistema, pretendemos criar uma aplicac~ao na area turstica tendo como base a cidade do Rio de Janeiro. O usuario podera observar panoramas da cidade vista do morro do Corcovado, de onde quase toda a cidade e visvel. Sera guiado pelas

14 partes mais importantes da cidade, podera olhar com mais detalhes regi~oes de maior interesse e eventualmente observar panoramas tiradas desses pontos. Alem disso, atraves da utilizac~ao de tecnicas de processamento de imagens aplicadas a fotograas antigas e de programas de modelagem, panoramas ser~ao criadas que representar~ao partes da cidade no passado. Toda a navegac~ao sera guiada por uma narrac~ao, com explicac~oes e sugest~oes de pontos a serem visitados. Para aplicac~oes do sistema Visorama, como a descrita acima, alguns desenvolvimentos na tecnologia atual de panoramas virtuais permitiriam possibilidades de interac~ao ainda maiores. Entre esses, podemos citar o suporte a multiresoluc~ao, que permitiria a utilizac~ao de imagens panor^amicas com resoluc~oes maiores nas regi~oes de maior interesse do ambiente virtual. Essa possibilidade apresenta novas diculdades na visualizac~ao da panorama e no processo de autoria, durante a composic~ao da panorama, e esta sendo considerada como trabalhos futuros. Agradecimentos: O projeto Visorama esta sendo nanciado com recursos do Conselho Nacional de Pesquisa (CNPq), da Fundac~ao de Amparo a Pesquisa do Estado do Rio de Janeiro e da Fundac~ao Jose Bonifacio. Bibliograa Chen, S. E Quicktime VR - An Image-Based Approach to Virtual Environment Navigation. Computer Graphics, Annual Conference Series, 29{38. Comment, B Le XIX Siecle des Panorama. Adam Piro. Foley, J. D., Dam, A. V., Feiner, S. K., & Hughes, J. F Computer Graphics Principles and Practice. Addison-Wesley. Gortler, S. J., Grzeszczuk, R., Szelinsky, R., & Cohen, M. F The Lumigraph. SIGGRAPH '96 Proceedings, 43{54. Heckbert, P. S Survey of Texture Mapping. IEEE Computer Graphics and Applications, Nov., 56{67. Kalawsky, R. S The Science of Virtual Reality. Addison-Wesley. Levoy, M., & Hanrahan, P Light Field Rendering. SIGGRAPH '96 Proceedings, 31{42. McMillan, L., & Bishop, G Plenoptica Modeling: An Image-Based Rendering System. SIGGRAPH '95 Proceedings, 39{46. Smith, Alvy Ray Planar 2-Pass Texture Mapping and Warping. Computer Graphics, 21(4), 263{272.