Visualização Dinâmica de Cenas Híbridas

Transcrição

1 Visualização Dinâmica de Cenas Híbridas Fernando Silva, Francisco Andrade, Ricardo Lobo, Nuno Martins Instituto Superior de Engenharia de Coimbra Rua Pedro Nunes, Quinta da Nora, , Coimbra RESUMO A visualização virtual é uma boa opção para visitar edifícios, por estarem fisicamente distantes, ou para uma observação mais rápida de todo ou parte do edifício mesmo quando se está próximo ou dentro dele. Existem aplicações comerciais que permitem o desenho e a visualização animada de objectos gráficos. No entanto, podemos querer visualizar cenas de forma não prevista nessas aplicações, acrescentar interactivamente outros modelos ou efeitos especiais. Com esse objectivo foi desenvolvida uma aplicação usando C/C++ e bibliotecas gráficas OpenGL. Apresentamos neste trabalho uma visualização em que intervêm objectos de tipos diferentes. Tem como base um edifício, de que é possível visualizar o exterior e o interior, escolhendo interactivamente os percursos usando o teclado, o rato ou um capacete de realidade virtual. No interior do edifício podem visualizar-se cenas sintéticas como um sistema de partículas, ou projectar uma cena proveniente em tempo real de uma câmara de vídeo. INTRODUÇÃO A comunidade da computação gráfica tem vindo a desenvolver cada vez melhores, mais rápidos e mais complexos métodos de animação para a criação de ambientes virtuais 3D sintéticos [1]. A criação, em larga escala, de ambientes virtuais ainda mais realísticos é possível por incorporação de dados obtidos a partir de objectos físicos e de ambientes reais usando algum tipo de sensor. Por exemplo, é possível efectuar a construção de modelos 3D de objectos geométricos directamente a partir de imagens. Os dados das imagens necessitam de ser adequadamente processados e interpretados, de modo a extrair-lhes informação para criar os modelos da realidade que representam, o que cai na área de acção da visão computacional. Técnicas de visão computacional estão a ser cada vez mais usadas em computação gráfica para coligir e modelizar cenas complexas; técnicas de computação gráfica estão ser usadas para restringir o reconhecimento de objectos tridimensionais em visão computacional; técnicas de processamento de imagem saíram fora dos laboratórios de pesquisa para serem usadas rotineiramente na manipulação de fotografias por pessoal não ligado à pesquisa [2]. O tratamento de imagens em computador apresenta três campos principais que estão interligados: computação gráfica, processamento de imagem e visão computacional [2]. A computação gráfica é a criação de imagens a partir de uma formulação matemática de um modelo, normalmente tridimensional, usando um computador. O modelo pode corresponder a uma entidade abstracta ou ser obtido a partir de um objecto físico usando algum dispositivo de entrada. Para obter a visualização da imagem, a representação matemática do modelo 3D sofre várias transformações, entre as quais a projecção para duas dimensões, usando uma câmara sintética. Existe tipicamente como entrada um modelo 3D e obtém-se como saída uma imagem 2D. O processamento de imagem é a manipulação de uma imagem para produzir nova imagem que difere de alguma forma da imagem original, ou para obter informação sobre a imagem, processo usualmente referido como análise de imagem. Tem normalmente como entrada uma imagem bidimensional, cuja fonte pode ser um ficheiro em disco, uma câmara de vídeo ou um sinal de TV. Como saída pode ser uma nova imagem bidimensional ou um conjunto de dados resultantes da análise da imagem.

2 A visão computacional é a extracção de informação de imagens normalmente com algum objectivo análogo aos objectivos da visão humana. Neste trabalho usamos fundamentalmente técnicas de computação gráfica, e algumas técnicas simples de processamento de imagem. Não são usadas técnicas de visão computacional. Este trabalho foi realizado no âmbito da disciplina de Projecto do 3º ano da Licenciatura em Engenharia Informática e de Sistemas, do Departamento de Engenharia Informática e de Sistemas (DEIS) do Instituto Superior de Engenharia de Coimbra (ISEC). Teve como objectivo principal desenhar o edifício do DEIS em três dimensões e visualizá-lo interactivamente, incluindo passear pelo seu interior. Pretendia-se igualmente que fosse possível acrescentar outras funcionalidades, como introduzir outros objectos gráficos não pertencentes ao edifício, e usar imagens simples como texturas para aplicar em superfícies ou imagens de video em tempo real para serem projectadas numa parede do edifício. MATERIAIS E MÉTODOS Para atingir os objectivos foram definidas várias tarefas: criar o modelo 3D do edifício, texturar as superfícies do interior e do exterior usando imagens reais, fazer o display do modelo interactivamente de forma a visualizá-lo de qualquer posição e com qualquer orientação, adicionar modelos criados sintecticamente dentro do programa, substituir texturas fixas por texturas variáveis, usando para tal imagens armazenadas em ficheiros AVI (Audio Video Interleave) ou imagens de video em tempo real, fazer interacção para navegação usando um dispositivo que forneça orientação segundo três eixos. Para desenhar o edifício em 3 dimensões foi utilizado o Autocad. Partiu-se de algumas plantas do edifício. Após algumas correcções dos desenhos originais, que não estavam actualizados, foram desenhadas várias partes como portas, janelas e outras componentes. Foram definidas várias camadas (layers) e foi construido todo o modelo em 3 dimensões. A definição em camadas permite uma visualização parcial do edifício, mostrando-o por exemplo sem janelas, só as paredes, um piso individualizado, etc. Figura 1 Edifício com as camadas identificadas por cores, paredes recobertas com pedra. Completada a elaboração do modelo geométrico em Autocad, este foi importado para o 3D Studio Max. As paredes foram alteradas, eliminando todas as pedras do revestimento e substituindo-as por uma textura, para simplificar o modelo geométrico. Além dessa textura, procedeu-se à aplicação de outras texturas criadas a partir de imagens reais (mármores das

3 paredes, mármores do chão, pedras do chão da entrada do edifício, madeira das portas dos gabinetes/salas de aula, chão dos corredores dos gabinetes, metal das janelas, metal das escadas de emergência, etc...). Figura 2.a Exterior do edifício com algumas texturas aplicadas. Figura 2.b Pormenor de interior do edifício com texturas aplicadas. Para verificar o estado do modelo no seu interior, recorreu-se à exportação dos ficheiro em formato 3DS para o formato VRML, o que permitiu abrir o modelo e navegar usando o rato, usando um visualizador de VRML disponível na Internet. Foram também definidas luzes e câmaras. Uma câmara móvel permitiu criar sequências de visualização do modelo texturado e iluminado, que foram gravadas em ficheiros no formato AVI. A renderização deste modelo era muito demorada, devido ao facto de o modelo ter alguma complexidade e de serem efectuados cálculos de iluminação. Para conseguirmos criar sequências de imagens de modo a construir alguns segundos de animação, foi necessário recorrer a uma render farm usando várias máquinas em rede. O 3D Studio Max permite organizar várias máquinas como um servidor e vários clientes. Os clientes fazem o cálculo das imagens enviadas pelo servidor, as quais são recolhidas e organizadas em um ficheiro no formato AVI. As aplicações do tipo 3D Studio Max são um auxiliar precioso na solidificação de conceitos de computação gráfica relacionados com modelação, iluminação e texturas, além de proporcionarem resultados práticos muito úteis. Põe-se no entanto a questão: e se pretendermos produzir efeitos especiais, misturando imagens de modelos da realidade com imagens de modelos totalmente sintéticos com visualização assíncrona ou eventual? E se pretendermos acrescentar à mistura imagens obtidas em tempo real de uma câmara de vídeo? E se quisermos navegar usando outro dispositivo de entrada diferente do rato ou teclado, como um capacete? Que aplicações poderão ser usadas para isso? Se quisermos ter todas essas possibilidades, teremos de desenvolver programas de modo a implementar as soluções pretendidas. Como exemplificação desenvolvemos uma aplicação programada em C/C++ na qual se implementa não só a visualização interactiva de modelos arquivados em formato 3DS, mas também várias outras funcionalidades: O modelo em ficheiro 3DS é lido para memória e visualizado usando o sistema gráfico OpenGL [3] [4], sendo possível percorrer o edifício usando o rato; A navegação dentro e fora do edifício pode também ser feita usando um capacete de realidade virtual (VFX 3D, Interactive Imaging Systems, Inc.) em que é usado somente o seu sistema de orientação (yaw, pitch, raw);

4 Ficheiros em formato AVI com cenas animadas criadas em 3D Studio Max podem ser lidos e visualizados, criando uma textura base, a qual foi sendo alterada pela inserção da sequência de imagens contidas no ficheiro AVI; De forma semelhante podem ser visualizadas imagens obtidas a partir de uma câmara de vídeo em funcionamento contínuo; neste caso, após o estabelecimento de uma conexão com uma câmara de vídeo, podemos captar uma sequência de imagens para um ficheiro AVI, ou obter um ponteiro para as imagens e usar cada uma das imagens para alterar uma textura que se aplica numa superfície, à taxa com que são captadas; Foram também criados internamente modelos de outros objectos que podem ser adicionados à cena em qualquer instante. Toda a implementação foi desenvolvida em C/C++, usando o sistema OpenGL, drivers do capacete e da câmara, funções do módulo vfw (video for windows) do Visual C++, tendo sido também usado código de terceiros disponibilizado livremente na Internet [5] [6]. RESULTADOS E DISCUSSÃO Visualização do modelo 3DS Do modelo 3DS utilizado na aplicação foram eliminados os efeitos de iluminação, para diminuir os recursos computacionais necessários. Após a leitura do modelo para memória, a sua visualização é feita usando câmaras sintéticas posicionadas e orientadas. A navegação por dentro ou por fora do modelo corresponde a mudar a posição e orientação da câmara sintética, a qual permite visualizar aquilo que está dentro do volume de visualização definido para essa câmara. Essas mudanças são efectuadas como resposta a interacção de rato e de teclado, podendo ser usado também um capacete. A interacção usando o capacete requer o carregamento de uma biblioteca dinâmica, a criação de um temporizador para marcar os instantes de amostragem dos sinais do capacete, e a associação desses sinais a movimentos da câmara sintética. A navegação é feita sem arrastamento da imagem quando se percorre o edifício usando o rato e teclado ou usando o capacete de realidade virtual, apresentando um comportamento muito estável. Há no entanto a necessidade de definir criteriosamente o temporizador que controla a taxa de actualização do frame-buffer assim como o temporizador utilizado para amostrar os sinais de posicionamento do capacete. Visualização de modelos sintéticos Foram também criados internamente modelos de outros objectos (incluindo texto) que podem ser adicionados ou eliminados da cena por manipulação de teclas. Podem ficar visíveis ou invisíveis atendendo à profundidade de todos os objectos na cena, mas também podemos sobrepô-los na imagem, desligando temporariamente o mecanismo de z-buffer ou desenhandoos após definição de nova projecção e de reinicializar o z-buffer. Visualização de cenas animadas externas ao programa Para visualizar cenas animadas gravadas em ficheiros no formato AVI, foi criada uma textura com tamanho igual ou maior às imagens contidas no ficheiro. Cada imagem lida do ficheiro é usada para alterar a textura, sobrepondo o conteúdo anterior. Essa textura é então aplicada a uma superfície rectangular, obtendo-se assim a visualização da cena. De forma semelhante podem ser visualizadas imagens obtidas a partir de uma câmara de vídeo em funcionamento contínuo. Neste caso, após o estabelecimento de uma conexão com uma câmara de vídeo, uma função callback acede à sequência de imagens a uma taxa estabelecida, fornecendo um ponteiro para a imagem actual. Cada imagem é usada para

5 alterar uma textura previamente criada, a qual é aplicada a uma superfície rectangular, que funciona como se fosse o ecrã de projecção. CONCLUSÕES Existem aplicações comerciais para modelização e visualização gráfica de qualidade. No entanto, com frequência é necessário obter efeitos não previstos nessas aplicações. Nesses casos, partindo de modelos desenvolvidos com essas aplicações, podem ser criadas soluções que se adaptem a essas necessidades específicas. A utilização de um sistema gráfico 3D, como o OpenGL, é essencial para atingir esses objectivos. As suas bibliotecas gráficas permitem criar programas eficientes de manipulação de objectos tridimensionais usando programação em alguma linguagem corrente como C/C++. A inclusão de capacidades de captura de vídeo nas aplicações gráficas, por utilização de bibliotecas como video for windows, permite a mistura em tempo real de imagens do mundo físico com modelos previamente criados. É possível desenvolver aplicações gráficas interessantes, que misturam a visualização de modelos de objectos reais com modelos totalmente sintéticos, e com imagens de video em tempo real, usando hardware corrente e software acessível por qualquer estudante de informática do ensino superior. Seguindo esta metodologia e com uma aproximação top-down, trabalhos com alguma complexidade podem ser desenvolvidos por alunos do 3º ano de informática, que têm bases de programação e 2 semestres de computação gráfica. REFERÊNCIAS [1] A. Leonardis, F. Solina and R.Bajcsy, Confluence of Computer Vision and Computer Graphics, NATO Science Series, 3. High Technology Vol. 84, Kluwer Academic Publishers, XXXIII-XL. [2] A. Watt, F. Policarpo, The Computer Image. Addison Wesley. [3] Rule, K., D Graphics File Formats: A Programmer's Reference Addison-Wesley. [4] Angel, E., Interactive Computer Graphics A Top-Down Approach with OpenGL Addison- Wesley. [5] Jeff Molofee, OpenGL Tutorials. nehe.gamedev.net. [6] Damiano Vitulli, DS LOADER.