Introdução à Multimídia. Fundamentos de RAR

Transcrição

1 Introdução à Multimídia Fundamentos de RAR Judith Kelner Arthur Callado Roteiro Definição Objetivo Exemplos Comparações Componentes Tecnologias Domínios de Aplicação ARToolkit Conclusões Referências 2-65

2 Definição Uma área de investigação que pretende Desenvolver mundos que combinem O mundo real observado pelo utilizador Com uma cena virtual gerada por computador e que aumente o mundo real com informação adicional. E com os quais o utilizador possa interagir em Tempo Real 3-65 Objetivo O Objetivo (utópico?) é criar um sistema em que o utilizador não consiga distinguir o mundo real do virtualmente aumentado. O utilizador desta utopia iria imaginar estar observando um mundo perfeitamente real 4-65

3 Alguns Exemplos A Torre Virtual está absolutamente inserida no mundo real 5-65 Alguns Exemplos O globo virtual Não existe no mundo real 6-65

4 O usuário vê a realidade através do Capacete (HMD) de RA Alguns Exemplos Podemos ver a RA no monitor 7-65 RA versus RV Realidade Virtual: a imersão no mundo virtual é total. O usuário não tem acesso ao mundo real. Realidade Aumentada: a imersão no mundo real é total. O usuário vê o mundo real a seu redor, mas com objetos virtuais embutidos nesse mundo real. 8-65

5 RA versus Hollywood Movies Muitos efeitos especiais de filmes recorrem à composição de imagens reais e virtuais Mas: Os efeitos especiais são aplicados quadro a quadro sobre um produto acabado. O espectador não pode interagir com o filme. Não é Realidade Aumentada 9-65 Muito Poder de Processamento! Componentes de um Sistema Típico Tecnologias de Apresentação Simples monitor (Fish Tank) Video See-through Optical See-through Tecnologias de Tracking (seguimento) Sensores Magnéticos Sensores Ópticos Sistemas Gráficos Sistemas Híbridos 10-65

6 Componentes de um Sistema Típico com Tracking Mundo Real Objeto Virtual Sistema de Tracking ( para alinhar a Câmara Virtual com a Câmara Real ) Câmara Virtual Sistema Gráfico Imagem Real Imagem Virtual Realidade Aumentada Componentes do Sistema Dispositivo de Captação de Imagem (DCI) Tracking (opcional) Sistema Gráfico para gerar objetos virtuais Um Sistema que misture os mundos. Dispositivo de Apresentação Capacete ou Monitor

7 Tecnologias de Apresentação baseadas em Monitor Mundo Real Realidade Aumentada (opcionalmente em Stereo) Posição da Câmera Imagem Video Sistema Gráfico Objetos Virtuais Misturadora de Vídeo Vídeo Aumentado Tecnologias de Apresentação baseadas em vídeo see through Capacete de RA Mundo Real Monitores Imagem Video Posição da Cabeça Visão do Utilizador Video Aumentado Misturadora de Video Objetos Virtuais Sistema Gráfico 14-65

8 Tecnologias de Apresentação baseadas em vídeo see through Tecnologias de Apresentação baseadas em optical see through Capacete de RA Monitores Objetos Virtuais Posição da Cabeça Sistema Gráfico Mundo Real Lente (Mistura Óptica) Visão do Utilizador 16-65

9 Tecnologias de Apresentação baseadas em optical see through Tecnologias de Apresentação baseadas em optical see through 18-65

10 Tecnologias de Apresentação - optical x Video see Through Optical see through: prós: o mundo real é realmente observado em tempo real e diretamente pelo olho humano. contras: é mais difícil controlar os desfasamentos porque só o canal virtual é processado eletronicamente. conclusão: aparentemente mais simples, torna-se de utilização mais limitada. Tem sido abandonado em favor do Video See through Tecnologias de Apresentação - optical x Video see Through Video see through: prós: podemos compensar o alinhamento e a latência porque tanto o mundo real (vídeo) como o virtual são processados eletronicamente. contras: O mundo real observado está sempre atrasado em relação ao mundo real de fato (pelo menos um quadro ou 30 ms). conclusões: Aparentemente mais complexo e mais controlável. Tem ganho preponderância sobre o Optical See through 20-65

11 Tecnologias de Tracking Tecnologias de Radiolocação Fraca precisão, mas aplicáveis em grandes espaços Tecnologias Magnéticas Objectos metálicos induzem a erros (abandonada...) Tecnologias Ópticas Diodos sensíveis à luz no teto- emissores luminosos no HMD - algoritmo calcula deslocamentos. Metodologias Gráficas (RA sem calibragem) Cálculos e transformações geométricas com base na imagem. Só para Video See Through. Tecnologias Híbridas Tecnologia Óptica (grosseira) - Métodos Gráficos (fino) Tecnologias de Radiolocação - Ópticas e Gráficas (para grandes espaços) Grande Problema Distinguimos o real do virtual Vemos muito bem! Melhor desempenho dos sistemas gráficos leva a mundos virtuais mais realistas Desfasamento Espacial entre o mundo real e o objeto virtual (registration) Desfasamento Temporal entre o mundo real e o objeto virtual (latency) 22-65

12 Domínios de Aplicação Navegação em espaços desconhecidos Uma simples visão de Raios X Manutenção e reparação Televisão Comércio Militar Projetos de Engenharia Robótica e Telerobótica Medicina Navegação em Espaços Desconhecidos A imagem virtual pode guiar um bombeiro numa estrutura habitacional desconhecida 24-65

13 Visão de Raio X A imagem virtual permite ver A temperatura dos canos Ou os fios elétricos no interior de uma parede Sistemas de Manutenção Durante a manutenção duma impressora Laser o utilizador vê como remover a gaveta de papel através da imagem wireframe computadorizada. Grupo de Steve Feirner - Columbia University KARMA- (Knowledge-based Augmented Reality for Maintenance Assistance) 26-65

14 Televisão: Chroma-Keying O estúdio Virtual, ao recorrer a técnicas de RA, permite ultrapassar os problemas do tradicional chromakeying GMD Digital Media Lab: The Virtual Studio Televisão: Chroma-Keying Fundo e Máscara do fundo Plano real e Máscara do plano real Mistura e Máscara da Mistura 28-65

15 Televisão: Chroma-Keying No blue-room tradicional: a camera é estática e o fundo idem Como a camera e o fundo não estão correlacionados, se a camera movimenta-se notam-se distorções de perspectiva Televisão: Chroma-Keying No blue-room virtual: a câmera pode mover-se e o fundo é um cenário virtual 3D gerado por computador. A posição da câmera deve ser seguida de forma a manter as relações entre esta e o fundo 30-65

16 Televisão: Chroma-Keying Vantagens do blue-room virtual: As pessoas frente às câmeras podem movimentar-se livremente. Os cenários virtuais são facilmente alteráveis tanto antes como durante a produção. Os cenários são transportado no disco do PC e não em um caminhão Comércio Decoração de Interiores Sobreposição de peças decorativas virtuais nos interiores reais Vestuário Experimentar vestidos virtuais e executar alterações nesses vestidos Institutos de Beleza Experimentar cortes de cabelo e executá-los sobre o modelo virtual 32-65

17 Militar Projecção de informação no cockpit de um avião Sobreposição de imagens virtuais dos alvos no capacete do piloto Sobreposição de imagens virtuais (de satélite) do inimigo localizado fora do raio de visão no capacete do soldado SIMNET - sistema distribuído de simulação dos jogos da guerra Visualização em Projetos de Engenharia European Computer-Industry Research Centre (ECRC) O utilizador aponta para determinada localização e o sistema de RA mostra a respectiva legenda

18 Visualização em Projetos de Engenharia Augmented Reality through Graphic Overlays on Stereovideo (ARGOS)-University of Toronto Em sistemas de vigilância de instalações a imagem das câmeras é por vezes indistinta. O seu realce por wireframe ajuda o operador Robótica e Telerobótica Um operador de telerobótica usa uma imagem visual do espaço de trabalho remoto para conduzir o robô. O aumento da imagem real com o modelo virtual (wireframe) facilita a visualização da geometria 3d remota

19 Robótica e Telerobótica O operador testa a operação com a imagem virtual. E manda executar apenas a sequência de passos completa para obtenção dos resultados desejados Robótica e Telerobótica 38-65

20 Medicina Projeto de Cirurgia Guiada por Imagem Uma colaboração entre o Laboratório de IA do MIT e o Laboratório de Planejamento Cirúrgico Feminino de Brigham Medicina Objetivo: Suportar cirurgia guiada por imagem Vamos ver: Construção de modelos tridimensionais A sala de operações Digitalização por laser Alinhamento espacial Visualização da Realidade Aumentada 40-65

21 Medicina Construção de Modelos Tridimensionais As estruturas anatômicas que aparecem na RM ou na TC são Explicitamente extraídas ou Segmentadas antes de serem aplicadas no alinhamento de superficie para visualização 3D Medicina A Sala de Operações Braço Articulado Video câmera calibrada por laser Digitalizador Laser Dispositivo de seguimento SUN UltraSPARC workstation Hardware do digitalizador laser 42-65

22 Medicina Digitalização por Laser O modelo 3D obtido a partir da RM é alinhado com a posição do paciente na mesa de operações recorrendo a um digitalizador laser Medicina Alinhamento Espacial O modelo 3D obtido a partir da RM é projetado no cérebro do paciente deitado na sala de operações 44-65

23 Medicina Visualização da Realidade Aumentada Removendo a pele do modelo tridimensional obtido a partir da RM o cirurgião passa a dispor de visão de raio X sobre a estrutura interna relativa à posição da câmera de vídeo ARToolKit Biblioteca de Realidade Aumentada Open Source C/C++ OpenGL VRML (opcional) Multi-Plataforma Windows, Linux, SGI Irix e Macintosh OS X Versão Utilizada: Mais nova:

24 ARToolKit Ambiente Windows DSVideoLib Microsoft DirectShow Independência de dispositivo Compatibilidade com câmeras no padrão WDM Performance ARToolKit Ambiente Windows Pré-requisitos Microsoft Visual Studio.NET 2003 ou Visual Studio 6 DSVideoLib win32 GLUT Microsoft DirectX SDK 9.0b ou superior 9.0c Outubro 2004 ou superior exige SDK Xtras Package OpenVRML win32 (opcional) 48-65

25 ARToolKit Ambiente Linux Pré-requisito OpenVRML e dependências (opcional) jartoolkit Wrapper em Java do ARToolKit Open Source JNI GL4Java, JOGL e Java3D Ambiente Windows Funcionalidade Limitada Versão Atual:

26 Pré-Requisitos jartoolkit JDK/JRE 1.3 ou superior Java3D 1.3 ou superior (opcional) JOGL (opcional) GL4Java (opcional) ARVideoLib 0.0.5a C++ Project (opcional) Artigos e Demos ARTag Revision 1, a Fiducial Marker System Using Digital Techniques, Mark Fiala 52-65

27 Artigos e Demos ARTag Revision 1, a Fiducial Marker System Using Digital Techniques, Mark Fiala Artigos e Demos ARTag Revision 1, a Fiducial Marker System Using Digital Techniques, Mark Fiala 54-65

28 Artigos e Demos CamBall - Augmented Networked Table Tennis Played with Real Rackets, Charles Woodward Artigos e Demos The Magic Table - Computer-Vision Based Augmentation of a Whiteboard for Creative Meetings - François Bérard 56-65

29 Artigos e Demos ARKB - An Augmented Reality Keyboard, Minkyung Lee and Woontack Woo Artigos e Demos ARPushPush - Augmented Reality Game in Indoor Environment, Kiyoung Kim, Minkyung Lee, Youngmin Park, Woontack Woo 58-65

30 Artigos e Demos Tangible Hypermedia using the ARToolKit, Patrick Sinclair and Kirk Martinez Artigos e Demos Tangible Hypermedia using the ARToolKit, Patrick Sinclair and Kirk Martinez 60-65

31 Artigos e Demos Tangible Hypermedia using the ARToolKit, Patrick Sinclair and Kirk Martinez Idéias Extensão do ARToolKit Detecção de Padrões de Movimento Padrões 2D e 3D Aplicações Escrita à mão usando RA Jogos 62-65

32 Idéias Detecção de Padrões Sonoros Conclusões Várias das aplicações apresentadas já dispõem de sistemas comerciais em utilização. As principais dificuldades atuais são: A precisão da sincronização espacial e temporal da imagem virtual com a real. O tracking do usuário e de objetos que se movam na cena real. Os objetos virtuais têm (muitas vezes) uma aparência demasiadamente simples 64-65

33 Referências Interessantes ARToolkit, BRAZ, José, Olhares. Grupo de Pesquisa em Realidade Virtual e Multimídia do CIn UFPE: Virtual Reality Technology Second Edition: gy/resources.html 65-65