Realidade Aumentada. Introdução. Introdução. Introdução. Realidade Aumentada 06/08/2013. Prof. Sementille 1

Transcrição

1 Sumário da Apresentação Realidade Aumentada Prof. Dr. Antonio Carlos Sementille Departamento de Computação/FC I VISÃO GERAL DE REALIDADE VIRTUAL E REALIDADE AUMENTADA Introdução - Interfaces Realidade Virtual: Definição e Caracterização Realidade Combinada e Realidade Aumentada (RA) Realidade Aumentada X Realidade Virtual Componentes de um Sistema RA Típico Principais Áreas de Aplicação da RA Introdução 1 VISÃO GERAL DE REALIDADE VIRTUAL E REALIDADE AUMENTADA Antes do advento do computador eletrônico: uso de interfaces naturais (sentidos) Computador eletrônico Novo processo de interação Abstração Treinamento Convergência de dois conceitos antagônicos: fusão do real com o virtual Introdução Interfaces: Décadas de 40 e 50 Chaves e lâmpadas Introdução Ex.: UNIVAC década de 50 UNIVAC COMPUTER COMMERCIAL 1950s(360p_H.264-AAC).mp4 - Atalho.lnk Prof. Sementille 1

2 Introdução Interfaces: Década de 60 Consoles sem vídeo saída impressa Introdução Interfaces: Década de 60 Terminais com vídeo primeiras interfaces gráficas rudimentares Introdução Interfaces: Décadas de 70 e 80 Popularização do Microcomputador Inicialmente: interface baseada em texto Interface gráfica e uso de recursos multimídia Introdução Interfaces: Décadas de 70 e 80 Interface gráfica e uso de recursos multimídia Interface texto Sistema DOS Interface Gráfica do computador Xerox Alto Interface Gráfica do computador Macintosh de 1984 Interface Windows 1.0 Realidade Virtual Definição de Realidade Virtual Termo criado por Jaron Lanier final década de 80 É uma interface avançada para aplicações computacionais, onde o usuário pode navegar e interagir, em tempo real, em um ambiente tridimensional gerado por computador, usando dispositivos multisensoriais Convergência de dois conceitos antagônicos: fusão do real com o virtual Prof. Sementille 2

3 Histórico Histórico - Sensorama Histórico Meados da década de 50 Sensorama Mort Heilig (cineasta) Visão tridimensional, som estéreo, vibração, vento, aroma passeando por NY Histórico - Sensorama Histórico - Cinemascope Morton Heilig's Sensorama (Interview).mov(360p_H.264-AAC).mp4 - Atalho.lnk Histórico Ivan Sutterland Sketch Pad Histórico Ivan Sutterland, Univ. de Harvard, capacete com imagens geradas por computador Sketchpad, by Dr. Ivan Sutherland with comments by Alan Kay.avi - Atalho.lnk Prof. Sementille 3

4 Histórico 1977 a Primeiras luvas CARACTERIZAÇÃO DE REALIDADE VIRTUAL (RV) Junção de três idéias básicas: Imersão Interação Envolvimento Estas três idéias deverão coexistir em um sistema de Realidade Virtual Imersão Sentimento proporcionado por estar dentro do ambiente sintético Depende do dispositivo externo empregado Com capacete (imersivo) Limitações técnicas e problemas no uso do capacete Sem capacete (não imersivo) Acompanha a evolução dos computadores Interação Capacidade do computador detectar as entradas do usuário e modificar instantaneamente o mundo virtual e as ações sobre ele Capacidade reativa Envolvimento Grau de motivação para o engajamento de uma pessoa a uma atividade O que é e o que não é RV O que não é RV: Filmes Desenhos animados Efeitos especiais Prof. Sementille 4

5 O que é e o que não é RV O que é RV: Alguns Videogames tridimensionais Sistemas de visualização 3D e Simuladores de Vôo (desde que permitam interação em tempo real) Alguns Dispositivos de Entrada de um Sistema de RV (não convencionais) Mouse 3D Luvas de Dados (DataGlove) Exoesqueleto Vestimentas com rastreadores corporais Alguns Dispositivos de Entrada de um Sistema de RV (não convencionais) Alguns Dispositivos de Entrada de um Sistema de RV (não convencionais) VirtuSphere Motion Capture expressões faciais Virtusphere 3D Game Interface(medium_H.264-AAC).avi - Atalho.lnk Dispositivos de Saída: Tecnologias de Display O mais simples Monitor comum (RV não imersiva) Dispositivos de Saída: Tecnologias de Display Projection displays CAVE-type ImmersaDesk (Univ. de Chicago) Head Mounted Displays (HMD) Imersivo Para fazer estéreo, uma imagem diferente para cada olho Trivial nos HMDs Uso de shutter glasses left & right imagens entrelaçadas Óculos polarizados ou óculos red/blue left & right imagens superpostas (ótica) Cave VR ImmersaDesk Prof. Sementille 5

6 Dispositivos de Saída: Tecnologias de Display CAVE-type Dispositivos de Saída: Tecnologias de Display Exemplo de CAVE - icube CAVE - A Virtual Reality Theater (240p_H.264-AAC).mp4 - Atalho.lnk EON Reality - Virtual Reality Solutions(360p_H.264-AAC).mp4 - Atalho.lnk REALIDADE COMBINADA (Mixed Reality) REALIDADE COMBINADA Pode ser definida como a sobreposição de objetos virtuais tridimensionais, gerados por computador, com o ambiente físico, mostrada ao usuário com apoio de algum dispositivo tecnológico, em tempo real REALIDADE AUMENTADA (RA) Realidade Aumentada é um sistema que suplementa o mundo real com objetos virtuais gerados por computador, parecendo coexistir no mesmo espaço AZUMA et al (2001). Uma Definição de Realidade Aumentada Uma área de investigação que pretende Desenvolver mundos que combinem O mundo real observado pelo usuário Com uma cena virtual gerada por computador e que aumente o mundo real com informação adicional. E com os quais o usuário possa interagir em Tempo Real Prof. Sementille 6

7 Objetivo Principal da RA Criar um sistema tal que o usuário não consiga distinguir o mundo real do virtualmente aumentado Ao usuário de tal utopia parecerlhe-ia estar num mundo perfeitamente real Realidade Aumentada Um exemplo O Bule está absolutamente inserido no Mundo Real Virtualidade Aumentada (V.A.) Sistemas onde imagens e objetos reais são inseridos em um mundo predominanteme nte gerado por computador. RA versus RV Realidade Virtual Imersiva: a imersão no mundo virtual é total. Ao usuário é completamente negado o acesso ao mundo real Realidade Aumentada: a imersão no mundo real é total. O usuário vê o mundo real que o rodeia...mas com objetos virtuais embutidos nesse mundo real ISMAR_TEATRO_INTERATIVO_MI2.avi - Atalho.lnk RA versus Hollywood Movies Outro exemplo: RA com efeitos especiais Muitos dos efeitos especiais recorrem à composição de imagens reais e virtuais Mas: Os efeitos especiais são aplicados quadro a quadro sobre um produto acabado O espectador não pode interagir com o filme Não é Realidade Aumentada BULE_INDEPENDENCY_DAY.AVI - Atalho.lnk Prof. Sementille 7

8 Tecnologias Interfaces com o Usuário Visual Rastreamento Acústica Interfaces com o Usuário Visualização Rastreamento Haptic/Tangível Interfaces com o Usuário: Visual Reconhecimento de Gestos Interfaces com o Usuário: Visual Leap Motion Exemplo: MIT s KidsRoom (1996): Integração Temporal Leap Motion(720p_H.264-AAC).mp4 - Atalho.lnk Interfaces com o Usuário: Acústica 2 Partes Síntese de Voz Reconhecimento de Voz Interfaces acústicas são combinadas com outras modalidades Interfaces com o Usuário: Haptic/Tangível Joystick, 3D-Mouse Objetos tangíveis Exemplos: CAR, SHEEP e o PIP do Studierstube Luvas de toque 1st Augmented Reality Voice Recognition- Starring Hatsune Miku.mp4 - Atalho.lnk Prof. Sementille 8

9 Visualização: Formas de Visualização Dispositivos de visualização HMDs PDAs Projeção Monitores Tecnologias para Visualização Mundo Real Baseadas em monitor (fish tank) Realidade Aumentada (opcionalmente em Stereo) Tridimensionalidade Displays separados Projeção polarizada Projeção com anaglifo Divisão de tempo Posição da Câmera Sistema Gráfico Objetos Virtuais Imagem Video Misturador de Video Video Aumentado Tecnologias para Visualização Capacete de RA Video See Through Tecnologias para Visualização Video See Through Mundo Real Video Aumentado Monitores Visão do Usuário Misturador de Video Imagem Video Objetos Virtuais Posição da Cabeça Sistema Gráfico Tecnologias para Visualização Optical See Through Tecnologias de Apresentação Optical See Through Capacete de RA Monitores Objetos Virtuais Posição da Cabeça Sistema Gráfico Mundo Real Lente (Mistura Óptica) Visão do Usuário Prof. Sementille 9

10 Tecnologias de Apresentação Optical See Through Tecnologias de Apresentação Optical See Through Google Glass Demo Google Glasses Project Glass demo(720p_h.264-aac).mp4 - Atalho.lnk Tecnologias de Apresentação Optical See Through Google Glass teste Veja Tecnologias de Apresentação Optical See Through Head-mounted display projects directly onto the retina Testamos o Google Glass(720p_H.264-AAC).mp4 - Atalho.lnk Head-mounted display projects directly onto the retina _ DigInfo(720p_H.264-AAC).mp4 - Atalho.lnk Optical versus Video Optical See-Through prós o mundo real é realmente observado em tempo real e diretamente pelo olho humano contras: é mais difícil controlar as defasagens porque só o canal virtual é processado eletronicamente conclusão: aparentemente mais simples torna-se de utilização mais limitada Tem sido abandonado em favor do Video See through Optical versus Video Video See-Through prós Podemos compensar o alinhamento e a latência porque tanto o mundo real (video) como o virtual são processados eletronicamente. contras: O mundo real observado está sempre atrasado em relação ao mundo real de fato (pelo menos um quadro ou 30 ms) conclusões: Aparentemente mais complexo é mais controlável Tem ganho preponderância sobre o Optical See through Prof. Sementille 10

11 Realidade Aumentada Espacial Realidade Aumentada Espacial Exemplo 1 Digital AirBrushing Digitial Airbrushing with Spatial Augmented Reality(360p_H.264-AAC).mp4 - Atalho.lnk Realidade Aumentada Espacial Exemplo 2 Opera com RA Espacial Visualização: Combinando Real e Virtual Optical see through Video see through Chroma keying Problema da Oclusão Rastrear todos os objetos reais Construção de Mapas de Profundidade a partir de imagens estéreo Técnicas especiais de projeção A Spatially Augmented Reality Opera Performance(360p_H.264-AAC).mp4 - Atalho.lnk Visualização: Desafios Contraste Brilho Resolução Campo de Visão Segurança Rastreamento: Métodos Rastreamento Óptico Marcadores Esferas IR Cartões (marcadores passivos) Formas e/ou texturas existentes no ambiente Prof. Sementille 11

12 Rastreamento: Desafios Erros Estáticos Distorções ópticas Configuração imprópria Desalinhamento mecânico Estratégias Cuidado Algoritmos para Autocalibração Erros Dinâmicos Atrasos relacionados ao Hardware Atrasos relacionados ao software Estratégias Aumentar a velocidade de processamento Renderização avançada Predizer o futuro Tecnologias de Rastreamento Tecnologias de Radiolocação Fraca precisão mas aplicáveis em grandes espaços Tecnologias Magnéticas Objetos metálicos introduzem erros...(abandonada...) Tecnologias Ópticas Diodos sensíveis à luz no teto - emissores luminosos no HMD - algoritmo calcula deslocamentos. Metodologias Gráficas (RA sem calibragem) Cálculos e transformações geométricas com base na imagem. Só para Video See Through. Tecnologias Híbridas Tecnologia Óptica (rude) - Métodos Gráficos (fino) Tecnologias de radiolocação - Ópticas e Gráficas (para grandes espaços) Um Sistema Típico Enfrenta Um Grande Problema Realidade Aumentada Distinguimos o real do virtual Melhor desempenho dos sistemas gráficos leva a mundos virtuais mais realistas Vemos demasiado bem! Defasagem Temporal entre o mundo real e o objeto virtual (latency) Defasagem Espacial entre o mundo real e o objeto virtual (registration) Principal Campo de Investigação na Realidade Aumentada Principais Aplicações Realidade Aumentada Educação Domínios aplicacionais Educação Entretenimento Manutenção e reparo Televisão Comércio Militar Projetos de Engenharia Robótica e Telerobótica Medicina Ambiente colaborativo do sistema Construct3D Interactive Media Systems Group, Vienna University of Technology) Construct3D-2.avi Prof. Sementille 12

13 Entretenimento - Games PS3 EYE OF JUDGEMENT Jogo de Batalha baseado em Cards Entretenimento - Games PS3 EYE OF JUDGEMENT Realidade Virtual Colaborativa Eye of Judgement Overview (HD)(720p).avi - Atalho.lnk Entretenimento - Games Parrot AR.Drone Entretenimento - Games Parrot AR.Drone (video 1) visão geral Flight Recorder GPS Tutorial(720p_H.264-AAC).mp4 - Atalho.lnk Entretenimento - Games Parrot AR.Drone (video 2) Realidade Aumentada Sistemas de Manutenção Durante a manutenção de uma impressora Laser o usuário vê como remover tabuleiro de alimentação de papel através da imagem em fio de arame gerada por computador. Grupo de Steve Feirner - Columbia University KARMA- (Knowledge-based Augmented Reality for Maintenance Assistance) NEW GAME_ AR.RESCUE 2 _Free App_(720p_H.264-AAC).mp4 - Atalho.lnk Prof. Sementille 13

14 Sistemas de Manutenção/Treinamento Outdoor Systems/GPS Tour Augmented Reality Training Demonstration - by Scope AR using the Epson Moverio BT-100(720p_H.264-AAC).mp4 - Atalho.lnk Augmented Reality GPS Tour Beyond Tomorrow(Medium).avi - Atalho.lnk Televisão: Chroma-Keying Televisão: Chroma-Keying O estúdio Virtual, ao recorrer a técnicas de RA, permite ultrapassar os problemas do tradicional chromakeying GMD Digital Media Lab: The Virtual Studio Fundo e Máscara do fundo Plano real e Máscara do plano real Mistura e Máscara da mistura No blue-room tradicional: a câmera é estática e o fundo também. Televisão: Chroma-Keying Como a câmera e o fundo não estão correlacionados se a câmera se movimenta, notar-se-iam distorções de perspectiva Televisão: Chroma-Keying No blue-room virtual: a câmera pode mover-se e o fundo é um cenário virtual 3D gerado por computador. A posição da câmera tem de ser seguida de maneira a manter as relações entre esta e o fundo Prof. Sementille 14

15 Televisão: Chroma-Keying Televisão: Chroma-Keying Vantagens do blue-room virtual: As pessoas frente às cameras podem mover-se livremente. Os cenários virtuais são facilmente alteráveis tanto antes como durante a produção. Os cenários são transportados no disco do PC e não na carroceria de um caminhão.. Stargate Studios Virtual Backlot Reel 2009(360p_H.264-AAC).avi - Atalho.lnk Cinema: Preview Cinema: Preview Avatar Simulcam SIMUL-CAM Avatar Simul Cam(360p_H.264-AAC).avi - Atalho.lnk Second Life Aumentado Comércio e Publicidade Decoração de Interiores Superimposição de peças decorativas virtuais nos interiores reais Vestuário Experimentar vestidos virtuais e executar as alterações nesses vestidos Institutos de Beleza Experimentar cortes de cabelo e executá-los sobre o modelo virtual Prof. Sementille 15

16 Design de Produto Design e Arquitetura Augmented Reality applied to Industrial Design(360p_H.264-AAC).avi - Atalho.lnk Augmented Reality for architects (English version)(720p_h.264-aac).mp4 - Atalho.lnk Design / Seleção de Materiais Comércio e Publicidade Mensagem de texto para carregar a aplicação RA Vê o conteúdo virtual aparecendo sobre o anúncio em papel photorealism.avi - Atalho.lnk Militar Projeção de informação no cockpit de um avião. Anotação e visualização em Projetos de Engenharia Sobreposição de imagens virtuais dos alvos no capacete do piloto. Sobreposição de imagens virtuais (captadas por satélite) do inimigo localizado fora do raio de visão no capacete do soldado aronsite-kuusankoski.avi - Atalho.lnk Prof. Sementille 16

17 Anotação e visualização em Projetos de Engenharia Augmented Reality through Graphic Overlays on Stereovideo (ARGOS)- University of Toronto Em sistemas de vigilância de instalações a imagem das camcorder é por vezes indistinta. O seu realce por wireframe ajuda o operador Um operador de telerobótica usa uma imagem visual do espaço de trabalho remoto para conduzir o robô. O aumento da imagem real com o modelo virtual (wireframe) facilita a visualização da geometria 3d remota. Robótica e Telerobótica Medicina Projeto sobre Cirurgia Guiada por Imagem Uma colaboração entre o Laboratório de IA do MIT e o Laboratório de Planejamento Cirúrgico Feminino de Brigham Medicina Projeto sobre Cirurgia Guiada por Imagem Construção de Modelos Tridimensionais As estruturas anatomicas que aparecem na RM ou na TC são explicitamente extraídas ou segmentadas antes de serem aplicadas no alinhamento de superficie para visualização 3D Medicina Tomografia cerebral com Realidade Aumentada Medicina Realidade Aumentada na Medicina Visualização volumétrica de alta qualidade Augmented Reality Brain(Medium).avi - Atalho.lnk MAR_ Volume Rendering in High Quality Visualization(Medium).avi - Atalho.lnk Prof. Sementille 17