Agenda. Colaboração Móvel com Realidade Aumentada. Conceitos. Conceitos. Conceitos. Conceitos. Conceitos Aplicações Tecnologias Projetos Conclusão

Transcrição

1 Colaboração Móvel com Realidade Aumentada Denise Del Re Filippo Computação Móvel Agenda Tecnologias Projetos Conclusão Realidade Virtual ambiente tridimensional, interativo e gerado por computador no qual a pessoa é imersa [Aukstakalnis e Blatner, 1992] é uma interface avançada para aplicações computacionais, onde o usuário pode navegar e interagir, em tempo real, em um ambiente tridimensional gerado por computador, usando dispositivos multisensoriais [Kirner, a publicar] Realidade Aumentada é o enriquecimento do ambiente real com objetosvirtuais, usando algum dispositivo tecnológico, funcionando em tempo real [Kirner] é uma melhoria do mundo real com textos, imagens e objetos virtuais, gerados por computador [Insley] Realidade Aumentada [Azuma 2001] sistemaquepossuias seguintes características: combina objetos reais e virtuais num ambiente real; opera interativamente, e em tempo real, e registra (alinha) objetos reais e virtuais uns com os outros Realidade Aumentada não se restringe a tecnologias particulares, como HMD (Head Mounted Display) não se limita ao sentido da visão inclui remoção de objetos reais (chamada por alguns de realidade mediada ou realidade diminuída) meta ambiente deve parecer real o suficiente para que não se perceba o que é real e o que é virtual

2 Diferenças entre RA x RV nível de imersão no sistema gerador de cenas em RA a renderização não é o maior problema, pois substituição total da realidade não é necessária dispositivos de apresentação também por não precisar substituir a realidade, dispositivos de apresentação não têm que ter excelente resolução e podem até ser P&B erros de registro (alinhamento) rastreamento e sensoreamento Diferenças entre RA x RV dados de entrada e de saída VR: poucos dados de entrada e muitos de saída RA: muitos dados de entrada e poucos de saída Continuum de Milgran (1994): ambiente real-ambiente imaginário Realidade Misturada [Milgram] é aquela na qual os objetos do mundo real e do mundo virtual são apresentados juntos através de um único dispositivo de apresentação, ou seja, em qualquer lugar entre os extremos do virtuality continuum. Realidade Misturada realidade aumentada, quando há predominância do real sobre o virtual virtualidade aumentada, quando há predominância do virtual sobre o real Histórico da RA Sutherland em 1960, usou um HWD see-through para apresentar gráficos 3D voltou a ser estudada a partir de Survey de Ronald Azuma atualizado em 2001 final da década de 90 trabalhos se aceleraram primeiras conferências primeiras organizações Toolkit free para desenvolvimento rápido de aplicações RA: ARToolkit Motivação pode ser útil em qualquer aplicação que apresente informação não diretamente disponível ou não percebidapelos sentidos humanos [Robinett]

3 Medicina Militar Jogos Entretenimento Busca de informações Projetos de Engenharia

4 Fabricação e manutenção Manuais Consumo e comércio Esportes Tecnologias Sistemas de Realidade Aumentada capturar posicionamento do usuário, gerar os objetos virtuais pertinentes, misturar e apresentar aspectos de computação gráfica: ok duas áreas fortes nas pesquisas em RA dispositivos de apresentação registro preciso interação Dispositivos de apresentação tecnologia de vídeo video-through Head-Worn Display (HWD) monitores PDAs tecnologia ótica see-through HWM tecnologia de projeção

5 Vídeo: monitor e PDA Video-through HWD See-through HWD See-through HWD HWD Video-through x See-through compensação de atrasos opacidade resolução quantidade de luz, brilho, foco, campo de visão acomodação do olho paralaxe segurança uso para registro custo Projeção imagens projetadas sobre objetosreais diretamente múltiplas projeção em objetos não planos

6 Projeção HWProjectors projeção na linha de visão + objetos preparados com cobertura de material retroreflexivo possibilidade de realidade mediada uso em grupo Tecnologias: interação Dispositivos de interação suportes sobre o qual são projetados comandos canetas teclados mouses 6DOF luvas especiais para rastreamento dos gestos PDA Tecnologias: registro Registro: problema crucial figura bóia ou some atrás do objeto real principal causa: atraso na geração da imagem alinhamento deve ser acurado exemplo: agulha de biópsia! olho percebe diferenças de um minuto de arco a diferença de um pixel pode ser percebida Tecnologia: registro Registro para misturar os objetos, devo posicioná-los para posicioná-los, devo relacionar as coordenadas para relacionar as coordenadas, devo saber qual é a cena real para saber qual é a cena real, devo saber a posição e orientação do usuário para saber a posição e orientação do usuário, uso rastreadores observação: há dificuldade de rastreamento em ambientes externos Tecnologia: registro Registro outside looking in e inside looking out elementos rastreados cabeça/capacete, mãos, objetos que se movem vários usuários tipos de rastreadores mecânico, magnético, ultrassônico, inercial, ótico, vídeo pode-se usar uma combinação destes

7 Tecnologia: registro Registro a imagem da cena capturadapelo vídeo pode ser usada para fins de registro utilização de marcadores: padrões visuais, uso de leds nos objetos dificuldade da colocação de marcadores em ambientes externos Tecnologia: registro Registro mais difícil de ser conseguido em ambientes externos normalmente semmarcadores baixo alcance dos rastreadores percepção de profundidade é dificultada necessidade de rastrear objetos que se movem dificuldadeparaposicionar osobjetosem profundidade Projetos Aspectos de Mobilidade muito adequada como uma interface de usuário e particularmente poderosa para aplicações sensíveis à localização o mundo se torna a interface [Höllerer 1999] ubiqüidade e realidade aumentada Projetos Aspectos de Colaboração pesquisas direcionadas para: integração suave com ferramentas e práticas já existentes melhoria na colaboração entre usuários próximos e remotos MARS Mobile Augmented Reality Systems Touring Machine primeiro sistema AR para ambiente externo (1996) guia de localização e consulta sobre pontos de interesse Mobile s Journalist Workstation apresenta informação multimídia através de documentários localizados que contam a história do campus inclui apresentação de modelosimplificado de prédios demolidos e passeio pelosistema de túneis (fisicamente inacessível) UI s for Indoor/Outdoor Collaboration usuário outdoor pode ser monitorado e guiado através de usuários experts indoor usuário outdoor relata suas impressões ao expert usuário indoor tem acesso ao log de atividades dos usuários outdoor usuário indoor cria, edita e associa informações a objetos reais

8 Objetivos testar necessidades do usuário em sistemas sensíveis a contexto verificar como se dáa colaboração em ambientes computacionais diferentes explorar tipos de interface para interagir com um hiperdocumento espacializado trabalhar com interfaces híbridas de dispositivos de apresentação Interfaces wearable notebook com acelerador gráfico 3D e placa de rede wireless HWM see-through 800 x 600 e hear-through GPS e rastreamento inercial/magnético para orientação PDA com caneta e com trackpad(posicionado atrás) comunicação via rádio que possibilita controlar o que é apresentado no HWM desktop ou projeção indoor AR imersivo indoor HWM see-through 800 x 600 rastreador ultrasônico e inercial 6DOF para cabeça e mãos Interface infos referenciadas no mundo x referenciadas na tela bandeirinhas representam nós com informações menu ligado à bandeira seta indica objeto selecionado texto brilha quando se aproxima do centro permanência num ponto faz com que ele seja selecionado Interface dados adicionais são mostrados no PDA, que possui referências cruzadas com o HWD através dos PDAs, usuário revê sua posição e objetos selecionados indoor: várias janelas mostram objetos diferentemente indoor: através do menu principal do desktop, o usuário podecriar objetos, como bandeiras ou caminhos, deletá-los ou buscar informações sobre eles

9 Rede outdoor/indoor falam-se através da rede wireless do campus Ambiente de desenvolvimento inclui um módulo que simula no interior um usuário no exterior Software aplicação no backpack PDA recebe informação contínua do sistema GPS, do rastreador de orientação e do trackpad gera o gráfico 3D e a interface no HWD possui servidor HTTP próprio BD banco relacional que possui modelo do ambiente real e virtual indoor usa plataforma de desenvolvimento com JAVA/JAVA3D para as interfaces desktop e imersiva e para interface com o BD outdoor e simulação indoor plataforma de desenvolvimento : Coterie Softwares adicionais Coterie ambiente de prototipagem rápida para desenvolvimento de ambiente virtuais distribuídos múltiplos usuários podem operar simultaneamente e interagir com dispositivos de entrada e de apresentação heterogêneos segue modelo de programação orientada a objeto, modular e multi-thread suportacomunicação distribuída Softwares adicionais MARS Authoring Tool ferramentacom interface gráfica 3D para auxiliar não programadores a criar e editar os documentários localizados Video OCAR: Outdoor Colaborative Augmented Reality é um sistema de navegação no espaço urbano turistas passeiam numa cidade, recebem informações, fazem anotações e são guiados a destinos selecionados enfatizam o potencial da AR quando usada para informação baseada na localização as funcionalidades se apóiam em colaboração sistema necessita informação detalhada do ambiente do usuário : representação geométrica, elementos contextuais e de semântica

10 Hardware backpack notebook 2Ghz, acelerador gráfico, WinXP placa de rede wireless DGPS (posição) capacete see-through HWD estereoscópico sensor de orientação câmera para rastreamento touchpad vestido no cinto ou PDA Software StudierStube: plataforma de software usada para o desenvolvimento de aplicações AR provê ambiente multi-usuário e multi-task suportauma grande variedade de dispositivos de apresentação suportarastreamento 6DOF, com um middleware chamado OpenTracker extensões do OpenInventor mudanças numa parte da cena são comunicadas a outras instâncias da aplicação de maneira transparente para o programador Software OpenInventor toolkit 3D orientado a objetoque oferecesoluções para problemas de programação gráfica interativa Interface usa objetos gráficos, texto, imagens e objetos 3D paraprover informação abstrata e representação alternativa ou enfatizar aspectos do mundo real controle via touchpad opção entre busca de informações, navegação e anotação Busca de informações ícones sinalizam existência informações seleção feita olhando-se para o ícone interseção do raio virtual com marcação na representação geométrica do prédio grupo de ícones pode ser selecionado colaboração: usuários podem compartilhar sua seleção de tópicos guias podem controlar a seleção para um grupo de turistas usuáriopode disparar informações detalhadas no visor do outro usuário Anotações usuáriospodem colocar ícones virtuais nas estruturas e prédios ícones: podem ter cores e formas diferentes recebem o nome de seu criador colaboração: usuáriopodem compartilhar ícones usuáriopode apontar objetos para outros usuários

11 Navegação menor caminho é computado usuário escolhe destino barras e setas indicam o caminho reatividade: caminho é recomputado se usuário não segue o caminho proposto informação adicional caso o usuário esteja olhando na direção errada modos de colaboração: follow, guide, meet Gerenciamento dos dados há necessidade modelo dos dados referenciadospela localização sistema utiliza um BD XML para um modelo comum às várias aplicações dados de entrada são transformados para serem armazenados no BD XML cadaaplicação trataráas informações necessárias e da forma desejada Gerenciamento dos dados arquitetura em 3 camadas: camada 1: BD central que armazena todo o modelo camada 2: converte o modeloda BD em estruturas próprias para a aplicação e vice-versa camada 3: a aplicação propriamente dita Observações e conclusões elementos de colaboração enriqueceram o sistema base de dados integrada entre aplicacões provê escalabilidade de aplicações sensíveis à localização resultados do GPS não são acurados área deve ser aberta: prédios altos bloqueiam acesso ao satélite utilização do StudierStube facilitou desenvolvimento Vídeo

12 (Video) Outros vídeos Projeto SignPost The Invisible Train Conclusão Questões a seremtrabalhadas necessidade de melhoria das tecnologias básicas equipamentos de melhor qualidade e mais confortáveis, leves, baratos, com menor consumo de energia precisão do registro oclusão profundidade de campo soluções paraambientes externossão desafio registro e rastreamento ainda com restrições, muitos equipamentos e custo alto em poucos casos poderão ser colocados marcadores gps ainda impreciso e necessita de visada Conclusão Questões a seremtrabalhadas problemas de mais alto nível começam a ser estudados tipos de interface adequadas para o usuário maior diversidade de dispositivos tratamentodos diversos tipos de conteúdo localização adequada dos dados representação dos dados possibilidade de fazer consultas e obter respostas filtragem de informações sobrecarga de informação rendering foto-jornalístico confortodo usuário Conclusão Mobilidade utilizada como infra-estrutura grande potencial com aplicações sensíveis à localização WorldBoard : um hipertexto espacial, com abrangência mundial, de informações ancoradas a locais e objetosfísicos [Spohorer 1997] Conclusão Colaboração compartilhamento e conflito/colisão privacidade aspectos de interface para melhoria da colaboração Conclusão Outras questões aceitação social dificuldade de acesso aos recursos de RA Novas oportunidades benefícios são claros

13 Referências [Azuma 1997] Azuma, Ronald T. A Survey of Augmented Reality. Presence: Teleoperatorsand Virtual Environments 6, 4 ( Agosto 1997), Versão anterior foi apresentada em CourseNotes #9: Developing Advanced Virtual Reality Applications, ACM SIGGRAPH '95 ( Los Angeles, CA, 6-11 Agosto 1995), 20-1 a 20-38, disponível em [Azuma 2001] Azuma, R. Baillot, Y, Behringer, R, Feiner, S, Julier, S. MacIntyre, B. Recent Advances in Augmented Reality. IEEE ComputerGraphics and Applications 21, 6 (Novembro/Dezembro 2001), disponível em [Milgram 1994] Milgram, P. and F. Kishino (1994). "A Taxonomy of Mixed Reality Visual Displays." IEICE Transactions on Information Systems, Vol E77-D, No.12 December Disponível em [Robinett] Citado em Azuma 1997 [Spohrer] Spohrer, J. What comes after the WWW?, ISITalk Para outrasreferências, veja a bibliografia da monografia.