TIARI: Uma Interface para Entrada de Texto em Sistemas de Realidade Aumentada por

Transcrição

1 Pós-Graduação em Ciência da Computação TIARI: Uma Interface para Entrada de Texto em Sistemas de Realidade Aumentada por Isabel Wanderley da Silveira Universidade Federal de Pernambuco Recife, Agosto / 2007

2 ii Universidade Federal de Pernambuco Centro de Informática Pós-graduação em Ciência da Computação TIARI: Uma Interface para Entrada de Texto em Sistemas de Realidade Aumentada por Isabel Wanderley da Silveira Dissertação submetida ao Centro de Informática da Universidade Federal de Pernambuco, como requisito parcial para obtenção do grau de Mestre em Ciência da Computação. Dissertação orientada por Djamel F. H. Sadok Professor Adjunto do Centro de Informática da Universidade Federal de Pernambuco Co-orientada por Veronica Teichrieb Pesquisadora Visitante do Centro de Informática da Universidade Federal de Pernambuco Recife, Agosto de 2007.

3 iii Silveira, Isabel Wanderley da TIARI: Uma Interface para Entrada de Texto em Sistemas de Realidade Aumentada. Isabel Wanderley da Silveira Recife: O autor, xii, 101 p. : il., fig., tab. Dissertação (mestrado) Universidade Federal de Pernambuco. CIN. Ciência da Computação, Inclui bibliografia e anexos. I. Realidade Virtual. 2. Realidade Aumentada. 3. Interface de Interação. 4. Entrada de texto. 5. Avaliação de Usabilidade. I. Título CDD (22.ed.) MEI

4 A Deus, meus pais, avó, Tay, amigos e marido pelo amor e paciência durante este período de desenvolvimento desta dissertação iv

5 v Agradecimentos Gostaria de agradecer a todas as pessoas que me ajudaram a construir este trabalho e que me deram forças e confiaram em mim nos momentos de tristeza e fraqueza que passei durante este período de elaboração desta dissertação. Em especial ao Grupo de Pesquisa em Realidade Virtual e Multimídia (GRVM) que me deu total apoio ao longo deste trabalho. Gostaria de destacar Joma, João Grandão, Mouse, Luiz, Daliton e Judith, todos pertencentes ao GRVM, que deram uma ajuda muito grande no desenvolvimento deste trabalho de mestrado, sem eles nada disso seria possível. Queria agradecer também à paciência e disposição dos que me ajudaram a fazer meus testes de usabilidade, sem eles meus resultados não seriam possíveis. Gostaria de agradecer também ao meu orientador, Djamel, por ter acreditado em meu trabalho. Meu maior agradecimento gostaria de fazer à minha co-orientadora Vt que sempre confiou em mim e me deu forças e total apoio para conseguir concluir bem esta dissertação, sem ela nada disso seria possível. Também gostaria de homenagear meus pais e minha avó que sempre me deram todo apoio necessário em relação aos meus estudos, sempre me estimulando e dando forças quando eu precisei. Além deles, gostaria de agradecer à minha melhor amiga, Tay, que em todos os momentos me apoiou e me deu forças para continuar e alcançar o objetivo desejado através desta dissertação de mestrado. Além destas queridas pessoas citadas acima, gostaria de fazer agradecimento ao meu marido, Eduardo Dominoni, a quem eu recorri em vários momentos de angústia e quem me confortou e me ajudou a conseguir esta vitória. Gostaria de homenagear nesta dissertação meus amigos mais próximos, Yzmurph, Fernando, Nyx, Joule, Dedeko, Coelhinho, Van, Belz, Jó, Nando e todos os outros que também sempre me deram apoio e carinho quando eu precisei. Por fim, gostaria de agradecer ao pessoal da Meantime pelo apoio e força ao longo destes anos de mestrado.

6 vi Resumo Interfaces de Realidade Aumentada sobrepõem informações virtuais em cenas do mundo real, aumentando a realidade do usuário pela interação tanto com os objetos virtuais quanto os reais. Para permitir a interação do usuário com estas aplicações, vários tipos de interface vêm sendo propostos com a finalidade de fazer com que esta interação seja feita de forma simples, eficiente e intuitiva. Algumas aplicações de Realidade Aumentada têm a necessidade de entrada de texto, e com isso diversas formas de entrada de texto foram propostas, como teclados virtuais, teclados pinch, gestos, entre outros. Porém, algumas destas formas de interação são caras, incômodas ou difíceis de serem utilizadas por usuários leigos. Portanto, o objetivo dessa dissertação foi propor uma interface para dar suporte à entrada de texto neste tipo de sistemas. Esta interface, chamada TIARI (Text Input Augmented Reality Interface), consiste em uma interface que mescla um teclado virtual, gestos e a utilização de uma interface bare hand com marcadores fiduciais. Para auxiliar no desenvolvimento da TIARI, diversas bibliotecas utilizadas na construção de aplicações baseadas em vídeo com marcadores foram estudadas, a fim de serem escolhidas as mais adequadas à sua implementação. A TIARI utiliza marcadores fiduciais pequenos na mão do usuário, portanto uma biblioteca para fazer a detecção destes marcadores foi utilizada, o ARTag. Além dela, foi utilizada, também, uma biblioteca para captura de vídeo e para renderização dos objetos 3D, o OpenCV e o OGRE com o sistema de renderização OpenGL. Além destas, pode-se destacar como base no desenvolvimento da TIARI o OgreAR, responsável por facilitar o desenvolvimento de aplicações de RA, criando uma camada de abstração para as bibliotecas de detecção de marcadores e captura de vídeo. A fim de validar a interface desenvolvida, TIARI foi integrada a um sistema de Realidade Aumentada existente, o mivadesk, que é um desktop virtual 3D. Além disto, TIARI foi avaliada através de um estudo de usabilidade realizado, onde a interface foi comparada a um teclado soft existente no mivadesk. Como resultado desse estudo, a TIARI foi avaliada como de fácil utilização, e apresentou uma média de digitação mais

7 vii alta que o teclado soft do mivadesk. Porém, comparando-se a TIARI ao teclado convencional de layout QWERTY ela obteve um desempenho baixo. Palavras Chaves: Realidade Aumentada, Interface de Interação, Entrada de Texto, Avaliação de Usabilidade.

8 viii Abstract Augmented Reality interfaces overlap virtual information in a real world scene, augmenting the user s reality by interacting with virtual and real objects. To make this interaction possible, lots of interfaces were developed trying to make this interaction simple, efficient and intuitive. Some Augmented Reality applications need text input and interfaces like virtual keyboards, pinch keyboards, gestures, and others were proposed to make this interaction possible. However, some of these ways to interact are expensive, unconfortable or hard to be used by non expert users. So, this dissertation proposes a new interface for text input in Augmented Reality applications. This interface, called TIARI (Text Input Augmented Reality Interface) is a mixture of a virtual keyboard, gestures and a barehand interface using fiducial markers. To help on TIARI s development, some libraries commonly used on the development of video based applications that use markers were studied, in order to choose the best ones to implement this kind of application. TIARI uses small fiducial markers in the user s hand, so the ARTag marker detection library was used. Besides this, a video capture and a render library were used: OpenCV and OGRE using the OpenGL render system. In addition to this, an important library called OgreAR was used as TIARI s base. This library is responsible for making the development of Augmented Reality applications easier, creating an abstraction layer to the marker detection and video capture libraries. To validate the developed interface, TIARI was integrated with an existent application, a 3D virtual desktop called mivadesk. To evaluate TIARI s usability, a usability study was made using TIARI and the soft keyboard existent in mivadesk. As a result of this evaluation, TIARI was evaluated as easy to use and presented a higher typing rate compared to the mivadesk soft keyboard. However, in a comparison made with a traditional QWERTY keyboard, TIARI got a low performance. Keywords: Augmented Reality, Interaction Interface, Text Input, Usability Evaluation.

9 ix Sumário Agradecimentos... v Resumo... vi Abstract... viii Lista de Figuras... xi Lista de Tabelas... xiii Lista de Tabelas... xiii Acrônimos... xiv Capítulo Introdução Motivação Objetivo Organização do Documento Capítulo Sistemas de Realidade Aumentada Interativos Conceitos Básicos de RA Interfaces de Visualização e de Interação Interfaces de Visualização Interfaces Translúcidas Interfaces Baseadas em Monitor Interfaces Espacialmente Imersivas Interfaces Baseadas em Projetores Interfaces de Interação Interfaces Tradicionais de RV Interfaces Bare Hand Interfaces Tangíveis Interfaces Móveis Interfaces Colaborativas Técnicas para Entrada de Texto Baseadas em Teclado Baseadas em Caneta Baseadas em Gestos Baseadas em Reconhecimento de Voz Considerações sobre a Aplicação das Técnicas Aplicações de RA com Suporte a Entrada de Texto Bibliotecas para o Desenvolvimento de Aplicações de RA Bibliotecas para Detecção de Marcadores ARToolkit ARTag ARToolkitPlus...51

10 x Bibliotecas para Captura de Vídeo DSVideoLib OpenCV Bibliotecas para Renderização OpenGL DirectX OGRE Biblioteca para Desenvolvimento de Aplicações de RA: OgreAR Considerações Finais Capítulo TIARI Text Input Augmented Reality Interface Contexto de Uso Metodologia Adotada Modelo Implementação Estudo de Caso: mivadesk Considerações Finais Capítulo Avaliação de Usabilidade da Interface TIARI Introdução Método Utilizado Resultados Considerações Finais Capítulo Conclusão Principais Contribuições Dificuldades Encontradas Trabalhos Futuros Referências Bibliográficas Anexo A Anexo B Anexo C Anexo D Anexo E

11 xi Lista de Figuras Figura 1. Continuidade Virtual Figura 2. Marcadores fiduciais Figura 3. Display Translúcido Ótico Figura 4. Display Translúcido Baseado em Vídeo Figura 5. Display Translúcido Ótico: (a) Imagem ghosted sem oclusão mútua; (b) Imagem com a oclusão correta Figura 6. HMD com câmera acoplada utilizado na TIARI Figura 7. Display Baseado em Monitor Figura 8. Ambiente Blue-c que utiliza um Display Espacialmente Imersivo Figura 9. Ambiente para utilização de uma Interface Baseada em Projetor Figura 10. Aplicação Magic Table Figura 11. Luva de gestos utilizada na TIARI Figura 12. Luva com marcadores Figura 13. Aplicação HandSmart Figura 14. Interface bare hand utilizada na TIARI: (a) Luva com marcadores para tracking; (b) Interface do teclado Figura 15. Marcadores para detecção durante a interação Figura 16. A interface tangível I/O Brush Figura 17. Wearable Computer Figura 18. Plataforma miva Figura 19. Colaboração Face a Face Figura 20. Videoconferência através de Colaboração Remota Figura 21. Teclado em miniatura Figura 22. Teclado com poucas teclas Figura 23. Teclado chord Figura 24. Chording Gloves Figura 25. Teclado Pinch: (a) Luvas pinch; (b) Ambiente virtual Figura 26. Teclado Soft Figura 27. ARKB (Augmented Reality Keyboard) Figura 28. Técnica de reconhecimento de caracteres Graffiti Figura 29. Técnica de reconhecimento de palavras Cirrin Figura 30. Utilização da técnica de tinta digital no Virtual Notepad Figura 31. Interface baseada em teclado pinch utilizada em aplicação militar Figura 32. ARLib: (a) Forma de busca de livros. (b) Grafitti Pad Figura 33. Aplicação ARLib Figura 34. Aplicação MagicMeeting Figura 35. Teclado soft do mivadesk Figura 36. Fluxo de aplicações de RA baseadas em vídeo com marcadores fiduciais. 47 Figura 37. Marcadores fiduciais baseados em template utilizados pelo ARToolkit Figura 38. Fluxo de funcionamento do ARToolkit Figura 39. Padrões de marcadores baseados em ID do ARTag Figura 40. Detecção de marcadores: (a) e (b) com ARToolkit; (c) com ARTag Figura 41. Marcadores do ARToolkitPlus Figura 42. Arquitetura do OGRE Figura 43. Arquitetura do OgreAR Figura 44. Processo interativo de design de interfaces... 60

12 Figura 45. Visualização do teclado deslizante da TIARI Figura 46. Dispositivos utilizados na TIARI Figura 47. Digitação com a TIARI Figura 48. Detecção de marcadores com a ponta dos dedos Figura 49. Layout do teclado TIARI Figura 50. Bibliotecas utilizadas pela TIARI Figura 51. Arquitetura da TIARI Figura 52. Diagrama de classes da TIARI Figura 53. Problema de detecção de marcadores Figura 54. Problema de oclusão de marcadores Figura 55. Arquitetura do mivadesk Figura 56. Diagrama de classes da TIARI e mivadesk integrados Figura 57. Gráfico da média de digitação das frases Figura 58. Resultado da análise de conforto do usuário xii

13 xiii Lista de Tabelas Tabela 1. Video See-Through HMD X Optical See-Through HMD... 23

14 xiv Acrônimos API ASCII CAD COM CV DV HMD GNU GPL LGPL PDA RA RM RV SID SGI SO TIARI TUI USB VA WoW Application Programming Interface American Standard Code for Information Interchange Computer-Aided Design Component Object Model Continuidade Virtual Digital Video Head Mounted Display GNU's Not Unix GNU General Public License Lesser General Public License Personal Digital Assistant Realidade Aumentada Realidade Mista Realidade Virtual Spatially Immersive Displays Silicon Graphics, Inc Sistema Operacional Text Input Augmented Reality Interface Tangible User Interface Universal Serial Bus Virtualidade Aumentada Window on the World

15 Capítulo 1 Introdução Nos sistemas de Realidade Virtual (RV) [6] o usuário vê e interage com um mundo completamente virtual, enquanto nos sistemas de Realidade Aumentada (RA) o usuário visualiza o mundo real e objetos virtuais simultaneamente [3][4]. Apesar de ser uma área recente, RA vem crescendo bastante ao longo dos últimos anos e várias aplicações vêm sendo desenvolvidas utilizando este conceito. Uma necessidade observada em algumas destas aplicações é a entrada de texto, sendo este o tema principal de estudo deste trabalho. Neste capítulo são mostradas as motivações, o escopo onde está inserido e o objetivo final deste trabalho, bem como a forma de organização do documento Motivação Aplicações de RA vêm se destacando cada vez mais em diversas áreas de aplicação como a medicina, entretenimento, aplicações militares, dentre outras. Uma necessidade observada em alguns tipos de aplicações de RA é a entrada de texto, em sua maioria entrada de textos simples, como anotações, labels, entre outras. A partir desta necessidade, algumas interfaces para resolver este problema foram propostas e várias técnicas para entrada de texto foram desenvolvidas, como teclados, utilização de gestos, reconhecimento de voz, dentre outras técnicas bastante conhecidas. A maior parte das ferramentas de RA que necessitam desta funcionalidade utiliza teclados virtuais ou teclados reais reduzidos para permitir esta interação. Porém, existem outras propostas de interface com a finalidade de melhorar a usabilidade da mesma e fazer com que a forma de interação do usuário com o sistema seja simples, prática e não atrapalhe as atividades normais desenvolvidas ao longo da utilização da aplicação. Não são muitas estas outras propostas de interface e algumas delas são difíceis de utilizar e requerem um tempo considerável para os usuários aprenderem a

16 Capítulo 1 Introdução 16 utilizá-las. Portanto, esta dissertação de mestrado irá focar no problema de entrada de texto em sistemas de RA, propondo uma forma simples de realizar este tipo de interação Objetivo O objetivo deste trabalho se concentra em desenvolver e avaliar uma interface para entrada de texto em sistemas de RA. O desenvolvimento desta interface tem como propósito a criação de uma nova forma de entrada de texto neste tipo de sistemas que possa ser avaliada e comparada a alguns modelos anteriormente propostos. Durante o trabalho foram estudadas e analisadas algumas bibliotecas de desenvolvimento utilizadas em sistemas de RA, e algumas foram utilizadas para a conclusão deste. A interface desenvolvida, chamada TIARI (Text Input Augmented Reality Interface), também foi validada e integrada a uma aplicação de RA já desenvolvida pelo Grupo de Pesquisa em Realidade Virtual e Multimídia, do Centro de Informática da Universidade Federal de Pernambuco. Além desta integração, outro objetivo deste trabalho é a realização de um estudo de usabilidade da TIARI, fazendo-se uma análise qualitativa junto aos usuários e também um comparativo entre a utilização desta e de uma interface para entrada de texto já existente na aplicação na qual a interface foi integrada Organização do Documento Neste capítulo foi apresentada a motivação, juntamente com o objetivo deste trabalho de mestrado. O capítulo 2 contempla alguns conceitos básicos sobre RA e algumas aplicações que os utilizam, mostrando também aplicações que necessitam de entrada de texto, o estado da arte em relação a interfaces para interação neste tipo de sistema, algumas bibliotecas utilizadas para desenvolvimento de aplicações de RA e por fim algumas técnicas utilizadas para entrada de texto neste tipo de sistema. Os capítulos seguintes mostram o resultado obtido durante este trabalho de mestrado. No capítulo 3 são mostradas a modelagem conceitual e implementação da interface desenvolvida, bem como um estudo de caso escolhido para validar a utilização da mesma. Esta validação da interface se encontra mais detalhada ao longo do capítulo

17 Capítulo 1 Introdução 17 4, onde são mostradas avaliações da interface desenvolvida, bem como a metodologia utilizada para avaliação e os resultados finais obtidos, fazendo um comparativo com relação a uma interface já existente no estudo de caso. Por fim, o capítulo 5 contempla conclusões obtidas ao longo deste trabalho, trabalhos futuros que podem ser propostos para melhorar e dar continuidade ao desenvolvimento e aprimoramento deste trabalho e as contribuições relevantes do mesmo para a comunidade científica.

18 Capítulo 2 Sistemas de Realidade Aumentada Interativos Este capítulo contempla o estado da arte em relação à área de RA, com foco na parte de interfaces, ferramentas de desenvolvimento e técnicas utilizadas para entrada de texto. Primeiramente são mostrados alguns conceitos básicos de RA e interfaces utilizadas para realizar a interação do usuário com o sistema, bem como aplicações que as utilizam. Também são abordadas técnicas utilizadas para entrada de texto nestes sistemas, mostrando vantagens e desvantagens e um pequeno estudo comparativo já realizado entre estas diversas técnicas. Por fim, serão mostradas algumas ferramentas utilizadas no desenvolvimento de aplicações de RA e como estas ferramentas foram escolhidas para o desenvolvimento da TIARI Conceitos Básicos de RA Nos sistemas de Realidade Virtual o usuário interage com um mundo completamente virtual [6]. Os sistemas de Realidade Aumentada [3][4] representam uma extensão dos sistemas de RV. Nestes sistemas, objetos virtuais são integrados a um mundo real fazendo com que, ao invés do ambiente ser substituído por um ambiente virtual, ele é complementado com objetos virtuais. Os objetos virtuais e reais co-existem na visão do usuário, podendo este interagir com ambos os objetos [11]. Existem, também, os sistemas de Virtualidade Aumentada (VA) que integram objetos reais em um mundo virtual, permitindo que o usuário no mundo virtual possa visualizar alguma parte do mundo real. Milgram et al. propôs um conceito de Continuidade Virtual (CV) [35] que mostra como os mundos real e virtual co-existem. Os sistemas de Realidade Mista (RM), localizados no centro da CV, incluem os conceitos de RA e VA, e podem ser visualizados através da Figura 1.

19 Capítulo 2 Sistemas de Realidade Aumentada Interativos 19 Figura 1. Continuidade Virtual. Aplicações que utilizam o conceito de RA vêm sendo cada vez mais exploradas em diversas áreas de atuação: medicina, engenharia, entretenimento, treinamentos militares, entre outros [51][65][33][16]. Por exemplo, um cirurgião pode receber informações virtuais durante uma cirurgia médica sobre um determinado procedimento e o paciente, pode visualizar um volume 3D para implantes, entre várias outras possibilidades [3]. Estas aplicações que utilizam RA requerem que o ponto de vista do usuário seja preciso em relação ao mundo real e virtual, pois o usuário não pode ter uma quebra de continuidade na interação e visualização dos objetos virtuais no mundo real. Isto se dá pelo fato de que o usuário não consegue utilizar o sistema de uma forma consistente caso ele não tenha uma homogeneidade entre a visualização dos objetos reais e virtuais. Esta sincronização entre os mundos virtual e real está diretamente ligada ao sistema de rastreamento (tracking) utilizado, pois este provê informações precisas de um referencial no mundo real utilizado para fazer a composição com os objetos virtuais. Existem três condições que um sistema de tracking deve satisfazer [3]: o tracker deve ser preciso suficiente para captar pequenas variações de grau na orientação e poucos milímetros na posição dependendo dos requisitos da aplicação, a latência do tracker combinada com a do motor gráfico deve ser muito baixa e o tracker deve funcionar a longas distâncias, principalmente em ambientes abertos. A posição e orientação podem ser rastreadas utilizando marcadores visuais registrados, hardware magnético, sistemas de posicionamento através de satélites ou sensores mecânicos. Uma forma bastante utilizada são os marcadores fiduciais que consistem em padrões que são montados no ambiente e automaticamente detectados em imagens digitais utilizando um algoritmo de detecção de marcadores [22]. Eles são bastante utilizados em RA, navegação de robôs e aplicações em geral que requerem a posição relativa entre a câmera e um objeto. Este tipo de tracker é utilizado na TIARI e pode ser visualizado através da Figura 2.

20 Capítulo 2 Sistemas de Realidade Aumentada Interativos 20 Figura 2. Marcadores fiduciais. Parâmetros de calibração de câmera também são muito importantes para alinhar as coordenadas dos mundos real e virtual. Uma calibração precisa é importante principalmente em sistemas de visualização 3D, pois a renderização dos objetos virtuais no mundo real deve estar de acordo com a perspectiva e profundidade da cena real. Em casos onde esta calibração não esteja bem feita, o usuário pode se sentir desorientado com objetos virtuais erroneamente posicionados [54]. Além destes requisitos técnicos vistos acima, uma parte importante neste tipo de sistema é a interação do usuário com o mesmo. Ela deve ser feita de uma forma simples e natural, tornando este tópico um tema bastante explorado nesta área. Um aspecto importante desta interação é fazer com que o usuário realize as suas tarefas normalmente e interaja com os objetos reais e virtuais simultaneamente [59]. Para o usuário realizar esta interação, ele necessita de dispositivos de entrada e saída para fornecer dados ao sistema e receber feedback do mesmo. Essa interação do usuário, com os sistemas de RA, pode ser realizada através de vários tipos de interface, como interfaces tangíveis (Tangible User Interface TUI), interfaces colaborativas, dispositivos móveis, entre outras que serão mostradas nas seções a seguir Interfaces de Visualização e de Interação As interfaces utilizadas na interação do usuário com um sistema de RA podem ser classificadas em dois tipos: as que provêm a visualização do mundo aumentado e as utilizadas para o usuário interagir de fato com o sistema, fornecendo informações que serão processadas e tendo seu resultado exibido através das interfaces de visualização.

21 Capítulo 2 Sistemas de Realidade Aumentada Interativos 21 Nesta seção serão mostradas várias interfaces de visualização utilizadas em sistemas de RA, bem como as interfaces utilizadas para o usuário interagir com os mesmos Interfaces de Visualização As interfaces de visualização são responsáveis pela exibição dos objetos virtuais, que deverão ser renderizados de forma integrada ao mundo real. Estas interfaces podem ser Head Mounted Displays (HMDs), óculos, telas, monitores ou até mesmo superfícies onde são projetados objetos virtuais [3]. Estas interfaces podem ser classificadas em: (a) Translúcidas (See-Through), (b) Baseadas em Monitor (Monitor Based), (c) Espacialmente Imersivas (Spatially Immersive) e (d) Baseadas em Projetores (Projector Based). O tipo de interface de visualização escolhido no desenvolvimento da TIARI foi o display translúcido (See-Through) baseado em vídeo. Este tipo foi escolhido por ser considerado o mais adequado visto que a TIARI foi projetada para ser utilizada também em sistemas de RA que permitem a mobilidade do usuário. Esta forma de visualização será mais bem detalhada ao longo desta seção, bem como as outras formas de visualização mencionadas anteriormente Interfaces Translúcidas Os See-Through Displays ou Displays Translúcidos são caracterizados por permitirem ao usuário visualizar todo o mundo ao seu redor através do dispositivo, que utiliza uma tela translúcida. Este tipo de interface dá ao usuário uma maior sensação de realidade, pois a imagem do mundo real é exibida diretamente ao usuário sem passar por nenhum tipo de alteração da imagem, por exemplo, por filtros gráficos. Existem dois tipos de Displays Translúcidos: (a) Display Translúcido Ótico e (b) Display Translúcido Baseado em Vídeo e podem ser visualizados através da Figura 3 e Figura 4. Figura 3. Display Translúcido Ótico.

22 Capítulo 2 Sistemas de Realidade Aumentada Interativos 22 Figura 4. Display Translúcido Baseado em Vídeo. O Display Translúcido Ótico [3] utiliza espelhos com a finalidade de combinar o mundo real e o virtual. O mesmo funciona posicionando combinadores óticos na frente do olho do usuário. Estes combinadores óticos refletem parte da luz do mundo real para o olho do usuário permitindo a visualização do mundo real e são utilizados para fazer a junção dos objetos virtuais enviados ao monitor. Os combinadores óticos reduzem a quantidade de luz recebida pelo usuário do mundo real. Estes combinadores são como espelhos levemente prateados e permitem que apenas alguma quantidade de luz do mundo real atravesse o espelho, fazendo com que eles também possam refletir a luz do monitor para o usuário. Um grande problema deste tipo de dispositivo é que ele gera imagens ghosted, ou seja, imagens semitransparentes que sobrepõem as imagens reais, não permitindo a detecção de oclusão entre os objetos. Este problema pode ser visualizado na Figura 5 [30], onde na figura (a) aparecem as imagens sobrepostas utilizando um Display Translúcido Ótico e na figura (b) como os objetos deveriam ser visualizados se a oclusão mútua fosse detectada corretamente. (a) (b) Figura 5. Display Translúcido Ótico: (a) Imagem ghosted sem oclusão mútua; (b) Imagem com a oclusão correta.

23 Capítulo 2 Sistemas de Realidade Aumentada Interativos 23 Por outro lado, o Display Translúcido Baseado em Vídeo (Video See-Through Display) [3], bastante utilizado, é composto por um HMD com uma ou duas câmeras acopladas. O vídeo capturado destas câmeras é combinado com as imagens criadas, misturando o real com o virtual e exibindo ao usuário através dos monitores. Este tipo de dispositivo é bastante utilizado em aplicações de RA e foi a interface de visualização utilizada nesta dissertação. A imagem do mundo real é capturada através de uma webcam acoplada a um HMD, após isso as imagens do mundo virtual e real são combinadas pela aplicação e mostradas ao usuário através do HMD. O dispositivo utilizado nesta dissertação para validação e avaliação da TIARI pode ser visualizado através da Figura 6. Figura 6. HMD com câmera acoplada utilizado na TIARI. A Tabela 1, mostrada abaixo, apresenta um estudo comparativo entre estes dois tipos de Displays Translúcidos. Característica Optical See-Through HMD Video See-Through HMD Visualização do mundo real Transparente Opaco Hardware para combinar as imagens Combinador ótico e não necessita de CPU Hardware acelerador ou combinador de vídeo Qualidade da imagem real Movimentação suave e alta definição Movimentação atrasada e baixa definição Ghosted com iluminação reduzida Qualidade da Composição exata com remoção e e difícil de fazer oclusão dos composição adição de objetos objetos Tabela 1. Video See-Through HMD X Optical See-Through HMD Interfaces Baseadas em Monitor Diferentemente dos Displays Translúcidos, os Displays de RA Baseados em Monitor (Monitor Based AR Displays), também chamados de WoW (Window On the World), são dispositivos que o usuário não veste. O resultado da junção dos mundos real e virtual é exibido para ele através de um monitor [35]. Câmeras capturam a

24 Capítulo 2 Sistemas de Realidade Aumentada Interativos 24 imagem do ambiente e, da mesma forma que no Video See-Through Display, um combinador de vídeo junta as imagens geradas com a imagem capturada do mundo real para mostrar ao usuário. Opcionalmente, as imagens podem ser mostradas em stereo mode utilizando-se um par de óculos stereo. A Figura 7 mostra um exemplo deste tipo de Display. Figura 7. Display Baseado em Monitor Interfaces Espacialmente Imersivas Existem ainda os Spatially Immersive Displays (SID) ou Displays Espacialmente Imersivos, que são compostos por várias telas de projeção dispostas ao redor do usuário criando uma sensação de imersão efetiva. As telas de projeção mostram o ambiente onde o usuário se encontra e projetam os objetos virtuais para integrá-los ao mundo real. O ponto positivo desta abordagem é a forte imersão do usuário no ambiente e o fato de não se fazer necessário o uso de um HMD, que pode ser incômodo. Entretanto, esta interface possui uma limitação referente à movimentação do usuário, pois ele fica limitado ao local onde foi montado o SID. Isto faz com que aplicações que necessitam de mobilidade não possam utilizar esta abordagem adequadamente. Um projeto que utiliza esse tipo de interface de visualização é o Blue-c [36], que é um ambiente de imersão para design e colaboração entre usuários conectados, e pode ser visualizado na Figura 8. Figura 8. Ambiente Blue-c que utiliza um Display Espacialmente Imersivo.

25 Capítulo 2 Sistemas de Realidade Aumentada Interativos Interfaces Baseadas em Projetores Outra forma de visualização são as interfaces que utilizam projetores para fazer a integração dos objetos virtuais com o mundo real. Este tipo de interface geralmente utiliza câmeras, em conjunto com o sistema de projeção, para captar a interação do usuário com o sistema. Uma vantagem de se utilizar essa abordagem de projetores para visualização é a maior facilidade para exibição dos objetos virtuais, pois eles seriam de toda forma projetados em alguma superfície para o usuário [46]. Como a visualização baseada em projetores necessita de uma superfície ou objeto para projetar a cena, podem existir algumas superfícies onde a projeção não é possível devido a problemas de oclusão. As cenas também são afetadas em relação à luminosidade, cor e textura do ambiente no qual estão sendo projetadas. Além disto, outra questão associada é a mobilidade, pois esses sistemas são montados em um ambiente previamente preparado para a aplicação. Apesar dos pontos negativos mencionados, está é uma abordagem muito interessante e várias aplicações importantes vêm sendo criadas, como a Magic Table [8][64]. Nesta aplicação o usuário escreve em um quadro branco com um pincel atômico e ele pode ter uma cópia virtual de tudo que escreveu. O material escrito é capturado através de uma câmera e projetado de volta no quadro branco sobrepondo a escrita original e mantendo a cor da caneta. Estes objetos virtuais podem então ser manipulados, podendo ser aumentados, duplicados, movidos ou escondidos. A Figura 9 mostra o ambiente para a utilização desta aplicação e a Figura 10 ilustra a aplicação sendo utilizada. Figura 9. Ambiente para utilização de uma Interface Baseada em Projetor.

26 Capítulo 2 Sistemas de Realidade Aumentada Interativos 26 Figura 10. Aplicação Magic Table Interfaces de Interação As interfaces de interação são aquelas utilizadas pelo usuário para interagir com o sistema, entrando dados necessários para que ele possa realizar a tarefa desejada. Os sistemas de RA geralmente possuem uma ou mais interfaces de interação e uma interface para visualização para que o usuário visualize os objetos reais e virtuais ao mesmo tempo. Para a criação da TIARI foram combinadas algumas interfaces de interação para dar suporte à entrada de texto. Nela são utilizadas uma interface tradicional de RV representada por uma luva de reconhecimento de gestos e uma interface bare hand utilizando marcadores fiduciais. Estas formas de interface, bem como outras estudadas, serão mais bem detalhadas ao longo desta seção Interfaces Tradicionais de RV Nos sistemas de RA também podem ser utilizados dispositivos projetados, a priori, para os ambientes de RV. Dispositivos como luvas, joysticks, tapetes com sensores, dispositivos de tracking, entre outros, são muito utilizados em aplicações de RA. Luvas, por exemplo, oferecem uma maneira prática de enviar gestos aos sistemas. Ao invés de interagir com um teclado, o usuário pode gesticular com as mãos e o sistema reconhecer este movimento realizando a tarefa correspondente àquela ação. Na concepção da TIARI uma luva que permite reconhecimento de gestos é utilizada e pode ser visualizada através da Figura 11. Os gestos reconhecidos pela luva dão suporte à funcionalidade que faz com que partes do teclado sejam mostradas à medida que o usuário as solicita. O modelo e funcionamento da TIARI serão mais bem detalhados no Capítulo 3, proporcionando uma melhor compreensão da função desta luva.

27 Capítulo 2 Sistemas de Realidade Aumentada Interativos 27 Figura 11. Luva de gestos utilizada na TIARI. Em RA também são muito utilizadas luvas com marcadores para identificar pontos de referência para detecção do movimento da mão. Um exemplo deste tipo de luva é ilustrado na Figura 12, e esta técnica de utilização de marcadores será mais bem detalhada ao longo desta seção. Figura 12. Luva com marcadores Interfaces Bare Hand A forma de interação bare hand utiliza gestos para enviar informações ao sistema fazendo com que o usuário interaja através das mãos sem necessariamente ter um dispositivo ou fios anexados a elas. O sistema é controlado diretamente pelos movimentos das mãos do usuário, reconhecendo os gestos feitos. Um algoritmo de localização da posição dos dedos e da mão é utilizado para detectar os movimentos do usuário em tempo real [7]. Fazer uma apresentação, utilizar a mão como controle remoto, controlar a mão de um robô, operar dispositivos móveis com espaço limitado são alguns cenários onde este tipo de interação pode ser utilizado. Aplicações foram construídas para demonstrar a usabilidade deste tipo de interação, como por exemplo, o HandSmart [1], que é uma aplicação que simula um telefone na mão do usuário onde ele utiliza um HMD para visualização e interage com o

28 Capítulo 2 Sistemas de Realidade Aumentada Interativos 28 sistema através dos dedos para discar o número desejado. Esta aplicação pode ser visualizada através da Figura 13. Figura 13. Aplicação HandSmart. Esta forma de interação foi utilizada na TIARI para a exibição das letras do teclado a serem digitadas. As letras são mostradas na mão do usuário para que ele possa digitar. Porém, ao invés de ser utilizada a detecção das partes do dedo do usuário, a TIARI utiliza marcadores fiduciais colados em uma luva para fazer o tracking da posição e orientação para exibir os objetos virtuais (teclado) e para detectar a letra digitada utiliza a informação de oclusão destes marcadores pelo usuário. Esta luva com marcadores pode ser visualizada através da Figura 14 (a), bem como as teclas que são mostradas ao usuário (Figura 14 (b)). Maiores detalhes sobre as funcionalidades e funcionamento da TIARI estão contemplados no Capítulo 3. (a) (b) Figura 14. Interface bare hand utilizada na TIARI: (a) Luva com marcadores para tracking; (b) Interface do teclado. Algumas das maiores vantagens de se utilizar esse tipo de interação são: os sistemas podem utilizar dispositivos pequenos operados a certa distância; o número de partes mecânicas do dispositivo pode ser diminuído fazendo com que ele tenha uma

29 Capítulo 2 Sistemas de Realidade Aumentada Interativos 29 maior durabilidade; interfaces de fácil usabilidade podem ser desenvolvidas; um tipo de interação bem natural pode ser obtido quando utilizado junto com um reconhecedor de voz, por exemplo Interfaces Tangíveis As interfaces tangíveis são interfaces onde os usuários utilizam objetos reais, instrumentos, superfícies e espaços como interfaces para interagir com os sistemas [60][61]. A manipulação de objetos reais faz com que a interação do usuário com o sistema seja bastante intuitiva, pois é uma forma natural de interação. Neste caso, estes objetos são mapeados, um a um, nas operações dos objetos virtuais. Interfaces de RA tangíveis são aquelas onde: (1) cada objeto virtual é registrado a um objeto físico real; (2) o usuário interage com objetos virtuais manipulando os objetos físicos correspondentes. RA tangível permite misturar o espaço físico onde vivemos e o espaço virtual que nós visualizamos e interagirmos com informações digitais [9]. Isto resulta em um conceito de espaço aumentado onde a informação digital e os objetos podem ser manipulados como se fossem todos reais. Um conjunto muito utilizado de interfaces tangíveis utiliza marcadores para rastrear a posição dos objetos. Marcadores são objetos destacados no mundo real e que são utilizados como referência para interação com o sistema. Um marcador pode ser um papel com um determinado padrão impresso, pode ser uma bolinha colorida, uma caneta com a ponta colorida, entre outros; apenas é necessário algo que possa ser identificado e diferenciado dos objetos reais. É necessário pouco processamento sobre os marcadores, afinal são objetos fáceis de serem identificados no mundo real, fazendo com que esta estratégia seja muito boa para sistemas de RA móveis. Marcadores de papel são muito utilizados, pois são de baixo custo, fáceis de serem confeccionados, versáteis e podem ser colocados em qualquer lugar. Um padrão é colocado em um marcador para ser identificado e isto torna possível o rastreamento deste papel. Marcadores podem ser também aplicados a formas 3D, como cubos, pirâmides ou esferas. Isto pode influenciar ou até melhorar a forma de interação do usuário com o marcador, dando espaço a mais uma forma mais intuitiva de interação do usuário com o sistema. Este tipo de interface vem sendo bastante utilizado em aplicações de RA devido à facilidade e a simplicidade de seu uso e um exemplo de

30 Capítulo 2 Sistemas de Realidade Aumentada Interativos 30 marcadores pode ser visualizado na Figura 15. Cabe ressaltar que a interface TIARI desenvolvida neste trabalho também aplica os conceitos de interfaces tangíveis mencionados aqui, como pode ser observado na Figura 14 (a). Figura 15. Marcadores para detecção durante a interação. Várias aplicações vêm sendo desenvolvidas em várias áreas utilizando-se este tipo de interface. Um exemplo de interface tangível é o I/O Brush [50], que é uma ferramenta para desenho que captura texturas, cores e movimentos do mundo real para pintar sobre uma tela. O pincel, que se parece com um pincel real, tem uma câmera com luzes e sensores de toque embutidos nele. A Figura 16 mostra o I/O Brush. Figura 16. A interface tangível I/O Brush Interfaces Móveis Os dispositivos móveis podem ser vistos como interfaces de visualização e de interação ao mesmo tempo. Eles permitem que o usuário possa fazer atividades que não seriam possíveis em um sistema comum, como por exemplo, o usuário poder através do seu PDA (Personal Digital Assistant) visualizar informações sobre um determinado quadro em uma visitação a um museu.

31 Capítulo 2 Sistemas de Realidade Aumentada Interativos 31 Com a popularização e aumento da capacidade dos dispositivos móveis, como telefones celulares, handhelds, notebooks, eles tornaram-se interfaces muito utilizadas. Na área de RA sua utilização também tem crescido bastante. Os dois tipos de interfaces móveis mais utilizados são os Wearable Computers e os dispositivos móveis. Wearable Computers são aqueles que o usuário leva consigo de uma forma natural, sem causar muito incômodo pelo peso, forma, ou posição de uso [1]. Para isso, eles devem poder ser usados quando o usuário está em movimento e com pelo menos uma das mãos livres. Eles devem estar sempre disponíveis, ou seja, devem estar num estado que garanta pronta resposta a qualquer instante. Além disso, embora a tendência seja fazer com que estes equipamentos tenham algum poder de decisão (inteligência artificial), eles devem sempre permitir o controle pelo usuário. Uma grande contribuição dos Wearable Computers é na área de entretenimento. Este tipo de equipamento é muito utilizado para jogos e para que pessoas interajam num ambiente social como, por exemplo, em um museu onde o usuário pode utilizar um Wearable Computer enquanto passeia e visualiza vários tipos de informações. Um exemplo de Wearable Computer pode ser visualizado através da Figura 17. Figura 17. Wearable Computer. A TIARI foi validada utilizando um Wearable Computer denominado miva [56], pois a aplicação à qual ela foi integrada, o mivadesk [55], utiliza este dispositivo como plataforma e pode ser visualizado através da Figura 18. Como a TIARI foi projetada para suportar sistemas que possuem a característica de mobilidade, ela se configura também como uma interface móvel. Mais detalhes sobre esta aplicação e sobre o modelo da TIARI podem ser encontrados no Capítulo 3.

32 Capítulo 2 Sistemas de Realidade Aumentada Interativos 32 Figura 18. Plataforma miva. Os dispositivos móveis, da mesma forma que os Wearable Computers, podem dar suporte a vários tipos de aplicações de RA. A diferença básica entre eles é que o usuário não precisa carregar o dispositivo móvel junto ao seu corpo. Os dispositivos móveis são aparelhos comuns no cotidiano das pessoas, como por exemplo, handhelds, laptops, PDAs e telefones celulares. A classe mais comum de dispositivos móveis é a dos telefones celulares. Esta classe de dispositivos vem crescendo bastante, pois os modelos mais novos já possuem uma capacidade de processamento mais elevada e recursos importantes para aplicações de RA, como câmeras embutidas e telas maiores Interfaces Colaborativas Os sistemas de RA Colaborativa, campo que vem crescendo bastante na área, permitem que os usuários possam interagir entre si estando ou não no mesmo espaço físico. Os ambientes onde os usuários interagem em um mesmo espaço físico são chamados de Colaboração Face a Face (Face-To-Face Collaboration). Já em situações onde os usuários estão em locais completamente distintos este tipo de colaboração é chamada de Colaboração Remota (Remote Collaboration). Cinco características principais foram identificadas nos sistemas de RA Colaborativa [10], e são citados abaixo: Virtualidade: objetos que não existem no mundo real podem ser visualizados e examinados por todos os usuários. Aumento: objetos reais podem ser aumentados através de informações anexadas a eles como, por exemplo, anotações.

33 Capítulo 2 Sistemas de Realidade Aumentada Interativos 33 Cooperação: vários usuários podem se ver e cooperar de uma forma natural. Independência: cada usuário controla seu ponto de vista independentemente. Individualidade: as informações visualizadas podem ser customizadas para cada usuário. Nos sistemas de Colaboração Face a Face, os usuários podem interagir através dos objetos virtuais ou de objetos reais, por exemplo, utilizando interfaces tangíveis. Um exemplo deste tipo de colaboração utilizando-se objetos virtuais é um ambiente onde os usuários utilizam um HMD para visualizar os objetos virtuais e o ambiente onde estão inseridos, e onde os objetos virtuais são apresentados aos vários usuários para que possam interagir com os mesmos. Todos os usuários visualizam o mesmo objeto, dando a sensação de o objeto virtual ser um objeto real. A Figura 19 ilustra um ambiente deste tipo. Figura 19. Colaboração Face a Face. Os sistemas que utilizam Colaboração Remota fazem com que usuários tenham a experiência de colaborar de forma remota com objetos compartilhados. Este tipo de sistema pode ser utilizado para áudio-vídeo conferências, jogos on-line, filmagem de cenas para TV, dentre outras aplicações. Neste tipo de sistema, os usuários podem visualizar uns aos outros através de uma tela ou HMD. Um exemplo deste tipo de interação é um sistema de videoconferência onde é utilizado um HMD para poder visualizar os outros usuários em marcadores dispostos no seu ambiente de trabalho. As pessoas que participam desta conferência aparecem projetadas no mundo real para o usuário. A Figura 20 ilustra um ambiente de videoconferência baseada em RA.

34 Capítulo 2 Sistemas de Realidade Aumentada Interativos 34 Figura 20. Videoconferência através de Colaboração Remota Técnicas para Entrada de Texto A funcionalidade de entrada de texto, na maior parte das interfaces utilizadas em aplicações de RA é inexistente, pois desenvolver técnicas usáveis e eficientes para entrada de texto é uma tarefa complexa, fazendo com que os desenvolvedores evitem este tipo de interação em suas aplicações [29][12]. Porém, isto não significa que este tipo de interface é menos importante. Existem cenários em RA onde a entrada de texto é importante, e alguns deles estão listados abaixo: Anotações em um sistema de RA móvel, o usuário pode ter a necessidade de fazer anotações referentes a um determinado objeto. Entrada de informações para o sistema em um sistema de desktop virtual 3D, a exemplo do mivadesk [55], se faz necessário entrar o nome de um contato a ser armazenado na agenda. Comunicação entre usuários em um sistema colaborativo os usuários podem querer se comunicar através de mensagens de texto, por exemplo, em um sistema de chat entre visitantes de um museu. Alteração do valor de parâmetros aplicações que requerem entrada de números para determinar valores de configuração de parâmetros (por exemplo, aplicações de CAD (Computer-Aided Design), configuração de parâmetros em jogos, entre outros).

35 Capítulo 2 Sistemas de Realidade Aumentada Interativos 35 Algumas técnicas para entrada de texto foram propostas e classificadas [12]. Estas técnicas dividem-se em quatro grupos: baseadas em teclado, caneta, gestos ou reconhecimento de voz. A TIARI é uma interface baseada em teclado, pois utiliza a metáfora de um teclado real. Estas técnicas serão detalhadas e discutidas ao longo desta seção Baseadas em Teclado As técnicas que se enquadram nesta categoria utilizam um teclado físico ou a metáfora de um teclado real. Apesar de ser possível utilizar um teclado convencional em aplicações de RA, ele não é aconselhável, pois como a maioria das aplicações de RA requer mobilidade este tipo de interface não é muito adequado devido ao seu peso e tamanho. Algumas técnicas baseadas em teclado que serão discutidas nesta subseção são: teclados em miniatura, teclados com poucas teclas, teclados chord, teclados pinch e teclados soft. A técnica de teclado em miniatura consiste em utilizar um teclado de tamanho reduzido para que o usuário consiga carregar ou vestir o mesmo. Esta técnica tem a vantagem de utilizar o layout QWERTY [39], o que facilita a utilização por parte dos usuários, sendo assim bastante popular entre alguns tipos de dispositivos móveis, como os PDAs. Este tipo de teclado pode ser carregado em uma das mãos ou vestido no antebraço do usuário e um exemplo deste tipo de interface pode ser visualizado através da Figura 21. Como este tipo de teclado possui as teclas menores, a digitação não pode ser feita normalmente utilizando-se os 10 dedos, fazendo com que esta técnica não tenha a mesma usabilidade de um teclado convencional com o qual os usuários estão acostumados. Figura 21. Teclado em miniatura.

36 Capítulo 2 Sistemas de Realidade Aumentada Interativos 36 Para minimizar este problema originado pelo tamanho pequeno das teclas, foi proposta uma evolução da técnica de teclado em miniatura, que é a técnica de teclado com poucas teclas. Esta técnica tem como objetivo fazer com que o teclado caiba na mão do usuário a partir da redução de teclas do mesmo. Um exemplo bastante conhecido deste tipo de teclado são os teclados utilizados em telefones celulares, como o ilustrado na Figura 22. Nesta técnica, uma tecla representa vários caracteres em uma determinada ordem e para o usuário digitar um caractere ele aperta a tecla associada ao caractere desejado até que o mesmo seja mostrado. Figura 22. Teclado com poucas teclas. Outra técnica utilizada é a do teclado chord ou de acordes, que é um dispositivo desenvolvido com o objetivo de prover todas as funcionalidades de um teclado convencional, porém com bem menos teclas. A digitação de um caractere é feita através de uma combinação de teclas pressionadas ao mesmo tempo, analogamente a um acorde feito no piano, o que originou o nome desta técnica. Um exemplo deste dispositivo pode ser visualizado através da Figura 23, possuindo 12 teclas e não requerendo mais de duas teclas pressionadas ao mesmo tempo. Este tipo de teclado vem sendo estudado em várias aplicações que requerem mobilidade, porém em um estudo de usabilidade realizado por Bowman et al. [14] ela mostrou-se com o pior desempenho, o maior número de erros e a menos indicada pelos usuários. Entretanto, este estudo com os usuários não foi feito por um longo período, havendo a possibilidade de este desempenho melhorar ao longo de várias tentativas dos usuários.