UNIVERSIDADE FEDERAL DE PERNAMBUCO REALIDADE AUMENTADA COM MARCADORES EM GPU MESTRADO EM CIÊNCIAS DA COMPUTAÇÃO CENTRO DE INFORMÁTICA

Transcrição

1 UNIVERSIDADE FEDERAL DE PERNAMBUCO MESTRADO EM CIÊNCIAS DA COMPUTAÇÃO CENTRO DE INFORMÁTICA PRÉ-PROJETO DE PESQUISA REALIDADE AUMENTADA COM MARCADORES EM GPU BERNARDO FONSECA REIS DE SOUZA ORIENTADORA: PROFª. JUDITH KELNER 26 DE OUTUBRO DE 2010.

2 ÍNDICE Índice 2 Contexto 3 Revisão da Literatura 4 Objetivos 5 Metodologia 5 Justificativa 5 Referências 6 2

3 CONTEXTO Realidade Aumentada (RA) é uma técnica que faz uso de algoritmos de visão computacional a fim de sobrepor informações virtuais - 2D ou 3D, textual ou pictórica - em um cenário do mundo real em tempo real, aumentando a percepção e a interação do usuário com o ambiente 0. Esta técnica é útil para permitir ao usuário obter mais informações sobre seu objeto de trabalho sem precisar perder o foco de sua atividade. Por exemplo, enquanto um médico faz uma cirurgia, é possível apresentar dados como o batimento cardíaco, a pressão sanguínea e exames do paciente no campo de visão do médico, evitando que ele levante a cabeça e perca o foco. Além de integrar objetos virtuais ao mundo real, a realidade aumentada preza por formas de interação mais naturais do que os meios de interface homem-máquina usualmente empregados na relação com dispositivos computacionais. Por mais adaptados que sejamos ao uso de teclados e mouses para controlar um computador, estes não são meios tão naturais quanto à fala ou o toque. O principal desafio técnico encontra-se em determinar, em tempo real, o que deve ser mostrado, onde e como. Esta restrição de tempo real é crítica para a execução de aplicações de realidade aumentada. Caso o seu desempenho seja inferior, a experiência do usuário fica degradada. O resultado é, ou um atraso entre os objetos virtuais e o fluxo de vídeo do mundo real, ou uma execução lenta como um todo. Tradicionalmente, os sistemas de RA posicionam objetos virtuais no mundo real por meio de marcadores. Esses marcadores artificiais são usados para dar suporte ao rastreamento de posição e orientação da câmera pelo sistema, e são intrusivos ao ambiente. Esta técnica é chamada RA com marcadores. Localizar os marcadores e posicionar os objetos virtuais no mundo real são duas etapas do pipeline de RA com marcadores, o qual define todos os passos necessários para a aplicação da técnica. Além destes dois passos, também é necessário capturar o fluxo de vídeo da câmera, descobrir a posição 3D e orientação dos marcadores, identificar os marcadores, criar a cena virtual e compor a mistura entre objetos virtuais e cena real. Executar todos estes passos em um fluxo de vídeo que contém muitos marcadores é uma atividade custosa, principalmente quando a complexidade destes passos também é proporcional à resolução do vídeo. Por isso o processamento massivamente paralelo se apresenta como uma alternativa às soluções baseadas em CPU. O processamento massivamente paralelo é oportunamente alcançado utilizando placas gráficas, que além de permitirem processamento paralelo de propósito geral, são otimizadas para renderização gráfica. As placas gráficas que permitem processamento de propósito geral (GPGPU) são dispositivos já bastante difundidos em computadores pessoais para o aceleramento gráfico de jogos. Implementar os algoritmos de visão computacional utilizados em realidade aumentada nessas placas gráficas se apresenta bastante apropriado, já que 3

4 muitos desses algoritmos são paralelizáveis a nível de pixel. Isto é uma característica importante que costuma estar relacionada com altos ganhos de desempenho entre a implementação em placas gráficas e CPUs. Atualmente, realidade aumentada é aplicada em diferentes áreas, tais como entretenimento [2], medicina [3], fabricação e reparo/manutenção 0 e treinamento [4]. REVISÃO DA LITERATURA A possibilidade de realizar computação de propósito geral em GPUs permitiu o uso de placas gráficas para implementar algoritmos de visão computacional. A variedade de trabalhos nesta área ocorre porque ela está diretamente ligada com a computação gráfica, que é o objetivo original das placas gráficas. Contudo, o mesmo não é verdade quando se restringe o foco em realidade aumentada. Alguns trabalhos estudam técnicas pontuais utilizadas em realidade aumentada e existem algumas poucas aplicações já desenvolvidas na área. Leiva et al. [5] propõem um sistema de rastreamento planar para realidade aumentada utilizando GPUs. O rastreamento procura encontrar correspondências entre sucessivas imagens do fluxo de vídeo, minimizando a diferença da soma dos quadrados das imagens. Eles implementaram o algoritmo de alinhamento inverso de composição de imagens de Baker e Matthew e alcançaram resultados em tempo real para padrões de 512x512 pixels. A Sportvision [6] utiliza GPUs para a criação de efeitos de visuais em tempo real no mundo dos esportes. A tecnologia deles permite a apresentação de logos virtuais projetados nos gramados dos estádios, o rastreamento do puck nos jogos de hóquei no gelo, assim como vários outros elementos de auxílio ao telespectador de futebol americano, natação e outros esportes. Em [7], Aras et al. aplicam técnicas de filtragem e renderização não-fotorealista para uniformizar o resultado da mistura entre os objetos virtuais e o mundo real, assim aumentando o nível de imersão da aplicação de realidade aumentada. Utilizando embaçamento condicional e um detector de bordas de Sobel implementados em CUDA, eles geram uma versão com características de desenho animado da imagem de entrada. Esta imagem é sobreposta de objetos virtuais renderizados utilizando o shader de Gooch, implementado em GLSL. Fung et al. [8] apresenta a OpenVIDIA, que é uma biblioteca opensource que utiliza a arquitetura paralela das placas gráficas para acelerar algoritmos de visão computacional e análise de imagem. A OpenVIDIA implementa vários algoritmos como filtragem, transformadas, registro de imagem, rastreamento de features, utilizando uma mistura de C++ com Cg, que é uma linguagem de shading. O uso de Cg abstrai a arquitetura da GPU, limitando o desenvolvimento a um contexto gráfico. Grande parte do poder de processamento das placas gráficas é ocultada pela falta de acesso direto ao hardware. 4

5 OBJETIVOS Neste mestrado o objetivo é realizar uma investigação minuciosa dos algoritmos utilizados para implementar o pipeline de realidade aumentada com marcadores, analisando a qualidade dos resultados obtidos e a facilidade de paralelização dos algoritmos. A partir dessa análise, definir quais são os melhores candidatos para compor um toolkit para desenvolvimento de aplicações de realidade aumentada em GPU e implementá-lo. Esta implementação terá uma estrutura modular que possibilite a extensão da ferramenta padrão e será uma solução de código aberto. METODOLOGIA A metodologia utilizada para o desenvolvimento deste trabalho consiste em: Levantamento bibliográfico: estudo e análise dos algoritmos que implementam o pipeline de realidade aumentada com marcadores. Definição do conjunto de algoritmos: a partir da análise realizada, identificar quais algoritmos de realidade aumentada com marcadores apresentam os melhores resultados e podem ser paralelizados sobre a arquitetura das placas gráficas. Estudo das técnicas de paralelização: estudar as alternativas de paralelização dos algoritmos escolhidos para compor a solução a ser desenvolvida. Implementação dos algoritmos: implementar a solução de forma modular. Testes: realizar os testes de corretude necessários, assim como análises de desempenho. Para que as atividades propostas sejam realizadas em tempo hábil e com a qualidade esperada para um trabalho de mestrado, esta metodologia deve ser executada de acordo com o seguinte: Determinação de prazos bem definidos para a execução de cada etapa. Avaliação periódica dos progressos obtidos em cada etapa. Reuniões periódicas entre o aluno e o orientador para discutir problemas encontrados. JUSTIFICATIVA O desempenho em tempo real da realização de realidade aumentada em CPU é um marco já alcançado, graças às altas freqüências de clock e processadores multicores difundidos recentemente. Porém o custo ainda é muito elevado, especialmente se considerado que o processador ainda precisa dispor de poder de processamento para a execução de outras tarefas. 5

6 Com o desenvolvimento das placas gráficas de propósito geral, permitiu-se o processamento massivamente paralelo para outras atividades, fora do contexto gráfico. É possível, então, o uso dessas placas como co-processadores para procedimentos computacionalmente exaustivos. Isto pode ser aliado ao uso já contemplado das placas gráficas para executar a renderização dos objetos 3D em aplicações de realidade aumentada. Dessa forma é possível processar paralelamente tanto a detecção e reconhecimento de marcadores, quanto a renderização dos objetos. Esta é a proposta deste mestrado, implementar todo o pipeline de realidade aumentada com marcadores em GPU. Possuindo a execução dos passos anteriores à renderização também em GPU, é possível acelerar o todo o processo, enquanto mantém a CPU disponível para outras tarefas, como por exemplo, o tratamento de eventos gerados pelo usuário, que precisam de resposta imediata para promover uma experiência fluida. REFERÊNCIAS [1] R. Azuma. A survey of augmented reality. Em Presence, 6: , [2] D. Wagner, T. Pintaric, F. Ledermann, e D. Schmalstieg. Towards massively multi-user augmented reality on handheld devices. Em Third International Conference on Pervasive Computing, [3] R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, e B. MacIntyre. Em Recent advances in augmented reality. IEEE Comput. Graph. Appl., 21(6):34-47, [4] B. Schwald, B. D. Laval, T. O. Sa, e R. Guynemer. An augmented reality system for training and assistance to maintenance in the industrial context. Em The 11th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision, 2003, Plzen, Czech Republic, pp , [5] L. A. Leiva, A. Sanz e J. M. Buenaposada. Planar tracking using the GPU for augmented reality and games. Em ACM SIGGRAPH 2007 Posters, San Diego, California, [6] Sportvision. Em site: acessado em 26 de outubro de [7] R. Aras e Y. Shen. GPU Accelerated Stylistic Augmented Reality. Em Proceedings of the Modeling and Simulation in Engineering Student Capstone Conference, [8] J. Fung e S. Mann. OpenVIDIA: parallel GPU computer vision. Em Proceedings of the 13th Annual ACM international Conference on Multimedia, pp ,