Realidade Aumentada em Dispositivos Móveis

Transcrição

1 Realidade Aumentada em Dispositivos Móveis Marlon Luz, Luís Fernando Fortes Garcia, Gilberto Fernandes Marchioro Universidade Luterana do Brasil (ULBRA) Curso de Ciência da Computação Faculdade Dom Bosco Curso de Sistemas de Informação Resumo. Este artigo apresenta o desenvolvimento de um jogo de computador baseado na tecnologia de Realidade Aumentada sobre dispositivos móveis. Com o objetivo de ressaltar as características e o interesse da Realidade Aumentada, inicialmente é realizada a análise desta nova tecnologia, comparando-a com a Realidade Virtual, e apresentada a sua utilidade prática. No que se refere à mobilidade, este projeto concentrou-se em explorar a Realidade Aumentada sobre dispositivos moveis, comprovando que é viável mesmo com as restrições impostas por estes dispositivos em nível de poder de processamento e interface com o usuário. Finalmente é apresentado o software desenvolvido, onde suplementos virtuais são adicionados ao vídeo capturado pela câmera do dispositivo, reagindo aos movimentos físicos realizados pelo usuário. 1. Introdução A realidade que observamos através do sentido da visão pode ser enriquecida com suplementos virtuais no intuito de fornecer mais informações do que podemos observar na realidade. Saber extrair informações implícitas do mundo, processá-las e repassar ao usuário em tempo real abre uma gama enorme de aplicações interessantes em diversas ares do conhecimento humano. Neste contexto, a Realidade Aumentada (RA) caracteriza-se como a adição, em tempo real, de suplementos virtuais em um ambiente real [1]. A adição desses suplementos se baseada na captura de vídeo do próprio ambiente real, ou seja, com uma câmera é possível filmar o ambiente ao redor, processar as informações pertinentes e adicionar elementos na imagem para então retransmiti-la. Além da imagem, a RA pode ser usada em outros meios, como por exemplo o áudio [2]. Na Realidade Virtual (RV) um ser humano é imerso em um ambiente virtual, completamente controlado por um sistema computadorizado. Sendo este ambiente todo programado, muitas das características reais presentes na natureza são de difícil modelagem, como a gravidade, a interação entre objetos, o reflexo, etc. Tenta-se neste mundo virtual modelar sentidos que existem no mundo real como a visão e a audição, assim como outros de difícil modelagem, como tato, olfato e o paladar. Ao contrário da RV, a RA tem o ambiente real como predominante e, portanto, não necessita o controle do comportamento dos objetos, mas por outro lado, necessita o reconhecimento de parâmetros e componentes do ambiente real [3]. Na RA os suplementos virtuais devem ser capazes de responder às alterações adversas do ambiente real para que possam parecer realmente parte deste. Como principal resposta aos acontecimentos do mundo, e para fazer a coexistência de suplementos virtuais num ambiente real, o sistema de RA deve ser capaz de detectar movimentos da câmera para conseguir reposicionar no espaço os suplementos virtuais [4]. Contudo, para um melhor uso da RA é necessário que o usuário possa se mover livremente, visualizando o ambiente real com os suplementos proporcionados pela RA. Para isso é necessário que o usuário carregue consigo um dispositivo de captura de vídeo, como uma câmera, um dispositivo capaz de fazer processamento de imagens, e um dispositivo capaz de exibir a imagem capturada, processada e com os suplementos da RA. O equipamento ideal para esta liberdade de movimentos é o Head Mounted Display (HMD) junto com algum processador e dispositivos de navegabilidade como o Global Positioning System (GPS), formando o que poderia ser entendido como um capacete capaz de capturar imagens, processá-las e mostrá-las em tempo real para o usuário [5]. O capacete com o aparato tecnológico citado apresenta custo elevado e atualmente ainda de restrita utilização.

2 Por outro lado, alguns aparelhos celulares com câmera são dispositivos capazes de suportar um sistema baseado em RA pelo fato de terem bom poder de processamento, para um dispositivo com características limitadas como memória, tela e energia. Por exemplo, aparelhos como o Nokia 6120 Classic [6] possuem processador ARM 369Mhz e câmera de 2 Mega Pixels, sendo estas características adaptadas para certo processamento das imagens em tempo real. O software de RA desenvolvido neste projeto direcionou-se a aparelhos celulares e PDAs utilizando a filmadora do próprio dispositivo para capturar o ambiente real e utilizando também o display do próprio dispositivo para reproduzir o ambiente real com os suplementos virtuais adicionados. 2. Realidade Aumentada A realidade aumentada integra informação virtual com o ambiente real [3]. Através de um vídeo do ambiente real se extrai informações de uma imagem, como: movimento, distâncias e objetos. Com essas informações podemos adicionar suplementos virtuais ao vídeo, que são capazes de interagir e reagir com objetos do mundo real ou com os movimentos do usuário. O desafio atual principal é realizar o processamento necessário e a adição dos suplementos virtuais em tempo real. A RA vem sendo utilizada no entretenimento, no lazer, na educação e na medicina. Em áreas como o entretenimento, o lazer e a educação é muito comum usar a técnica de Chroma key, onde o fundo de uma imagem é eliminado isolando personagens e combinado estes com outra imagem de fundo. Filmes e previsões do tempo nos telejornais são exemplos que utilizam esta técnica [8]. Imagens transmitidas ao vivo por emissoras de televisão utilizam a RA quando, por exemplo, em um jogo de futebol, marcam a distância da bola ao gol na cobrança de uma falta com uma linha sobre o campo, como pode ser visto na figura 1. Da mesma forma, quando no início da partida são projetados no campo os escudos dos clubes que estão jogando. Em outro exemplo, em corridas de carros, banners de propaganda surgem ao lado da pista como se realmente existissem no autódromo, fazendo com que patrocinadores não precisem fixar a propaganda [5], reduzindo a poluição visual do local. Na medicina, médicos utilizam a RA em cirurgias guiadas por imagem, ou para visualizarem imagens de órgãos superpostas à imagem do corpo humano, com o auxílio de óculos 3D, fornecendo uma orientação espacial maior nos diagnósticos [7]. Figura 1: RA para marcar a distância da cobrança de uma falta 2.1. Computação Móvel e a RA Alguns aparelhos de telefone celular são dispositivos que apresentam um bom poder de processamento, levando-se em conta que se tratam de dispositivos móveis microprocessados com características limitadas. Estes são capazes de executar algoritmos desenvolvidos nas linguagens C++ e Java. A versão Java Micro Edition (ME) define um ambiente flexível para a construção de aplicativos destinados a dispositivos móveis, como celulares, PDAs, TV set-top boxes e impressoras. O Java ME inclui interface com o usuário, segurança robusta e protocolos de comunicação em rede [9]. Um conjunto mínimo de características do Java ME deve ser suportado pelo dispositivo para este estar apto a rodar uma aplicação de RA, como: Mobile Information Device Profile 2.0, Mobile Media API, Connected Limited Device Configuration 1.1. Um exemplo do uso de RA com dispositivos móveis de fácil acessibilidade é o Digital Scrap Book [10], onde as anotações de um álbum de recordações físico servem como marcadores para acessar conteúdos multimídia como vídeos, fotos e áudios. Ao posicionar a câmera do celular na frente do álbum o marcador é reconhecido pelo software e o conteúdo multimídia relacionado é apresentado pelo celular. Outro exemplo de uso da RA é o sistema de museu virtual [11] onde marcadores são posicionados nas paredes do museu, próximo às obras. O aparelho celular, ou outro dispositivo móvel, ao capturar a imagem do marcador, está apto a mostrar na tela do aparelho, ou vocalmente, informações adicionais sobre a obra exposta. Os exemplos citados falam de aplicativos que precisam estar conectados a uma rede externa através de tecnologia Bluetooth ou outro tipo de rede sem fio para obter dados adicionais. Nem todas as soluções precisam estar conectadas a uma rede externa. Um 2

3 exemplo é um jogo de futebol para celular [12] onde uma bola virtual na tela do aparelho pode ser chutada com o próprio pé do usuário simplesmente apontando a câmera para o chão. A posição do pé é detectada em relação à bola virtual. 3. Descrição do Projeto O sistema desenvolvido neste projeto consiste em um jogo de primeira pessoa onde a temática do jogo é atingir pequenos discos voadores que estão invadindo a terra. O jogo tem um tempo fixo de duração e existe uma quantidade pré-definida de discos voadores a abater. O nível de dificuldade do jogo aumenta quando o usuário alcança o objetivo e passa para a próxima fase. Os discos voadores tentam escapar da mira da arma do usuário para se defenderem, cabendo ao jogador ser mais ágil no movimento do dispositivo móvel. Os discos voadores do jogo são suplementos virtuais adicionados ao ambiente real capturado pela câmera do telefone celular ou PDA. Estes suplementos reagem em relação aos movimentos do dispositivo executado pelo usuário. O jogador deve posicionar a mira sobre o disco voador através de movimentos com o aparelho e então pressionar o botão simbolizando atirar para destruir o disco voador. A reação dos discos voadores se baseia nos resultados dos cálculos do algoritmo Shift Analysis [9], que detecta a movimentação do aparelho celular no espaço. Neste algoritmo, os quadros de vídeo capturados pela câmera do dispositivo são, dois a dois, analisados e é calculando o quanto a imagem foi deslocada e em que sentido. A diferença calculada do deslocamento é aplicada aos suplementos virtuais do vídeo (discos voadores) sempre no sentido contrário do deslocamento do aparelho. grande poder de processamento. Estes ainda não são recomendados para dispositivos como os aparelhos de telefone celular e PDAs. Entretanto, o algoritmo Shift Analysis é mais recomendado por ser mais simples e necessitar menor poder de processamento no dispositivo. Esse algoritmo trabalha analisando uma versão em escala de cinza de dois instantes da imagem e, comparando-as, calcula em que sentindo a imagem foi deslocada. A comparação se dá através da soma das diferenças absolutas ao quadrado do valor do pixel de cada linha e coluna da imagem, como mostra a figura 2. A análise é feita para vários casos de grau de deslocamento. O caso que apresentar o menor valor no somatório é o provável sentido em que a imagem foi deslocada. Com esse valor de grau de deslocamento calculado, é então possível aplicar ao objeto virtual o deslocamento oposto, fazendo com que este não seja afetado pelo movimento da câmera. Imagem anterior Imagem atual Figura 2.a: Imagem em escala de cinza e a soma dos valores dos pixels em linha e coluna Instante -1 Instante 0 Instante Detecção de movimento Na RA é necessário que os suplementos virtuais adicionados ao vídeo tenham reações às mudanças do mundo real. Isto significa que essencialmente os suplementos virtuais devem reagir à mudança de posição da câmera. Ou seja, se um objeto virtual estático for posicionado em um ponto específico no espaço, ao movimentar a câmera, é necessário que este objeto virtual permaneça no mesmo ponto relativo do espaço, reagindo conforme o movimento da câmera. Esta técnica é conhecida como Motion Tracking [13]. É comum o uso de algoritmos para implementar essa técnica, como o Block Matching e o Edge Detection and Tracking, entretanto ambos requerem Fator normatizado Soma dos quadrados Soma das diferenças absolutas Buffer da imagem atual Buffer da imagem anterior Figura 2.b: Aplicação dos cálculos para o algoritmo Shift Analysis Na figura 2.a são mostrados como exemplo de funcionamento deste algoritmo, dois conjuntos de pixeis referentes a instantes diferentes de uma mesma cena, bem como os vetores indicando a soma dos valores dos pixels nas linhas e colunas. Na figura 2.b 3

4 os vetores são comparados com deslocamentos em diferentes graus. A diferença entre os valores é armazenada em um novo vetor. Os valores deste vetor são elevados ao quadrado e a soma destes corresponde ao fator que deve ser normalizado, dividindo pela quantidade de valores somados. 3.2 Implementação A implementação desse projeto se baseou no telefone celular Nokia 6120 Classic. Este dispositivo é capaz de executar aplicações escritas na linguagem Java, sendo, desta forma, os algoritmos de RA codificados nesta linguagem. Da versão ME foram utilizadas algumas APIs, como: a MIDP que provê o ciclo básico de uma aplicação Java para dispositivos móveis; a Mobile Media API que provê acesso a recursos de captura de imagem da câmera e; a Nokia UI API que provê recursos avançados de interface com o usuário. Para fazer com que as naves espaciais do jogo tivessem reação ao movimento da câmera do aparelho celular, foi configurado o algoritmo Shift Analysis onde os vetores das linhas e colunas de uma imagem em escala de cinza são somados para calcular o desvio mais provável da imagem. Inicialmente, a fim de adaptar esse algoritmo à necessidade, é realizada a conversão da imagem colorida capturada pela câmera do celular em escala de cinza. Para isto codificou-se o algoritmo onde cada pixel da imagem é convertido para uma escala de 0 a 255 através da fórmula 0,3*R+0,59*G+0,11*B onde R, G e B correspondem respectivamente às componentes vermelho, verde e azul [14]. Nesse algoritmo, mostrado abaixo, a cor verde é a que mais contribui para o cálculo, pois é no componente verde que se encontra a maior luminosidade. private int[] converteparaescalacinza(int[] imagecolorida) { int[] grayimage = new int[imagecolorida.length]; for (int i =0; i< imagecolorida.length; i++) { int r = (byte)((imagecolorida[i] >> 16)); int g = (byte)((imagecolorida[i] >> 8)); int b = (byte)((imagecolorida[i])); int graypixel = (int)(r*0.3+g*0.59+b*0.11); grayimage[i] = (byte)graypixel << 16 + // R (byte)graypixel << 8 + //G (byte)graypixel; // B } return grayimage; } // converteparaescalacinza O método de conversão para a escala de cinza recebe um vetor de números inteiros, onde cada número inteiro corresponde a um pixel da imagem colorida. O método utiliza a fórmula já citada para calcular a escala de cinza de cada pixel. Para utilizar o algoritmo de Shift Analysis é necessário ter imagens de dois instantes diferentes, como se fossem dois frames de um vídeo. O laço principal do jogo passa a imagem colorida capturada da câmera para o método setnovaimagem() mostrado abaixo. Esse método realiza inicialmente o primeiro passo do algoritmo de Shift Analysis que consiste na soma dos valores dos pixels em linha e coluna armazenando os valores em dois vetores de inteiros distintos. public void setnovaimagem(int[] novaimagem) { novaimagem = converteparaescalacinza(novaimagem); linhaimagemanterior = linhaimagematual; colunaimagemanterior = colunaimagematual; int soma = 0, j =0, k=0; linhaimagematual = new int[lado]; colunaimagematual = new int[lado]; for (int i=0; i<novaimagem.length; i++) { soma+= (int)((byte)novaimagem[i]); if (i % lado == 0){ linhaimagematual[j] = soma; soma = 0; j++; } // if colunaimagematual[k] += (int)novaimagem[i]; k++; if (k==lado) k = 0; } // setnovaimagem O segundo passo do algoritmo Shift Analysis é quando o laço principal do jogo chama o metódo somadiferencasabsolutas(), mostrado abaixo, que recebe como parâmetros a orientação e o índice. O parâmetro orientação serve para identificar qual o vetor de soma deve ser usado, ou seja, se o vetor vai realizar a soma de valores das linha ou das coluna. O parâmetro índice é o desvio o qual o algoritmo deve calcular. private double somadiferencasabsolutas(int orientacao, int indice){ int[] sdaimagemanterior = null; int[] sdaimagematual = null; double SDA = 0; if (orientacao == LINHA) { sdaimagemanterior = linhaimagemanterior; sdaimagematual = linhaimagematual; } else if (orientacao == COLUNA) { sdaimagemanterior = colunaimagemanterior; sdaimagematual = colunaimagematual; } // else if int desvio = Math.abs(indice); if (indice == 0) { for (int i=0; i<lado; i++) { SDA += (sdaimagemanterior[i] - sdaimagematual[i]) * (sdaimagemanterior[i] - sdaimagematual[i]); SDA = SDA / lado; 4

5 } else if (((indice> 0) && (orientacao == LINHA)) ((indice < 0) && (orientacao == COLUNA))){ for (int i=0; i<lado-desvio; i++) { SDA += (sdaimagemanterior[i+desvio] - sdaimagematual[i]) * (sdaimagemanterior[i+desvio] - sdaimagematual[i]); SDA = SDA / lado-desvio; } else { for (int i=0; i<lado-desvio; i++) { SDA += (sdaimagemanterior[i] - sdaimagematual[i+desvio]) * (sdaimagemanterior[i] - sdaimagematual[i+desvio]); SDA = SDA / lado-desvio; } // else return SDA; } // somadiferencasabsolutas O método que calcula as diferenças absolutas é ativado para diversos valores de desvios. Neste jogo optou-se por calcular dezessete desvios distintos, como pode ser visto abaixo onde é feita a declaração da constante com o vetor dos valores de desvios. private static int[] desvios = { -20, -16, -13, -10, -8, -6, -4, -2, 0, 2, 4, 6, 8, 10, 13, 16, 20 }; Isso significa que para cada nova imagem submetida ao algoritmo, são feitos dezessete cálculos para o eixo X e dezessete para o eixo Y. O cálculo que apresentar o menor valor é o provável desvio entre as imagens e, portanto, é o valor de deslocamento que é aplicado para os suplementos visuais do jogo, dando o efeito de reagirem conforme o movimento do aparelho celular. 3.3 Telas do jogo A figura 3 mostra dois croquis do display do celular com o aplicativo em funcionamento. Percebe-se que os discos voadores são suplementos virtuais adicionados ao vídeo que reage conforme o movimento do aparelho, aumentando assim o realismo. O jogador movimenta o aparelho celular para posicionar a mira por sobre o disco voador. As posições dos discos voadores são modificadas durante o movimento do aparelho através do algoritmo de detecção de movimento. A figura 3.b mostra que o jogador acertou um disco voador, percebe-se nessa figura que a animação de destruição não está exatamente sob a mira, isto porque, nesse momento, o aparelho celular já foi movimentado, entretanto, a imagem da explosão permaneceu no mesmo local no espaço onde o disco voador foi atingido. Figura 3.a A mira sobre o alvo Figura 3.b O jogador atinge o disco voador Percebe-se também que os discos voadores saem da tela do celular se o movimento do aparelho se distanciar deles. Caso o movimento do aparelho volte a se aproximar do disco voador, este reaparece novamente. O usuário necessita realizar movimentações do dispositivo em todos os ângulos para visualizar os suplementos virtuais. 4. Avaliação Visando avaliar este projeto, o software desenvolvido foi disponibilizado a um grupo de usuários a fim de colher suas opiniões. Os usuários avaliaram os seguintes itens: a usabilidade, a aplicação do conceito de RA, a velocidade de reação aos movimentos e a inovação. As respostas para cada avaliação obedeciam a escala de 0 (totalmente insatisfeito) a 5 (totalmente satisfeito). Após as avaliações foram calculadas as médias para cada item, que podem ser vistas na tabela 1. Tabela 1: Médias das avaliações dos usuários Itens avaliados Média Usabilidade 3,9 Aplicação do conceito de RA 4,5 Velocidade de reação aos movimentos 3,5 Inovação 4,9 Concluiu-se que a maioria dos usuários não teve problemas para interagir com a aplicação. O fato de ter que mover o aparelho celular fisicamente no espaço agradou a maioria, pois se trata de um movimento natural e foi comparado aos novos consoles de vídeo games onde o jogo é controlado movimentando no espaço um joystick. Esse dispositivo contém um acelerômetro que transmite para o console os movimentos feitos pelo jogador, tendo assim interatividade similar à utilizada nesse trabalho. 5

6 Entretanto, com uma tecnologia diferente, uma vez que ao invés de um acelerômetro, utilizou-se a câmera do dispositivo para permitir o rastreamento da imagem, comprovando assim a eficácia da utilização do algoritmo Shift Analysis em dispositivos móveis. Após alguns testes se observou que o algoritmo utilizado para detecção de movimento não funciona satisfatoriamente quando o ambiente é muito homogêneo, como por exemplo, quando o dispositivo que captura o vídeo aponta para uma parede branca. Este comportamento era esperado, pois o algoritmo Shift Analysis se baseia em bordas ou saliências de uma imagem. Normalmente esta limitação do algoritmo não figura um problema grave, pois na maioria dos ambientes onde foi jogado sempre existiu móveis, pessoas e objetos que faziam parte da imagem capturada pelo jogo e, portanto, os discos voadores sempre reagiram ao movimento do aparelho. 5. Conclusão O conceito de Realidade Aumentada visual se caracteriza pela adição de suplementos virtuais a um vídeo que, dentre outras ações, reagem ao movimento da câmera. Esse trabalho teve o objetivo de aplicar esse conceito em dispositivos móveis através de um jogo para celular, utilizando o algoritmo Shift Analysis. Este aplicativo consistiu em capturar informação de deslocamento da imagem e aplicar essa informação aos suplementos virtuais, fazendo com que estes reagissem ao movimento do aparelho celular. Entretanto, a fim de melhorar a aplicação da RA no jogo desenvolvido, se observou dois aspectos de interesse. O primeiro aspecto diz respeito ao desenho dos suplementos virtuais. Por serem modelados em duas dimensões, os discos voadores acabam não parecendo fazer realmente parte do ambiente real. Uma solução seria a utilização de imagens de discos voadores em três dimensões, animadas e com cores suavizadas. Outro aspecto diz respeito a que, neste aplicativo, todos os objetos virtuais permanecem sempre há mesma distância do observador. Pode-se facilmente modelar um ambiente em que os suplementos virtuais se afastam e se aproximam, ocasionando alteração no seu tamanho e forma. Foi comprovado, a partir deste projeto, que é possível implementar algoritmos de RA em dispositivos móveis alavancando características e funcionalidades muito interessantes. Da mesma forma foi possível constatar que a integração de novas tecnologias em jogos para dispositivos móveis têm grande e rápida aceitação neste crescente mercado. 6. Referências Bibliográficas [1] LIMA, J. Um Framework de Realidade Aumentada Para o Desenvolvimento de Aplicações Portáveis Para a Plataforma Pocket PC. UFPE, Ciência da Computação, Recife. Trabalho de conclusão de curso, [2] HARMA, A. et al. Techniques and applications of wearable augmented reality audio. In: Audio Engineering Society Convention Paper, Amsterdam, Holanda, [3] BIMBER, O. & RASKAR, R. Spatial Augmented Reality: Merging Real and Virtual Worlds. 1. Ed., Wellesley: A K Peters, [4] AZUMA, R. Tracking Requirements for Augmented Reality. Disponível em /cacm.html, agosto de [5] BONSOR, K. How Augmented Reality Will Work. Disponível em augmented-reality.htm, agosto de [6] FORUM NOKIA, Device Details Nokia N95. Disponível em _Classic, agosto de [7] SABBATINI, R. Realidade Virtual no Ensino Médico. Informática Médica, 1999, v. 2, n. 2. [8] TONIETTO, L. Análise de Algoritmos para Chroma- Key. Unisinos, Habilitação Software Básico, São Leopoldo. Trabalho de conclusão de curso, [9] SUN, The Most Ubiquitous Application Platform for Mobile Devices. Disponível em javame/index.jsp, [10] QUIGLEY, A. Digital Scrap Book. Disponível em crap+book, [11] NETO, S. et al. Criação de Aplicações de Realidade Aumentada em Dispositivos Móveis Baseados em Symbian OS. In: II Workshop de Aplicações de Realidade Virtual, Universidade Federal de Pernambuco, 2006, p [12] REIMANN, C. Kick-real, a Mobile Mixed Reality Game. In: Proceedings of the International Conference on Advances in Computer Entertainment Technology. Valencia, 2005, pp [13] DRAB, S. & ARTNER, N M. Motion Detection as Interaction Technique for Games & Applications on Mobile Devices. Pervasive Mobile Interaction Devices (PERMID 2005), Munich, Alemanha, [14] FULTON, W. A little more detail about Histograms. Disponível em lumin.html, agosto