Limitações de ambiente da ARToolkit no reconhecimento dos marcadores

Transcrição

1 Limitações de ambiente da ARToolkit no reconhecimento dos marcadores Jéssica A. de Souza, Diogo F. Trevisan, Celso G. Camilo Jr. Faculdade de Ciências Exatas e Tecnolocia Universidade Federal da Grande Dourados Dourados, MS. j.andressasouza@gmail.com, pancatrevisan@gmail.com, celsocamilo@gmail.com Abstract A ARtoolkit é uma das bibliotecas mais usadas para o desenvolvimento de sistemas com Realidade Aumentada, principalmente quando se deseja uma solução de baixo custo. Por isso, e considerando a escassez de estudos dessa natureza, este trabalho investiga as limitações apresentadas pela ARtoolkit (função Pattern Match) no reconhecimento dos marcadores. Foram feitos diversos testes para identicar os limites de iluminação, inclinação, distância e tamanho do marcador. Os resultados identicam algumas limitações nos cenários constru dos, possibilitando uma melhor compreensão das necessidades de ambiente da biblioteca. Palavras-chave: Reconhecimento de padrões, Limitações da ARtoolkit, Realidade Aumentada. 1. Introdução Os modelos de mundos virtuais utilizando técnicas de Realidade Virtual (RV) e Realidade Aumentada (RA) têm recebido merecido destaque devido as suas aplicações em psicologia, educação, processos industriais, cinema, entretenimento, entre outros [2, 12]. A Realidade Aumentada é denida como uma combinação da visão do ambiente real com o ambiente virtual [1, 4, 9]. Em realidade aumentada a imagem de v deo é processada e o ambiente real é aumentado com cenas grácas geradas por computador [3]. A maioria dos projetos de baixo custo em RA são desenvolvidos utilizando um conjunto de bibliotecas chamado ARToolKit [11]. O ARToolkit é uma biblioteca utilizada para criação de aplicações de RA, desenvolvida nas linguagens de programação C e C++. Seu código é multiplataforma, ou seja, funciona tanto em ambiente Linux, Windows, MAC ou UNIX. A biblioteca é distribu da com código aberto e sob a licença GPL, sendo poss vel fazer modicações não comerciais. Caso o código resultante seja distribu do, deve permanecer aberto. Uma versão proprietária é fornecia pela ARToolWorks [5]. Considerando a grande usabilidade dessa ferramenta e a ausência de estudos dessa natureza, este trabalho investiga as limitações apresentadas pela ARtoolkit no reconhecimento dos marcadores. O reconhecimento dos marcadores é atribuição da função Pattern Match, que baseado em cálculos estat sticos dene a probabilidade de que o marcador identicado seja um dos marcadores pré-cadastrados. Entre as poss veis alterações no ambiente, que podem acarretar alterações de reconhecimento dos marcadores, esse trabalho investiga a iluminação, a inclinação do marcador, o tamanho do marcador e a distância entre o marcador e a câmera. Espera-se, assim, orientar outros trabalhos quanto a limitação da biblioteca ARtoolkit no reconhecimento dos padrões. A seção 2 descreve o funcionamento da ARtoolkit, a seção 3 apresenta o ambiente de teste e os materiais utilizados, a seção 4 mostra os resultados obtidos, e por m, a seção 5 apresenta a conclusão e os trabalhos futuros. 2. Funcionamento da ARtoolkit O ARtoolkit tem quatro fases de funcionamento, sendo a primeira de pré-execução e as demais de execução. Na primeira, cadastra-se os marcadores que serão usados. Na segunda, é capturado a imagem por meio de uma câmera. Na terceira, identica-se nessa imagem os marcadores précadastrados. Na quarta, substitui os marcadores identicados pelo objeto virtual correspondente. As três etapas de execução estão ilustradas na Figura 1. A primeira etapa da Figura 1, mostra a identicação dos marcadores, nesta fase a imagem capturada pela camera é investigada com o intuito de encontrar bordas que formem um quadrado. Todo quadrado encontrado é identicado 77

2 doze matrizes para cada marcador cadastrado. Cada grupo tem três matrizes, sendo cada uma em uma posição de translação e a cada mudança de grupo tem uma rotação no marcador. Como exemplo, será apresentado, na Figura 2, uma matriz de cada grupo. Considerando o limiar igual a 100, a gura do marcador foi realçada pelo contorno para que seja poss vel a observação da movimentação do desenho pelas matrizes. Figura 1. Etapas de execução da ARtoolkit como um marcador, no entanto, nem todos os marcadores são válidos, ou seja, podem existir marcadores que não foram cadastrados e por isso não representam nenhum objeto virtual. Para ser considerado um marcador válido a gura contornada pelo quadrado identicado tem que ser igual ao précadastrado (Etapa 2). Caso seja um marcador válido, na etapa 3 o objeto virtual relacionado com o marcador é desenhado. Caso não haja algum marcador válido, o processo de captura de marcadores (Etapa 1) é retomado. É necessário o uso de uma câmera de captura de v deo (webcam ou HMD - Head Mounted Display) e marcadores impressos para o funcionamento da ARToolkit. Para a fase de cadastro de marcadores, a biblioteca possui um aplicativo próprio, que captura a forma e gera um arquivo de 12 matrizes, de dimensões 16 x 16. Cada matriz determina uma posição do marcador, seja ela translacionada ou rotacionada. Com isso, não importa a forma como o marcador é capturado pela câmera, porque muitas das possibilidades de posicionamento do marcador estão previamente denidas nesse arquivo. As matrizes são preenchidas de números que variam de 0 até 255, numa escala de cinza. Baseado em um limiar, é denido qual pixel na imagem é claro ou escuro, formando assim, um arquivo binário. Por exemplo, se o limiar for igual a 100, todo campo da matriz que tiver valor maior ou igual a 100 é convertido para 1 (branco), e todo campo que tiver valor menor a 100 recebe 0 (preto). O arquivo de matrizes é organizado da seguinte forma: são quatro grupos de três matrizes de 16 x 16, totalizando Figura 2. Arquivo de matrizes do marcador Kanje Para simplicar, a Figura 2 mostra apenas uma matriz de cada grupo. Como pode ser visto no tens a,b,c e d, no primeiro passo é aplicado rotação nos desenhos da matriz a cada mudança de grupo. Como o marcador é quadrado e tem quatro vértices, portanto, são quatro rotações. Já a identicação dos marcadores é feita pela função Pattern Match, que consiste basicamente de uma comparação entre o arquivo de matrizes de marcadores pré-cadastrados e a matriz capturada pela câmera em tempo de execução. A função retorna, após cálculos estat sticos, a probabilidade de que o marcador capturado seja um dos pré-cadastrados. Caso essa probabilidade seja acima de 50%, o marcador é reconhecido e substitu do pelo o objeto virtual 3D na imagem, através de rotinas da biblioteca OpenGL. Permite-se também o uso de modelos tridimensionais descritos na linguagem VRML [5, 15, 16]. A Figura 3 mostra um exemplo de marcador. Para ser reconhecido, o mesmo deve possuir uma borda preta e um quadrado interno branco. Dentro do quadrado branco está a imagem a qual identicará o marcador, nesse caso a palavra Hiro. A Figura 4 mostra um exemplo de marcador reconhe- 78

3 Figura 3. Exemplo de um marcador cido. Sugere-se que o marcador seja impresso em um papel sulte A4 na cor branca e colado em um papel cartão, para que não se curve facilmente. Figura 5. Caixa e algumas fontes de luz usadas nos testes Exceto no teste de tamanho de marcador, foi utilizado um marcador com 4,5cm 2 para os demais testes. O marcador utilizado nos testes foi o Hiro. Além disso, usou-se o aplicativo SimpleTest, que acompanha a ARtoolkit, para executar os testes. Foram feitas quatro etapas de teste. A primeira, identica a iluminação máxima e m nima aceitável para o reconhecimento dos marcadores; a segunda, identica a distância máxima e m nima aceitável do marcador em relação ao dispositivo de entrada; a terceira, identica a inclinação máxima aceitável do marcador; por m, a quarta, identica o tamanho m nimo do marcador em relação a distância. Figura 4. Exemplo de um marcador reconhecido e substitu do pelo cubo virtual 3. Ambiente de Testes Os testes foram realizados em um laboratório com uma iluminação média de 600 lux 1. Foram utilizados nos testes: uma câmera (webcam) capturando 30 frames por segundo com 24 bits de qualidade de cor; um lux metro digital com capacidade máxima de lux; e, durante os testes de iluminação, uma caixa de papelão revestida de papel dobradura na cor preta para amenizar os focos de luz do ambiente. As Figuras 5 e 6 ilustram a caixa usada e algumas fontes de luz. 1 dene-se LUX como o iluminamento de uma superf cie de 1m 2 recebendo de uma fonte puntiforme a 1m de distância, na direção normal, um lux luminoso de 1 lúmen, uniformemente distribu do [13] 4. Resultados Os resultados obtidos no teste de iluminação são apresentados na Tabela 1. Dado esses resultados, percebe-se que tanto a falta como o excesso de luminosidade prejudica o reconhecimento. Identica-se como limite m nimo 11 lux e como máximo 2081 lux. As distâncias máxima e m nima para o reconhecimento do marcador foram, respectivamente, 233cm e 22cm. Abaixo de 22cm, a imagem do marcador perde a borda, o que impede a identicação. A Figura 7 ilustra a bancada utilizada para executar o teste de distância. Como ilustrado pela Figura 8, para os testes de inclinação produziu-se o deslocamento da borda superior em direção contrária a câmera, aumentando assim o ângulo com a base. Para cada distância, foi identicado o ângulo máximo aceitável. 79

4 Figura 6. Caixa usada para controlar a luminosidade dos testes Figura 7. Mesa com 240cm de comprimento Tabela 1. Resultado do teste de iluminação no ambiente Lux Caixa Reconhecimento 0 fechada não 9 fechada não 10 fechada não 11 fechada sim 47 fechada sim 150 fechada sim 364 aberta sim 2081 aberta, com fonte extra sim 2082 aberta, com fonte extra não A Tabela 2 e a Figura 9 mostram os ângulos máximos aceitáveis para as distâncias 27, 48, 62, 100 e 213cm. Apesar de não ser uma relação linear entre a distância e o ângulo, percebe-se que quanto maior a distância, menor o ângulo aceitável de inclinação. A Figura 10 mostra as distâncias máximas aceitáveis para os tamanhos de marcador 1cm 2, 1,5cm 2, 2,5cm 2, 3,5cm 2. Nesse teste percebe-se uma tendência linear de crescimento entre tamanho de marcador e distância da câmera. Essa relação é de, aproximadamente, mais 50cm de distância a cada 1cm 2 acrescido no tamanho do marcador. 5. Conclusão Considerando os poucos estudos sobre [14], esse trabalho objetivou um estudo sobre as limitações do uso do Figura 8. Ambiente para o teste de inclinação Pattern Match, função de reconhecimento de marcadores da ARToolkit. Foi apresentado no texto um resumo do funcionamento da biblioteca e, logo em seguida, uma descrição dos cenários de teste. Entre os resultados dos testes, identicouse os limites de iluminação, de distância, inclinação e tamanho dos marcadores. Sobre a iluminação, a saturação luminosa pode criar re- exões e regiões brilhantes nas marcas do papel, tornando mais dif cil a tarefa de encontrar as marcas quadradas. Para reduzir o brilho e melhorar o desempenho, os padrões podem ser confeccionados com material não reexivo. Sobre a distância, identicou-se uma distância máxima de 233cm para o marcador com 4,5cm 2. Considera-se uma distância limitante dependendo da aplicação desejada. Essa distância é menor quando se diminui o tamanho do marcador, pois com 1cm 2 a distância máxima aceitável é de 60cm, com 1,5cm 2 a distância é de 92, com 2,5cm 2 a distância é de 140 e com 3,5cm 2 a distância é de 189. A 80

5 Figura 9. Resultado do teste de inclinação do marcador por distância Tabela 2. Resultado do teste de inclinação do marcador Distância Inclinação Lux relação é diretamente proporcional com uma tendência de crescimento linear entre a distância e o tamanho do marcador. Sobre a inclinação, foram feitos testes que identicaram a inclinação máxima para cada distância medida. Percebese que a relação entre a inclinação e distância é inversamente proporcional, ou seja, quanto menor a distância, maior é a inclinação máxima aceitável para o reconhecimento do marcador. Essa variável também é decisiva na aplicação da ARtoolkit, pois normalmente os marcadores estão em movimento e em diferentes ângulos de inclinação. Pode-se perceber, a partir destas limitações, que o ambiente no qual as aplicações de RA são executadas, assim como as interações entre os objetos, exigem planejamento, para que se possa determinar os tamanhos adequados dos marcadores, suas poss veis inclinações e ainda a iluminação do ambiente [7, 8]. Outros experimentos explicitando limitações de reconhecimento podem ser encontrados em [6, 14]. Figura 10. Resultado do teste do tamanho do marcador por distância Como trabalhos futuro, sugere-se a aplicação dos testes em diferentes marcadores, em diferentes tipos de papel, com diferentes tipos de câmera, além da substituição do Pattern Match por outros algoritmos de reconhecimento de padrões, como no trabalho [10]. Referências [1] R. Azuma. Tracking requirements for augmented reality. Commun. ACM, 36(7):50 51, [2] R. Azuma. A survey of augmented reality. Presence, 6(4): , [3] M. Bajura and U. Neumann. Dynamic registration correction in video-based augmented reality systems. IEEE Comput. Graph. Appl., 15(5):52 60, [4] D. K. Boman. International survey: Virtual-environment research. Computer, 28(6):57 65, [5] A. Cardoso, E. Lamounier Júnior, C. Kirner, and J. Kelner. Conceitos de Realidade Virtual e Aumentada, volume 1, chapter Tecnologias para o Desenvolvimento de Sistemas de Realidade Virtual e Aumentada, pages Universitária da UFPE, [6] L. S. Davis, E. Clarkson, and J. P. Rolland. Predicting accuracy in pose estimation for marker-based tracking. In IEEE / ACM International Symposium on Mixed and Augmented Reality - ISMAR, pages IEEE Computer Society, [7] C. de Oliveira Santos Filho. Estudo e aplicação da tecnologia e realidade aumentada. Tcc, Escola Politécnica de Pernambuco,

6 [8] G. P. dos Santos and A. Cardoso. Realidade virtual e aumentada como ferramentas no estudo de linhas de transmissão e distribuição de energia elétrica. Horizonte Cient co, 1(8), [9] S. Feiner, B. Macintyre, and D. Seligmann. Knowledgebased augmented reality. Commun. ACM, 36(7):53 62, [10] W. L. Gomes, C. G. Camilo Jr., K. Yamanaka, A. Cardoso, E. Lamounier Jr., and L. A. Lima. Articial neural networks to recognize artoolkit markers. In International Conference on Articial Intelligence and Pattern Recognition (AIPR- 07), Orlando, USA, [11] H. Kato and M. Billinghurst. Artoolkit version 2.33: A software library for augmented reality applications. Tutorial, nov [12] C. Kirner. Sistema de realidade virtual. site, Dez [13] M. J. Luz. Luminotécnica. site, Jan [14] P. Malbezin, W. Piekarski, and B. Thomas. Measuring artootkit accuracy in long distance tracking experiments. In The First IEEE International Augmented Reality Toolkit Workshop, [15] OpenGL. Open graphics library. dispon vel. site, Jan [16] VRML. Virtual reality modeling language. site, Jan