UM COMPOSITOR MUSICAL TANGÍVEL USANDO O ARTOOLKIT

Transcrição

1 UM COMPOSITOR MUSICAL TANGÍVEL USANDO O ARTOOLKIT Marcelo Fernandes França (Bolsista PIBIC/CNPq) Felipe Afonso de Almeida (Orientador) Davi D Andréa Baccan (Co-orientador) Instituto Tecnológico de Aeronáutica Divisão de Ciência de Computação Resumo Nos últimos anos, novas linhas de pesquisa inseridas no contexto da computação, como, por exemplo, a computação tangível e a realidade aumentada, têm proporcionado a base para o surgimento de novas e interessantes abordagens para o desenvolvimento de sistemas computacionais. Além disso, com o advento de tecnologias à baixo custo, como o rastreamento de objetos por meio do ARToolkit, experiências práticas envolvendo estas novas áreas da computação podem vir a ser realizadas. Neste contexto, este artigo apresenta as principais características do ARToolkit, bem como o projeto e desenvolvimento de um compositor musical tangível utilizando este kit. Abstract In the last years, new research areas within the computing context, such as the tangible computing and augmented reality, has allowed the basis for the emergence of novel and interesting approaches for the development of computing systems. In addition, by using low cost technologies, such as the tracking object system known as ARToolkit, real experiences can be carried out. In this context, this paper presents the main features of the ARToolkit system, as well as the design and development of a tangible musical composer using this kit. 1. INTRODUÇÃO Ao longo dos últimos anos, com o advento de novas linhas de pesquisa e a popularização das tecnologias já existentes, vem ocorrendo um crescente e notável deslocamento do paradigma de interação tradicional, no qual o usuário interage com o sistema computacional (desktop) por meio dos dispositivos de entrada convencionais como, por exemplo, mouse e teclado, para um paradigma de interação tangível [3]. O termo tangível refere-se ao fato da interação com um dado sistema computacional ocorrer por meio de dispositivos e objetos do cotidiano. Neste cenário, a interação dos participantes (usuários) para com esses objetos é interpretada como uma entrada de um sistema computacional. Desta forma, ocorre o deslocamento do paradigma de interação tradicional para o paradigma de interação onde a computação torna-se tangível. Além da computação tangível, o presente projeto utiliza conceitos da linha de pesquisa conhecida como Realidade Aumentada. A Realidade Aumentada (RA), do inglês Augmented Reality, é uma área de pesquisa inserida dentro da Realidade Virtual. Geralmente, em ambientes de Realidade Virtual o usuário é separado do mundo, através do uso de dispositivos específicos como, por exemplo, capacetes e luvas, e desta forma, é levado a crer que se encontra imerso sensorialmente em um mundo virtual. Por outro lado, a Realidade Aumentada preserva o usuário no mundo real aumentando as possibilidades de interação do usuário com este mundo. Tecnicamente, pode-se ter uma sobreposição de imagens virtuais em objetos, cenas, e ambientes reais. Essa sobreposição tem como objetivo integrar de forma transparente (seamless) elementos reais com elementos virtuais (gerados em computador), resultando em uma nova realidade. A Realidade Aumentada possui uma variedade de aplicações dentre as quais a literatura relata aplicações em áreas como, medicina, guerra, arquitetura, jogos, artes, educação, e entretenimento.

2 Neste contexto, tendo como base os conceitos da computação tangível e da realidade aumentada, o presente projeto apresenta o projeto e o desenvolvimento de um compositor musical tangível usando o kit de Realidade Aumentada open source ARToolKit. 2. PROJETO E DESENVOLVIMENTO Para que a sobreposição de imagens virtuais possa ser feita em um determinado objeto real, é necessário saber a localização deste objeto no espaço físico (2D ou 3D). Para tanto, o uso de dispositivos de rastreamento (tracking) se faz necessário. Um dos obstáculos para o projeto e desenvolvimento de aplicações de Realidade Aumentada para fins acadêmicos era o alto custo destes dispositivos. Porém, o Human Interface Technology Laboratory [2], da Universidade de Washington, desenvolveu um kit open source para o desenvolvimento de aplicações de Realidade Aumentada chamado ARToolKit. Através do uso de técnicas de visão computacional e de marcadores, este kit (disponível gratuitamente) soluciona o problema de rastreamento de objetos. Através de sua utilização, o projetista de aplicações de Realidade Aumentada pode se preocupar efetivamente com o desenvolvimento da aplicação, uma vez que o problema de rastreamento já foi solucionado. 2.1 Funcionamento do ARToolKit O ARToolKit é uma biblioteca de programação para o desenvolvimento de aplicações de realidade aumentada. Esta biblioteca utiliza técnicas de visão computacional para calcular precisamente a posição de um dado conjunto de marcadores em relação à câmera. O programador pode usar esta informação para, por exemplo, desenhar objetos 3D exatamente alinhados com o objeto real. O funcionamento do ARToolkit é descrito abaixo. Na primeira etapa, a imagem de vídeo é transformada em uma imagem binária (em P&B) baseada no valor do limiar de intensidade. Depois, busca-se nesta imagem por regiões quadradas. O ARToolKit encontra todos os quadrados na imagem binária, muitos dos quais não correspondem a marcadores de referência. Para cada quadrado, o desenho padrão dentro dele é capturado e comparado com alguns gabaritos pré-treinados. Se houver alguma similaridade, o ARToolKit considera que encontrou um dos marcadores de referência e usa o tamanho conhecido do quadrado, bem como a orientação do padrão encontrado, para calcular a posição real da câmera em relação à posição real do marcador [1]. Uma matriz 3x4 conterá as coordenadas reais da câmera em relação ao marcador. Esta matriz é usada para calcular a posição das coordenadas da câmera virtual. Se as coordenadas virtuais e reais da câmera forem as mesmas, o modelo de computação gráfica pode ser desenhado precisamente sobre o marcador real. A API OpenGL é usada para calcular as coordenadas virtuais da câmera e desenhar as imagens virtuais. Este procedimento está ilustrado na Figura 1. Figura 1- Funcionamento do ARToolKit.

3 A API OpenGL é uma biblioteca da linguagem C/C++ cujas rotinas possibilitam a fácil criação e manipulação de figuras 2D e 3D, permitindo ainda uma série de recursos como, por exemplo, aplicação de texturas, e variação de iluminação. Para o uso dessa biblioteca são necessários os seguintes arquivos: glut.dll, glut32.dll, opengl32.lib, glu32.lib e glut.h. Estes arquivos podem ser facilmente encontrados na internet, com instruções indicando para onde copiá-los. O desenvolvimento de aplicações de Realidade Aumentada com o ARToolKit requer duas etapas: primeiro, é necessário escrever a aplicação e, depois, treinar as rotinas de processamento de imagens sobre os marcadores do mundo real que serão usadas na aplicação. Para escrever aplicações com o ARToolKit, deve-se seguir os seguintes passos[1]: Passo 1: Inicializar o caminho dos parâmetros de vídeo; Ler os arquivos de padrões de marcadores; Ler os parâmetros de câmera. Passo 2: Capturar um quadro da entrada de vídeo. Passo 3: Detectar os marcadores e reconhecer os padrões no quadro capturado da entrada de vídeo. Passo 4: Calcular a transformação da câmera em relação aos padrões detectados. Passo 5: Desenhar os objetos virtuais nos padrões detectados. Passo 6: Fechar a entrada de vídeo. Os passos 2 até o 5 são repetidos continuamente até que a aplicação termine, já os passos 1 e 6 são executados, respectivamente, apenas na inicialização e na finalização da aplicação. Além destes passos, a aplicação pode precisar responder ao mouse, ao teclado ou a outros eventos específicos da aplicação. A versão do ARToolKit usada foi a O ARToolKit 6.65 tem uma série de exemplos de aplicações utilizando a API OpenGL para renderização dos objetos virtuais. Há o arquivo readme.txt que explica passo a passo quais os pré-requisitos para o correto funcionamento das bibliotecas e os passos a serem executados. Na versão usada, os arquivos estão na linguagem C++, e foram compiladas com o Microsoft Visual Studio.NET Existe também a versão em Java para o ARToolKit. Foram feitos diversos testes com os marcadores. O ARToolKit é capaz de detectar marcadores de diferentes tamanhos, e vários ao mesmo tempo. O número de marcadores detectáveis é um dos parâmetros configuráveis. Além disso, este kit possui uma série de marcadores padrões. Contudo, outros marcadores podem ser facilmente criados. Para tanto, basta ter a cautela de criar marcadores simples e assimétricos, para que na imagem capturada pela câmera seja evidente a distinção da parte frontal do marcador. Alguns marcadores estão ilustrados nas Figura 2. Figura 2 Exemplos de marcadores. A câmera utilizada foi a LG PRO (resolução 320x240) conectada ao computador pela porta USB. Nos testes realizados não foi necessária a calibração dessa câmera. Caso fosse necessário, o ARToolKit tem um utilitário para calibração. O procedimento de calibração é detalhado no tutorial sobre ARToolKit indicado nas referência bibliográficas[1]. O uso do ARToolKit em aplicações de Realidade Aumentada está cada vez mais freqüente, devido a sua eficiência da identificação dos marcadores, e também por ser open source. Existem papers muito interessantes na área, alguns dos quais serviram de embasamento e motivação para o presente projeto, dentre os quais destacam-se o Using ARToolKit for 3D Hand Position Tracking in

4 Mobile Outdoor Environments[4], e Using ARToolKit for 3D Hand Position Tracking in Mobile Outdoor Environments[5]. 2.2 Compositor Musical Tangível O compositor musical tangível que está sendo desenvolvido é composto por marcadores específicos representando instrumentos musicais. Cada marcador representa um instrumento musical. Este marcadores são criados e posteriormente calibrados no ARToolkit. Ao interagir com um determinado marcador, por exemplo, com o que representa uma bateria, o computador emite o som correspondente a este marcador. Da mesma forma, se o participante interagir com o marcador que representa uma guitarra, tem-se uma música composta por sons de dois instrumentos. A Figura 3 mostra alguns exemplos de marcadores a serem utilizados. O marcador B corresponde à bateria, G à guitarra, e A ao baixo. Figura 3: Exemplos de marcadores a serem utilizados. Os participantes podem interagir com o sistema através do deslocamento dos marcadores ao longo do Eixo X. Conforme o participante desloca um determinado marcador, as variáveis musicais como altura, duração, intensidade, e ritmo do instrumento referente a este marcador serão modificados e, baseado nessa informação, o sistema irá produzir o som correspondente. Além disso, os participantes podem visualizar imagens que são geradas utilizando-se como parâmetros de entrada as variáveis musicais de cada marcador. A geração destas imagens será feita utilizando-se princípios básicos de computação gráfica. O resultado esperado é semelhante ao gerado pelo Advanced Visualization Studio (AVS) um plug-in de vizualização para um dos mais conhecidos players de MP3 atuais, o WINAMP. A Figura 4 ilustra o funcionamento deste procedimento. Conforme os participantes interagem com os marcadores, deslocando-os ao longo do Eixo X, Figura 4 (a), uma imagem correspondente é gerada, Figura 4 (b). Figura 4: Interação com os marcadores (a), e a visualização da imagem correspondente (b). Conforme descrito anteriormente, o participante pode interagir com quantos marcadores (instrumentos) desejar para compor sua música. Dessa forma, além de ouvir a música composta, o participante pode visualizar a música. A Figura 5 ilustra duas possíveis visualizações de uma música composta por quatro instrumentos. A imagem exibida na Figura 5 (a) e (b) podem ser interpretadas como a visualização de uma mesma música em instantes diferentes.

5 Figura 5: Visualização de uma mesma música em dois instantes diferentes (a) e (b). 3. CONSIDERAÇÕES FINAIS Este artigo apresentou o projeto e desenvolvimento de um compositor musical tangível usando o ARToolkit. O ARToolkit é um kit open source que pode ser utilizado para o desenvolvimento de aplicações inseridas no cenário da computação tangível bem como aplicações de Realidade Aumentada. O ARToolkit é utilizado nesta pesquisa para efetuar o rastreamento de objetos por meio de marcadores. O compositor musical tangível consiste em um sistema baseado em marcadores específicos que representam instrumentos musicais. Através da interação com esses marcadores, os participantes podem modificar as variáveis musicais e, dessa forma, compor músicas. Além disso, de acordo com essas variáveis, imagens são geradas permitindo que os participantes visualizem a música que está sendo composta. Este projeto encontra-se em andamento. Contudo, após o término da realização técnica do projeto, experiências, tanto com o público leigo quanto o público não-leigo em relação à composição de músicas, serão realizadas. AGRADECIMENTOS O autor Marcelo Fernandes França gostaria de agradecer ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) pela bolsa PIBIC de Iniciação Científica. REFERÊNCIAS BIBLIOGRÁFICAS [1] Consularo, L. A., Coelho, R. C., Fernandes, M. M. Tutorial sobre o ARToolkit. Universidade Metodista de Piracicaba. [2] Human Interface Technology Laboratory (HIT Lab). University of Washington. [3] Tangible Media Group, MIT Media, [4] Piekarski, W. and Thomas, B. H. Using ARToolKit for 3D Hand Position Tracking in Mobile Outdoor Environments. In 1st Int'l Augmented Reality Toolkit Workshop, Darmstadt, Germany, Sep [5] Fischer, J. and Neff, M. and Freudenstein, D. and Bartz, D.. Medical Augmented Reality based on Commercial Image Guided Surgery, in: S. Coquillart and M. Göbel (eds), Eurographics Symposium on Virtual Environments (EGVE 2004), 2004.