Integração de software heterogêneo: Desenvolvimento de um framework para integração de XNA com ARToolkit

Transcrição

1 Integração de software heterogêneo: Desenvolvimento de um framework para integração de XNA com ARToolkit Dennis José da Silva Faculdade de Computação e Informática Universidade Presbiteriana Mackenzie São Paulo, Brasil dennisjosesilva@gmail.com Ismar Frango Silveira Faculdade de Computação e Informática Universidade Presbiteriana Mackenzie São Paulo, Brasil ismafrango@gmail.com Abstract Currently there is a tendency in digital games development with unconventional interface (no joystick, no keyboard and no mouse) it can be see through devices as Microsoft Kinect, Sony PlayStation Move and Nintendo Wii. Normally these interfaces are based in player body movement. The augment reality is a technology are using in a lot of areas as an alternative way of interactions of traditional ones. The project analyzes several ways to integrate heterogeneous system in several levels. In the project was developed a software layer that make the communication between the augment reality API Artoolkit and the Microsoft XNA game engine. The project explore the problems found in its developing and propose a game as a concept proof. Keywords: Games, Augmented Reality, Heterogeneous Systems I. INTRODUÇÃO A indústria de jogos eletrônicos está se dedicando cada vez mais ao desenvolvimento de dispositivos com interações não convencionais, isso pode ser notado por meio de investimentos de grandes empresas e nos produtos gerados por esses investimentos como Sony Playstation Move [1], Nintendo Wii [2], e Microsoft Kinect [3]. Em todos esses dispositivos o jogador não fica restrito ao pressionar de botões, mas também joga movimentando o seu corpo, o Microsoft Kinect diferentemente dos outros o jogador não necessita de nenhum controle apenas o sensor que captura movimento de seu corpo. A realidade aumentada é uma tecnologia com foco na interação que vem sendo usada por diversas áreas inclusive Fotometria [4], Psicologia [5], Educação [6], Arquitetura [7]. Com a realidade aumentada é possível interagir com objetos virtuais no mundo real, por meio de uma câmera o usuário consegue visualizar sua interação com objetos tridimensionais gerados por computador. Uma das principais ferramentas para desenvolvimento de aplicativos com Realidade Aumentada é a API em linguagem C ARToolkit. O projeto propõe integrar a game engine XNA (ferramenta utilizada para facilitar o desenvolvimento de jogos digitais em linguagem C#) com a ARToolkit para disponibilizar um framework capaz de criar aplicativos de realidade aumentada que possa usufruir dos recursos de uma game engine. Por se tratar de duas ferramentas já existentes foi necessário um estudo sobre integração de sistemas, cujo objetivo é realizar a comunicação entre sistemas existentes, ou ainda a reutilização de um sistema que já está em uso em um novo sistema. Essa integração pode ocorrer por meio de dois sistemas heterogêneos, ou seja, dois sistemas que possuem incompatibilidade em hardware e/ou software. II. INTEGRAÇÃO DE SISTEMAS Em algumas situações a utilização de sistemas existentes para o desenvolvimento de novos aplicativos pode ser uma boa opção, visto que a reutilização de sistemas tem varias vantagens como o pré-conhecimento do funcionamento do sistema, economia de tempo o encapsulamento de código, entre outros. Porém existem algumas dificuldades em se integrar dois sistemas, já que a necessidade do desenvolvimento de um canal para comunicação entre os sistemas podem trazer algumas barreiras. Para esse canal é necessário que os formatos de saída e entrada estejam de acordo com os sistemas a serem integrados. Esta padronização traz a necessidade de adaptações, considerando ainda que o canal pode encontrar diversos níveis de heterogeneidade (figura 1) que podem aumentar a complexidade de seu desenvolvimento.

2 Figura 1: Graus de heterogeneidade de sistemas (hardware, sistema operacional, linguagem de programação, e plataforma). A heterogeneidade pode ser classificada em diversos níveis: Hardware: Ocorre quando se deseja integrar dois sistemas que estejam em hardware diferentes, esse grau de heterogeneidade geralmente ocorre em sistemas distribuídos onde sistemas computacionais estão espalhadas por uma rede ou pela internet. Sistema operacional: Atualmente existe uma infinidade de sistemas operacionais que podem conter aplicativos ou sistemas específicos e eventualmente é necessários desenvolver aplicativos que utilize recursos de outro sistema que esteja em execução em outro sistema operacional. Linguagem de programação: Atualmente é possível encontrar diversas linguagens de programação com características especificas e paradigmas diferentes. Sistemas implementados em um linguagem deve se comunicar com outro programa escrito em outra linguagem neste nível de heterogeneidade. Plataforma de programação: São plataformas necessárias para executar um software especifico, geralmente as plataformas contem um compilador que gera código para uma maquina virtual responsável por executar o programa em uma maquina real. As plataforma mais conhecidas atualmente são Oracle Java e Microsoft.Net. Existem técnicas para integração que podem envolver um ou mais nível de heterogeneidade, as técnicas discutidas abaixo procuram resolver problemas de integração em sistemas com características heterógenas: Java JNI: Tecnologia empregada na integração de linguagens nativas como C e C++ com linguagem Java, em JNI são desenvolvidas classes e funções que são compiladas em uma dll e carregadas na execução de um programa Java [8]. RPC e RMI: São tecnologias para implementação de chamadas de função e métodos remotos respectivamente. As duas técnicas são semelhantes mas RPC esta vinculado a chamada de funções como em C e RMI é orientado a objetos e possui o conceito de objeto distribuído. São utilizados para integração de sistemas em maquinas diferentes utilizando uma rede local [9]. Web Service: É uma técnica de integração de sistemas na web, com o Web Service é possível ter um sistema sendo executado em uma maquina que pode ser acessada via internet. O Web Service funciona em cima do protocolo SOAP que define formatos de mensagens em XML utilizados pelos sistemas em integração. Além de possuir essa caraterísticas de distribuição o Web Service é uma técnica que pode integrar sistemas em todos os níveis de heterogeneidade discutidos [9]. Integração via baixo nível (Microsoft CLR): O sistema Microsoft.Net Framework possui diversas linguagens que podem ser integradas entre si. Isso é possível por que todas as linguagens geram códigos para a mesma maquina virtual que os executa. Uma possibilidade de integração é a utilização de CLI C++ (C++ com recursos de.net) para realizar a comunicação entre.net e um biblioteca de baixo nível em linguagem C. III. ARQUITETURA DE INTEGRAÇÃO O desenvolvimento do projeto iniciou-se definindo a tecnologia de integração via baixo nível utilizando a plataforma Microsoft.Net, essa técnica foi escolhida por apresentar melhor adequação as tecnologias utilizadas no projeto e de suprir os requisitos de maneira eficiente. Com base em um modelo já pronto foi proposto uma adaptação do mesmo, apresentado na imagem a seguir:

3 dependentes. Para seu desenvolvimento foi realizado um estudo sobre os tipos de matrizes e suas utilizações em computação gráfica. Neste estudo foram levantados os tipos de matrizes: Transformação: Matrizes que definem as operações de translação, rotação e escala. Projeção: Matriz que define o mapeamento de objetos 3D em 2D. Visualização: Matriz de transformação global que é aplicada a todos os objetos da cena com o objetivo de simular uma câmera. Figura 1: Mecânica de funcionamento, adaptado de Silva e Silveira, 2011 [10] Nesta arquitetura a camada de integração realiza a comunicação entre a ARToolkit e XNA. O XNA será a interface com o desenvolvedor que utilizará classes da camada de integração para acessar funcionalidades da ARToolkit. A camada de integração é composta por classes em C# e em CLI C++, as classes em C# utilizam as classes CLI C++ que consumem funções da linguagem C da ARToolkit e suas estruturas. O fluxo de utilização deste modelo inicia-se com o desenvolvedor utilizando classes para a administração de câmera (carregamento de arquivo de configuração) e a inicialização de objetos do tipo marcador. Essas duas classes se comunicam e conseguem informar a matriz de View do objeto que será renderizado no marcador por meio de cálculos da ARToolkit. O Diagrama de pacotes e componentes da Figura 3 explicita o modelo arquitetural desenvolvido. Figura 2: Diagrama de pacotes e componentes O primeiro pacote desenvolvido foi o de transformação, visto que o mesmo possui o maior número de componentes Após o estudo inicial, foi realizada uma analise de como as ferramentas a serem integradas representam matrizes. No XNA uma matriz é representada por uma estrutura (struct), que em C# guarda similaridades com classes C++ em nível mais profundo que structs ANSI C trata-se, na realidade, de value objects, instancias que sofrem passagem de parâmetro por copia e não por referencia, ao contrario do que ocorre com instancias de classes (a menos que explicitamente indicado). Instancias da struct XNA::Matrix interagem em mais alto nível com objetos da classe XNA::Model, usada para controle de Modelos 3D. A classe XNA::Model é organizada em um conjunto de objetos do tipo ModelMesh que possui um conjunto de objetos XNA::Effect, a classe XNA::Effect é utilizada para a manipulação dos modelos e a utilização em shaders, quando não tem uma classe XNA::Effect especifica é comum utilizar a classe XNA::BasicEffect que possui atributos para as matrizes de visualização (View), projeção (Projection) e transformação (World). A inicialização do modelo com os dados desejados sem o uso de uma shader especifica pode ser realizado com os métodos de criação de matrizes de transformação, projeção e visualização da struct XNA::Matrix. Após o levantamento da representação de matrizes no XNA, o mesmo estudo foi realizado na ARToolkit. Sendo verificado que a ARToolkit representa suas matrizes com uma variável do tipo double[3][4], ou seja, um vetor bidimensional com tamanho 3x4. Também foi observado que a ARToolkit não inclui diretamente os valores da ultima linha de um matriz com coordenadas homogêneas, mas, quando ela passa essa informação para o OpenGL esses valores são preenchidos. Foi possível identificar, no nível de programação em OpenGL um ponto de integração que poderia ser trabalhado para o uso no XNA. Como a ideia da camada de integração é utilizar XNA para renderização e a manipulação dos modelos 3D, os trechos onde são usados funções do OpenGL deveriam ser eliminados e/ou substituídos pela integração com o XNA. A solução proposta foi desenvolver uma classe em CLI C++ (Transformation::AdpMatrix) que possui atributos que representam a matriz tanto em um vetor de double para a utilização e armazenamento de dados da ARToolkit e um array bidimensional que é utilizado em C#. Essa classe possui uma interface utilizável em C# e CLI C++. Assim a classe em CLI C++ é agregada a uma classe em C#

4 responsável por representar a matriz do XNA e para a classe de adaptação em CLI C++ conforme figura abaixo. Figura 3: Diagrama de classes do pacote Tranformation e sua relação com o XNA. O pacote ARUtil, foi desenvolvido como um pacote de utilidades que tem como objetivo manipular elementos essenciais da ARTookit por meio do XNA, suas funções incluem controlar padrões (descritos em arquivo), controlar elementos da câmera física (leitura de configurações, leitura de frames, etc.). Com essas funcionalidades levantas foi possível iniciar o design das classes. A ARTookit é uma API desenvolvida em linguagem C, portanto não possui o conceito de classes, ela trabalha apenas com funções e estruturas, a ideia inicial foi realizar um design de classes para ARTookit. Assim como no pacote Transformation, este pacote possui um conjunto de classes implementado em CLI C++ que realiza a conversão da linguagem C# para a linguagem C da ARTookit e viceversa e um conjunto de classes implementado em linguagem C# que realiza a conversão dos tipos de dados do XNA para classes em CLI C++. Apesar de fazerem parte do mesmo pacote as funcionalidades de câmera e marcadores, são distintas, porém as funcionalidades do marcador possuem dependências diretas com as da câmera, portanto o primeiro conjunto de classes a serem desenvolvidas foram as referentes à câmera. O desenvolvimento de classes iniciou-se com o design das mesmas, apesar da dependência dos marcadores as classes das duas categorias foram desenvolvidas separadamente. Para a conversão dos parâmetros das funções e estruturas da ARToolkit foram desenvolvidas varias classes agregadas que representariam a estrutura de dados da ARTookit (figura 5). Figura 4: Diagrama de classes do pacote ARUtil. Como as ferramentas utilizadas utilizam linguagem de programação em paradigmas diferentes foi necessário uma adaptação da estrutura de dados da ARToolkit para uma representação baseadas em classes e objetos do paradigma orientado a objetos. Classes para representação de distorção e equações foram criadas oposto a utilização de arrays da ARToolkit. As funções utilizadas pela ARToolkit foram adaptadas para métodos dentro da estrutura de classes desenvolvida, os parâmetros utilizados pelas funções da ARToolkit são adaptados para os atributos da classe onde a função foi agregada, isso pode ser observado pela classe de câmera e o método para leitura de parâmetros: void AdpCamera::LoadParam() { ARParam arp; if(arparamload(tocstr(cparamfile), 1, &arp) > 0) throw gcnew ARParamLoadException(); param = gcnew AdpCameraParam(arp); } Neste exemplo a cparamfile é um atributo da classe de câmera que representa o arquivo com parâmetros para câmera utilizadas pela ARToolkit, esse atributo é utilizado como parâmetro para a função da ARToolkit que lê os parâmetros descritos no arquivo e retorna uma estrutura de parâmetros que é transformado em um objeto da classe AdpCameraParam. Essa relação entre atributos, parâmetros, funções e métodos são encontradas diversas vezes no framework implementado. IV. ARGEOMETRIC: O JOGO DE DEMONSTRAÇÃO A ultima etapa do projeto foi o desenvolvimento de um jogo, utilizando os recursos desenvolvidos nesta integração. O ARGeometric é um jogo simples desenvolvido com o framework criado no projeto, seu maior objetivo é demonstrar recurso em uma aplicação real utilizando XNA e ARTookit integrados, o desenvolvimento do jogo iniciou-se com um rascunho de Game Design (documentação para desenvolvimento de jogos) onde foi definido a mecânica e as regras do jogo. O jogo consiste de uma mesa totalmente virtual, com buracos em formatos geométricos (circulo, quadrado e triangulo), essa mesa fica parada no cenário e o jogador deve levar objetos virtuais (cubo, prisma e esfera) com auxilio de marcadores de realidade aumentada até o buraco correspondente, a ideia é que o jogador associe um objeto volumétrico com a forma geométrica alocada na mesa. O jogo foi desenvolvido, utilizando a IDE Microsoft Visual Studio Então foram adicionadas referencias das dlls da ARTookit e do framework desenvolvido, sendo possível o uso das classes desenvolvidas no projeto dentro do desenvolvimento do jogo. O jogo possui uma mecânica simples, somente para fins de testes das funcionalidades da camada de software desenvolvida, não foram avaliados gráficos ou usabilidade (figura 6).

5 Figura 5: Tela principal do jogo ARGeometric. O jogo não possui gráficos com grande qualidade, mas foi capaz de interagir com os marcadores conforme o proposto. A jogabilidade não convencional é difícil de controlar no começo, mas a partir desse jogo pode se trabalhar mais os recursos da camada de integração proposta. V. CONCLUSÃO E TRABALHOS FUTUROS O trabalho apresentou diversas técnicas para a integração de sistemas e bibliotecas, e por meio da integração de baixo nível (a nível de plataforma) foi desenvolvido um framework funcional capaz de trabalhar com duas ferramentas em linguagens de programação diferentes. O framework desenvolvido, trabalha com o desenvolvimento de aplicações de Realidade Aumentada utilizando como base a ARToolkit ferramenta amplamente conhecida e utilizada na área, juntamente com a XNA que possui diversos recursos adicionais em relação a tradicional utilização da ARToolkit com a OpenGL. Outra característica do framework e a similaridade dos métodos das classes desenvolvidas com as funções da ARToolkit, que pode facilitar o desenvolvimento de aplicações de Realidade Aumentada para pessoas que já desenvolvem com a ARToolkit. No desenvolvimento da camada de integração foram propostos dois pacotes não implementados nesta primeira publicação, o pacote Graphics teve uma implementação superficial somente para dar suporte os pacotes já implementados nesta fase que necessitavam da interação do pacote Graphics para sua utilização em uma aplicação real. O pacote Graphics tem como objetivo adaptar o frame de vídeo, ou seja, uma imagem da ARToolkit em uma imagem manipulável para o XNA (converter um variável do tipo ARUint8* da ARToolkit para uma do tipo Texture2D do XNA). Outro pacote proposto não desenvolvido foi o pacote Input que tinha como objetivo fornecer uma interface mais fácil de manipular no XNA para o controle de entrada de dados via marcadores, identificando rotações, detecções e movimentação de marcadores. Sua relação com o XNA seria a mesma da de uma classe de Input da mesma utilizando métodos como GetState, entre outros. REFERENCIAS [1] Sony Inc.. Sony Playstation Move, Retrieved from Visited June, 2 nd [2] Microsoft Corp. Kinect Retrieved from Visited June 2 nd [3] Nintendo. Site oficial do console Nintendo Wii. Internet. Disponível na internet em Acessado em 04/04/2011. [4] M. Takemura. Photometric Inconsistency on a Mixed-Reality Face in Strategy, p , [5] S. Nilsson, B. Johansson. A Cognitive Systems Engineering Perspective on the Design of Mixed Reality systems. Systems Engineering, p , [6] C. Stapleton, C. E. Hughes. The art of Nurturing Citizen Scientists through Mixed Reality. Digital media, [7] T. Kakuta. Shading and Shadowing of Architecture in Mixed Reality in Virtual Reality, p.0-1, [8] S. Liang. The Java Native Interface Programming s Guide and Specification. Addison-Wesley [9] G. Coulouris et al.. Distributed systems: concepts and design. 4th ed. Harlow: Addison-Wesley, xiv, 927 p. (International computer science series). [10] D. J. Silva, I. F. Silveira. Realidade Misturada aplicada a Jogos digitais: Um jogo de Realidade Misturada para comemoração de 140 anos de Mackenzie in Jornada de Iniciação Cientifica e Mostra de Pós-Graduação Mackenzie