12th Brazilian Workshop on Real-Time and Embedded Systems 163 Uma Proposta para Visualização Aumentada em Tempo Real aplicada a Indústria Danúbia Espíndola 1,2, Carlos E. Pereira 1, Renato V. Henriques 1, Silvia S. Botelho 2 1 Departamento de Engenharia Elétrica Universidade Federal do Rio Grande do Sul (UFRGS) Av. Osvaldo Aranha, 103 CEP: 90035-190 Porto Alegre RS Brazil 2 Centro de Ciências Computacionais Universidade Federal do Rio Grande (FURG) Av. Itália km 8 Bairro Carreiros Rio Grande RS - Brazil {danubia,cpereira,rventura}@ece.ufrgs.br, silviacb@furg.br Abstract. This paper describes a proposal to visualization, using techniques of Augmented Reality that enable the real-time visualization of industrial processes. Resumo. Este artigo descreve uma proposta para visualização, através de técnicas de Realidade Aumentada que possibilitam a visualização em tempo real de processos industriais. 1. Motivação e objetivos Integração no campo industrial significa atualmente engenharia digital e eficiente gerenciamento da informação. Esta afirmação é evidenciada pela crescente quantidade de sistemas digitais que surgem diariamente no campo industrial [Buccioli et al, 2006]. No entanto a falta de padrões em formatos digitais, a usabilidade da interface de comunicação entre homem-computador e o entendimento da informação vem tornandose aspectos críticos com o surgimento acelerado dessas tecnologias. Neste sentido, a complexidade de tarefas de manutenção, montagem e desmontagens de máquinas e seus sistemas digitais são um excelente domínio para as aplicações de Realidade Virtual, Mista e Aumentada (RV, RM e RA) [Georgel et al, 2009]. A visualização de sistemas com suporte a Realidade Aumentada representam uma potencial solução em interfaces homem-máquina, auxiliando no fornecimento de instruções contínuas, autônomas, em tempo real apresentadas no local certo e na hora certa. As pesquisas apontam para a RA como uma técnica de visualização em tempo real que pode ser fortemente aplicada ao contexto industrial [Regenbrecht et al, 2005]. A possibilidade de compartilhar e modificar dados remotamente; a interação em tempo real com o equipamento assistido através de dispositivos de RA; são objetivos claros da implantação de um sistema de visualização aumentada. Os ganhos com a implantação destas tecnologias atuam diretamente nos requisitos de tempo, qualidade e custo. Entre as possíveis aplicações de RA na indústria citam-se: projeto, colaboração, treinamento, manufatura e manutenção [Schoenfelder et al, 2008] [Henderson et al, 2009].
164 Proceedings Sendo assim este estudo pretende propor uma metodologia bem como uma solução para validação de um sistema de visualização aumentada que atenda os requisitos de tempo para aplicações industriais. 2. Contextualização e trabalhos relacionados Este estudo irá explorar aspectos de Realidade Aumentada como forma de misturar informações virtuais ao ambiente real da fábrica/equipamento para obtermos uma visualização em tempo real guiada pelo computador. A união de objetos virtuais com o cenário real da indústria, produzirá um ambiente único, sobreposto ao ambiente físico. O uso de RA permitirá análise, interação e exploração de aspectos cognitivos, relatados com a compreensão da informação, facilitando as tarefas de manutenção, treinamento, operação e a tomada de decisão. Entre os principais desafios na implantação de técnicas de RA para visualização em tempo real, verificou-se a dificuldade na capacidade de sincronizar e alinhar num mesmo sistema de coordenadas, o movimento da câmera, o ambiente do utilizador e os objetos virtuais inseridos nesse ambiente. Ou seja, o alinhamento e a sincronização entre o real e o virtual em tempo real. No entanto, a utilização da biblioteca ARToolkit com a uso de marcadores para rastreamento apresenta bons resultados em termos de tempo de processamento. Por outro lado, a complexidade de modelos de equipamentos e plantas requer que a etapa de modelagem do ambiente virtual seja realizada previamente. Entre os principais trabalhos encontrados para visualização aumentada aplicada a processos industriais destacam-se: o projeto ARVIKA, AMIRE, STARMATE, INT- MANUS. Outros estudos relevantes são: STUDIESTUBE, DWARF, ARBA e AAR. O ARVIKA (Augmented Reality für Entwicklung, Produktion und Service) é um dos projetos de RA mais citados no estado da arte e é aplicado a indústrias de manufatura da Alemanha, liderado pela Siemens [Friedrich et al, 2002]. Basicamente utilizam-se capacetes virtuais (HMDs) para auxílio a operação de equipamentos da indústria através da interação com objetos virtuais sobrepostos a cena real. Figura 1 ARVIKA [Friedrich et al, 2002] A utilização de HMD (Head Mounted Display) - optical see-through - possibilita visualizar o ambiente real tendo como apoio a sobreposição de elementos virtuais sobre a cena real, ou seja, o usuário tem como predominância a visualização do mundo real. As informações dos sistemas digitais podem ser requisitadas por diversos meios de interação, entre as soluções encontradas o comando de voz é uma alternativa
12th Brazilian Workshop on Real-Time and Embedded Systems 165 interessante uma vez que as mãos do usuário podem estar livres para manipulação do ambiente. Sendo assim, buscaram-se ferramentas de realidade aumentada que possibilitassem a sobreposição de elementos virtuais sobre o ambiente real de forma contínua em tempo real conforme a requisição do usuário. Para isto uma arquitetura conceitual e uma metodologia para as etapas da modelagem à visualização foram desenvolvidas, e serão apresentadas na próxima sessão, com intuito de descrever e modelar a solução proposta. 3. Arquitetura e metodologia da proposta A arquitetura conceitual ilustrada na figura 2 descreve os módulos envolvidos no desenvolvimento de um ambiente misto para assistência contínua de operadores durante a interação com equipamentos (ou plantas) industriais. Figura 2 Arquitetura conceitual para a solução proposta. Inicialmente dois módulos devem fornecer as entradas para o sistema de visualização aumentada: Módulo dados do equipamento e Módulo CAD-RV. O primeiro deve fornecer as informações sobre o equipamento a ser analisado. Estas informações podem ser: gráficos 2D, sinais de sensores, informações textuais; fornecidos por sistemas digitais de infotrônica utilizados na indústria. O segundo, o módulo CAD-RV, deve gerar o modelo de realidade virtual a partir de modelos CAD complexos ou simples, gerados por ferramentas DMU (Digital Mock- Up). Da etapa de modelagem até a etapa de visualização devem ser realizados diversos estágios, tais como: redução de complexidade (quando necessário) e conversão de formatos. As entradas fornecidas por estes módulos devem ser extraídas e integradas em um Modelo Descritivo Integrado (IDM) que irá relacionar os diferentes modelos para gerenciamento da visualização de acordo com os comandos do usuário. O modelo IDM está sendo descrito na linguagem XML (extensible Markup Language), que é uma linguagem de marcação para descrição hierarquizada de componentes. O IDM além de descrever a integração de diferentes modelos, ou seja, relacionar informações CAD, RV, RM e MD (modelo de dados do equipamento), gerencia a apresentação de serviços na interface através de algoritmos de tomada de decisão
166 Proceedings baseados nas informações armazenadas colaborativamente no banco de dados e nos comandos do usuário. A Figura 3 descreve a metodologia aplicada para desenvolvimento do módulo CAD-RV. Primeiramente na etapa de modelagem faz-se a aquisição do modelo CAD. Sendo o modelo complexo, passa-se a etapa de redução de complexidade para obter-se um CAD simples. De posse do modelo simples pode-se então gerar um modelo RV (de realidade virtual) através da etapa de conversão de formatos. Por fim, passa-se então a etapa de visualização, ou seja, deve-se gerar o modelo misto, onde real e virtual misturam-se e a geração do conteúdo virtual (gráficos 2D, 3D, guias textuais de tarefas e etc) é agregada ao ambiente real. Figura 3 Metodologia para implementação do Módulo CAD-RV. Por fim, uma metodologia para implementação do modelo IDM, bem como, uma descrição de suas funcionalidades: integração e gerenciamento da visualização, deve ser descrita futuramente. 4. Implementação Para implementação da arquitetura conceitual e da metodologia proposta acima foram utilizados um conjunto de ferramentas descritos na Figura 4 abaixo. A visualização online é quando o conteúdo virtual é gerado automaticamente sobrepondo na cena mista às solicitações do operador e as leituras dos sistemas digitais (tais como: sistemas de automação, sistemas de manutenção, sistemas de manufatura). Foram utilizados: Visual Studio - C++ e as bibliotecas gráficas de Realidade Aumentada (ARToolkit), áudio (OPENAL) e renderização (OPENGL). A possibilidade de visualizar em tempo real objetos virtuais misturados ao ambiente real de fábrica, deu-se principalmente pela excelente rapidez de processamento da biblioteca gráfica ARToolkit. Esta biblioteca com suporte a linguagem Java e C++, possui alta velocidade devido a sua boa integração com processadores de multimídia MMX da Intel. Sendo assim, a escolha pela utilização da ARToolkit deu-se devido a sua possibilidade de captura, rastreamento e sobreposição em um tempo de resposta que atende aos requisitos de operações específicas de montagem e manutenção industrial onde a seqüência de visualizações é feita por demanda e não automaticamente. Por outro lado, a visualização off-line consiste nas visualizações que não são geradas de maneira autônoma pelo sistema, e sim, geradas anteriormente e armazenadas
12th Brazilian Workshop on Real-Time and Embedded Systems 167 no banco para posterior utilização. Cabe salientar que a idéia é automatizar o processo de visualização aumentada através da descrição XML, do modelo IDM, de forma a tornar este processo independente de plataformas e ferramentas. Figura 4 Arquitetura de software utilizada para validação. A ferramenta Vizup foi utilizada para redução de complexidade do modelo CAD do Atuador CRS. Através da Solidworks importou-se o modelo CAD para conversão em modelo VRML (Virtual Reality Modeling Language) modelo de realidade virtual. Outra possibilidade de formato para modelos virtuais é o X3D que deverá ser testado futuramente. O sistema digital que forneceu informações a respeito do Atuador CRS foi o Watchdog Agent [Djurdjanovic et al, 2003]. Este sistema, denominado sistema de manutenção inteligente IMS system, é utilizado na manutenção preditiva de equipamentos críticos da indústria e pode ser observado na Figura 5 b. Figura 5 Integração de diferentes dados (esq); Experimento em laboratório (dir). A figura 5 a esquerda representa a integração de diferentes modelos relacionados através de marcadores de realidade aumentada (etiquetas impressas no ambiente real). Nesta figura podem ser visualizados o equipamento virtual (modelo virtual), o equipamento real, os gráficos 2D adquiridos do sistema IMS (Watchdog Agent) e os três marcadores no atuador real. 5. Resultados e conclusões Este trabalho apresentou um estudo sobre a integração de sistemas digitais da indústria em ambientes de visualização aumentada para aquisição da informação em tempo real durante as operações em chão de fábrica. De forma mais precisa, foi apresentado um
168 Proceedings estudo de caso simulado em laboratório, para visualização aumentada de informações oriundas de um sistema de manutenção preditiva de uma válvula utilizada na indústria de petróleo e gás. Após a identificação das limitações, restrições e necessidades associados a proposta foram descritos duas etapas para implementação: arquitetura conceitual e uma metodologia para o módulo CAD-RV da arquitetura. Estas etapas pretendem descrever procedimentos para visualização aumentada que integram as diferentes informações e modelos existentes. Ressalta-se que atualmente não existem ferramentas que, de forma integrada, realizem tais procedimentos. Para o estudo de caso apresentado a ARToolkit atendeu aos requisitos temporais de 14 frames/segundo (em média) na solicitação das informações do Atuador CRS pelo usuário. A utilização de marcadores para o rastreamento de objetos virtuais apresentou bons resultados de tempo para ambientes simulados, estáticos e com baixo ruído. No entanto, a necessidade de validação em ambientes de baixa iluminação, reais e dinâmicos faz-se necessária. Finalmente, além da conclusão das etapas de extração e de descrição da integração no modelo IDM, estabelecem-se a necessidade de avaliar o uso de outros sistemas digitais da indústria. Referências Buccioli, A., Bastos, A., Zorzal, E., Kirner, C. (2006) Usando Realidade Virtual e Aumentada na Visualização da Simulação de Sistemas de Automação Industrial In: SVR2006 - VIII Symposium on Virtual Reality, 2006, Belém-PA, 2006. Djurdjanovic D., Lee J. And Ni J. (2003). Watchdog Agent, an infotronics-based prognostics approach for product performance degradation assessment and prediction. In Advanced Engineering Informatics, 2003 - Elsevier: pp. 109 25. Friedrich W., Jahn D., Schmidt L., (2002), ARVIKA Augmented Reality for Development, Production and Service, In Proceedings of the International Symposium on Mixed and Augmented Reality (ISMAR 02) pp.3-4. Georgel, P., Schroeder, P., and Navab, N. (2009) Navigation Tools for Augmented CAD Viewing in IEEE Computer Graphics and Applications. Regenbrecht H., Baratoff G. And Wilke W., (2005). Augmented Reality Projects in the Automotive and Aerospace Industries, Published by the IEEE Computer Society, IEEE. Schoenfelder, R. and Schmalstieg, D. (2008) Augmented Reality for Industrial Building Acceptance, IEEE Virtual Reality 2008. Henderson, S. and Feiner, S. (2009) Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret in IEEE International Symposium on Mixed and Augmented Reality 2009 Science and Technology Proceedings.