Pesquisa, desenvolvimento e difusão de novas tecnologias digitais de manufatura, modelagem e captura de superfícies.

Transcrição

1 Pesquisa, desenvolvimento e difusão de novas tecnologias digitais de manufatura, modelagem e captura de superfícies. Aluno:Gabriel Vinagre Orientador: Jorge Lopes Introdução A pesquisa trata do estudo de dispositivos hapticos sobre superfícies 3d juntamente com a exportação de superfícies e formas de objetos físicos para um ambiente tridimensional em que seja possível a interação do usuário com esses modelos virtuais, através de dispositivos haptics. Nesse sentido, essa pesquisa trata do dispositivo que vem a expandir a capacidade tátil do ser humano, a haptic ou dispositivo haptico, aparato que permite interagirmos com objetos, ambientes e seres, seja dentro de um campo virtual ou real. No entanto, nessa pesquisa, será abordada a simulação tátil de um ambiente virtual para o real. Objetivos O presente projeto tem por objetivo viabilizar a utilização integrada do saber tecnológico em modelagem, captura e simulação tridimensional virtual e física na formação de profissionais e pesquisadores aptos a atuarem em projetos nas diversas áreas do Design, tais como, Design de Produtos, Mídia Interativa, Moda, Animação e Arquitetura, a serem desenvolvidas por alunos, professores e pesquisadores do Departamento de Artes & Design da PUC-Rio e do Instituto Nacional de Tecnologia. Metodologia Os métodos propostos no presente projeto estão relacionados à obtenção de superfícies, para a representação 3D digital e para a representação física tridimensional de modelos e protótipos. Com os avanços computacionais, novas possibilidades na transposição das ideias geradas no desenvolvimento de projetos para o meio virtual podem ser feitas com tecnologias digitais como a captura de imagens de superfícies através de scanners 3D (a laser ou luz branca). Com esta tecnologia, o modelo físico construído por sistemas convencionais tem sua geometria transferida para o computador através da captura digital da superfície, o que garante a fidelidade geométrica e dimensional desenvolvida pelo aluno / projetista / pesquisador e sua posterior manipulação. Esta manipulação pode passar por ajustes de superfície (malha poligonal), alterações de escala,mudança de cores, inserção de aplicações gráficas, animações e outros. Essas manipulações permitem o desenvolvimento de variantes utilizadas no processo de simulação e testes adequados a multidisciplinaridade dos processos de design. Também a interface entre usuário e o hardware passa por novas tecnologias de interação de uso além dos habituais mouses, tais como as tecnologias haptic que simulam sensações táteis durante o procedimento de modelagem virtual entre o usuário e a tela dos computadores e os monitores de intervenção direta na tela (Wacom Cintiq). Estes equipamentos por possuírem interação tátil sensorial entre o hardware e a modelagem virtual, possibilitarão a realização de

2 simulações de testes diversos. No desenvolvimento de projetos, após as alternativas serem modeladas em softwares de modelagem 3D e (ou) capturadas através de scanners 3D, a etapa da materialização física será feita através de sistemas digitais automatizados que seguem genericamente dois processos básicos: 1 - por remoção de matéria prima através de frezadoras operadas por controle numérico computacional - CNC e corte a laser para superfícies bidimensionais (planas) em matérias primas diversas. 2 - por deposição de matérias primas diversas tecnologias de manufatura aditiva conhecidas como Prototipagem Rápida. Importante salientar que ambos os sistemas se destacam pela precisão dimensional e velocidade de construção de modelos e protótipos com alta complexidade geométrica, e são escolhidos conforme as características do produto a ser representado/simulado. Como é dada essa interação? O diálogo é dada através do processamento de forças da interação do usuário com o meio a ser tocado, e quem faz a ponte do meio com o usuário é o dispositivo haptico. O processamento na maioria das vezes é feito por um computador. O modelo com que trabalhamos no Núcleo de Experimentação Tridimensional (NEXT) é uma novint falcon. Imagem retirada do link às 15 horas do dia 25 maio de Esse dispositivo tem a característica de ser uma haptic 3DOF(degrees of freedom) que é basicamente a translação que ela suporta. Translações podem ser: Baixo e cima ( eixo y), direita e esquerda(eixo x) e frente e trás (eixo z) Como esse dispositivo é 3DOF então ele suporta todas essas 3 translações. Existem haptics que podem ser 6DOF e utilizam-se além da translação, a rotação. Porém possuem um custo muito elevado. Existem haptics que chegam a ter 22DOF. Aplicações Vão desde o campo da medicina até em jogos eletrônicos. No campo da medicina esses dispositivos são utilizam para fazer incisões menos invasivas ao paciente. Um exemplo do MAKO RIO.

3 Imagem retirada do link às 15 horas do dia 25 maio de É uma plataforma de simulação cirurgia tátil interativa que incorpora um braço robótico e tecnologia de visualização tridimensional. Este dispositivo permite um alto nível de precisão para o posicionamento de implantes para o joelho. E como ele é menos invasivo, ele poupa tecido ósseo saudável e preserva ligamentos, em detrenimento da cirurgia convencional. Neurocirugia Demonstração de simulador cirúrgico

4 imagem retirada do link( às 21:00 horas do dia 10 de março As bibliotecas para a criação de programas para haptics podem ser: Chai3d ( Características Desenvolvido pela universidade de Stanford. Trabalha com C++ (linguagem de programação orientada a objetos) para o desenvolvimento do ambiente e cena, para criar arquivos tridimensionais podem ser usados programas de modelagem 3d que consigam exportar com extensão.obj ou.3ds. Permite a fácil implementação do modelo através de arquivos de extensão.3ds ou.obj, não necessitando fornecer coordenadas para a implementação dos vértices do mesmo tal como H3DAPI. Além disso, o Chai3d aceita câmeras, textura da cena que podem ser implementadas no próprio arquivo, não necessitando separará-las. A qualidade de renderização tanto do modelo como da propriedade tátil do mesmo é altamente fidedigna. Além disso, se o usuário não estiver com um dispositivo haptico ao seu alcance, o Chai3d, quando testamos o código, cria um haptic virtual, que pode ser controlada com o mouse. Isto torna interessante, pois por exemplo, imaginamos que estamos criando algum exemplo em que simularíamos diferentes forças(fornecidas em Newton) que a haptic aplicaria em diferentes direções, se não tomarmos cuidado quando determinamos a quantidade de força aplicada, danificaríamos o dispositivo. Nesse sentido, com este recurso de simulador virtual de haptic, poderíamos prever se ocorreria dano. H3Dapi( ) Características C++ Phyton-scripts para setar as propriedades variáveis da cena ou/e objeto X3D criar o modelo tridimensional do ambiente e/ ou o objeto e/ou interações hapticas O fórum no site do desenvolvedor tem suporte por parte dos administradores que são programadores treinados. A propriedade tátil é um pouco deficiente, muitas vezes criam-se buracos na malha do objeto, em que quando o usuário interage com essas imperfeições, ele atravessa o mesmo. Isso é devido ao uso do x3d como forma de modelo a ser interagido, pode-se melhorar essa interação dependendo da forma como exportamos o modelo. Ambas são open source(código aberto): Com base nas minhas pesquisas e testes a melhor plataforma para teste se levarmos consideração a quantidade de linguagens que devemos ter domínio para podermos criar algo, a qualidade da renderização tátil e gráfica. Creio que o Chai3d torna-se a melhor opção. Porém, é muito mais trabalhoso executar a mesma tarefa no Chai3d do que no H3DAPI. Para

5 a realização de testes rápidos para verificação do objeto o H3DAPI é muito mais fácil e para o desenvolvimento de algum experimento também. Composição de uma cena para Chai3d De acordo com a equipe da universidade de Stanford designada para produzir o Chai3d, um ambiente tridimensional no Chai3d deve conter as seguintes características: Inicialização 1-cria a instância do ambiente, câmera, luz, objeto, ferramenta. 2-adiciona no ambiente todos os elementos citados anteriormente. 3-cria-se uma viewport( é um retângulo 2d que define o tamanho da renderização da superfície onde está sendo realizada a projeção 3d de uma cena) e o cronômetro. O tempo de resposta tátil de uma haptic é em torno de 1KHz (significa o tempo para ler a posição da ferramenta, computar as forças e aplicá-las) Já o tempo de resposta visual é em torno de 30Hz (significa o tempo necessário para renderizar a viewport) Essa diferença no tempo de resposta é porque o ser humano precisa 1000 Hz para perceber determinadas sensações, pois o tato está na escala de precisão entre a visão e a audição. Portanto, uma frequência de resposta tátil menor que isso, torna a simulação não realista. Composição de um cena para H3DAPI A interação dentro de uma cena 3d da haptic com o objeto pode ser dado utilizando um cursor. Por exemplo, quando usamos um computador, a seta, significa ícone referente ao cursor. No caso do h3dapi o cursor padrão seria o da imagem abaixo: A forma, tamanho e o ponto de toque do cursor com o objeto pode ser alterado, seria somente o usuário, criar um modelo 3d de um cursor exportá-lo já com códigos de tamanho e ponto de toque na extensão de arquivo. x3d e configurar para ser utilizado o modelo como cursor.

6 Exemplo simples de uma composição de cena em x3d Código <Scene> <Transform translation="0 0 0"> <Shape> <Appearance> <Material/> <SmoothSurface stiffness="0.08" /> <Material diffusecolor=" " /> </Appearance> <Sphere radius="0.1"/> </Transform> </Scene> scene(vermelho) é o momento que estamos declarando uma ambiente(cena) transform (verde) é o parâmetro para situar o objeto dentro do espaço tridimensional. No caso acima ele está na origem ( x=0, y=0 e z=0) shape(azul) é uma tag* que engloba vários parâmetros do objeto(ex.: cor, textura, tamanho, forma etc) material(tons de rosa) é a subtag de appearance(aparência) é utilizada para setar as propriedades físicas do objeto. Agora se quisermos exportar um objeto criado por nós ou scanneado usando um scanner 3d. O processo de toque de um objeto com um dispositivo haptico se chama renderização háptica. Em que é computada e gerada forças em decorrência da interação do usuário. *tag - XML(X3D é baseado em XML) é uma linguagem de marcação e utiliza-se de tags.

7 Composição de um cena para CHAI3d Imagem retirada do site lecture03.pdf às 14:00 horas do dia 24 de janeiro de Essa biblioteca necessita de blocos de código muito maiores, para reproduzir objetos primitivos simples, como uma esfera. Por isso, não irei entrar em detalhes. Basicamente, em uma cena nessa biblioteca, deverá conter o seguinte: Um mundo( cworld)- aonde ocorre toda a interação e ambientação Uma camera(ccamera)- para onde estará apontada a visão do usuário na cena. haptic(cgenerictool)- é a declaração da haptic Luz(cLight)- que é vinculada a câmera. Após compreender o funcionamento das duas bibliotecas, juntamente com os códigos das mesmas, iniciamos a implementação de modelos tridimensionais complexos (scanneamentos, objetos modelados). A aplicação foi utilizando um sensor Kinect ( ) como scanner 3d com o software reconstruct me ( ). Apesar, de conseguirmos importar um modelo 3d direto de um scanner 3d, precisamos passálo por um refinamento na malha, no que diz respeito, a diminuição do número de polígonos.

8 Experimentos realizados: Testes feitos exportando arquivos utilizando coordenadas. Durante meu estudo houve uma solicitação de importação de uma bola de golfe. Inicialmente, utilizei o H3DAPI, exportando já em x3d, utilizando um pluggin *. Porém, notei que ficavam buracos na malha de polígonos da bola de golfe. Em que estes só eram detectados quando interagíamos utilizando a haptic Então, descobri que existia um outro método para a exportação que melhorou a interação haptica, porém o modelo perdeu um pouco de suas características de forma. *pluggin - plug-in é um pedaço de software que permite que uma aplicação ou programa faça algo que ele não faria por ele mesmo. Traduzido do site da bbc dia 20 de maio de 2013 às 15 horas. Bola de golfe Esse trabalho foi pedido para importar uma bola de golfe com a finalidade interagir com ela. Abaixo é mostrado o arquivo original do objeto feito em um scanner 3d.Porém, aplicamos cor branca no modelo. Fig. 1

9 Fig.2 Bola de golfe implementada utilizando como formato de exportação o vrml( VRML, "Virtual Reality Modeling Language", é uma linguagem que nos possibilita descrever objetos 3D e agrupá-los, de modo a construir e animar cenas ou "verdadeiros mundos virtuais". As cenas criadas são, em geral, disponibilizadas na WWW e suas áreas de aplicação são bastante diversificadas, indo desde aplicações na área científica e tecnológica até entretenimento e educação, passando por representações artísticas e em multimídia. retirado do site dia 22 de maio de 2013 às 12:00 )

10 Fig.3 A mesma bola de golfe apresentada anteriormente, só que agora exportada em formato x3d. Apesar da malha ser mais fidedigna com a bola de golfe original nessa última figura (fig.3), o segundo modelo (fig.2) possui a sensação tátil melhorada, por conta da extensão do formato exportado. No h3dapi tive que fazer ajustes de tamanho, a forma continuaria a mesma, porém o tamanho foi alterado, para caber na tela. Utilizando a tag scale. A implementação se deu através das coordenadas de pontos nos eixos x, y, z. Primeiramente, foi necessário converter para o formato.vrml ou.x3d para conseguirmos os pontos do modelo no espaço tridimensional e utilizamos a classe IndexedFaceSet para atribuir os pontos.

11 Demonstração da implementação do mouse 3d connexion, que é um mouse 3d O mouse fora implementado para rotacionar objetos enquanto interagíamos com o objeto com a haptic. O código de uma cena simples com o código <Group> <SpaceWareSensor DEF="mouse"/> <Transform DEF="trans" > <Shape> <Appearance> <Material diffusecolor=" " /> </Appearance> <Box size=" " /> </Shape> </Transform> <ROUTE fromnode="mouse" fromfield="accumulatedrotation" tonode="trans" tofield="rotation" /> </Group> Basicamente, atribuiríamos um nome o mouse para a tag spacewaresensor e faríamos o mesmo com a tag transform nomeando-a de trans, ao manipularmos o mouse, acumularia a rotação do mouse a tag transform e o objeto rotacionaria. Alguns outros experimentos, como implementação da física numa cena, agora utilizando o Chai3d, para construção da demonstração. Nesse experimento podemos notar a implementação de alguns conceitos físicos como a lei de Hooke, força centrípeta, através da interação com o objeto, a força exercida na haptic dependendo do movimento, nos fornece experiências sensoriais de forças externas que demonstram conceitos físicos, seria como um simulador. Além disso, simulamos uma interação do modelo dentro de um ambiente com gravidades diferentes do que a da Terra, como fosse no espaço sideral.

12

13 Transposição e interação de um arquivo tridimensional feito através do uso do kinect como scanner 3d. Nesse exemplo, foi utilizado o software reconstructme para captura do modelo, depois foi realizado um pós processamento para refinamento da malha, diminuição da malha poligonal e implementação dentro do H3DAPI. Fora utilizado o mouse 3d para rotação do modelo. No exemplo abaixo demonstraremos o uso de haptic para desenhar tridimensionalmente. Quando o usuário clica, criará um ponto na posição x, y e z dentro do espaço tridimensional. Sendo possível navegar ao redor da cena. É observado que uma cena aparentemente estando coesa visualmente, não necessariamente continua a mesma mudando-se as vistas. Com isso, possibilita uma nova visão sobre o modelo, através da mudança de perspectiva.

14

15 Vistas frontais da forma

16 Vistas laterais

17 Conclusões A pesquisa permitiu criar e simular o funcionamento de formas complexas dentro de um ambiente virtual, já que poderia testar modelos tridimensionais como se estivessem em um ambiente real, atribuindo-lhes forças físicas, texturas e formas. O interessante do estudo foi transpor formas virtuais com suas texturas para algo mais próximo do real. Além disso, a pesquisa permitiu interação com formas complexas sem que elas precisem estar no ambiente real, e do mesmo modo com a modificação das texturas de objetos existentes. Referências: 1- Conti Francois et al. CHAI 3D set of libraries, Kadlecek Petr. A Practical Survey of Haptic APIs, Bachelor s thesis, Charles University in Prague, Czech Republic, Novint Technologies Inc. HDAL - Novint Falcon SDK, Zilles, Salisbury. "A constraint-based god-object method for haptic display." Intelligent Robots and Systems '95 Proceedings. IEEE, SenseGraphics AB. H3D API - haptics software development platform, Sensable. OpenHaptics software development toolkit, Otaduy, Lin. "Introduction to haptic rendering." ACM SIGGRAPH 2005 Courses. ACM, 2005.