Simulador Virtual para Treinamento em Visão de Máquina com LabVIEW "Esse ambiente pode ser usado para simular e explorar as possibilidades e alcances de uma solução empregando visão de máquina, testar a idéia e imediatamente implementar um protótipo físico, economizando tempo de desenvolvimento. " - Professor João E. Kogler Jr, Laboratório de Imagens, Visão e Estruturas Espaciais da Faculdade SENAC de Ciências Exatas e Tecnologia O desafio: Prover treinamento eficaz e eficiente para engenheiros da indústria aerospacial capacitando-os a desenvolverem aplicações de visão de máquina. Os participantes do curso têm formações técnicas distintas e diferentes habilidades não dispõem de conhecimento prévio sobre visão de máquina, não usam uma linguagem de programação comum a todos e têm diferentes habilidades em programação. A solução: Desenvolver um ambiente interativo de ensino baseado em produtos da National Instruments integrando através do LabVIEW um modelo de realidade virtual em Java3D e um sistema de álgebra computacional proporcionando simulação realística, rapidez na prototipagem e teste de propostas de solução de problemas com visão de máquina. O ambiente permite explorar a geometria, a ótica, a aquisição de dados e a lógica de programação em um nível de detalhe que pode ser selecionado de acordo com as necessidades. Autor(es): Professor João E. Kogler Jr - Laboratório de Imagens, Visão e Estruturas Espaciais da Faculdade SENAC de Ciências Exatas e Tecnologia Eng Fabio R. Miranda - Laboratório de Imagens, Visão e Estruturas Espaciais da Faculdade SENAC de Ciências Exatas e Tecnologia 1/26 www.ni.com
2/26 www.ni.com
3/26 www.ni.com
4/26 www.ni.com
5/26 www.ni.com
6/26 www.ni.com
7/26 www.ni.com
8/26 www.ni.com
9/26 www.ni.com
10/26 www.ni.com
11/26 www.ni.com
12/26 www.ni.com
13/26 www.ni.com
14/26 www.ni.com
15/26 www.ni.com
16/26 www.ni.com
17/26 www.ni.com
18/26 www.ni.com
19/26 www.ni.com
20/26 www.ni.com
21/26 www.ni.com
22/26 www.ni.com
Resumo Desenvolvemos um ambiente de ensino de visão de máquina compreendendo três partes: (i) um modelo de mundo tri-dimensional virtual acoplado a (ii) uma bancada de testes experimental com instrumentos reais e (iii) um sistema de álgebra computacional. O estudante pode simular diversos aspectos de uma aplicação que emprega visão de máquina prototipando suas idéias no mundo virtual, no qual ele pode posicionar iluminação e câmeras virtuais, capturar imagens teste com essas câmeras e processá-las com LabVIEW. Os elementos desse cenário virtual também podem ter seus parâmetros ajustados através do LabVIEW. O sistema de álgebra computacional ajuda o aluno a explorar aspectos da matemática envolvida na aplicação e se encontra também integrado ao LabVIEW. A bancada de testes experimental, baseada em um controlador PXI da National Instruments, permitirá ao aluno desenvolver um protótipo tal qual simulado virtualmente e testar prontamente toda a lógica controlada via LabVIEW. Requisitos Técnicas de visão de máquina podem ser aplicadas ao controle dimensional de manufatura de peças e componentes e à montagem do produto. Os problemas nesse domínio de aplicação envolvem o uso de informação tri-dimensional que em grande parte encontra-se geometricamente modelada a priori tanto para as peças individuais quanto para os conjuntos montados. Entretanto, alguns aspectos da montagem devem ser decididos e ajustados durante o processo de fabricação e em muitas situações existem uma grande dependência do uso de gabaritos manufaturados. Aplicar visão de máquina para automatizar esses procedimentos requer um entendimento profundo de modelagem geométrica e de análise de imagens, de modo a realizar o registro das imagens (bidimensionais) com o modelo de CAD (tri-dimensional) e realizar medidas que guiarão os processos de montagem. Uma empresa atuando na indústria aeroespacial vendo-se diante da necessidade de aplicar técnicas de visão de máquina para resolver uma série de problemas e desafios apresentados durante a montagem de aeronaves optou por treinar engenheiros sênior no desenvolvimento dessas aplicações. Após o processo de treinamento eles deveriam ser capazes de detectar e modelar geometricamente os problemas, selecionar câmeras, iluminação e parte óticas, desenvolver algoritmicamente a solução, implementá-la e testá-la. O IMAQ Vision da National Instruments é a opção mais adequada para prototipação e implementação da solução, graças à facilidade com que pode ser usado e ao seu excelente desempenho e eficiência. Entretanto, um conhecimento adequado de teoria de visão de máquina e processamento de imagens é necessário para se desenvolver aplicações sofisticadas como essas e os engenheiros da empresa deveriam ser capacitados nessa área. Nós, do Laboratório de Imagens, Visão e Estruturas Espaciais, da Faculdade SENAC, ofereceremos à empresa alguns cursos cobrindo os seguintes tópicos: Técnicas experimentais de imageamento Visão de Máquina tri-dimensional baseada em modelos Metodologias de processamento de imagens Análise de imagens e formas Análise visual de movimentos Para alcançar os requisitos desse programa em um tempo solicitado de em torno de 300 horas de curso, desenvolvemos um ambiente de ensino e treinamento muito eficiente empregando LabVIEW e componentes NI-IMAQ, PXI e NI-Motion Control. Atendendo aos requisitos Montou-se uma sala de aulas dotada de um laboratório com computadores executando LabVIEW 6i, IMAQ Vision, Java com Biblioteca Java3D e MathCAD 2000 Professional. Esse conjunto de aplicações de software foi integrado através do LabVIEW empregando mecanismos de comunicação entre componentes baseado em ActiveX. As atividades de treinamento em laboratório envolvem a construção de modelos geométricos 3D em um ambiente virtual simulando as situações reais encontradas na fábrica, utilizando um simulador / modelador implementado com Java3D, constituído dos seguintes componentes: (i) modelos 3D de objetos importados a partir de arquivos em VRML, (ii) câmeras virtuais e (iii) iluminação virtual. A aplicação em Java é controlada a partir do LabVIEW empregando ActiveX e sua interação com o modelo imita a situação que será implementada na bancada de testes real com câmeras e iluminação físicos, cujos parâmetros são ajustados a partir do LabVIEW. As câmeras virtuais são usadas para capturar imagens da situação simulada com o modelo virtual imitando a situação real com câmeras reais. As imagens obtidas virtualmente são transferidas a um instrumento virtual em LabVIEW e nele são processadas, extraindo-se então as informações necessárias para auxiliar o processo de montagem da aeronave. Esse simulador virtual permite que os alunos treinem confortavelmente com uma situação idêntica à real, com baixo custo e livre de acidentes, promovendo uma prototipagem rápida e eficiente da solução antes de construir o sistema real de imageamento. Por exemplo, um estudante poderia construir um objeto virtual, animá-lo de movimento seguindo uma trajetória préscrita e rastreá-lo com uma câmera virtual, estimando parâmetros e variáveis do movimento tal qual seria feito na situação real, com a vantagem de que como ele conhece as características prescritas do movimento, o aluno pode testar a exatidão de sua solução. Todos os procedimentos, desde a geração da trajetória prescrita, o controle da câmera virtual e o processo de filtragem adaptativa são realizados via LabVIEW. Além do simulador virtual, o laboratório provê uma bancada de testes flexível onde são empregadas câmeras e iluminação reais colocadas em torno de um modelo físico para testar a solução anteriormente simulada em uma situação real. As câmeras, iluminação e objetos são movimentados por motores controlados através de um sistema de controle de movimento PXI, da National Instruments. O controlador PXI comunica-se com os computadores do professor e dos estudantes através de uma rede local, permitindo que o software de controle desenvolvido com o simulador virtual possa agora controlar o protótipo físico. Todos os movimentos e situações simulados virtualmente poderão agora ser avaliados fisicamente através dessa bancada. Os estudantes podem ter acesso aos dados da aplicação rodando no controlador PXI exportados através de data sockets pelo LabVIEW. Essa estrutura, mostrada esquematicamente na Figura 1, está presentemente sendo construída. Para testar sua viabilidade e eficácia quanto ao processamento das imagens, utilizamos correntemente um computador com uma placa de aquisição de imagens coloridas PCI-1411 da National Instruments, no lugar do sistema PXI. Para possibilitar ao professor e aos alunos a exploração didática dos detalhes da matemática envolvida na modelagem e controle do processo, provemos um sistema de álgebra computacional utilizando o produto MathCAD, que permite que as expressões matemáticas e procedimentos sejam manipulados em uma forma idêntica à de um livro texto de matemática. As expressões são interativas e suas variáveis e parâmetros podem ser modificados pelo instrumento virtual em LabVIEW através de uma conexão via ActiveX. A Figura 2 mostra a conexão entre essas aplicações, integradas pelo LabVIEW utilizando ActiveX. A Figura 3 mostra um exemplo do instrumento virtual controlando o movimento da câmera. Com esse VI pode-se obter uma imagem instantânea da cena e processá-la via LabVIEW. Suponha-se que no meio desse processamento alguém deseje examinar e explorar detalhes matemáticos de algum operador atuando sobre a imagem, digamos, uma filtragem por convolução com um dado núcleo. O professor poderá então executar um by-pass do módulo IMAQ que executa a convolução, desviando os dados para a aplicação de álgebra computacional e nela simular todos os passos matemáticos e procedimentos da convolução, enviando a seguir os resultados desse processo de volta ao LabVIEW, como mostrado na Figura 4. Note-se que esse procedimento é feito apenas com objetivos didáticos, uma vez que o módulo IMAQ do LabVIEW apresenta desempenho superior ao MathCAD ao executar a aplicação real. Conclusão A utilidade e eficácia dessa abordagem estão em prover uma forma eficiente e de grande relação custo-benefício para ensinar e aprender técnicas avançadas de visão de máquina e análise de imagens. Esse ambiente pode ser usado para simular e explorar as possibilidades e alcances de uma solução empregando visão de máquina, testar a idéia e imediatamente implementar um protótipo físico, economizando tempo de desenvolvimento. Author Information: Professor João Kogler Jr Laboratório de Imagens, Visão e Estruturas Espaciais da Faculdade SENAC de Ciências Exatas e Tecnologia Brazil Informações do autor: Professor JoãoE. Kogler Jr Laboratório de Imagens, Visão e Estruturas Espaciais da Faculdade SENAC de Ciências Exatas e Tecnologia Brasil 23/26 www.ni.com
Diagrama da bancada para testar fisicamente a solução Componentes do simulador e sua conexão com a aplicação real na bancada. A inteface do simulador. A janela de Java3D à esquerda da janela do painel do vi do LabVIEW é um viewport de um mundo virtual tri-dimensonal simulado. 24/26 www.ni.com
O componente de álgebra computacional. Interface do componente Java3D acoplado ao vi em LabVIEW. A Informações legais Esse estudo de caso (esse "estudo de caso") foi desenvolvido por um cliente da National Instruments ("NI"). ESSE ESTUDO DE CASO É FORNECIDO "COMO ESTÁ", SEM GARANTIAS DE QUALQUER NATUREZA E SUJEITO A DETERMINADAS RESTRIÇÕES, COMO ESTABELECIDO DE FORMA MAIS ESPECÍFICA NOS TERMOS DE USO DA NI.COM ( http://ni.com/legal/termsofuse/unitedstates/us/ (http://ni.com/legal/termsofuse/unitedstates/us/)). 25/26 www.ni.com
26/26 www.ni.com