Processamento e Análise de Imagem em Biomecânica João Manuel R. S. Tavares tavares@fe.up.pt www.fe.up.pt/~tavares Hotel Porto Palácio Porto 18-19 Julho 2008
Conteúdo Apresentação Introdução Tarefas e Aplicações Segmentação Seguimento Emparelhamento e Morphing Reconstrução 3D Conclusões 2
Apresentação
Apresentação Prof. Auxiliar no Dep. de Eng. Mecânica e Gestão Industrial (DEMEGI) da Fac. de Eng. da Universidade do Porto (FEUP) Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do Instituto de Eng. Mecânica e Gestão Industrial (INEGI) Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem) Licenciado em Eng. Mecânica (FEUP) Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento e reconstrução 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos) 4
Introdução
Processamento e Análise de Imagem O sistema sensorial da visão tem elevada importância para os seres vivos Podendo disponibilizar informações de índole mais básica, como verificar a existência ou não de obstáculos, ou de cariz mais complexo, como o seguimento e análise de movimento Operações comuns: identificação (segmentação), seguimento de movimento (seguimento e análise), correspondência e alinhamento (emparelhamento e alinhamento), obtenção da forma 3D (reconstrução 3D) 6
Processamento e Análise de Imagem Os investigadores desta área do conhecimento tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos Imagens Modelo 3D obtido originais voxelizado poligonizado Azevedo et al. 2007, 3D Volumetric Reconstruction and Characterization of Objects from Uncalibrated Images, VIIP 2007, Spain 7
Processamento e Análise de Imagem Exemplos de tarefas mais comuns usando algoritmos de Processamento e Análise de Imagem são: remoção de ruído, correcção geométrica, compressão, segmentação (2D/3D), seguimento e análise de movimento (2D/3D), emparelhamento e alinhamento (2D/3D), reconstrução 3D, etc. Domínios em que são frequentes algoritmos de Processamento e Análise de Imagem: Medicina, Industria, Engenharia, Biomecânica, Realidade Virtual, etc. 8
Tarefas e Aplicações: Segmentação
Segmentação Pretende-se identificar de forma automática, ou semiautomática, as estruturas (2D/3D) presentes numa imagem As metodologias mais comuns são baseadas em modelizações estatísticas, geométricas ou físicas É uma das operações mais usuais em Processamento e Análise de Imagem, sendo frequentemente a primeira grande tarefa considerada Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc. 10
Segmentação Exemplo: segmentação de contornos em pedobarografia dinâmica lamp pressure opaque layer transparent layer reflected light glass lamp contact layer + glass mirror camera Imagens originais Após segmentação Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3 11
Segmentação Exemplo: segmentação usando modelos pontuais de distribuição Etapas da segmentação numa nova imagem (usando modelo geométrico) Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution Models for Faces Represented in Images, CompIMAGE 2006, Portugal Vasconcelos & Tavares 2005, Introdução aos modelos pontuais de distribuição e sua utilização na segmentação e reconhecimento de objectos em imagens, CMNI 2005, España João Manuel R. S. Tavares 12Processamento e Análise de Imagem em Biomecânica
Segmentação Exemplo: segmentação usando modelos estatísticos Background subtraction method Foreground object detection method Vasconcelos & Tavares 2008, Image Segmentation for Human Motion Analysis: Methods and Applications, WCCM8 / ECCOMAS 2008, Italy 13
Segmentação Exemplo: segmentação usando um protótipo geométrico deformável Imagem original e de campos de forças considerados Protótipo deformável usado para o olho Carvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face Images, CompIMAGE 2006, Portugal Carvalho & Tavares 2007, Eye detection using a deformable template in static images, VipIMAGE 2007, Portugal Determinação iterativa do olho usando um protótipo deformável 14
Segmentação Exemplo: segmentação usando modelos físicos deformáveis (contornos activos - snakes) Imagem original e contorno inicial Contorno final obtido Tavares et al. 2002, Apresentação de um Banco de Desenvolvimento e Ensaio para Objectos Deformáveis, RESI Revista Electrónica de Sistemas de Informação, Vol. 1, No. 1 15
Segmentação Exemplo: segmentação usando modelos físicos deformáveis (level-sets) Imagem original Segmentação inicial Segmentação final obtida Perdigão et al. 2005, Geração de modelos de malhas de elementos finitos a partir de imagens médicas 2D, Encontro_1_Biomecânica, Portugal 16
Tarefas e Aplicações: Seguimento
Seguimento Pretende-se seguir o movimento (e/ou a deformação) de estruturas em sequências de imagem Nesta área, destacam-se as metodologias baseadas em emparelhamento de blocos e em métodos estocásticos Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação, oclusão, ruído, múltiplas estruturas, etc. 18
Seguimento Exemplo: seguimento de contornos em pedobarografia dinâmica Seguimento de contornos Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3 19
Seguimento Exemplo: seguimento usando filtragem de Kalman e técnicas de optimização Prediction Uncertainty Area Measurement Correspondence Result Pinho et al. 2005, Human Movement Tracking and Analysis with Kalman Filtering and Global Optimization Techniques, ICCB 2005, Portugal 20
Seguimento Exemplo: análise da marcha com detecção de eventos Sousa et al. 2007, Registration between Data from Visual Sensors and Force Platform in Gait Event Detection, ISHF2007, Portugal Sousa et al. 2007, Selecting Biomechanical Variables for Detect Gait Events using Computational Vision, ICCB 2007, Venuzuela João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 21
Seguimento Exemplo: seguimento usando filtragem de Kalman, técnicas de optimização e modelo de gestão (547 frames) Pinho et al. 2005, A Movement Tracking Management Model with Kalman Filtering, Global Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A Pinho et al. 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2 João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 22
Tarefas e Aplicações: Emparelhamento e Morphing
Emparelhamento e Morphing Emparelhamento É uma das tarefas mais usuais em Processamento e Análise de Imagem, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc. Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos em espaços globais, como no espaço modal Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc. 24
Emparelhamento e Morphing Morphing É uma tarefa muito usada em Computação Gráfica mas também muito útil em Processamento e Análise de Imagem, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc. Geralmente é conseguida através da consideração de transformações geométricas No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelizações físicas, por exemplo usando FEM Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais (virtuais) Fase de emparelhamento das estruturas torna-se crucial 25
Emparelhamento Exemplo: emparelhamento em pedobarografia dinâmica usando modelização física, análise modal e optimização Imagem de pedobarografia dinâmica Objecto Inicial Objecto Final Emparelhamento obtido Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3 26
Emparelhamento Exemplo: emparelhamento em pedobarografia dinâmica usando modelização física, análise modal e optimização Emparelhamentos obtidos entre iso-contornos Emparelhamentos obtidos entre superficies Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3 27
Morphing Exemplo: morphing usando modelização física e emparelhamento modal Imagens originais Emparelhamentos Deformações estimadas Emparelhamentos Deformações estimadas Tavares & Pinho 2005, Estimação Temporal da Deformação entre Objectos utilizando uma Metodologia Física, InfoComp, Vol. 4, No. 1 Gonçalves et al. 2007, Simulação da Deformação de Objectos em Imagens segundo Princípios Físicos, 2º Encontro Nacional de Biomecânica, Portugal 28
Tarefas e Aplicações: Reconstrução 3D
Reconstrução 3D Pretende-se obter a forma 3D de estruturas a partir de imagens Nesta área, destacam-se as metodologias baseadas em: formas exteriores técnicas activas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; formas interiores segmentação 2D (contornos, por exemplo) e interpolação Usualmente, envolve tarefas de calibração, segmentação, emparelhamento, triangulação e interpolação Problemas envolvidos: distorção geométrica, condições de iluminação, oclusão, ruído, múltiplas estruturas, formas complexas, etc. 30
Reconstrução 3D Exemplo: reconstrução 3D a partir de imagens médicas Pavimento pélvico reconstruído Slices Segmentação Pimenta et al. 2006, Reconstruction of 3D Models from Medical Images: Application to Female Pelvic Organs, CompIMAGE 2006, Portugal 31
Reconstrução 3D Exemplo: reconstrução 3D usando escavação espacial Imagens originais voxelizado Modelo 3D obtido poligonizado Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal 32
Reconstrução 3D Exemplo: reconstrução 3D usando escavação espacial Imagens originais voxelizado Modelo 3D obtido poligonizado Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal 33
Conclusões
Conclusões O Processamento e Análise de Imagem é uma área multidisciplinar com elevada aplicabilidade em vários domínios Existem inúmeros desafios associados: imagens de baixa qualidade, estruturas complexas e com variações topológicas, falta de conhecimento apriori, movimento não rígido, múltiplas estruturas, oclusão, etc. Muito trabalho já foi desenvolvido mas muito há ainda a fazer, inclusive na validação em contexto real Um domínio no qual existe um vasto número de aplicações é o da Biomecânica: análise da marcha, pedobarografia, reconstrução 3D, etc. 35
Equipa
Equipa (Processamento e Análise de Imagem) Alunos de Doutoramento (11): Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis, Teresa Azevedo, Daniel Moura (INEB), Zhen Ma, Elza Chagas (PUC - Minas Gerais, Brasil), Victor Albuquerque, Francisco Oliveira, Eduardo Ribeiro Alunos de Mestrado (17): Em curso: Fernando Carvalho, Mauro Trindade, Lara Quintela, Andreia Sousa, Frederico Jacob, Diogo Faria, Verónica Marques, Sérgio Martins, Carolina Rodrigues Finalizados: Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves (INEB) Alunos de Licenciatura (2) Finalizados: Ricardo Ferreira, Soraia Pimenta 37
Equipa (Processamento e Análise de Imagem) Colaboradores/Supervisores: Renato Natal Jorge, Joaquim Gabriel Mendes (IDMEC/FEUP) Mário Vaz, Miguel Angel Guevara (LOME/FEUP) Luís Durão (ISEP) Miguel Velhote, Jorge Barbosa (FEUP) Francisco Freitas, Nuno Correia (INEGI/FEUP) Emília Mendes (CRPG) Denilson Rodrigues (PUC - Minas Gerais, Brasil) Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH) Ana Mafalda Reis, Manuel Laranjeira (ICBAS/INC) Manuel Paulo (FMDUP) Adelino Leite-Moreira (FMUP) Durval Campos Costas (HPP-Medicina Molecular, SA.) Luis Metello (ESTSP) 38
Agradecimentos Parte do trabalho apresentado foi desenvolvido no âmbito do Projecto de Investigação Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos financiado pela FCT - Fundação para a Ciência e a Tecnologia em Portugal, com a referência: POSC/EEA- SRI/55386/2004 39
Muito Obrigado pela Vossa Atenção! Processamento e Análise de Imagem em Biomecânica João Manuel R. S. Tavares tavares@fe.up.pt Hotel Porto Palácio Porto 18-19 Julho 2008 www.fe.up.pt/~tavares Colaborações são Bem-Vindas!