Análise de Estruturas em Imagens: 2º Seminário de Engenharia Biomédica

Transcrição

1 Análise de Estruturas em Imagens: Segmentação, Seguimento e Reconstrução 3D João Manuel R. S. Tavares tavares@fe.up.pt 2º Seminário de Engenharia Biomédica 29 de Outubro de 2007, ESTIG-IPBIPB

2 Conteúdo Apresentação Processamento e Análise de Imagem Operações e Aplicações Segmentação de Estruturas em Imagens Métodos (modelos deformáveis e estatísticos) e Aplicações Seguimento de Estruturas t ao longo de Sequências de Imagem Métodos (físicos e estocásticos) ti e Aplicações Reconstrução 3D de Estruturas a partir de Imagens Métodos (visão estéreo e volumétricos) e Aplicações Eventos e Publicações Equipa 2

3 Apresentação

4 Apresentação Prof. Auxiliar no Dep. de Engenharia Mecânica e Gestão Industrial (DEMEGI) da Faculdade de Engenharia da Universidade do Porto (FEUP) Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do Instituto de Engenharia Mecânica e Gestão Industrial (INEGI) Doutorado e Mestre em Eng. Electrotécnica té e de Computadores (FEUP) (com Tese e Dissertação na área da Visão Computacional) Licenciado em Eng. Mecânica (FEUP) Áreas de Investigação: Visão Computacional (segmentação, seguimento e reconstrução 3D de objectos), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos) 4

5 Processamento e Análise de Imagem (Visão Computacional)

6 Processamento e Análise de Imagem O sistema sensorial da visão tem elevada importância para os seres vivos Podendo disponibilizar informações de índole mais básica, como a existência ou não de um objecto, ou de cariz mais complexo, como o movimento de objectos Operações comuns envolvendo a visão são: a identificação de estruturas t (segmentação), o seguimento do movimento (ou da deformação) de estruturas ao longo do tempo (seguimento e análise), a obtenção da informação 3D sobre a forma das estruturas visualizadas (reconstrução 3D) 6

7 Processamento e Análise de Imagem Os investigadores da área do Processamento e Análise de Imagem (Visão Computacional) tentam desenvolver métodos e técnicas computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos 7

8 Processamento e Análise de Imagem Exemplos de tarefas comuns usando metodologias e técnicas de Visão Computacional são: remoção de ruído, correcção geométrica, compressão, segmentação, seguimento e análise do movimento (2D/3D), alinhamento (2D/3D), reconstrução da forma 3D, etc. Domínios em que são comuns metodologias e técnicas de Visão Computacional: Medicina, Industria, Engenharia, Sistemas de Segurança, Realidade Virtual, etc. 8

9 Segmentação de Estruturas em Imagens

10 Segmentação de Estruturas em Imagens Pretende-se identificar de forma automática, ou semi- automática, as estruturas presentes numa dada imagem As metodologias mais comuns podem ser divididas em estatísticas, físicas e protótipos/modelos deformáveis É uma das operações mais usuais em Visão Computacional, sendo muitas vezes a primeira grande tarefa considerada, como, por exemplo, no reconhecimento de estruturas em imagens Pode ser executada em imagens 2D mas também em 3D 10

11 Segmentação de Estruturas em Imagens Exemplo: análise da zona de dano em materiais compósitos Imagem original Segmentação Zona do dano determinada Medidas obtidas da zona do dano Durão et al (in press), Damage analysis of carbon/epoxy plates after drilling, International Journal of Materials and Product Technology 11

12 Segmentação de Estruturas em Imagens Exemplo: identificação de faces em imagens usando modelos estatísticos para a pele Amostras usadas para construir o modelos estatístico (zonas de pele) Objecto determinado (face) Carvalho & Tavares 2005, Metodologias para identificação de faces em imagens: Introdução e exemplos de resultados, CMNI 2005, Granada, España 12

13 Segmentação de Estruturas em Imagens Exemplo: utilização de imagem protótipo para segmentar características Template (imagem do olho) Objecto determinado Carvalho & Tavares 2005, Metodologias para identificação de faces em imagens: Introdução e exemplos de resultados, CMNI 2005, Granada, España 13

14 Segmentação de Estruturas em Imagens Exemplo: utilização de modelo protótipo deformável para segmentar características Imagem original e de campos Determinação iterativa do objecto (íris) de forças considerados usando um template deformável (círculo) Carvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face Images, CompIMAGE 2006, Coimbra, Portugal Carvalho & Tavares 2007, Eye detection using a deformable template in static images, VipIMAGE 2007, Porto, Portugal Determinação iterativa ti do objecto (olho) usando um template deformável (círculo e 2 parábolas) 14

15 Segmentação de Estruturas em Imagens Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.) Identificação e amostragem (pontual) automática dos objectos a modelar Vasconcelos & Tavares 2005, Automatic Modelling Image Represented Objects using a Statistic based Approach, EUROSIS 2005, Porto, Portugal 15

16 Segmentação de Estruturas em Imagens Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.) Imagens de treino usadas na construção dos modelos Vasconcelos & Tavares 2005, Automatic Modelling Image Represented Objects using a Statistic based Approach, EUROSIS 2005, Porto, Portugal 16

17 Segmentação de Estruturas em Imagens Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.) Etapas da segmentação numa nova imagem (usando modelo geométrico) Vasconcelos & Tavares 2005, Introdução aos modelos pontuais de distribuição e sua utilização na segmentação e reconhecimento de objectos em imagens, CMNI 2005, Granada, España 17

18 Segmentação de Estruturas em Imagens Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.) Etapas da segmentação numa nova imagem (usando modelo geométrico + aparência) Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution Models for Faces Represented in Images, CompIMAGE 2006, Coimbra, Portugal 18

19 Segmentação de Estruturas em Imagens Exemplo: controlo de um sistema por linguagem gestual Sistema de controlo desenvolvido Tavares et al 2005, Control a 2-Axis Ai Servomechanism by Gesture Recognition using a Generic WebCam, International Journal of Advanced Robotic Systems, Vol. 2, No. 1 19

20 Segmentação de Estruturas em Imagens Exemplo: detecção de tumor em imagens de mamografia Imagem original Segmentação obtida Chagas et al 2007, An Application of Hough Transform to Identify Breast Cancer in Images, VIPimage 2007, Porto, Portugal 20

21 Segmentação de Estruturas em Imagens Exemplo: segmentação de estruturas usando contornos activos (snakes) Imagem original e contorno inicial Contorno final obtido Tavares et al 2002, Apresentação de um Banco de Desenvolvimento e Ensaio para Objectos Deformáveis, RESI Revista Electrónica de Sistemas de Informação, Vol. 1, No. 1 21

22 Segmentação de Estruturas em Imagens Exemplo: segmentação de estruturas usando modelos activos segundo princípios físicos Imagem original e contorno inicial Contorno final obtido Gonçalves et al 2007, Segmentation of objects in images using physical principles, i VipIMAGE 2007, Porto, Portugal 22

23 Segmentação de Estruturas em Imagens Exemplo: segmentação de estruturas em imagens médicas usando level-sets Imagem original Segmentação inicial Segmentação final obtida Perdigão et al 2005, Geração de modelos de malhas de elementos finitos it a partir de imagens médicas 2D, Encontro_1_Biomecânica, Abrantes, Portugal 23

24 Seguimento de Estruturas ao longo de Sequências de Imagem

25 Seguimento de Estruturas em Sequências de Imagem Pretende-se seguir o movimento (e/ou a deformação) de estruturas ao longo do tempo Nesta área, destacam-se as metodologias estocásticas Usualmente, envolve a identificação da estrutura a seguir em cada imagem, a associação da estrutura entre imagens (emparelhamento/alinhamento), a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento envolvido bem como a sua quantificação 25

26 Seguimento de Estruturas em Sequências de Imagem Exemplo: seguimento usando filtragem de Kalman, técnicas de optimização e modelos de gestão Prediction Uncertainty Area Measurement Correspondence Result Pinho et al 2005, Human Movement Tracking and Analysis with Kalman Filtering i and Global Optimization Techniques, ICCB 2005, Lisboa, Portugal 26

27 Seguimento de Estruturas em Sequências de Imagem Exemplo: seguimento de entidades usando filtragem de Kalman, técnicas de optimização e modelos de gestão (5 frames interval) Pinho et al 2005, A Movement Tracking Management Model with Kalman Filtering, i Global l Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A 27

28 Seguimento de Estruturas em Sequências de Imagem Exemplo: seguimento de entidades usando filtragem de Kalman, técnicas de optimização e modelos de gestão Pinho et al 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2 28

29 Seguimento de Estruturas em Sequências de Imagem Exemplo: emparelhamento de estruturas segundo princípios físicos Imagem de pedobarografia dinâmica Objecto Inicial Objecto Final Emparelhamento obtido Tavares et al 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization i Techniques, Electronic Letters on Computer Vision i and Image Analysis, Vol. 5, No. 3 29

30 Seguimento de Estruturas em Sequências de Imagem Exemplo: emparelhamento de estruturas segundo princípios físicos Emparelhamentos obtidos entre iso-contornos Emparelhamentos obtidos entre contornos Bastos et al 2006, Matching of Objects Nodal Points Improvement using Optimization, Inverse Problems in Science and Engineering, Vol. 14, No. 5 Tavares et al 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization i Techniques, Electronic Letters on Computer Vision i and Image Analysis, Vol. 5, No. 3 30

31 Seguimento de Estruturas em Sequências de Imagem Exemplo: ordenação de contornos de estruturas usando técnicas de optimização Contorno Contorno Contorno desejado original obtido Contorno Contorno Contorno desejado original obtido 31

32 Seguimento de Estruturas em Sequências de Imagem Exemplo: emparelhamento de estruturas usando informação de curvatura e técnicas de optimização Contornos originais Contornos emparelhados (2 vistas) Oliveira e Tavares 2007, Matching contours in images using curvature information, o VipIMAGE 2007, Porto, o, Portugal Contornos originais Contornos emparelhados (2 vistas) 32

33 Seguimento de Estruturas em Sequências de Imagem Exemplo: emparelhamento de estruturas usando programação dinâmica Contornos originais Contornos emparelhados 33

34 Seguimento de Estruturas em Sequências de Imagem Exemplo: estimativa da deformação entre estruturas segundo princípios físicos Emparelhamentos Deformações estimadas Gonçalves et al 2007, Aplicação de Princípios Físicos na Simulação da Deformação de Objectos em Imagens, CIBEM8, Cusco, Perú Tavares & Pinho 2005, Estimação Temporal da Deformação entre Objectos utilizando uma Metodologia Física, InfoComp, Vol. 4, No. 1 34

35 Reconstrução 3D de Estruturas t a partir de Imagens

36 Reconstrução 3D de Estruturas a partir de Imagens Pretende-se reconstruir a forma 3D de estruturas a partir de imagens Pode-se reconstruir estruturas a partir de conjuntos de imagens 2D alinhadas, por exemplo, reconstruir órgãos a partir de slices Geralmente envolve o alinhamento dos slices, a segmentação 2D da estrutura em cada slice e a construção da geometria 3D a partir dos contornos segmentados Contudo, também se pode reconstruir a geometria 3D directamente a partir dos dados 3D, usando, por exemplo, modelos deformáveis activos 3D 36

37 Reconstrução 3D de Estruturas a partir de Imagens Pode-se reconstruir tridimensionalmente estruturas exteriores a partir de imagens Para tal, pode-se usar técnicas Activas (com projecção de energia ou movimento relativo) ou Passivas (sem projecção de energia nem movimento relativo) Geralmente, envolve identificação de características das estruturas nas imagens, emparelhamento de características entre imagens, calibração do sistema de aquisição, triângulação entre imagens, etc. Outra possibilidade é a reconstrução baseada em metodologias Volumétricas de Escavação Espacial 37

38 Reconstrução 3D de Estruturas a partir de Imagens Exemplo: Reconstrução órgãos em imagens médicas slices Segmentação Pavimento pélvico reconstruído Estruturas da cavidade pélvica reconstruídas Pimenta et al 2006, Reconstruction of 3D Models from Medical Images: Application to Female Pelvic Organs, CompIMAGE 2006, Coimbra, Portugal Alexandre et al 2007, 3D reconstruction of pelvic floor for numerical simulation purpose, VipIMAGE 2007, Porto, Portugal 38

39 Reconstrução 3D de Estruturas a partir de Imagens Exemplo: Reconstrução órgãos em imagens médicas Segmentação de um slice e reconstrução obtida bid Perdigão et al 2005, Sobre a Geração de Malhas Tridimensionais para fins Computacionais a partir de Imagens Médicas, CMNI 2005, Granada, España Reconstrução de estruturas do braço 39

40 Reconstrução 3D de Estruturas a partir de Imagens Exemplo: Reconstrução 3D usando técnicas de Visão Activa Sequência de imagens Reconstrução 3D Extracção de pontos fortes Emparelhamento denso Emparelhamento de pontos fortes Auto-calibração / Estimativa da Pose Extracção da geometria epipolar Metodologia utilizada Plataforma computacional desenvolvida Azevedo et al 2006, Desenvolvimento de uma Plataforma Computacional para Obtenção da Forma 3D de Objectos usando Técnicas de Visão Activa, Mecânica Experimental, nº 12 40

41 Reconstrução 3D de Estruturas a partir de Imagens Exemplo: Reconstrução 3D usando técnicas de Visão Activa Imagens originais Mapa de disparidade obtido Azevedo et al 2006, Development of a Computer Platform for Object 3D Reconstruction using Active Vision Techniques, VISAPP 2006, Setúbal, Portugal 41

42 Reconstrução 3D de Estruturas a partir de Imagens Exemplo: Reconstrução 3D usando metodologias Volumétricas Imagens originais Modelo 3D obtido voxelizado Modelo 3D obtido poligonizado Azevedo et al 2007, Building External Anatomical Structures from Images using a Single Off-The-Shelf Camera, ICCB 2007, Isla de Margarita, Venezuela 42

43 Reconstrução 3D de Estruturas a partir de Imagens Exemplo: Reconstrução 3D usando metodologias Volumétricas Imagens originais Modelo 3D obtido Modelo 3D obtido voxelizado poligonizado Azevedo et al 2007, 3D Volumetric Reconstruction ti and Characterization ti of Objects from Uncalibrated Images, VIIP 2007, Palma de Mallorca, Spain 43

44 Reconstrução 3D de Estruturas a partir de Imagens Exemplo: Reconstrução 3D usando metodologias Volumétricas Imagens originais Modelo 3D obtido voxelizado Modelo 3D obtido poligonizado Azevedo et al 2007, External Anatomical Shapes Reconstruction from Turntable Image Sequences using a Single off-the-shelf Camera, Electronic Letters on Computer Vision and Image Analysis (submitted) 44

45 Eventos e Publicações

46 Eventos e Publicações Conferências e Mini-Simpósios Organizados Informações em 46

47 Eventos e Publicações Conferências e Mini-Simpósios Organizados Informações em 47

48 Eventos e Publicações Publicações de Edições Especiais, Livros e Revista Informações em 48

49 Equipa (Visão Computacional)

50 Equipa (Visão Computacional) Alunos de Doutoramento (9): Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis, Teresa Azevedo, Daniel Moura (INEB), Zhen Ma, Elza Chagas (PUC - Minas Gerais, Brasil), Victor Albuquerque Alunos de Mestrado (11): Em curso: Fernando Carvalho, Daniela Sousa, Mauro Trindade, Francisco Oliveira, Lara Quintela, Finalizados: Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves (INEB) Alunos de Licenciatura (2) Finalizados: Ricardo Ferreira, Soraia Pimenta 50

51 Equipa (Visão Computacional) Colaboradores/Supervisores: Renato Natal Jorge (IDMEC/FEUP) Mário Vaz (LOME/FEUP) Luís Durão (ISEP) Miguel Velhote, Jorge Barbosa (INEB/FEUP) Francisco Freitas (INEGI/FEUP) Emília Mendes (CRPG) Denilson Rodrigues (PUC - Minas Gerais, Brasil) Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH) Ana Mafalda Reis, Manuel Laranjeira (ICBAS/INC) Manuel Paulo (FMDUP) Adelino Leite-Moreira (FMUP) 51

52 Muito Obrigado pela Vossa Atenção! Análise de Estruturas em Imagens: Segmentação, Seguimento e Reconstrução 3D João Manuel R. S. Tavares tavares@fe.up.pt 2º Seminário de Engenharia Biomédica 29 de Outubro de 2007, ESTIG-IPBIPB Colaborações são Bem-Vindas!