Processamento de Imagem em Biomecânica. João Manuel R. S. Tavares

Transcrição

1 Processamento de Imagem em Biomecânica João Manuel R. S. Tavares Mestrado Integrado em Engenharia Biomédica Porto, 9 Janeiro 2012

2 Sumário 1. Apresentação 2. Processamento de Imagem em Biomecânica i. Introdução ii. Segmentação iii. Seguimento de Movimento iv. Análise de Objetos: Emparelhamento, Alinhamento e Simulação v. Reconstrução 3D 3. Equipa 4. Eventos & Publicações 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 2

3 Apresentação

4 Apresentação Prof. Associado no Dep. de Eng. Mecânica (DEMec) da FEUP Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do INEGI Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem) Licenciado em Eng. Mecânica (FEUP) Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento, emparelhamento, alinhamento e reconstrução 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Movimento Humano (Marcha, Postura) 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 4

5 Processamento de Imagem em Biomecânica: Introdução

6 Introdução O sistema sensorial de visão tem elevada importância para grande parte dos seres vivos Podendo disponibilizar informações de índole básica, como verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento (seguimento e análise), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (reconstrução 3D) 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 6

7 Introdução Os investigadores da área do Processamento e Análise de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos Imagens originais Modelo computacional 3D voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 7

8 Introdução Algoritmos de Processamento e Análise de Imagem são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: Medicina, Biologia Ciências naturais, Desporto Engenharia, Indústria Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem: Remoção de ruído, Correcção geométrica Segmentação, Reconhecimento (2D-4D) Seguimento e análise de movimento, incluindo emparelhamento, alinhamento e simulação (2D-4D) Reconstrução 3D 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 8

9 Introdução: Processamento e Análise de Imagem Operações e Objectivos Imagem / imagens Melhoramento de imagem Processamento de Imagem Segmentação de imagem / extração de características seguimento Visão 3D Análise de movimento emparelhamento alinhamento Visão por Computador Análise de Imagem / Visão Computacional simulação 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 9

10 Introdução (Pré-)Processamento de Imagem: suavização de ruído por difusão anisotrópica Manuel R. S. Tavares Processamento de Imagem em Biomecânica 10

11 Processamento de Imagem em Biomecânica: Segmentação

12 Segmentação Pretende-se identificar de forma automática, ou semiautomática, os objetos (2D/3D) presentes em imagens estáticas ou em sequências de imagem As técnicas mais comuns são baseadas em emparelhamento de protótipos, modelações geométricas, estatísticas e físicas, e redes neuronais É uma das operações mais usuais em Visão Computacional, sendo frequentemente a primeira grande tarefa considerada Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc. 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 12

13 Segmentação Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR pressão camada opaca lâmpada camada transparente luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Após segmentação Bastos & Tavares (2004) LNCS 3179: @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 13

14 Segmentação Segmentação de estruturas do ouvido: método de crescimento de regiões Region Growing, x=215; y=254 X: 254 Y: 214 Index: RGB: 0.459, 0.459, Imagem original Segmentação obtida (labirinto ósseo) Barroso et al. (2011) CNME 2011 Manuel R. S. Tavares Processamento de Imagem em Biomecânica 14

15 Segmentação Segmentação do lumen da carotida em imagens B- mode: detetor de orlas, operadores morfologicos, seguimento de orlas Segmentação obtida em imagens de Doppler - B-mode (3 exemplos) Pereira & Tavares (2011) RecPad 2011, @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 15

16 Segmentação Deteção de tumores na mama a partir de imagens de mamografia: transformada de Hough Imagem original Após segmentação Chagas et al. (2007) VipIMAGE 2007, @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 16

17 Segmentação Reconhecimento de objetos em imagens: emparelhamento de imagem protótipo Imagem original fft ift fft Imagem protótipo max CC ift 2D CC ift 3D CC Carvalho & Tavares (2005) CMNI 2005 Manuel R. S. Tavares Processamento de Imagem em Biomecânica 17

18 Segmentação Segmentação de caraterísticas: protótipos deformáveis geométricos Exemplo de um protótipo deformável Carvalho & Tavares (2006) CompIMAGE 2006, Carvalho & Tavares (2007) VipIMAGE 2007, Manuel R. S. Tavares Processamento de Imagem em Biomecânica 18

19 Segmentação Segmentação de caraterísticas faciais: protótipos deformáveis geométricos Imagem original e imagens de campos de energia (força) Segmentação da íris usando um protótipo deformável (circulo) Carvalho & Tavares (2006) CompIMAGE 2006, Carvalho & Tavares (2007) VipIMAGE 2007, Segmentação do olho usando um protótipo deformável 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 19

20 Segmentação Segmentação de regiões de pele em imagens: modelos estatísticos Amostras de pele usadas para construir o modelo Função de probabilidade usada Imagem original e segmentação obtida Carvalho & Tavares (2005) CMNI 2005 Carvalho & Tavares (2008) Tékhne VI(9): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 20

21 Segmentação Segmentação do fundo da cena/objeto em sequências de imagens: modelos estatísticos Imagens originais Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 21

22 Segmentação Segmentação do fundo da cena/objeto em sequências de imagens: modelos estatísticos Imagens originais ( Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Vasconcelos & Tavares (2011) EUROMECH Colloquium @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 22

23 Segmentação Segmentação de objetos em imagens: modelos de distribuição pontual (i. e. modelos de forma) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): Manuel R. S. Tavares Processamento de Imagem em Biomecânica 23

24 Segmentação Segmentação de objetos em imagens: modelos ativos de forma Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): Manuel R. S. Tavares Processamento de Imagem em Biomecânica 24

25 Segmentação Segmentação de mãos e faces em imagens: modelos ativos de forma Segmentações obtidas (inicial, intermédias e final) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 25

26 Segmentação Segmentação de objectos em imagens: modelos ativos de aparência Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): Manuel R. S. Tavares Processamento de Imagem em Biomecânica 26

27 Segmentação Segmentação de faces em imagens: modelos ativos de aparência Imagem original e segmentações obtidas (inicial, intermédia e final) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 27

28 Segmentação Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos ativos de forma Imagem original + modelo médio Segmentação intermédia I Segmentação intermédia II Segmentação final Vasconcelos et al. (2011) Journal of Voice 25(6): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 28

29 Segmentação Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos ativos de aparência Segmentação inicial Segmentações intermédias Segmentações intermédias Segmentação final Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76 Vasconcelos et al. (2011) Journal of Engineering in Medicine, DOI: / (in press) 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 29

30 Segmentação Segmentação de objetos em imagens: contornos ativos (i.e. snakes) Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2): Manuel R. S. Tavares Processamento de Imagem em Biomecânica 30

31 Segmentação Segmentação de objetos em imagens: contornos ativos (i.e. snakes) Imagem original e contorno inicial Contorno final Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 31

32 Segmentação Segmentação de objetos em imagens: contorno deformável, FEM, equação de Lagrange Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 Manuel R. S. Tavares Processamento de Imagem em Biomecânica 32

33 Segmentação Segmentação de objetos em imagens: contorno deformável, FEM, equação de Lagrange borracha k = 200N/m 14s Imagens originais e contornos iniciais Contornos finais Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 33

34 Segmentação Segmentação de objetos em imagens: métodos de level set Ma et al. (2010) Medical Engineering & Physics 32(7): Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2): Manuel R. S. Tavares Processamento de Imagem em Biomecânica 34

35 Segmentação Segmentação de objetos em imagens médicas: método de level set Imagem original Segmentação inicial Segmentação final Perdigão et al. (2005) Encontro_1_Biomecânica, Manuel R. S. Tavares Processamento de Imagem em Biomecânica 35

36 Segmentação Segmentação de bifurcação da carótida em imagens de Doppler: métodos de contornos ativos e de level set Segmentação usando um modelo de contornos ativos (Yessi) Segmentação usando um modelo de level set (Chan-Vese) Silva et al. (2011) VipIMAGE 2011, @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 36

37 Segmentação Segmentação de objetos em imagens: métodos de level set, conhecimento prévio Ma et al. (2010) Medical Engineering & Physics 32(7): Manuel R. S. Tavares Processamento de Imagem em Biomecânica 37

38 Segmentação Segmentação do pavimento pélvico feminino a partir de imagens de ressonância magnética: método de level set, conhecimento prévio Segmentação do pavimento pélvico Ma et al. (2010) Medical Engineering & Physics 32(7): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 38

39 Segmentação Segmentação de órgãos da cavidade pélvica feminina a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação de órgãos (bexiga, pavimento pélvico, ânus) da cavidade pélvica (3 exemplos) Ma et al. (2011) Computers in Biology and Medicine (submitted) Ma et al. (2011) The Int. Journal for Numerical Methods in Biomedical Engineering, DOI: /cnm @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 39

40 Segmentação Segmentação da bexiga a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação das paredes internas e externas da bexiga (3 exemplos) Ma et al. (2011) Annals of Biomedical Engineering 39(8): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 40

41 Segmentação Nova plataforma para segmentação de imagens médicas (VC ++, OpenCV, ITK) Interface da plataforma Ma et al. (2008) CMBBE 2008 Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2): Manuel R. S. Tavares Processamento de Imagem em Biomecânica 41

42 Segmentação Segmentação de órgãos da cavidade pélvica da mulher a partir de imagens de ressonância magnética: nova plataforma Crescimento de regiões Watershed Contorno ativo geodésico Método de Malladi Level-set framework Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 42

43 Processamento de Imagem em Biomecânica: Seguimento

44 Seguimento Pretende-se seguir o movimento e/ou a deformação de estruturas em sequências de imagem (2D/3D) Nesta área, destacam-se as técnicas baseadas em fluxo óptico, emparelhamento de blocos e em métodos estocásticos Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc. 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 44

45 Seguimento Plataforma desenvolvida para seguimento de entidades (pontos / rectas) em sequências de imagem: filtro de Kalman ou filtro Unscented Kalman, otimização, distância de Mahalanobis, modelo de gestão Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92 Pinho & Tavares (2009) VipIMAGE 2009, Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 45

46 Seguimento Seguimento de marcas em análise da marcha: filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão (5 frames) Previsão Incerteza Medição Correspondência Resultado Pinho et al. (2005) ICCB 2005, Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 Manuel R. S. Tavares Processamento de Imagem em Biomecânica 46

47 Seguimento Análise da marcha com deteção de eventos: filtro de Kalman, distância de Mahalanobis, otimização Sousa et al. (2007) ISHF2007, Sousa et al. (2007) ICCB2007, Manuel R. S. Tavares Processamento de Imagem em Biomecânica 47

48 Seguimento Seguimento de ratos em sequências longas de imagem: filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão (547 frames) Pinho et al. (2005) LSCCS, Vol. 4A: Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92 Manuel R. S. Tavares Processamento de Imagem em Biomecânica 48

49 Seguimento Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) #15 #16 #17 KF + previsão x medição x correcção UKF (22 frames) 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 49

50 Seguimento Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) cont. 2012@João Manuel R. S. Tavares Resultados do filtro de Kalman Resultados do filtro Unscented Kalman (22 frames) Processamento de Imagem em Biomecânica 50

51 Seguimento Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) cont. 2012@João Manuel R. S. Tavares Erro de seguimento (previsão/estado real) (22 frames) Processamento de Imagem em Biomecânica 51

52 Processamento de Imagem em Biomecânica: Emparelhamento, Alinhamento e Simulação Análise de Objetos

53 Análise de Objetos Emparelhamento É uma das tarefas mais usuais em Visão Computacional, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc. Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc. 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 53

54 Emparelhamento Emparelhamento de contornos em imagens: modelação física/geométrica, análise modal, otimização Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5): Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, Manuel R. S. Tavares Processamento de Imagem em Biomecânica 54

55 Emparelhamento Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização pressão camada opaca lâmpada camada transparente luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Contornos emparelhados Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 55

56 Emparelhamento Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, otimização Imagem de pedobarografia dinâmica Emparelhamento de dois contornos Emparelhamento entre iso-contornos (2 vistas) Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas) Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 56

57 Emparelhamento Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, otimização Emparelhamentos obtidos entre iso-contornos Emparelhamentos obtidos entre superfícies Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 57

58 Análise de Objetos Alinhamento É uma tarefa habitualmente necessária para comparar objetos representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas O alinhamento é geralmente essencial, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc. 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 58

59 Alinhamento Alinhamento de contornos em imagens: modelação geométrica/física, otimização, programação dinâmica Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Manuel R. S. Tavares Processamento de Imagem em Biomecânica 59

60 Alinhamento Alinhamento de contornos em imagens: modelação geométrica, otimização, programação dinâmica Imagens originais e contornos extraídos Contornos emparelhados antes do alinhamento Contornos após alinhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 60

61 Alinhamento Alinhamento de imagens de pedobarografia: modelação geométrica, otimização, programação dinâmica Imagens originais e contornos extraídos Oliveira et al. (2009) Journal of Biomechanics 42(15): Contornos emparelhados e imagens antes e após alinhamento 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 61

62 Alinhamento Alinhamento de imagens de pedobarografia: transformada de Fourier Imagens originais Imagens antes e após alinhamento Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 62

63 Alinhamento Alinhamento de imagens de pedobarografia: método híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Otimização de semelhança (MSE/MI/XOR) Oliveira & Tavares 2011 Medical & Biological Engineering & Computing 49(3): @João Manuel R. S. Tavares Imagens originais, antes e após alinhamento Processamento de Imagem em Biomecânica 63

64 Alinhamento Alinhamento de imagens de pedobarografia para identificação (esq. / direito), extração de medidas e índices Oliveira et al Computer Methods in Biomechanics and Biomedical Engineering, DOI: / (in press) 2012@João Manuel R. S. Tavares Imagens originais, após normalização, contornos e áreas identificadas Processamento de Imagem em Biomecânica 64

65 Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos Extracção do contorno Suavização Binarização Extracção do contorno Manuel R. S. Tavares Processamento de Imagem em Biomecânica 65

66 Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos - cont. Imagens a alinhar Contornos antes/após emparelhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 66

67 Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos - cont. Soma Imagem originais Imagens Alinhadas Soma Diferença Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 67 67

68 Alinhamento Alinhamento de imagens de uma mesma modalidade: maximização direta da correlação cruzada (transformada de Fourier) Soma Imagem originais (RM - proton density) Imagens Alinhadas Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6): @João Manuel R. S. Tavares Soma Diferença 68 Processamento de Imagem em Biomecânica 68

69 Alinhamento Alinhamento de imagens de uma mesma modalidade: otimização pelo Método de Powell de medida de semelhança (MSE) Soma Imagem originais (RX) ROI para cálculo da MSE Imagens Alinhadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3): Manuel R. S. Tavares Soma Diferença 69 Processamento de Imagem em Biomecânica 69

70 Alinhamento Alinhamento intermodal (CT/RM): otimização pelo Método de Powell de medida de semelhança (MI) CT RM CT+RM Imagem originais Imagens Alinhadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3): Manuel R. S. Tavares CT+RM Diferença 70 CT+RM Processamento de Imagem em Biomecânica 70

71 Alinhamento Otimização iterativa e alinhamento 3D curvo usando B- splines Imagem modelo Imagem a alinhar Pré-alinhamento usando transformação rígida Novo pré-alinhamento usando transformação afim Alinhamento curvo grosseiro usando B-splines Alinhamento fino usando B-splines Imagem alinhada Metodologia implementada com recurso ao Insight Toolkit (ITK) 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 71

72 Alinhamento Otimização iterativa e alinhamento 3D curvo usando B- splines Princípio Após alinhamento global, é realizado um alinhamento local do tipo free-form deformation 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 72

73 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pré-alinhamento (CT, tórax mesma pessoa, Δt: 8.5 meses) (xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo) 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 73

74 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida) Manuel R. S. Tavares Processamento de Imagem em Biomecânica 74

75 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas) Manuel R. S. Tavares Processamento de Imagem em Biomecânica 75

76 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pré-alinhamento (CT, cérebro duas pessoas) Manuel R. S. Tavares Processamento de Imagem em Biomecânica 76

77 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim) Manuel R. S. Tavares Processamento de Imagem em Biomecânica 77

78 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas) Oliveira & Tavares (2011) Computer Methods in Biomechanics and Biomedical Engineering (accepted) Manuel R. S. Tavares Processamento de Imagem em Biomecânica 78

79 Alinhamento Alinhamento de imagens: usando multi-resolução Alinhamento Transformação geométrica Alinhamento Transformação geométrica Alinhamento Transformação geométrica Manuel R. S. Tavares Processamento de Imagem em Biomecânica 79

80 Alinhamento Alinhamento de imagens 3D: multi-resolução, otimização iterativa, alinhamento 3D Xadrez das imagens pré-alinhamento (CT/MR-PD, cérebro, mesmo paciente) Manuel R. S. Tavares Processamento de Imagem em Biomecânica 80

81 Alinhamento Alinhamento de imagens 3D: multi-resolução, otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida) Manuel R. S. Tavares Processamento de Imagem em Biomecânica 81

82 Alinhamento Alinhamento de sequências de imagem 2D: alinhamento espacial e temporal Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 82

83 Alinhamento Alinhamento de sequências de imagem 2D de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento camada de contacto + vidro espelho câmara Sequências préprocessadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7): @João Manuel R. S. Tavares Sequências após alinhamento Processamento de Imagem em Biomecânica 83 83

84 Alinhamento Alinhamento de sequências de imagem 2D de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento Sequências préprocessadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7): @João Manuel R. S. Tavares Sequências após alinhamento Processamento de Imagem em Biomecânica 84 84

85 Análise de Objectos Simulação É uma tarefa muito usada em Computação Gráfica (morphing) mas também muito útil em Visão Computacional, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc. Geralmente é conseguida através da consideração de transformações geométricas No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM) Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais Fase de emparelhamento das estruturas torna-se crucial 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 85

86 Simulação Simulação (morphing) física de contornos em imagens: FEM, análise modal, otimização, eq. de Lagrange Manuel R. S. Tavares Processamento de Imagem em Biomecânica 86

87 Simulação Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange Emparelhamento obtido Deformações simuladas Imagens originais Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 Manuel R. S. Tavares Processamento de Imagem em Biomecânica 87

88 Simulação Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange Imagens originais Emparelhamentos obtidos Deformações simuladas Emparelhamentos obtidos Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 Deformações simuladas Manuel R. S. Tavares Processamento de Imagem em Biomecânica 88

89 Processamento de Imagem em Biomecânica: Reconstrução 3D

90 Reconstrução 3D Pretende-se obter a forma 3D de objectos ou a informação 3D de cenas a partir de imagens 2D Nesta área, destacam-se: 1) formas exteriores: técnicas ativas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, e segmentação 3D Usualmente, envolve tarefas de calibração, segmentação, emparelhamento, triangulação e interpolação Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc. 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 90

91 Reconstrução 3D Reconstrução 3D de objetos a partir de slices: segmentação 2D, Delaunay, marching cubes Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, Alexandre et al. (2007) VipIMAGE 2007, @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 91

92 Reconstrução 3D Reconstrução 3D de órgãos a partir de imagens médicas: segmentação 2D, Delaunay, marching cubes Segmentação realizada num slice e reconstrução 3D obtida Perdigão et al. (2005) CMNI 2005 Órgãos do braço reconstruidos 3D 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 92

93 Reconstrução 3D Reconstrução 3D de órgãos da cavidade pélvica feminina partir de imagens de ressonância magnética: segmentação 2D, loft, suavização slices Segmentação 2D realizada num slice Pavimento pélvico reconstruído 3D Órgãos da cavidade pélvica reconstruídos 3D Pimenta et al. (2006) CompIMAGE 2006, Alexandre et al. (2007) VipIMAGE 2007, Manuel R. S. Tavares Processamento de Imagem em Biomecânica 93

94 Reconstrução 3D Reconstrução 3D de cenas a partir de sequências de imagem: visão estéreo densa Azevedo et al. (2006) VISAPP 2006, @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 94

95 Reconstrução 3D Reconstrução 3D de uma cena a partir de par de imagens: visão estéreo densa Par de imagens original Mapa de disparidade obtido Azevedo et al. (2006) VISAPP 2006, @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 95

96 Reconstrução 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 96

97 Reconstrução 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 97

98 Reconstrução 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 98

99 Reconstrução 3D Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável (atlas) Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics 33(8): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 99

100 Reconstrução 3D Reconstrução 3D a partir de radiografias 2D: calibração Calibração de um sistema de Raio-X Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics 33(8): Método desenvolvido 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 100

101 Reconstrução 3D Reconstrução 3D a partir de radiografias 2D: calibração Estimativa da distância entre a fonte de Raio-X e a mesa Duas radiografias de uma coluna seca usada para validar a calibração e reconstrução 3D obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics 33(8): @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 101

102 Processamento de Imagem em Biomecânica: Sumário

103 Sumário A área da Visão Computacional é complexa e exigente, mas de elevado interesse em muitos domínios, em particular em Medicina Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios Para tal, Colaborações são Necessárias e Bem-vindas 2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 103

104 Equipa

105 Equipa (Visão Computacional) Estudantes de Doutoramento (13): Concluído: Daniel Moura, Teresa Azevedo, Sandra Rua Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis, Zhen Ma, Elza Chagas, Francisco Oliveira, António Gomes, João Nunes, Alex Araújo Estudantes de Mestrado (20): Concluídos: Elisa Barroso, Ana Jesus, Célia Cruz, Priscila Alves, Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves Em curso: Jorge Pereira, Carolina Tabuas, Gabriela Queiros, Diana Cidre, Diogo Faria, Nuno Mafra, Luís Ferro Estudantes de pré-graduação (2) Concluídos: Ricardo Ferreira, Soraia Pimenta Manuel R. S. Tavares Processamento de Imagem em Biomecânica 105

106 Agradecimentos Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos: PTDC/SAU-BEB/102547/2008 PTDC/SAU-BEB/104992/2008 PTDC/EEA-CRO/103320/2008 UTAustin/CA/0047/2008 UTAustin/MAT/0009/2008 PDTC/EME-PME/81229/2006 PDTC/SAU-BEB/71459/2006 POSC/EEA-SRI/55386/ @João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 106

107 Eventos & Publicações

108 Webpage ( Manuel R. S. Tavares Processamento de Imagem em Biomecânica 108

109 Processamento de Imagem em Biomecânica João Manuel R. S. Tavares