Processamento e Análise de Imagem Médica em Biomecânica. João Manuel R. S. Tavares

Transcrição

1 Processamento e Análise de Imagem Médica em Biomecânica João Manuel R. S. Tavares tavares@fe.up.pt Mestrado Integrado em Engenharia Biomédica Porto, 9 Dezembro 2013

2 Sumário 1. Apresentação 2. Processamento e Análise de Imagem Médica em Biomecânica i. Introdução ii. iii. iv. 3. Equipa Segmentação Análise e Simulação Seguimento Emparelhamento Alinhamento Simulação Visão 3D 4. Publicações & Eventos 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 2

3 Apresentação

4 Apresentação Prof. Associado no Dep. de Eng. Mecânica (DEMec) da FEUP Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do INEGI Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem) Licenciado em Eng. Mecânica (FEUP) Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento, emparelhamento, alinhamento e visão 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Biomecânica, Movimento e Postura Humana 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 4

5 Processamento e Análise de Imagem: Introdução

6 Introdução O sistema sensorial de visão tem elevada importância para grande parte dos seres vivos Podendo disponibilizar informações de índole básica, como verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento (seguimento e análise de movimento), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (Visão 3D) 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 6

7 Introdução Os investigadores da área do Processamento e Análise de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos Imagens originais Modelo computacional 3D voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 7

8 Introdução Algoritmos de Processamento e Análise de Imagem são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: Ciências naturais, Desporto Engenharia, Indústria Medicina, Biologia Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem: Segmentação, Reconhecimento (2D-4D) Seguimento e análise de movimento, incluindo emparelhamento, alinhamento e simulação (2D-4D) Visão 3D 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 8

9 Introdução: Processamento e Análise de Imagem Operações e Objectivos Imagem / imagens Melhoramento de imagem Processamento de Imagem Segmentação de imagem / extração de características seguimento Visão 3D Análise de movimento emparelhamento alinhamento Visão por Computador Análise de Imagem / Visão Computacional simulação 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 9

10 Introdução (Pré-)Processamento de Imagem: suavização de ruído por difusão anisotrópica Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 10

11 Processamento e Análise de Imagem Médica em Biomecânica: Segmentação

12 Segmentação Pretende-se identificar de forma automática, ou semiautomática, os objetos (2D/3D) presentes em imagens estáticas ou em sequências de imagem As técnicas mais comuns são baseadas em binarização por limiar, crescimento de regiões, redes neuronais, emparelhamento de protótipos, modelações geométricas, estatísticas e físicas É uma das operações mais usuais em Visão Computacional, sendo frequentemente a primeira grande tarefa considerada Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc. 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 12

13 Segmentação Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR pressão camada opaca lâmpada camada transparente luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Após segmentação Bastos & Tavares (2004) LNCS 3179: @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 13

14 Segmentação Segmentação de estruturas do ouvido: método de crescimento de regiões Region Growing, x=215; y=254 X: 254 Y: 214 Index: RGB: 0.459, 0.459, Imagem original Segmentação obtida (labirinto ósseo) Barroso et al. (2011) CNME 2011 Ferreira et al. (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI: / Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 14

15 Segmentação Deteção de calcificações em mamografias: transformada de Hough Imagem original Após segmentação Chagas et al. (2007) VipIMAGE 2007, Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 15

16 Segmentação Reconhecimento de objetos em imagens: emparelhamento de imagem protótipo Imagem original fft ift fft Imagem protótipo max CC ift ( ) 2D CC ( ) ift 3D CC Carvalho & Tavares (2005) CMNI @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 16

17 Segmentação Segmentação de caraterísticas: protótipos deformáveis geométricos Exemplo de um protótipo deformável Carvalho & Tavares (2006) CompIMAGE 2006, Carvalho & Tavares (2007) VipIMAGE 2007, Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 17

18 Segmentação Segmentação de caraterísticas faciais: protótipos deformáveis geométricos Imagem original e imagens de campos de energia (força) Segmentação da íris usando um protótipo deformável (circulo) Carvalho & Tavares (2006) CompIMAGE 2006, Carvalho & Tavares (2007) VipIMAGE 2007, Segmentação do olho usando um protótipo deformável 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 18

19 Segmentação Segmentação de regiões de pele em imagens: modelos estatísticos Amostras de pele usadas para construir o modelo Função de probabilidade usada Imagem original e segmentação obtida Carvalho & Tavares (2005) CMNI 2005 Carvalho & Tavares (2008) Tékhne VI(9): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 19

20 Segmentação Segmentação do fundo da cena/objeto em sequências de imagens: modelos estatísticos Imagens originais Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 20

21 Segmentação Segmentação do fundo da cena/objeto em sequências de imagens: modelos estatísticos Imagens originais ( Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Vasconcelos & Tavares (2011) EUROMECH Colloquium @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 21

22 Segmentação Segmentação de objetos em imagens: modelos ativos de forma Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 22

23 Segmentação Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos ativos de forma Imagem original + modelo médio Segmentação intermédia I Segmentação intermédia II Segmentação final Vasconcelos et al. (2011) Journal of Voice 25(6): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 23

24 Segmentação Segmentação de objectos em imagens: modelos ativos de aparência Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 24

25 Segmentação Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos ativos de aparência Segmentação inicial Segmentações intermédias Segmentações intermédias Segmentação final Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76 Vasconcelos et al. (2012) Journal of Engineering in Medicine 226(3): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 25

26 Segmentação Segmentação de objetos em imagens: contornos ativos (i.e. snakes modelos paramétricos) Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2): Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 26

27 Segmentação Segmentação de objetos em imagens: contornos ativos (i.e. snakes) Imagem original e contorno inicial Contorno final Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 27

28 Segmentação Segmentação de objetos em imagens: contorno deformável, FEM, equação de Lagrange borracha k = 200N/m 14s Imagens originais e contornos iniciais Contornos finais Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 28

29 Segmentação Segmentação de objetos em imagens: métodos de level set modelos geométricos Ma et al. (2010) Medical Engineering & Physics 32(7): Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2): Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 29

30 Segmentação Segmentação de bifurcação da carótida em imagens de Doppler: métodos de contornos ativos e de level set Segmentação usando um modelo de contornos ativos (Yessi) Segmentação usando um modelo de level set (Chan-Vese) Silva et al. (2011) VipIMAGE 2011, Santos et al. (2013) Expert Systems with Applications 40(16): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 30

31 Segmentação Segmentação de objetos em imagens: métodos de level set, conhecimento prévio Ma et al. (2010) Medical Engineering & Physics 32(7): Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 31

32 Segmentação Segmentação do pavimento pélvico feminino a partir de imagens de ressonância magnética: método de level set, conhecimento prévio Segmentação do pavimento pélvico Ma et al. (2010) Medical Engineering & Physics 32(7): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 32

33 Segmentação Segmentação de órgãos da cavidade pélvica feminina a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação de órgãos (bexiga, vagina, ânus) da cavidade pélvica (3 exemplos) Ma et al. (2013) Computers in Biology and Medicine 43(4): Ma et al. (2012) The Int. Journal for Numerical Methods in Biomedical Engineering 28(6-7): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 33

34 Processamento e Análise de Imagem Médica em Biomecânica: Seguimento, Emparelhamento, Alinhamento e Simulação

35 Seguimento Pretende-se seguir o movimento e/ou a deformação de estruturas em sequências de imagem (2D/3D) Nesta área, destacam-se as técnicas baseadas em fluxo óptico, emparelhamento de blocos e em métodos estocásticos Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc. 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 35

36 Seguimento Plataforma desenvolvida para seguimento de entidades (pontos / rectas) em sequências de imagem: filtro de Kalman ou filtro Unscented Kalman, otimização, distância de Mahalanobis, modelo de gestão Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92 Pinho & Tavares (2009) VipIMAGE 2009, Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 36

37 Seguimento Seguimento de marcas em análise da marcha: filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão (5 frames) Previsão Incerteza Medição Correspondência Resultado Pinho et al. (2005) ICCB 2005, Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 37

38 Seguimento Análise da marcha com deteção de eventos: filtro de Kalman, distância de Mahalanobis, otimização Sousa et al. (2007) ISHF2007, Sousa et al. (2007) ICCB2007, Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 38

39 Seguimento Seguimento de ratos em sequências longas de imagem: filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão (547 frames) Pinho et al. (2005) LSCCS, Vol. 4A: Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92 Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 39

40 Emparelhamento É uma das tarefas mais usuais em Visão Computacional, por exemplo, para alinhar objetos, reconhecer objetos, obter informação 3D, analisar movimento, etc. Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc. 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 40

41 Emparelhamento Emparelhamento de contornos em imagens: modelação física/geométrica, análise modal, otimização Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5): Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 41

42 Emparelhamento Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização pressão camada opaca lâmpada camada transparente luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Contornos emparelhados Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 42

43 Emparelhamento Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, otimização Imagem de pedobarografia dinâmica Emparelhamento de dois contornos Emparelhamento entre iso-contornos (2 vistas) Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas) Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 43

44 Alinhamento É uma tarefa habitualmente necessária para comparar objetos representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas O alinhamento é geralmente essencial, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida, ou pela minimização de uma medida de semelhança Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc. 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 44

45 Alinhamento Alinhamento de contornos em imagens: modelação geométrica/física, otimização, programação dinâmica Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 45

46 Alinhamento Alinhamento de imagens de pedobarografia: modelação geométrica, otimização, programação dinâmica Imagens originais e contornos extraídos Oliveira et al. (2009) Journal of Biomechanics 42(15): Contornos emparelhados e imagens antes e após alinhamento 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 46

47 Alinhamento Alinhamento de imagens de pedobarografia: transformada de Fourier Imagens originais Imagens antes e após alinhamento Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 47

48 Alinhamento Alinhamento de imagens de pedobarografia: método híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Otimização de semelhança (MSE/MI/XOR) Oliveira & Tavares (2011) Medical & Biological Engineering & Computing 49(3): Imagens originais, antes e após alinhamento 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 48

49 Alinhamento Alinhamento de imagens de pedobarografia para identificação (esq. / direito), extração de medidas e índices Oliveira et al. (2012) Computer Methods in Biomechanics and Biomedical Engineering 15(11): @João Manuel R. S. Tavares Imagens originais, após normalização, contornos e áreas identificadas Processamento e Análise de Imagem Médica em Biomecânica 49

50 Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos cont. Imagens a alinhar Contornos (Corpus Callosum) antes e após emparelhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 50

51 Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos Soma Imagem originais Imagens Alinhadas Soma Diferença Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 51 51

52 Alinhamento Alinhamento de imagens de uma mesma modalidade: maximização direta da correlação cruzada (transformada de Fourier) Soma Imagem originais (RM - proton density) Imagens Alinhadas Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6): @João Manuel R. S. Tavares Soma Diferença 52 Processamento e Análise de Imagem Médica em Biomecânica 52

53 Alinhamento Alinhamento intermodal (CT/RM): otimização pelo Método de Powell (otimização) de medida de semelhança (MI) CT RM CT+RM Imagem originais Imagens Alinhadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3): Manuel R. S. Tavares CT+RM Diferença 53 CT+RM Processamento e Análise de Imagem Médica em Biomecânica 53

54 Alinhamento Otimização iterativa e alinhamento 3D curvo usando B- splines Imagem modelo Imagem a alinhar Pré-alinhamento usando transformação rígida Novo pré-alinhamento usando transformação afim Alinhamento curvo grosseiro usando B-splines Alinhamento fino usando B-splines Imagem alinhada O alinhamento baseado em B-splines tem cariz local 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 54

55 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pré-alinhamento (CT, tórax mesma pessoa, Δt: 8.5 meses) F M F M M F M F F M F M M F M F (xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo) 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 55

56 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida) Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 56

57 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas) Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 57

58 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pré-alinhamento (CT, cérebro duas pessoas) Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 58

59 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim) Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 59

60 Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas) Oliveira & Tavares (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI: / Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 60

61 Alinhamento Aplicação no estudo de imagens DaTSCAN SPECT Imagens DaTSCAN SPECT são usadas para auxiliar o diagnostico da doença de Parkinson e para a distinguir de outras doenças degenerativas. A solução desenvolvida é capaz de: Segmentar as áreas relevantes e realizar análises dimensionais Quantificar os potenciais de ligação da ganglia basal Computação automática de dados estatísticos relativamente a uma população de referência Normal Alzheimer Parkinsonismo idiopático 2013@João Manuel R. S. Tavares Tremor essencial Processamento e Análise de Imagem Médica em Biomecânica 61

62 Alinhamento Aplicação no estudo de imagens DaTSCAN SPECT Slice médio de uma população usado como referência Slice correspondente de um paciente Diferença de intensidades Mapeamento dos Z- scores no slice (a vermelho valores mais elevados) (Os retângulos azuis representam as ROIs 3D usadas para calculo dos potenciais de ligação) Oliveira et al. (2012) The Quarterly Journal of Nuclear Medicine and Molecular Imaging (in press) Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 62

63 Alinhamento Aplicação no estudo de imagens DaTSCAN SPECT Reconstrução 3D da ganglia basal e quantificação Ganglia basal média de uma população normal Ganglia basal de um paciente com parkinsonismo idiopático Ganglia basal de um paciente com parkinsonismo vascular Oliveira et al. (2012) The Quarterly Journal of Nuclear Medicine and Molecular Imaging (in press) 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 63

64 Alinhamento Aplicação na segmentação e reconstrução 3D dos ossículos do ouvido médio em imagens de TC Slices com a estrutura a segmentar e a reconstruir Estrutura reconstruida a partir das segmentações obtidas Oliveira & Tavares (2013) The International Journal for Numerical Methods in Biomedical Engineering (submitted) 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 64

65 Alinhamento Alinhamento de sequências de imagem 2D: alinhamento espacial e temporal Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7): Oliveira & Tavares. (2013) Medical & Biological Engineering & Computing 51(3): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 65

66 Alinhamento Alinhamento de sequências de imagem 2D de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento camada de contacto + vidro espelho câmara Sequências préprocessadas Sequências após alinhamento Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 66 66

67 Alinhamento Alinhamento de sequências de imagem 2D de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento Sequências préprocessadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7): Sequências após alinhamento @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 67

68 Simulação É uma tarefa muito usada em Computação Gráfica (morphing) mas também muito útil em Visão Computacional, por exemplo, para estimar a deformação existente entre dois objetos distintos ou entre dois instantes de um mesmo objeto, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc. Geralmente é conseguida através da consideração de transformações geométricas No entanto, quando se deve considerar o comportamento físico dos objetos envolvidas, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM) Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais Fase de emparelhamento dos objetos torna-se crucial 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 68

69 Simulação Simulação (morphing) física de contornos em imagens: FEM, análise modal, otimização, eq. de Lagrange Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 69

70 Simulação Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange Emparelhamento obtido Deformações simuladas Imagens originais Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 70

71 Processamento e Análise de Imagem Médica em Biomecânica: Visão 3D

72 Visão 3D Pretende-se obter a forma 3D de objetos ou a informação 3D de cenas a partir de imagens 2D Nesta área, destacam-se: 1) formas exteriores: técnicas ativas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, marching cubes e segmentação 3D Usualmente, envolve tarefas de calibração, segmentação, alinhamento, triangulação e interpolação Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc. 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 72

73 Visão 3D Reconstrução 3D de objetos a partir de slices: segmentação 2D, Delaunay, marching cubes Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, Alexandre et al. (2007) VipIMAGE 2007, @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 73

74 Visão 3D Reconstrução 3D de órgãos a partir de imagens médicas: segmentação 2D, Delaunay, marching cubes Segmentação realizada num slice e reconstrução 3D obtida Perdigão et al. (2005) CMNI 2005 Órgãos do braço reconstruidos 3D 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 74

75 Visão 3D Reconstrução 3D de órgãos da cavidade pélvica feminina partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão Slices axial e sagital da cavidade pélvica (1 - bexiga, 2 - vagina) Bexiga reconstruida usando informação axial e sagital (2 vistas) Ma et al. (2012) Medical Engineering & Physics DOI: /j.medengphy @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 75

76 Visão 3D Reconstrução 3D de órgãos a partir de imagens de diferentes modalidades: alinhamento, marching cubes, fusão slices coronal, sagital e axial, e segmentação obtida Visualização 3D após fusão TC/SPECT Oliveira & Tavares. (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI: / @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 76

77 Visão 3D Reconstrução 3D de cenas a partir de sequências de imagem: visão estéreo densa Azevedo et al. (2006) VISAPP 2006, @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 77

78 Visão 3D Reconstrução 3D de uma cena a partir de par de imagens: visão estéreo densa Par de imagens original Mapa de disparidade obtido Azevedo et al. (2006) VISAPP 2006, @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 78

79 Visão 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 79

80 Visão 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 80

81 Visão 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 81

82 Visão 3D Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável (atlas) Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics 33(8): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 82

83 Visão 3D Reconstrução 3D a partir de radiografias 2D: calibração cont. Calibração de um sistema de Raio-X Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics 33(8): Método desenvolvido 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 83

84 Visão 3D Reconstrução 3D a partir de radiografias 2D: calibração Estimativa da distância entre a fonte de Raio-X e a mesa Duas radiografias de uma coluna seca usada para validar a calibração e reconstrução 3D obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics 33(8): @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 84

85 Processamento e Análise de Imagem Médica em Biomecânica: Sumário

86 Sumário A área da Visão Computacional é complexa e exigente, mas de elevado interesse em muitos domínios, em particular em Medicina e em Engenharia Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios Para tal, Colaborações são Necessárias e Bem-vindas 2013@João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 86

87 Equipa

88 Equipa (Visão Computacional) Estudantes de Pós-Doutoramento (4) Concluído: A. Carvalho, E. Sousa Em curso: Z. Ma, S. Oliveira Estudantes de Doutoramento (14) Concluído: D. Moura, T. Azevedo, S. Rua, Z. Ma, F. Oliveira Em curso: R. Pinho, P. Gonçalves, M. Vasconcelos, I. Reis, J. Nunes, A. Araújo, R. Oliveira, A. Ferreira, D. Jodas Estudantes de Mestrado (25) Concluídos: E. Barroso, A. Jesus, C. Cruz, P. Alves, F. Jacob, D. Sousa, F. Oliveira, T. Azevedo, M. Vasconcelos, R. Pinho, L. Bastos, C. Coelho, J. Pereira, C. Tabuas, D. Cidre, L. Ferro, G. Queirós, D. Faria, N. Sousa, R. Teixeira, P. Gomes, L. Ribeiro Em curso: R. Alves, S. Figueiredo, A. Silva Estudantes de Graduação (2) Concluídos: R. Ferreira, S. Pimenta Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 88

89 Agradecimentos Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos: PTDC/BBB-BMD/3088/2012 PTDC/SAU-BEB/102547/2008 PTDC/SAU-BEB/104992/2008 PTDC/EEA-CRO/103320/2008 UTAustin/CA/0047/2008 UTAustin/MAT/0009/2008 PDTC/EME-PME/81229/2006 PDTC/SAU-BEB/71459/2006 POSC/EEA-SRI/55386/ @João Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 89

90 Publicações & Eventos

91 Taylor & Francis journal Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 91

92 Lecture Notes in Computational Vision and Biomechanics (LNCV&B) Series Editors: João Manuel R. S. Tavares, Renato Natal Jorge ISSN: Publisher: SPRINGER Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 92

93 Eventos: Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 93

94 Webpage ( Manuel R. S. Tavares Processamento e Análise de Imagem Médica em Biomecânica 94

95 Porto, 9 Dezembro 2013 Mestrado Integrado em Engenharia Biomédica Processamento e Análise de Imagem Médica em Biomecânica João Manuel R. S. Tavares tavares@fe.up.pt