Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações João Manuel R. S. Tavares

Transcrição

1 Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações João Manuel R. S. Tavares tavares@fe.up.pt Mestrado em Radiações Aplicadas às Tecnologias da Saúde - Imagem Digital com Radiação X 7 Maio 2011

2 Sumário 1. Apresentação 2. Processamento e Análise de Imagens Biomédicas I. Introdução II. Segmentação III. Seguimento de Movimento IV. Análise de Objectos: Emparelhamento, Alinhamento e Simulação V. Reconstrução 3D 3. Equipa 4. Eventos & Publicações João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 2

3 Apresentação

4 Apresentação Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da Fac. de Eng. da Universidade do Porto (FEUP) Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do Instituto de Eng. Mecânica e Gestão Industrial (INEGI) Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem) Licenciado em Eng. Mecânica (FEUP) Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento, emparelhamento, alinhamento e reconstrução 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 4

5 Processamento e Análise de Imagens Biomédicas

6 Introdução O sistema sensorial de visão tem elevada importância para grande parte dos seres vivos Podendo disponibilizar informações de índole básica, como verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento (seguimento e análise), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (reconstrução 3D) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 6

7 Introdução Os investigadores da área do Processamento e Análise de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos Imagens originais Modelo computacional 3D voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 7

8 Introdução Algoritmos de Processamento e Análise de Imagem são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: Medicina, Biologia Ciências naturais, Desporto Engenharia, Indústria Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem: Remoção de ruído, Correcção geométrica Segmentação, Reconhecimento (2D-4D) Seguimento e análise de movimento, incluindo emparelhamento, alinhamento e simulação (2D-4D) Reconstrução 3D João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 8

9 Introdução: Processamento e Análise de Imagem Operações e Objectivos Imagem / imagens Melhoramento de imagem Processamento de Imagem Segmentação de imagem / extracção de características seguimento Visão 3D Análise de movimento emparelhamento alinhamento Visão por Computador Análise de Imagem / Visão Computacional simulação João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 9

10 Introdução (Pré-)Processamento de imagem: suavização de ruído por difusão anisotrópica João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 10

11 Análise de Imagens Biomédicas: Segmentação

12 Segmentação Pretende-se identificar de forma automática, ou semiautomática, os objectos (2D/3D) presentes em imagens estáticas ou em sequências de imagem As técnicas mais comuns são baseadas em emparelhamento de protótipos, modelações geométricas, estatísticas e físicas, e redes neuronais É uma das operações mais usuais em Análise de Imagem, sendo frequentemente a primeira grande tarefa considerada Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplos objectos presentes, etc. João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 12

13 Segmentação Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos pressão camada opaca lâmpada camada transparente luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Após segmentação Bastos & Tavares (2004) LNCS 3179:39-50 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 13

14 Segmentação Análise do dano em materiais: binarização e análise de regiões Imagem original Após segmentação Região do dano Marques et al. (2009) Composites Science and Technology 69(14): Albuquerque et al. (2010) Journal of Composite Materials 44(9): Medidas obtidas João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 14

15 Segmentação Segmentação de estruturas do ouvido: método de crescimento de regiões Region Growing, x=215; y=254 X: 254 Y: 214 Index: RGB: 0.459, 0.459, Imagem original Segmentação obtida (labirinto ósseo) Barroso et al. (2011) CNME João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 15

16 Segmentação Análise de microestruturas em materiais: rede neuronal Imagens originais Após segmentação Albuquerque et al. (2008) Nondestructive Testing and Evaluation 23(4): Albuquerque et al. (2009) NDT & E International 42(7): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 16

17 Segmentação Análise das fases secundárias em materiais em imagens de microscopia electrónica de varrimento: rede neuronal Imagem original Imagem segmentada Albuquerque et al. (2011) Microscopy Research and Technique 74(1):36-46 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 17

18 Segmentação Análise de porosidade de materiais a partir de imagens de microscopia óptica: rede neuronal Imagem original e pixels de treino Imagem segmentada Albuquerque et al. (2010) Journal of Microscopy 240(1):50-59 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 18

19 Segmentação Detecção de tumores na mama a partir de imagens de mamografia: transformada de Hough Imagem original Após segmentação Chagas et al. (2007) VIPimage 2007, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 19

20 Segmentação Reconhecimento de objectos em imagens: emparelhamento de imagem protótipo Imagem original fft ift fft Imagem protótipo max CC ift 2D CC ift 3D CC Carvalho & Tavares (2005) CMNI 2005 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 20

21 Segmentação Segmentação de características: protótipos deformáveis geométricos Exemplo de um protótipo deformável Carvalho & Tavares (2006) CompIMAGE 2006, Carvalho & Tavares (2007) VipIMAGE 2007, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 21

22 Segmentação Segmentação de características faciais: protótipos deformáveis geométricos Imagem original e imagens de campos de energia (força) Segmentação da íris usando um protótipo deformável (circulo) Carvalho & Tavares (2006) CompIMAGE 2006, Carvalho & Tavares (2007) VipIMAGE 2007, Segmentação do olho usando um protótipo deformável João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 22

23 Segmentação Segmentação de regiões de pele em imagens: modelos estatísticos Amostras de pele usadas para construir o modelo Função de probablidade usada Imagem original e segmentação obtida Carvalho & Tavares (2005) CMNI 2005 Carvalho & Tavares (2008) Tékhne VI(9): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 23

24 Segmentação Segmentação do fundo da cena/objecto em sequências de imagens: modelos estatísticos Imagens originais Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 24

25 Segmentação Segmentação do fundo da cena/objecto em sequências de imagens: modelos estatísticos Imagens originais ( Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Vasconcelos & Tavares (2011) EUROMECH Colloquium 511 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 25

26 Segmentação Segmentação de objectos em imagens: modelos de distribuição pontual (i. e. modelos de forma) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 26

27 Segmentação Segmentação de objectos em imagens: modelos activos de forma Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 27

28 Segmentação Segmentação de mãos e faces em imagens: modelos activos de forma Segmentações obtidas (inicial, intermédias e final) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 28

29 Segmentação Segmentação de objectos em imagens: modelos activos de aparência Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 29

30 Segmentação Segmentação de faces em imagens: modelos activos de aparência Imagem original e segmentações obtidas (inicial, intermédia e final) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 30

31 Segmentação Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos activos de forma Imagem original + modelo médio Segmentação intermédia I Segmentação internmédia II Segmentação final Vasconcelos et al. (2010) Journal of Voice, doi: /j.jvoice (in press) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 31

32 Segmentação Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos activos de aparência Segmentação inicial Segmentações intermédias Segmentações intermédias Segmentação final Vasconcelos et al. (2010) Journal of Voice, doi: /j.jvoice (in press) Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 32

33 Segmentação Segmentação de objectos em imagens: contornos activos (i.e. snakes) Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 33

34 Segmentação Segmentação de objectos em imagens: contornos activos (i.e. snakes) Imagem original e contorno inicial Contorno final Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 34

35 Segmentação Segmentação de objectos em imagens: contorno deformável, FEM, equação de Lagrange Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 35

36 Segmentação Segmentação de objectos em imagens: contorno deformável, FEM, equação de Lagrange borracha k = 200N/m 14s Imagens originais e contornos iniciais Contornos finais Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 36

37 Segmentação Segmentação de objectos em imagens: métodos de level set Ma et al. (2010) Medical Engineering & Physics 32(7): Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 37

38 Segmentação Segmentação de objectos em imagens médicas: método de level set Imagem original Segmentação inicial Segmentação final Perdigão et al. (2005) Encontro_1_Biomecânica, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 38

39 Segmentação Segmentação do pavimento pélvico a partir de imagens de ressonância magnética: método de level set, conhecimento prévio Ma et al. (2010) Medical Engineering & Physics 32(7): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 39

40 Segmentação Segmentação do pavimento pélvico feminino a partir de imagens de ressonância magnética: método de level set, conhecimento prévio Segmentação do pavimento pélvico Ma et al. (2010) Medical Engineering & Physics 32(7): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 40

41 Segmentação Segmentação de órgãos da cavidade pélvica feminina a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação em simultâneo de órgãos (bexiga, pavimento pélvico, ânus) da cavidade pélvica (3 exemplos) Ma et al. (2011) Computers in Biology and Medicine (submitted) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 41

42 Segmentação Segmentação da bexiga a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação das paredes internas e externas da bexiga (3 exemplos) Ma et al. (2011) Annals of Biomedical Engineering, DOI: /s (in press) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 42

43 Segmentação Nova plataforma para segmentação de imagens médicas (VC ++, OpenCV, ITK) Interface da plataforma Ma et al. (2008) CMBBE 2008 Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 43

44 Segmentação Segmentação de órgãos da cavidade pélvica da mulher a partir de imagens de ressonância magnética: nova plataforma Crescimento de regiões Watershed Contorno activo geodesico Método de Malladi Level-set framework Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 44

45 Análise de Imagens Biomédicas: Seguimento

46 Seguimento Pretende-se seguir o movimento e/ou a deformação de estruturas em sequências de imagem (2D/3D) Nesta área, destacam-se as técnicas baseadas em fluxo óptico, emparelhamento de blocos e em métodos estocásticos Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc. João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 46

47 Seguimento Plataforma desenvolvida para seguimento de entidades (pontos / rectas) em sequências de imagem: filtro de Kalman ou filtro Unscented Kalman, optimização, distância de Mahalanobis, modelo de gestão Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92 Pinho & Tavares (2009) VipIMAGE 2009, Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 47

48 Seguimento Seguimento de marcas em análise da marcha: filtro de Kalman, distância de Mahalanobis, optimização, modelo de gestão (5 frames) Previsão Incerteza Medição Correspondência Resultado Pinho et al. (2005) ICCB 2005, Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 48

49 Seguimento Análise da marcha com detecção de eventos: filtro de Kalman, distância de Mahalanobis, optimização Sousa et al. (2007) ISHF2007, Sousa et al. (2007) ICCB2007, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 49

50 Seguimento Seguimento de ratos em sequências longas de imagem: filtro de Kalman, distância de Mahalanobis, optimização, modelo de gestão (547 frames) Pinho et al. (2005) LSCCS, Vol. 4A: Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 50

51 Seguimento Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) #15 #16 #17 KF + previsão x medição x correcção UKF (22 frames) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 51

52 Seguimento Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) cont. Resultados do filtro de Kalman Resultados do filtro Unscented Kalman (22 frames) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 52

53 Seguimento Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) cont. João Manuel R. S. Tavares Erro de seguimento (previsão/estado real) (22 frames) Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 53

54 Análise de Imagens Biomédicas: Emparelhamento, Alinhamento e Simulação Análise de Objectos

55 Análise de Objectos Emparelhamento É uma das tarefas mais usuais em Processamento e Análise de Imagem, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc. Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc. João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 55

56 Análise de Objectos Alinhamento É uma tarefa habitualmente necessária para comparar objectos representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas O alinhamento é essencial, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc. João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 56

57 Análise de Objectos Simulação É uma tarefa muito usada em Computação Gráfica (morphing) mas também muito útil em Análise de Imagem, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc. Geralmente é conseguida através da consideração de transformações geométricas No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM) Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais Fase de emparelhamento das estruturas torna-se crucial João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 57

58 Emparelhamento Emparelhamento de contornos em imagens: modelação física/geométrica, análise modal, optimização Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5): Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 58

59 Emparelhamento Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, optimização pressão camada opaca lâmpada camada transparente luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Contornos emparelhados Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 59

60 Emparelhamento Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, optimização Imagem de pedobarografia dinâmica Emparelhamento de dois contornos Emparelhamento entre iso-contornos (2 vistas) Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas) Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 60

61 Emparelhamento Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, optimização Emparelhamentos obtidos entre iso-contornos Emparelhamentos obtidos entre superfícies Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 61

62 Alinhamento Alinhamento de contornos em imagens: modelação geométrica/física, optimização, programação dinâmica Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 62

63 Alinhamento Alinhamento de contornos em imagens: modelação geométrica, optimização, programação dinâmica Imagens originais e contornos extraidos Contornos emparelhados antes do alinhamento Contornos após alinhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 63

64 Alinhamento Alinhamento de imagens de pedobarografia: modelação geométrica, optimização, programação dinâmica Imagens originais e contornos extraídos Oliveira et al. (2009) Journal of Biomechanics 42(15): Contornos emparelhados e imagens antes e após alinhamento João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 64

65 Alinhamento Alinhamento de imagens de pedobarografia: transformada de Fourier Imagens originais Imagens antes e após alinhamento Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 65

66 Alinhamento Alinhamento de imagens de pedobarografia: método híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Optimização de semelhança (MSE/MI/XOR) Oliveira & Tavares 2011 Medical & Biological Engineering & Computing 49(3): João Manuel R. S. Tavares Imagens originais Imagens antes e após alinhamento Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 66

67 Alinhamento Alinhamento de imagens de pedobarografia para identificação (esq. / direito), extracção de medidas e índices Oliveira et al Computer Methods in Biomechanics and Biomedical Engineering, DOI: / (in press) João Manuel R. S. Tavares Imagens originais, após normalização, contornos e áreas identificadas Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 67

68 Alinhamento Alinhamento de sequências de imagem de pedobarografia dinâmica: alinhamento espacial e temporal Oliveira et al Medical & Biological Engineering & Computing, DOI: /s x (in press) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 68

69 Alinhamento Alinhamento de sequências de imagem de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento camada de contacto + vidro espelho câmara Sequências préprocessadas Oliveira et al Medical & Biological Engineering & Computing, DOI: /s x (in press) João Manuel R. S. Tavares Sequências após alinhamento Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 69 69

70 Alinhamento Alinhamento de sequências de imagem de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento Sequências préprocessadas Oliveira et al Medical & Biological Engineering & Computing, DOI: /s x (in press) João Manuel R. S. Tavares Sequências após alinhamento Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 70 70

71 Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos Extracção do contorno Suavização Binarização Extracção do contorno João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 71

72 Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos - cont. Imagens a alinhar Contornos antes/após emparelhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 72

73 Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos - cont. Soma Imagem originais Imagens Alinhadas Soma Diferença Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 73 73

74 Alinhamento Alinhamento de imagens de uma mesma modalidade: maximização directa da correlação cruzada Soma Imagem originais (RM - proton density) Imagens Alinhadas Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6): João Manuel R. S. Tavares Soma Diferença 74 Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 74

75 Alinhamento Alinhamento de imagens de uma mesma modalidade: optimização pelo Método de Powell de medida de semelhança (MSE) Soma Imagem originais (RX) Imagens Alinhadas Oliveira et al Medical & Biological Engineering & Computing 49(3): João Manuel R. S. Tavares Soma Diferença 75 Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 75

76 Alinhamento Alinhamento intermodal (CT/RM): optimização pelo Método de Powell de medida de semelhança (MI) CT RM CT+RM Imagem originais Imagens Alinhadas Oliveira et al Medical & Biological Engineering & Computing 49(3): João Manuel R. S. Tavares CT+RM Diferença 76 CT+RM Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 76

77 Simulação Simulação (morphing) física de contornos em imagens: FEM, análise modal, optimização, eq. de Lagrange João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 77

78 Simulação Simulação de contornos em imagens: FEM, análise modal, optimização, equação de Lagrange Emparelhamento obtido Deformações simuladas Imagens originais Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 78

79 Simulação Simulação de contornos em imagens: FEM, análise modal, optimização, equação de Lagrange Imagens originais Emparelhamentos obtidos Deformações simuladas Emparelhamentos obtidos Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 Deformações simuladas João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 79

80 Análise de Imagens Biomédicas: Reconstrução 3D

81 Reconstrução 3D Pretende-se obter a forma 3D de objectos ou a informação 3D de cenas a partir de imagens 2D Nesta área, destacam-se: 1) formas exteriores: técnicas activas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, e segmentação 3D Usualmente, envolve tarefas de calibração, segmentação, emparelhamento, triangulação e interpolação Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc. João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 81

82 Reconstrução 3D Reconstrução 3D de objectos a partir de slices: segmentação 2D, Delaunay, marching cubes Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, Alexandre et al. (2007) VipIMAGE 2007, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 82

83 Reconstrução 3D Reconstrução 3D de órgãos a partir de imagens médicas: segmentação 2D, Delaunay, marching cubes Segmentação realizada num slice e reconstrução 3D obtida Perdigão et al. (2005) CMNI 2005 Orgãos do braço reconstruidos 3D João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 83

84 Reconstrução 3D Reconstrução 3D de órgãos da cavidade pélvica feminina partir de imagens de ressonância magnética: segmentação 2D, loft, suavização slices Segmentação 2D realizada num slice Pavimento pélvico reconstruído 3D Órgãos da cavidade pélvica reconstruídos 3D Pimenta et al. (2006) CompIMAGE 2006, Alexandre et al. (2007) VipIMAGE 2007, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 84

85 Reconstrução 3D Reconstrução 3D de cenas a partir de sequências de imagem: visão estéreo densa Azevedo et al. (2006) VISAPP 2006, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 85

86 Reconstrução 3D Reconstrução 3D de uma cena a partir de par de imagens: visão estéreo densa Par de imagens original Mapa de disparidade obtido Azevedo et al. (2006) VISAPP 2006, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 86

87 Reconstrução 3D Reconstrução 3D de objectos a partir de sequências de imagem: escavação espacial Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 87

88 Reconstrução 3D Reconstrução 3D de objectos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 88

89 Reconstrução 3D Reconstrução 3D de objectos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3): João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 89

90 Reconstrução 3D Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics, DOI: /j.medengphy (in press) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 90

91 Reconstrução 3D Reconstrução 3D a partir de radiografias 2D: calibração Calibração de um sistema de Raio-X Método desenvolvido Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics, DOI: /j.medengphy (in press) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 91

92 Reconstrução 3D Reconstrução 3D a partir de radiografias 2D: calibração Estimativa da distância entre a fonte de Raio-X e a mesa Duas radiografias de uma coluna seca usada para validar a calibração e reconstrução 3D obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2): Moura et al. (2011) Medical Engineering & Physics, DOI: /j.medengphy (in press) João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 92

93 Processamento e Análise de Imagens Biomédicas: Sumário

94 Sumário A área do Processamento e Análise de Imagem é complexa e exigente, mas de elevado interesse em muitos domínios Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios Para tal, Colaborações são Necessárias e Bem-vindas João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 94

95 Equipa

96 Equipa (Processamento e Análise de Imagem) Estudantes de Doutoramento (13): Concluído: Daniel Moura Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis, Teresa Azevedo, Zhen Ma, Elza Chagas, Francisco Oliveira, António Gomes, João Nunes, Alex Araújo, Sandra Rua Estudantes de Mestrado (17): Em curso: Elisa Barroso, Ana Jesus, Jorge Pereira, Carolina Tabuas, Gabriela Queiros, Célia Cruz, Priscila Alves, Diana Cidre Concluídos: Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves Estudantes de pré-graduação (2) Concluídos: Ricardo Ferreira, Soraia Pimenta João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 96

97 Eventos & Publicações

98 Webpage ( João Manuel R. S. Tavares Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações 98

99 Agradecimentos Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projectos: PTDC/SAU-BEB/102547/2008 PTDC/SAU-BEB/104992/2008 PTDC/EEA-CRO/103320/2008 UTAustin/CA/0047/2008 UTAustin/MAT/0009/2008 PDTC/EME-PME/81229/2006 PDTC/SAU-BEB/71459/2006 POSC/EEA-SRI/55386/2004 João Manuel R. S. Tavares Análise de Objectos em Imagens: Técnicas e Aplicações 99

100 Processamento e Análise de Imagens Biomédicas - Exemplos de Metodologias e Aplicações tavares@fe.up.pt João Manuel R. S. Tavares Mestrado em Radiações Aplicadas às Tecnologias da Saúde - Imagem Digital com Radiação X 7 Maio 2011