Imagiologia em Biomecânica. João Manuel R. S. Tavares

Documentos relacionados
Segmentação e Seguimento de Movimento em Imagens em Engenharia e Medicina João Manuel R. S. Tavares

Alinhamento de Imagens Médicas

Aplicação de Princípios Físicos na Simulação da Deformação de Objectos Em Imagens

Análise de Movimento de Corpos Deformáveis usando Visão Computacional. João Manuel R. S. Tavares

Métodos de Segmentação de Imagem para Análise da Marcha

Alinhamento de Estruturas em Imagens Médicas: Estudo, Desenvolvimento e Aplicação

Processamento e Análise de Imagem em Biomecânica João Manuel R. S. Tavares. Hotel Porto Palácio Porto Julho 2008

4 as Jornadas Politécnicas de Engenharia

Processamento e Análise de Imagens Médicas

Simulação da Deformação de Objectos em Imagens Segundo Princípios Físicos. Patrícia C. T. Gonçalves Raquel R. Pinho João Manuel R. S.

Apresentação de uma Plataforma Computacional para a Reconstrução e Caracterização da Forma 3D de Objectos

António Costa. Paulo Roma Cavalcanti

Processamento de Sinal e Imagem

SEL 5895 Introdução ao Processamento Digital de Imagens. Aula 1 - Introdução. Prof. Dr. Marcelo Andrade da Costa Vieira

Ano Letivo 2015/2016. Datas dos Exames das Épocas de Recurso e Especial. Unidades Curriculares do DM

[2CTA121] Processamento de Imagens em Alimentos: Conceitos e Aplicações

Cédula Nome Profissional

Sumário e Objectivos. Elementos Finitos 1ªAula. Setembro

Modelação e Animação de um Motor a quatro tempos de um Aeromodelo

Percepção Humana na Visualização de Grandes Volumes de Dados: Estudo, Aplicação e Avaliação

Diagnóstico Médico de Imagem Auxiliado por Computador

Visão computacional. Juliana Patrícia Detroz Orientador: André Tavares Silva

Planificação Anual. Matemática Dinâmica 7º ano Luísa Faria; Luís Guerreiro Porto Editora. 1 Números inteiros. 10 Sequências e Regularidades

Ministério da Educação e Ciência Resultados da 1ª Fase do Concurso Nacional de Acesso de 2015

ÍNDICE GERAL AGRADECIMENTOS RESUMO ABSTRACT SIMBOLOGIA 1. - INTRODUÇÃO 2. - DEFINIÇÃO DO PROBLEMA

Computação e Imagens: PI, CG e Visualização. Computação Visual

MEEC. Mestrado em Eng. Electrotécnica e de Computadores. Índice. MEEC Edição 2008/09 Instituto Superior de Engenharia do Porto

PROVAS DE ADMISSÃO PARA O ANO LETIVO 15/16 PROVA DE APTIDÃO MUSICAL - ESCRITA NOME DO CANDIDATO

Comunicação Científica II

Processamento e Análise de Imagem em Biomecânica

RECONSTRUÇÃO TRIDIMENSIONAL DE ESTRUTURAS ANATÓMICAS EXTERNAS UTILIZANDO MÉTODOS VOLUMÉTRICOS

Capítulo III Processamento de Imagem

Rastreamento de Objetos Baseado em Grafos. Casamento Inexato entre Grafos Relacionais com Atributos

ESTUDO DO COMPORTAMENTO DE UM GÁS POR DINÂMICA MOLECULAR.

UMA ABORDAGEM PARA A SEGMENTAÇÃO 2D DE SEGMENTOS DE RECTA, SIMPLIFICAÇÃO

Novas Metodologias para Análise de órgãos e músculos a partir de imagens médicas Aplicações à Cavidade Pélvica Feminina

Pontifícia Universidade Católica do Rio de Janeiro. Departamento de Informática. Fundamentos de Computação Gráfica

Universidade Católica Portuguesa Faculdade de Engenharia. Projecto Final e Tese I

ESCOLA SUPERIOR DE TECNOLOGIA

Centro Escolar de Gilmonde

AVALIAÇÃO QUALITATIVA DE DETECÇÃO DE BORDAS EM IMAGENS DE RADIOGRAFIA PERIAPICAIS

Anexo à Acta n.º 4, Referência SAS.IPP-02/11 Lista, ordenada alfabeticamente, com os resultados obtidos no método de selecção PROVA DE CONHECIMENTOS

UNIDADE 1 ESTATÍSTICA E PROBABILIDADES 9 tempos de 45 minutos

RECONHECIMENTO IDENTIFICAÇÃO BASEADA EM APARÊNCIA

Introdução ao Processamento de Imagens Digitais Aula 01

DESENVOLVIMENTO DE SOFWARE PARA PROJETO DE ELEMENTOS SENSORES PIEZORESISTIVOS 1

Processamento de Imagem. Prof. MSc. André Yoshimi Kusumoto

Instituto de Engenharia de Sistemas e Computadores de Coimbra. Institute of Systems Engineering and Computers. INESC - Coimbra

FACTORES DA PERCEPÇÃO VISUAL HUMANA NA VISUALIZAÇÃO DE DADOS

Mestrado em Matemática e Aplicações

COLÉGIO LICEAL DE SANTA MARIA DE LAMAS Quadro de Honra

Processamento de Sinal e Imagem

RECONHECIMENTO FACIAL UTILIZANDO EIGENFACES

Acesso ao ensino superior Aos novos universitários desejamos que encontrem grande realização nos cursos que escolheram.

ESTUDO DE DOIS MODELOS PARA SEGUIMENTO EM IMAGENS DE PEDOBAROGRAFIA

OTIMIZAÇÃO APLICADA EM PROJETO DE CAIXA D`ÁGUA METÁLICA 1

BIOMECÂNICA DO IMPACTO

6ªEd.Lisboa.Porto.Braga.Coimbra

Mónica Alexandra Lourenço Mota 16,997 1º. Maria Arminda Araújo Cardoso Oliveira 16,790 2º. Isabel Cristina Gala Ribeiro Moitalta 16,641 3º 16,405 4º

28 horas de formação teórico-prática 55 horas de formação prática aplicada 7 horas de contacto com fornecedores de software comercial

INTERPOLAÇÃO LINEAR E BILINEAR: APLICAÇÃO EM TRANSFORMAÇÕES GEOMÉTRICAS DE IMAGEM INTRODUÇÃO

CONSELHO DISTRITAL DO PORTO. Recursos da Prova de Aferição

Daniel Emanuel R. Gomes MIGUEL FREITAS FARIA Daniel Silva Pires Estafetas 4x25m Livres Infantis B Feminino EB Dr.

Utilização das transformadas wavelets na detecção de características em um sinal de ECG

MIEC MESTRADO INTEGRADO EM ENGENHARIA CIVIL 2016/2017 PROPOSTA DE TEMAS PARA DISSERTAÇÃO RAMO DE ESPECIALIZAÇÃO/ ÁREA CIENTÍFICA: CONSTRUÇÕES

32 Matemática. Programação anual de conteúdos

CAPÍTULO V 5 CONCLUSÕES E RECOMENDAÇÕES 5.1 SÍNTESE DO TRABALHO DESENVOLVIDO

Ministério da Educação Resultados da 1ª Fase do Concurso Nacional de Acesso de 2016

Face Recognition using RGB-D Images

Um Sistema de Animação Baseado em Movimento Capturado

Introdução Geral a Computação Gráfica. Universidade Católica de Pelotas Curso de Engenharia da Computação Disciplina de Computação Gráfica

Pautas de chamada. Testes comuns Português (91) 9.º Ano. Sala :25 h

5 Análise Experimental

VISÃO COMPUTACIONAL PARA RECONHECIMENTO DE FACES APLICADO NA IDENTIFICAÇÃO E AUTENTICAÇÃO DE USUÁRIOS NA WEB. Márcio Koch

METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS: INTRODUÇÃO E EXEMPLOS DE RESULTADOS

2º PSI Ano: 2 Nome do curso: CURSO TÉCNICO SUPERIOR PROFISSIONAL DE PROGRAMAÇÃO DE SISTEMAS DE INFORMAÇÃO Código do curso: 2106 Semanas:

Centro Escolar de Gilmonde

Estatuto e Deontologia - 1º turno (14h00)

MESTRADOS E PÓS-GRADUAÇÕES

Mestrado Integrado em Engenharia Civil. Temas para Dissertação 2015/2016. Hidráulica e Ambiente

Aplicação de Histograma de Gradientes Orientados para detecção de hidrômetros em imagens de fundo complexo

ENG-418 OTIMIZAÇÃO DE PROCESSOS QUÍMICOS

RESULTADOS. Nome Global ( /100)

1 INTRODUÇÃO 2 MODELO MATEMÁTICO 3 MODELO COMPUTACIONAL 4 EXEMPLOS DE APLICAÇÃO 5 CONSIDERAÇÕES FINAIS INTRODUÇÃO À DINÂMICA DOS FLUIDOS COMPUTACIONAL

Reconstrução Tomográfica em Medicina Nuclear

Tratamento e Processamento. Digitais: PROFESSOR: CARLOS EDUARDO

Lista dos Aprovados - Ensino de Inglês

2 Reconhecimento Facial

Ministério da Educação

Lista de alunos contemplados com prémios e bolsas escolares:

UENF - COORDENAÇÃO ACADÊMICA -

CURSO PROFISSIONAL DE TÉCNICO DE ELECTRÓNICA, AUTOMAÇÃO E COMPUTADORES. 1º Ano TURMA: EAC Dário Lopes Pisco João Nuno Leal Pires

39º Aniversário da UA

Ministério da Educação

Quadro de Excelência e de Valor Ano letivo 2014/2015

Associação de Atletismo da Região Autónoma da Madeira

Transcrição:

Imagiologia em Biomecânica João Manuel R. S. Tavares tavares@fe.up.pt www.fe.up.pt/~tavares Curso de Doutoramento em Fisioterapia - CIAFEL Porto, 22 Março 2013

Sumário 1. Apresentação 2. Imagiologia em Biomecânica i. Introdução ii. Segmentação iii. Seguimento iv. Emparelhamento v. Alinhamento vi. Simulação vii. Visão 3D 3. Equipa 4. Eventos & Publicações Imagiologia em Biomecânica 2

Apresentação

Apresentação Prof. Associado no Dep. de Eng. Mecânica (DEMec) da FEUP Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do INEGI Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem) Licenciado em Eng. Mecânica (FEUP) Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento, emparelhamento, alinhamento e visão 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Biomecânica, Movimento e Postura Humana Imagiologia em Biomecânica 4

Processamento e Análise de Imagem: Introdução

Introdução O sistema sensorial de visão tem elevada importância para grande parte dos seres vivos Podendo disponibilizar informações de índole básica, como verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento e/ou deformação Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento ou deformação (seguimento e análise de movimento/deformação), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (Visão 3D) Imagiologia em Biomecânica 6

Introdução Os investigadores da área do Processamento e Análise de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos Imagens originais Modelo computacional 3D voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 Imagiologia em Biomecânica 7

Introdução Algoritmos de Processamento e Análise de Imagem são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: Ciências naturais, Desporto Engenharia, Indústria Medicina, Biologia Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem: Remoção de ruído, Correcção geométrica Segmentação, Reconhecimento (2D-4D) Seguimento e análise de movimento e/ou deformação, incluindo emparelhamento, alinhamento e simulação (2D-4D) Visão 3D Imagiologia em Biomecânica 8

Introdução: Processamento e Análise de Imagem Operações e Objectivos Imagem / imagens Melhoramento de imagem Processamento de Imagem Segmentação de imagem / extração de características seguimento Visão 3D Análise de movimento emparelhamento alinhamento Visão por Computador Análise de Imagem / Visão Computacional simulação Imagiologia em Biomecânica 9

Introdução (Pré-)Processamento de Imagem: suavização de ruído por difusão anisotrópica Imagiologia em Biomecânica 10

Imagiologia em Biomecânica: Segmentação

Segmentação Pretende-se identificar de forma automática, ou semiautomática, os objetos (2D/3D) presentes em imagens estáticas ou em sequências de imagem As técnicas mais comuns são baseadas em emparelhamento de protótipos, modelações geométricas, estatísticas e físicas, e redes neuronais É uma das operações mais usuais em Visão Computacional, sendo frequentemente a primeira grande tarefa considerada Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc. Imagiologia em Biomecânica 12

Segmentação Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR pressão camada opaca lâmpada camada transparente luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Após segmentação Bastos & Tavares (2004) LNCS 3179:39-50 Imagiologia em Biomecânica 13

Segmentação Segmentação do fundo da cena/objeto em sequências de imagens: modelos estatísticos Imagens originais Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Imagiologia em Biomecânica 14

Segmentação Segmentação do fundo da cena/objeto em sequências de imagens: modelos estatísticos Imagens originais (www.nada.kth.se/cvap/actions) Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Vasconcelos & Tavares (2011) EUROMECH Colloquium 511 Imagiologia em Biomecânica 15

Segmentação Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos ativos de forma Imagem original + modelo médio Segmentação intermédia I Segmentação intermédia II Segmentação final Vasconcelos et al. (2011) Journal of Voice 25(6):732-742 Imagiologia em Biomecânica 16

Segmentação Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos ativos de aparência Segmentação inicial Segmentações intermédias Segmentações intermédias Segmentação final Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76 Vasconcelos et al. (2012) Journal of Engineering in Medicine 226(3):185-196 Imagiologia em Biomecânica 17

Segmentação Segmentação de objetos em imagens médicas: método de level set Imagem original Segmentação inicial Segmentação final Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85 Imagiologia em Biomecânica 18

Segmentação Segmentação de bifurcação da carótida em imagens de Doppler: métodos de contornos ativos e de level set Segmentação usando um modelo de contornos ativos (Yessi) Segmentação usando um modelo de level set (Chan-Vese) Silva et al. (2011) VipIMAGE 2011, 117-122 Imagiologia em Biomecânica 19

Segmentação Segmentação de órgãos da cavidade pélvica feminina a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação de órgãos (bexiga, vagina, ânus) da cavidade pélvica (3 exemplos) Ma et al. (2013) Computers in Biology and Medicine 43(4):248-258 Ma et al. (2012) The Int. Journal for Numerical Methods in Biomedical Engineering 28(6-7):714-726 Imagiologia em Biomecânica 20

Segmentação Segmentação da bexiga a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação das paredes internas e externas da bexiga (3 exemplos) Ma et al. (2011) Annals of Biomedical Engineering 39(8):2287-2297 Imagiologia em Biomecânica 21

Imagiologia em Biomecânica: Seguimento

Seguimento Pretende-se seguir o movimento e/ou a deformação de estruturas em sequências de imagem (2D/3D) Nesta área, destacam-se as técnicas baseadas em fluxo óptico, emparelhamento de blocos e em métodos estocásticos Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc. Imagiologia em Biomecânica 23

Seguimento Plataforma desenvolvida para seguimento de entidades (pontos / rectas) em sequências de imagem: filtro de Kalman ou filtro Unscented Kalman, otimização, distância de Mahalanobis, modelo de gestão Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92 Pinho & Tavares (2009) VipIMAGE 2009, 299-304 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 Imagiologia em Biomecânica 24

Seguimento Seguimento de marcas em análise da marcha: filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão (5 frames) Previsão Incerteza Medição Correspondência Resultado Pinho et al. (2005) ICCB 2005, 915-926 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 Imagiologia em Biomecânica 25

Seguimento Análise da marcha com deteção de eventos: filtro de Kalman, distância de Mahalanobis, otimização Sousa et al. (2007) ISHF2007, 331-340 Sousa et al. (2007) ICCB2007, 291-296 Imagiologia em Biomecânica 26

Seguimento Seguimento de ratos em sequências longas de imagem: filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão (547 frames) Pinho et al. (2005) LSCCS, Vol. 4A:463-466 Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92 Imagiologia em Biomecânica 27

Imagiologia em Biomecânica: Emparelhamento

Emparelhamento É uma das tarefas mais usuais em Visão Computacional, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc. Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc. Imagiologia em Biomecânica 29

Emparelhamento Emparelhamento de contornos em imagens: modelação física/geométrica, análise modal, otimização Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis 339-368 Imagiologia em Biomecânica 30

Emparelhamento Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização pressão camada opaca lâmpada camada transparente luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Contornos emparelhados Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368 Imagiologia em Biomecânica 31

Emparelhamento Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, otimização Imagem de pedobarografia dinâmica Emparelhamento de dois contornos Emparelhamento entre iso-contornos (2 vistas) Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas) Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 Imagiologia em Biomecânica 32

Imagiologia em Biomecânica: Alinhamento

Alinhamento Tarefa habitualmente necessária para comparar estruturas representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas É útil, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida, ou pela minimização de uma medida de semelhança Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc. Imagiologia em Biomecânica 34

Alinhamento Alinhamento de contornos em imagens: modelação geométrica/física, otimização, programação dinâmica Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 Imagiologia em Biomecânica 35

Alinhamento Alinhamento de imagens de pedobarografia: modelação geométrica, otimização, programação dinâmica Imagens originais e contornos extraídos Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623 Contornos emparelhados e imagens antes e após alinhamento Imagiologia em Biomecânica 36

Alinhamento Alinhamento de imagens de pedobarografia: transformada de Fourier Imagens originais Imagens antes e após alinhamento Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740 Imagiologia em Biomecânica 37

Alinhamento Alinhamento de imagens de pedobarografia: método híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Otimização de medida de semelhança (MSE/MI/XOR) Oliveira & Tavares 2011 Medical & Biological Engineering & Computing 49(3):313-323 Imagens originais, antes e após alinhamento Imagiologia em Biomecânica 38

Alinhamento Alinhamento de imagens de pedobarografia para identificação (esq. / direito), extração de medidas e índices Oliveira et al. 2012 Computer Methods in Biomechanics and Biomedical Engineering 15(11):1181-1188 Imagens originais, após normalização, contornos e áreas identificadas Imagiologia em Biomecânica 39

Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos cont. Imagens a alinhar Contornos antes e após emparelhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 Imagiologia em Biomecânica 40

Alinhamento Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos cont. Soma Imagem originais Imagens Alinhadas Soma Diferença Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 Imagiologia em Biomecânica 41 41

Alinhamento Alinhamento de imagens de uma mesma modalidade: maximização direta da correlação cruzada (transformada de Fourier) Soma Imagem originais (RM - proton density) Imagens Alinhadas Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740 Soma Imagiologia em Biomecânica Diferença 42 42

Alinhamento Alinhamento intermodal (CT/RM): otimização pelo Método de Powell de medida de semelhança (MI) CT RM CT+RM Imagem originais Imagens Alinhadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323 CT+RM Imagiologia em Biomecânica Diferença 43 CT+RM 43

Alinhamento Otimização iterativa e alinhamento 3D curvo usando B- splines cont. Imagem modelo Imagem a alinhar Pré-alinhamento usando transformação rígida Novo pré-alinhamento usando transformação afim Alinhamento curvo grosseiro usando B-splines Alinhamento fino usando B-splines Imagem alinhada Oliveira & Tavares (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855 Imagiologia em Biomecânica 44

Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pré-alinhamento (CT, tórax mesma pessoa, Δt: 8.5 meses) (xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo) Imagiologia em Biomecânica 45

Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida) Imagiologia em Biomecânica 46

Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas) Imagiologia em Biomecânica 47

Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pré-alinhamento (CT, cérebro duas pessoas) Imagiologia em Biomecânica 48

Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim) Imagiologia em Biomecânica 49

Alinhamento Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D cont. Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas) Oliveira & Tavares (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855 Imagiologia em Biomecânica 50

Alinhamento Aplicação no estudo de imagens DaTSCAN SPECT Imagens DaTSCAN SPECT são usadas para auxiliar o diagnostico da doença de Parkinson e para a distinguir de outras doenças degenerativas. A solução desenvolvida é capaz de: Segmentar as áreas relevantes e realizar análises dimensionais Quantificar os potenciais de ligação da basal ganglia Computação automática de dados estatísticos relativamente a uma população de referência Normal Alzheimer Parkinsonismo idiopático Imagiologia em Biomecânica Tremor essencial 51

Alinhamento Aplicação no estudo de imagens DaTSCAN SPECT Slice médio de uma população usada como referência Slice correspondente de um paciente Diferença de intensidades Mapeamento dos Z- scores no slice (a vermelho valores mais elevados) (Os retângulos azuis representam as ROIs 3D usadas para calculo dos potenciais de ligação) Oliveira & Tavares. (2012) The Quarterly Journal of Nuclear Medicine and Molecular Imaging (submitted) Imagiologia em Biomecânica 52

Alinhamento Alinhamento de sequências de imagem 2D: alinhamento espacial e temporal Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850 Oliveira & Tavares (2013) Medical & Biological Engineering & Computing 51(3):267-276 Imagiologia em Biomecânica 53

Alinhamento Alinhamento de sequências de imagem 2D de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento camada de contacto + vidro espelho câmara Sequências préprocessadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850 Sequências após alinhamento 54 Imagiologia em Biomecânica 54

Alinhamento Alinhamento de sequências de imagem 2D de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento Sequências préprocessadas Sequências após alinhamento Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850 Imagiologia em Biomecânica 55 55

Imagiologia em Biomecânica: Simulação

Simulação É muito usada em Computação Gráfica (morphing) mas também muito útil em Visão Computacional, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc. Geralmente é conseguida através da consideração de transformações geométricas No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM) Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais Fase de emparelhamento das estruturas torna-se crucial Imagiologia em Biomecânica 57

Simulação Simulação (morphing) física de contornos em imagens: FEM, análise modal, otimização, eq. de Lagrange Imagiologia em Biomecânica 58

Simulação Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange Emparelhamento obtido Deformações simuladas Imagens originais Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 Imagiologia em Biomecânica 59

Simulação Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange Imagens originais Emparelhamentos obtidos Deformações simuladas Emparelhamentos obtidos Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 Deformações simuladas Imagiologia em Biomecânica 60

Imagiologia em Biomecânica: Visão 3D

Visão 3D Pretende-se obter a forma 3D de estruturas ou a informação 3D de cenas a partir de imagens 2D Nesta área, destacam-se: 1) formas exteriores: técnicas ativas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, marching cubes e segmentação 3D Usualmente, envolve tarefas de calibração, segmentação, alinhamento, triangulação e interpolação Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc. Imagiologia em Biomecânica 62

Visão 3D Reconstrução 3D de objetos a partir de slices: segmentação 2D, Delaunay, marching cubes Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362 Imagiologia em Biomecânica 63

Visão 3D Reconstrução 3D de órgãos da cavidade pélvica feminina partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão cont. Slices axial e sagital da cavidade pélvica (1 - bexiga, 2 - vagina) Ma et al. (2012) Medical Engineering & Physics (accepted) Imagiologia em Biomecânica 64

Visão 3D Reconstrução 3D de órgãos da cavidade pélvica feminina partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão cont. Bexiga reconstruida usando informação axial e sagital (2 vistas) Ma et al. (2012) Medical Engineering & Physics (accepted) Imagiologia em Biomecânica 65

Visão 3D Reconstrução 3D de órgãos a partir de imagens de diferentes modalidades: alinhamento, marching cubes, fusão slices coronal, sagital e axial, e segmentação obtida Visualização 3D após fusão TC/SPECT Oliveira & Tavares. (2012) Computer Methods in Biomechanics and Biomedical Engineering DOI:10.1080/10255842.2012.670855 Imagiologia em Biomecânica 66

Visão 3D Reconstrução 3D de cenas a partir de sequências de imagem: visão estéreo densa Azevedo et al. (2006) VISAPP 2006, 383-388 Imagiologia em Biomecânica 67

Visão 3D Reconstrução 3D de uma cena a partir de par de imagens: visão estéreo densa Par de imagens original Mapa de disparidade obtido Azevedo et al. (2006) VISAPP 2006, 383-388 Imagiologia em Biomecânica 68

Visão 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136 Imagiologia em Biomecânica 69

Visão 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136 Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 Imagiologia em Biomecânica 70

Visão 3D Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 Imagiologia em Biomecânica 71

Visão 3D Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável (atlas) Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933 Imagiologia em Biomecânica 72

Visão 3D Reconstrução 3D a partir de radiografias 2D: calibração Calibração de um sistema de Raio-X Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933 Método desenvolvido Imagiologia em Biomecânica 73

Visão 3D Reconstrução 3D a partir de radiografias 2D: calibração Estimativa da distância entre a fonte de Raio-X e a mesa Duas radiografias de uma coluna seca usada para validar a calibração Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933 Imagiologia em Biomecânica 74

Imagiologia em Biomecânica: Sumário

Sumário A área da Visão Computacional é complexa, mas de elevado interesse em muitos domínios, em particular em Medicina Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos e deformações complicadas Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios Para tal, Colaborações são Necessárias e Bem-vindas Imagiologia em Biomecânica 76

Equipa

Equipa (Visão Computacional) Estudantes de Pós-Doutoramento (2): Concluído: Edson Sousa Em curso: Alexandre Carvalho Estudantes de Doutoramento (13): Concluído: Daniel Moura, Teresa Azevedo, Sandra Rua, Zhen Ma, Francisco Oliveira Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis, João Nunes, Alex Araújo, Roberta Oliveira, Ana Ferreira Estudantes de Mestrado (24): Concluídos: Elisa Barroso, Ana Jesus, Célia Cruz, Priscila Alves, Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Pereira, Carolina Tabuas, Diana Cidre, Luís Ferro Em curso: Gabriela Queirós, Diogo Faria, Nuno Sousa, Rita Teixeira, Pedro Gomes, Luís Ribeiro, Marlene Siva, Raquel Alves Estudantes de Graduação (2) Concluídos: Ricardo Ferreira, Soraia Pimenta Imagiologia em Biomecânica 78

Agradecimentos Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos: PTDC/SAU-BEB/102547/2008 PTDC/SAU-BEB/104992/2008 PTDC/EEA-CRO/103320/2008 UTAustin/CA/0047/2008 UTAustin/MAT/0009/2008 PDTC/EME-PME/81229/2006 PDTC/SAU-BEB/71459/2006 POSC/EEA-SRI/55386/2004 Imagiologia em Biomecânica 79

Eventos & Publicações

Taylor & Francis journal Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization Imagiologia em Biomecânica 81

Taylor & Francis journal Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization http://www.tandfonline.com/tciv Imagiologia em Biomecânica 82

Lecture Notes in Computational Vision and Biomechanics (LNCV&B) Series Editors: João Manuel R. S. Tavares, Renato Natal Jorge ISSN: 2212-9391 Publisher: SPRINGER http://www.springer.com/series/8910 Imagiologia em Biomecânica 83

VipIMAGE2013 - IV ECCOMAS Thematic Conference on Computational Vision and Medical Image Processing Madeira Island, Portugal, October 2013 http://www.fe.up.pt/vipimage Imagiologia em Biomecânica 84

Webpage (www.fe.up.pt/~tavares) Imagiologia em Biomecânica 85

Imagiologia em Biomecânica João Manuel R. S. Tavares tavares@fe.up.pt www.fe.up.pt/~tavares