Serviço de Informática Instituto do Coração HC FMUSP Informática Aplicada a Imagens Médicas MCP - 5840 Marco Antonio Gutierrez Email: marco.gutierrez@incor.usp.br usp
Motivação: Visualização D e 3D Seqüências espaciais e temporais Estruturas dinâmicas Cortes oblíquos Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Motivação: Quantificação Área Volume Distância i 3D Curva de evolução temporal Índices variação (fração de ejeção,...) derivadas (taxas de enchimento,...) Kinetic Energy 1.0 0.8 0.5 0.3 00 0.0 Normalized Kinetic Energy 7 normal subjects 1 3 4 5 6 7 8 9 10 11 1 Cardiac Cycle HD JG LS CM WP ML AS Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 3
Motivação: Análise Visualização 3D, 3D dinâmica (4D) Visualização em direções oblíquas Aspectos funcionais movimento, contração fisiologia, metabolismo Classificação Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 4
Motivação: Fusão Conjugação de imagens para melhorar a sensitividade e sensibilidade diagnóstica (fusão) Alinhamento de imagens 3D Estudo multi-modal modal (CT, MRI, SPECT,..) quantitativa Aumento da sensitividade e da especificidade diagnóstica L R Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 5
Processamento Digital de Imagens Formação Identificação de estruturas Quantificação e visualização Interpretação Pré-processamento Cálculos. Aquisição Segmentação Parâmetros Tomografia Reconhecimento Comp.gráfica Processamento Digital de Imagens c Classificação Intel. Artificial Redes neurais Informação Kinetic Energy 1.0 0.8 0.5 0.3 Normalized Kinetic Energy 7 normal subjects 0.0 1 3 4 5 6 7 8 9 10 11 1 Cardiac Cycle HD JG LS CM WP ML AS Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 6
Amostragem e Quantização Digitalização: it discretização espacial (amostragem) e de intensidade (quantização) Sinal analógico Ampli itude... q q 0 -q -q... Sinal digital Erros de Erros de quantização 0 T T 3T... Amostragem Tempo ou espaço Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 7
Imagem monocromática Função F(x,y) (x, y): coordenadas espaciais F(x,y): intensidade ou brilho da imagem em (x,y) y x Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 8
Imagem digital monocromática j=66 i= 50 00 150 100 50 161... 14 161 161... 14............ 163 163... 95 0 0 100 00 300 400 500 50 00 150 161 100 50 i = 0 0 50 100 150 00 50 300 350 j = 66 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 9
Processo de Discretização 4x 16x Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Processo de Discretização 95 80 80 80 95 90 90 105 56 tons de cinza 150 0 100 130 0 150 160 150 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
640h x 480v em 56 cores Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
30h x 40v em 56 cores Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
160h x 10v em 56 cores Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
80h x 60v em 56 cores Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
40h x 30v em 56 cores Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
640h x 480v em 56 tons de cinza Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
640h x 480v em 8 tons de cinza Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
640h x 480v - imagem binária Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas RX Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Cine-angio-coronariografia MSP - HCFUM InCor - Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas DSA - Angiografia Digital Subtrativa - = Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ultrassom: Eco H O Z Onda mecânica Pulso Envia/Escuta t A t Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ultrassom Modo B Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ultrassom Modo B Virtual Body B&N Software Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ultrassom Modo M t Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ultrassom Modo Doppler: Efeito Doppler F 0 F 1 F 0 >F 1 F~VV Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ultrassom Modo Color-Flow Map Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ultrassom Modo Color-Flow Map Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ressonância Magnética Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ressonância Magnética Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ressonância Magnética Fr Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Ressonância Magnética Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Reconstrução Tomográfica: Modalidade SPECT Gama-câmara Miocárdio marcado com material radioativo (Tc) Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Modalidades de Imagens Médicas Reconstrução Tomográfica: Modalidade de Emissão de Raio-X RX RX RX Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens
Conceitos básicos Imagem digital => matriz n-dimensional y D => pixel (picture element) raio X - CR (4096 x 4096 x B) short f[4096][4096] 3D => voxel (volume element) x CT multi-slice (700cortes x 51 x 51 x B) y z XA (1000 quadros x 51 x 51 x 1B) byte f[1000][51][51] 4D => spel (space element) gated SPECT, MRI,.. x Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 36 t
Resolução Espacial e de Profundidade 56x56 / 56 níveis 56x56 / 64 níveis 56x56 / níveis 3x3 / 56 níveis Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 37
Histograma nível de cinza l ocorre nl vezes em imagem com n pixels 1 0 1 0 0 1 P ( l ) nl n Imagem 7 6 0 3 1 3 3 3 3 5 4 3 3 3 1 0 n l Histograma 0 1 3 l Imagem 3 x 5 (L = 4) e seu histograma Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 38
Histograma O histograma representa a distribuição estatística de níveis de cinza de uma imagem n l n l n l 0 55 l 0 55 l 0 55 l Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 39
Histograma 10000 8000 6000 4000 000 0 0 50 100 150 00 50 1500 1000 500 0 0 50 100 150 00 50 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 40
Conceitos importantes Resolução Espacial Define riqueza de detalhes da imagem Resolução de Profundidade Define riqueza de meios-tons Define cores Histograma Distribuição estatística dos níveis de cinza em uma imagem Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 41
Problemas: Imagens Corrompidas Degradação Ruídos Não Térmico homogeneidade d Estático dos sensores Quantização Não linearidade id d Difração Movimento e/ou Deslocamento Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 4
Ruído Gaussiano Tipo de ruído mais freqüente em imagens h i exp ( f i m), para f i 1 histograma do ruído f i : valor do i-ésimo pixel da imagem m 55 m, : média e desvio padrão do ruído Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 43
Ruído Gaussiano Original histograma 1 do ruído 50 75 m 55 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 44
Ruído Sal e Pimenta Mal funcionamento dos detectores 1 histograma do ruído s p 55 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 45
Melhorar a qualidade da imagem Operações pontuais remoçãoderuído ruído equalização do histograma Operações espaciais i suavização do ruído filtros Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 46
Operações Pontuais Alteram a escala de tons de cinza através de uma transformação: v f u [0, L ] ( u) v [0 0, L ] Alargamento do Contraste Limiar (Thresholding) Equalização do histograma Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 47
Alargamento do contraste 0 v b u a a u v a u u v 0 ) ( v b L u b b u a v b u v a u v b a ) ( ) ( v b a b L v a u Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 48
Limiar v v a L u a L u Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 49
Equalização de Histograma s T ( r) round L 1 r RC l 0 n l 1500 1000 500 0 0 50 100 150 00 50 1500 1000 500 0 0 50 100 150 00 50 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 50
Equalização de Histograma Exemplo: imagem 64 x 64, L = 8 n l n l l 0 790 100 1 103 1000 850 800 3 656 600 4 39 400 5 45 00 6 1 0 7 81 0 1 3 4 5 6 7 l Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 51
Equalização de Histograma r = 0 s = round (790 x 7 / 4096) = 1 r = 1 s = round (1813 x 7 / 4096) = 3 r = s = round (663 x 7 / 4096) = 5 r = 3 s = round (3319 x 7 / 4096) = 6 r = 4 s = round (3648 x 7 / 4096) = 6 r = 5 s = round (3893 x 7 / 4096) = 7 r = 6 s = round (4015 x 7 / 4096) = 7 r = 7 s = round (4096 x 7 / 4096) = 7 L 1 r s T ( r) round n RC l 0 RC 6464 4096 L 8 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 5 l
Equalização de Histograma Exemplo: imagem 64 x 64, L = 8 l n l n k 0 0 1 790 0 3 103 4 0 5 850 6 985 7 448 100 1000 800 600 400 00 0 0 1 3 4 5 6 7 k Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 53
Equalização do histograma Imagem original i Imagem após equalização Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 54
Operações no domínio espacial Operações realizadas com informações da vizinhança de cada pixel da imagem original Convolução ol da imagem original com filtro de resposta ao impulso finita (máscara de convolução) Operadores: Média podenrada, Gaussiano, Laplaciano, Sobel, Mediana, etc, Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 55
Máscara de convolução 1 1 gg n, m h k, l f n k, m l k1l 1 8 8 9 3 9 8 4 8 4 8 8 0 3 0 9 8 1 8 9 1 1 8 5 9 7 6 5 1514 8 8 f n m W -1,1 W 0,1 W 1,1 W W W -1,0 0,0 1,0 W W W -1,-1 0,-1 1,-1 h k, l f, g n, m Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 56 x
Filtro Média Espacial (passa-baixa) 1 N 1 1, m hk, l f n k, ml g n N kl k1l 1 8 8 9 3 9 8 4 8 4 8 8 0 3 0 9 8 1 8 9 1 1 8 5 9 7 6 5 1514 8 8 1 1 1 1 1 1 1 1 1 1 1 1 h k, l f n, m g n, m 5 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 57
Filtro Média Ponderada (passa-baixa 1 1 gg n, m h k, l f n k, m l k1l1 8 8 9 3 4 8 4 8 4 8 8 0 3 0 9 8 1 8 9 1 1 8 5 9 7 6 5 1514 8 8 f n, m 1 1 3 1 1 h k, l 4 g n, m Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 58
Filtro Média Ponderada (passa-baixa) 1 1 1 1 g n, m h k, l f n k, m l 3 k1l1 1 1 h k, l Original Imagem Filtrada Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 59
Filtro Gaussiano (passa-baixa) 8 9 8 9 3 8 4 8 3 8 1 1 1 1 4 1 8 4 3 0 0 1 4 1 9 3 1 3 1 1 4 8 4 1 4 5 3 1 6 1 4 1 5 7 1 0 8 1 1 1 1 5 1 101 3 1 8 9 8 9 3 8 4 8 3 8 4 8 8 0 3 0 0 9 8 1 3 9 1 1 1 8 5 9 7 6 6 5 15 14 8 8 8 5 1 101 3 1 h k, l f n, m g n, m Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 60
Filtro Gaussiano 3x3 5x5 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 61
Sharpening (passa-alta) 1 N 1 1, m hk, l f n k, ml g n N kl k1l 1 8 8 9 3 9 8 4 8 4 8 8 0 3 0 9 8 1 8 9 1 1 8 5 9 7 6 5 1514 8 8 f n, m -1-1 -1-1 8-1 -1-1 -1 h k, l Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 6
Filtro Derivada Horizontal (passa-alta) g 1 1 n, m hk, l f n k, m l k 1 l1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 16 16 16 0 16 16 16 16 0-4 0-4 0 - h k, l 0 0 0 0 0 0 0 0 0 0 0-0 0 6 6 0 0-6 0 0 8 8 0 0-8 0 0 0 16 16 16 16 0 0 8 8 0 0-8 0 0 0 16 16 16 16 0 0 6 6 0 0-6 f n, m g n, m Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 63
Filtro Derivada Vertical (passa-alta) g 1 1 n, m hk, l f n k, m l k 1 l1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 16 16 16 0 0 0 16 16 16 16 0 0 0 16 16 16 16 4 0 0 0 - -4 - h k, l 0 0 0 0 0 0 0 0 0 6 8 8 6 0 0 6 8 8 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 16 16 16 0 0 - -6-8 -8-6 f n, m g n, m Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 64
Filtro Gradiente (passa-alta) x y x 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 16 16 16 0 0 0 16 16 16 16 0 0 0 16 16 16 16 0 0 0 16 16 16 16 Prewitt Sobel y f y -1 0 1-1 0 1-1 0 1 f x x -1 0 1-0 -1 0 1-1 -1-1 0 0 0 1 1 1 f y -1 - -1 0 0 0 1 1 y x 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 6 8 8 6 0 0 6 8 8 8 8 0 0 8 8 0 0 8 0 0 8 8 8 0 0 8 0 0 6 8 8 8 8 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 65
Filtro Gradiente (Máscara de Sobel) x y, y exp Gauss x g x, y Gauss x, y f x, y G G x G y A B C Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 66
Filtro Laplaciano (segunda derivada) 1 1 gg n, m h k, l f n k, m l k1l1 8 1 8 9 3 9 6 8 4 8 4 8 8 0 3 0 9 8 1 8 9 1 1 8 5 9 7 6 0-10 -1 4-1 1 4-1 0-1 0 5 1514 8 8 h k, l - f n, m g n, m Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 67
Laplaciano da Gaussiana (LoG) original g[x,y] g[x,y] + original 0-10 -1 4-1 0-1 0 h k, l Gauss x y x, y exp x, y Gauss x, y f x y g, Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 68
Domínio do Espaço e Tempo: Gradiente f v f t i) (OFC) ii) v x v y v z iii) v x v y f v f dxdy t t 0 (suavização) (regularização) A B A x OFC + suavização = y Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 69
Derivadas espaciais e temporais em D e 3D D 3D t y y x x x x x E v E v E E v v z y x t z z y y x x x x x E E E E v E v E v E E v v t y y x x y y y y x x x E v E v E E v v E E v v z y x t z z y y x x y y y y E E E E v E v E v E E v v y x y y E E z y x t z z y y x x z z z E E E E v E v E v E E v v Imagem D 64x64, 8.19 incógnitas; Imagem 3D 64x64x64, 786.43 incógnitas; ART, Gradiente Conjugado, etc; Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 70
Uso de phantoms para validar métodos Campo de vetores de velocidade d obtido aplicando a DWV 4D Mathematical Cardica-Torso Phantom Pretorius, et al. Medical Physics, 6:33-331, 1999 1. Imagens 3D dinâmicas (4D). Simula as câmaras cardíacas e estruturas do tórax (dimensões, volumes, massa, etc); 3. Simula movimentos das estruturas; 4. Inclui o movimento relativo à respiração; Campo de vetores de velocidade obtido aplicando a DCW Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 71
Quantificação em Gated-SPECT (99 m Tc-MIBI) ECG 1 3 4 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 7
Quantificação em Gated-SPECT (99 m Tc-MIBI) a) b) c) a) Imagem 3D do ventrículo esquerdo; b) campo de vetores de velocidade para um plano de interesse sobre a imagem em a); c) estruturas das fibras em um ventrículo dessecado Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 73
Quantificação em Gated-SPECT (99 m Tc-MIBI) Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 74
Energia Cinética : novo parâmetro fisiológico Seção transversal (D) de um estudo Gated- SPECT ea da Energia Cinética obtida com base na estimativa de velocidade 1 Ke m v v v x y z Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 75
Energia Cinética Normalizada e Volume do VE Energia Cinética Normalizada Energia Cinética e Volume do VE Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 76
Mapa Polar de Energia Cinética Campo de Vetores de Velocidade Energia Cinética do VE Seção transversal D Mapa Polar 3D->D Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 77
Processamento Digital de Imagens Formação Identificação de estruturas Quantificação e visualização Interpretação Pré-processamento Cálculos. Aquisição Segmentação Parâmetros Tomografia Reconhecimento Comp.gráfica Processamento Digital de Imagens c Classificação Intel. Artificial Redes neurais Informação Kinetic Energy 1.0 0.8 0.5 0.3 Normalized Kinetic Energy 7 normal subjects 0.0 1 3 4 5 6 7 8 9 10 11 1 Cardiac Cycle HD JG LS CM WP ML AS Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 78
Saiba o que procurar em uma imagem x, y Gauss x, y f x y g, 10000 8000 6000 4000 000 0 0 50 100 150 00 50 Serviço de Informática InCor HC FMUSP - Aula Processamento de Imagens 79