VISUALIZAÇÃO TRIDIMENSIONAL COMBINADA DE DADOS VOLUMÉTRICOS E MODELOS POLIGONAIS USANDO O ALGORITMO SHEAR-WARP

Transcrição

1 VISUALIZAÇÃO TRIDIMENSIONAL COMBINADA DE DADOS VOLUMÉTRICOS E MODELOS POLIGONAIS USANDO O ALGORITMO SHEAR-WARP ANA ELISA FERREIRA SCHMIDT Tese de Doutorado Departamento de Informática - PUC-Rio Orientação: Prof. Marcelo Gattass Prof. Paulo Cezar Pinto Carvalho

2 Conteúdo da Apresentação Conceitos Objetivo Shear-Warp Volume Rendering Shear-Warp e Modelos Poligonais Resultados Obtidos Conclusões e Trabalhos Futuros

3 Visualização Volumétrica - Exibição e análise de dados representados através de valores distribuídos em uma grade tridimensional. Conceitos - Cada elemento de volume deste espaço 3D é denominado voxel, sendo representado pela tupla <i,j,k,e>

4 Conceitos Obtenção de Dados Volumétricos - Simulação - Aquisição

5 Estratégias para Visualização de Volumes Conceitos - Surface Fitting: conversão das estruturas presentes no volume para uma representação poligonal (Marching Cubes). Emprega pipeline de renderização de polígonos para criar imagem final. - Direct Volume Rendering: não existe etapa de conversão. Voxels são projetados diretamente sobre a imagem a ser criada (Ray Casting e Shear-Warp).

6 Conceitos Visualização Volumétrica Híbrida - Visualização de modelos combinados que integram dados volumétricos e objetos poligonais.

7 Conceitos Estratégias para Visualização Híbrida: - Superfícies: volume transformado p/ representação poligonal (Marching Cubes). Renderização por algoritmos como Z-Buffer. - Voxelização: modelo poligonal é convertido p/ representação por voxels. Renderização através de algoritmos como Ray Casting. - Primitiva Ponto: cada voxel e polígono é representado através de informações pontuais, como posição, vetor normal, etc. Renderização por algoritmos como Splatting. - Híbrida: cada representação é renderizada de acordo com sua natureza e imagens resultantes são combinadas.

8 Objetivos desta tese Criar imagens híbridas compostas de dados volumétricos e modelos poligonais opacos e/ou transparentes, gerando imagens corretas, de qualidade, em tempos aceitáveis. Integrar algoritmos de Shear-Warp e Z-Buffer, propondo uma solução híbrida para a combinação dos dados volumétricos e poligonais.

9 Algoritmo Shear-Warp Direção de visualização Fatias do volume Plano da imagem final shear projeção Plano da imagem intermediária warp M view = M warp2d * M shear3d - Shear-Warp fatora a matriz de visualização em uma operação de shear3d e um warp2d. - Método híbrido de volume rendering que tira vantagens de otimizações como early ray termination e RLE do volume.

10 Algoritmo Shear-Warp Imagem Intermediária shear + projeção Fatias Imagem Final

11 Propriedades Shear-Warp Scanlines do volume são paralelas às scanlines da imagem intermediária. Ponderadores para interpolação bilinear são iguais para voxels de uma mesma fatia. Caminhar um voxel na scanline do volume significa caminhar um pixel na imagem intermediária.

12 Imagem Intermediária - Resolução da imagem intermediária depende da resolução das fatias do volume e da direção de projeção, não dependendo da resolução da imagem final. w low = w slice + d slice * s i h low = h slice + d slice * s j - Shear-warp é eficiente para tratar volumes de pequeno e médio porte (enquanto a resolução das fatias for menor ou igual a resolução da imagem final). - O passo de warp corrige a distorção e também reamostra a imagem intermediária para a resolução da imagem final.

13 Otimizações para o Shear-Warp - Run-length encode do volume Dado volumétrico é classificado através da função de transferência de opacidade. Porções transparentes do volume são descartadas, tirando proveito da coerência do volume. Estruturas associadas ao RLE são construídas em préprocessamento. - Run-length encode da imagem intermediária Pixels já opacos são agrupados e saltados durante a etapa de criação da imagem intermedária. Equivale a otimização de early ray termination.

14 Otimizações para o Shear-Warp Scanline do volume reamostragem e composição Scanline da imagem salta trabalha salta trabalha salta run de voxels transparentes run de voxels não transparentes run de pixels opacos run de pixels não opacos

15 Shear-Warp e Modelos Poligonais k fatia k-1 z o x o j i fatia 0 volume y o modelo poligonal w Shear w Z-Buffer v u v u volume e polígonos w v u warp cria imagem final imagem intermediária

16 Integração Shear-Warp e Z-Buffer - Como o acúmulo das contribuições dos voxels ocorre durante a etapa de criação da imagem intermediária, as contribuições dos polígonos também deve ser computadas durante esta fase. - Modelo poligonal deve ser reamostrado para a resolução da imagem intermediária. - Se a resolução da imagem intermediária for baixa podem surgir efeitos de aliasing durante a reamostragem do modelo poligonal.

17 Problemas encontrados: Integração Shear-Warp e Z-Buffer Introdução de artefatos e aliasing durante o processo de reamostragem do modelo poligonal. Combinar dados volumétricos com modelos poligonais semi-transparentes. Buscar soluções que criem imagens híbridas de qualidade em tempos aceitáveis.

18 Integração Shear-Warp e Z-Buffer Algoritmos propostos: Composição em baixa resolução Composição em alta resolução Composição em resolução dual Footprint Alta freqüência Principais diferenças nos algoritmos propostos: abordagem para o tratamento de aliasing tempo de processamento

19 Matriz de Projeção do Z-Buffer - Reamostrar o modelo poligonal para a resolução da imagem intermediária é passo comum a todos os algoritmos propostos. - Reamostragem feita através do algoritmo de Z-Buffer, que recebe a matriz de projeção a ser empregada de acordo com a resolução da imagem intermediária. M shearmodel = RCM shear P

20 Composição em Baixa Resolução - Modelo poligonal é reamostrado para a resolução da imagem intermediária original, chamada de baixa resolução. - É o mais simples entre os métodos propostos pois não existe composição a nível de subpixels. - Apresenta maior presença de aliasing na imagem rasterizada dos polígonos.

21 Algoritmo Composição em Baixa Resolução Fatias Imagem Intermediária Imagem Final

22 Composição em Baixa Resolução slice_u slice_v a imagem intermediária fatia u b TL BL p TR BR i Scanline ativa da imagem Scanlines ativas da fatia j pixel voxel a = slice_u - floor (slice_u) b = slice_v - floor (slice_v) v C v = (1-a)(1-b)C BR + (a)(1-b)c BL + (1-a)(b)C TR + (a)(b)c TL α v = (1-a)(1-b) α BR + (a)(1-b) α BL + (1-a)(b) α TR + (a)(b) α TL C p,new = C p,old + C v (1- α p,old ) C p,new = C p,old + C pol (1- α p,old ) α p,new = α p,old + α v (1- α p,old ) α p,new = α p,old + α pol (1- α p,old )

23 Composição em Baixa Resolução Presença de aliasing nas bordas do modelo poligonal

24 Composição em Alta Resolução Idéia Básica: Utilizar uma imagem intermediária de resolução comparável a da imagem final para evitar aliasing. Para tanto pixels da imagem intermediária devem ser subamostrados.

25 Imagem intermediária em alta resolução Resolução da imagem intermediária de alta: w high = M(w low -1)+1 h high = N(h low -1)+1 - Corresponde a dividir cada intervalo de pixel da imagem intermediária original (low) em MxN subpixels.

26 Imagem intermediária em alta resolução - Os fatores M e N são tais que um passo unitário nas direções u e v no espaço da imagem intermediária aproxime-se de um passo unitário no espaço da imagem final. M = ceil(max( w 00, w 10, 1) N = ceil(max( w 01, w 11, 1) v w u! ʹ = w y! uʹ vˆ û w v! ʹ = w 01 11! vʹ Imagem Intermediária u Imagem Final x

27 b v j NW p W SW pixel a N imagem intermediária fatia u scanline ativa da imagem intermediária i NE scanlines ativas da fatia C E NW 0 N 1 p S SE 0 W voxel Composição em Alta Resolução - Todos os pixels da imagem intermediária são compostos em alta resolução. - Calculada a contribuição dos voxels para cada subpixels considerando 9 voxels vizinhos. 1 SW fatia S C NE E SE

28 Composição em Alta Resolução Redução da presença de aliasing nas bordas do modelo poligonal. Tempos de processamento mais elevados.

29 Composição em Resolução Dual Idéia Básica: Aumentar a resolução da imagem intermediária somente nas regiões influenciadas pela presença do modelo poligonal. imagem intermediária fatia

30 Algoritmo Footprint - Todos os pixels que recebem influência dos polígonos são marcados para serem compostos em alta resolução. - Cria duas imagens intermediárias, uma em baixa e outra em alta resolução; depois faz a combinação em uma única imagem intermediária de alta. intermediária em baixa intermediária em alta intermediária final em alta

31 Algoritmo Footprint Imagem final com aliasing reduzido nas bordas do modelo poligonal

32 Algoritmo Alta Freqüência - Detecta, através de um filtro passa-alta, as regiões da imagem do modelo poligonal mais propensas à presença de aliasing.

33 Algoritmo Alta Freqüência - Compõe em alta resolução somente os pixels das regiões de borda ou irregularmente iluminadas. - Cria três imagens intermediárias, duas em baixa e uma em alta resolução; depois faz a combinação em uma única imagem intermediária de alta. intermediária em alta intermediárias em baixa intermediária final em alta

34 Algoritmo Alta Freqüência Imagem final com aliasing reduzido nas bordas do modelo poligonal.

35 Modelos Poligonais com Transparência - Algoritmos propostos são facilmente estendidos para tratar diferentes níveis de transparência do modelo poligonal. - O algoritmo de Z-Buffer é alterado para produzir n mapas de cor, opacidade e profundidade, onde n é o nível de transparência associado ao modelo. Zlist-buffer com 5 níveis

36 Resultados Obtidos - Eficiência dos Algoritmos Dado Volumétrico Dimensão do Volume Opacidade do Volume Modelo Poligonal Contexto do Teste cabeça Woman 512x512x209 (original) 127x127x51 (small) Opaco 6 cones Número de Polígonos 300 Opacidade do Modelo Poligonal Opaco Níveis de Transparência do Modelo 0 Biblioteca Gráfica Plataforma de Hardware G3D (software) Intergraph

37 Eficiência dos Algoritmos - Tempo gasto com Z-Buffer do modelo poligonal é significativo. - Tempo de criação da imagem intermediária é o mais alto dentre as etapas. - Algoritmo de composição em baixa resolução é o mais eficiente, contudo existe compromisso com a qualidade da imagem criada. Crânio da Visible Woman Tamanho do Volume Sem Polígonos Composição em Baixa resolução Composição em Alta resolução Footprint Alta Freqüência Z-Buffer do Modelo Poligonal Determinação e Marcação das Regiões de Alta freqüência Criação da Imagem Intermediária Warp Composição da Contribuição dos Polígonos entre as Fatias Composição da Contribuição das Fatias Combinação das Imagens Intermediárias Tempo Total small original small original small original small original small original small original small original small original

38 Eficiência - Comparação entre G3D e OpenGL Implementação do Z-Buffer por software, através do G3D, é mais eficiente na etapa de extração dos mapas de cor, opacidade e profundidade, sendo a diferença na ordem de centésimos de segundo. Entretanto, na etapa de rasterização, OpenGL é mais eficiente, sendo a diferença na ordem de décimos de segundo. Footprint Tempo (s) Rasterização Extração Etapas do Z-Buffer G3D GL

39 Eficiência - Modelos com Diferentes Níveis de Transparência Dado Volumétrico Contexto do Teste Syn64 Dimensão do Volume 64 3 Opacidade do Volume Modelo Poligonal Opaco planos + cone Número de Polígonos 302 Opacidade do Modelo Poligonal Transparente Níveis de Transparência do Modelo 0, 1, 3, 5 Biblioteca Gráfica Plataforma de Hardware G3D Intergraph

40 Eficiência - Modelos com Diferentes Níveis de Transparência - Algoritmo de baixa resolução continua sendo mais eficiente. - Dependendo do nível de transparência associado ao modelo, os algoritmos de Footprint e Alta Freqüência se alternam como mais eficiente. Diferença diz respeito a etapa de determinação das regiões de alta freqüência. - Neste exemplo, algoritmo de Alta resolução apresentou tempos próximos aos dos algoritmos duais devido à geometria do modelo poligonal.

41 Eficiência - Modelos com Diferentes Níveis de Transparência - Para volumes semi-transparentes com dimensões maiores, a escolha de mais de um nível de transparência dos polígonos reflete, em termos de décimos de segundo, no tempo de criação da imagem final. - Neste teste, algoritmo de Footprint foi o mais eficiente, dentre os que criam imagens em alta resolução, empregando três níveis de transparência.

42 Tempos de Pré-processamento - RLE do Volume - Construção das estruturas de RLE do volume de acordo com função de transferência de opacidade. - Tempo de processamento para construção são elevados, exigindo que esta etapa seja feita em pré-processamento. - Para cada função de transferência de opacidade, as estruturas RLE do volume são construídas uma única vez. Tempos de Construção do RLE do Volume Crânio da 127x127x Visible Woman 512x512x Sem RLE Com RLE Tempo total (s) Pélvis 512x512x Pélvis+Prótese - Baixa resolução

43 Tempos de Pré-processamento - Quantização do Gradiente - Gradiente quantizado para tabela de normais pré-calculada com 256 entradas, em fase de pré-processamento. - Economia de memória com gradiente, representação em 1 byte. - Compromisso com a qualidade da imagem gerada. Tempos de Quantização do Gradiente Cabeça da Visible Woman 127x127x s 512x512x s Pélvis 512x512x s

44 Resultados - Qualidade da Imagem Baixa resolução Alta resolução Footprint Alta freqüência

45 Resultados - Qualidade da Imagem Modelo com 1 nível Modelo com 3 níveis Diferença

46 Resultados - Qualidade da Imagem Prótese 1 nível Prótese Opaca Prótese 1 nível Prótese 3 niveis Diferença

47 Conclusões - Os algoritmos apresentados combinam corretamente dados volumétricos com modelos poligonais, com ou sem a presença de transparência. - As diferentes estratégias de tratamento de aliasing possibilitam a escolha do melhor custo x benefício considerando tempo de processamento e qualidade das imagens geradas.

48 Conclusões - O algoritmo de baixa resolução apresenta menor tempo para realizar a combinação; entretanto, a imagem final gerada pode apresentar problemas de aliasing. - O algoritmo de alta resolução gera a imagem final de melhor qualidade, porém apresenta o tempo de processamento mais elevado.

49 Conclusões - Os algoritmos de resolução dual geram imagens finais de qualidade comparável às criadas pelo algoritmo de alta resolução, apresentando melhor performance em termos de tempo de processamento. - A partir dos testes, pode-se indicar o uso do algoritmo de alta freqüência para os casos em que o modelo poligonal é opaco e o de footprint para os casos onde existe transparência.

50 Conclusões - Emprego de RLE do volume e da imagem intermediária é imprescindível para obtenção de tempos aceitáveis na renderização do dado volumétrico. - Os algoritmos desenvolvidos nesta tese são independentes da presença de hardware especializado. - Pode-se tirar melhor proveito de bibliotecas gráficas aceleradas por hardware se o acesso ao Z- Buffer for otimizado.

51 Conclusões - Embora soluções implementadas em hardware, como a VolumePro, possam manipular volumes em tempos interativos, elas ainda não incorporam a visualização de modelos poligonais combinados com os dados volumétricos.

52 Trabalhos Futuros - Implementação das etapas como a de warp e convolução através de funções aceleradas no hardware das placas gráficas. - Comparação com funções de Z-Buffer implementadas através do Direct3D, aceleradas por hardware.

53 Trabalhos Futuros - Desenvolver uma ferramenta para a realização da modelagem e do posicionamento do modelo poligonal em relação ao volume, onde os objetos poligonais possam ser criados ou adaptados em função da geometria dos objetos volumétricos. Para tanto, deve-se integrar a modelagem do objeto poligonal ao processo de segmentação das estruturas presentes no dado volumétrico.

54 Trabalhos Futuros - Desenvolver ferramentas para exploração e análise do dado volumétrico (planos de corte, extração de subvolumes, manipulação das fatias, realização de medidas quantitativas, etc.), com ou sem a presença do modelo poligonal.

55 Animações

56 Animações

57 Aprendi que se depende sempre De tanta muita diferente gente Toda pessoa sempre é as marcas Das lições diárias de outras tantas pessoas E é tão bonito quando a gente entende Que a gente é tanta gente Onde quer que a gente vá É tão bonito quando a gente sente Que nunca está sozinho Por mais que pense estar É tão bonito quando a gente pisa firme Nessas linhas que estão Nas palmas de nossas mãos É tão bonito quando a gente vai à vida Nos caminhos onde bate Bem mais forte o coração Caminhos do Coração (Gonzaguinha)