Uma proposta de Amostragem Adaptativa para Computação Gráfica Baseada em Pontos

Transcrição

1 UNIVERSIDADE DO VALE DO RIO DOS SINOS CENTRO DE CIÊNCIAS EXATAS E TECNOLÓGICAS CURSO DE CIÊNCIA DA COMPUTAÇÃO Uma proposta de Amostragem Adaptativa para Computação Gráfica Baseada em Pontos por UBIRATÃ AZEVEDO IGNÁCIO Prof Dr. Marcelo Walter Orientador Monografia submetida como requisito parcial para a obtenção do título de Bacharel em Ciência da Computação São Leopoldo, Novembro de 2003

2 Resumo A Computação Gráfica Baseada em Pontos é uma abordagem relativamente recente na Computação Gráfica, onde a idéia principal é a utilização de pontos como primitiva fundamental na representação dos objetos. Dentro deste contexto este trabalho inicialmente contribui para a divulgação deste novo paradigma na comunidade da UNISI- NOS, apresentando detalhadamente a técnica, sua evolução até o momento e suas principais aplicações. Como contribuições principais apresenta (i) uma nova proposta para amostragem adaptativa de pontos que utiliza a orientação dos polígonos como critério para realizar uma super-amostragem localizada e (ii) uma proposta para resolver falhas nas imagens geradas. Palavras-chave: Renderização, Traçado de Raios, Imagens 3D, Pontos, Modelagem.

3 TITLE: A PROPOSAL FOR ADAPTATIVE SAMPLING FOR POINT BASED COM- PUTER GRAPHICS Abstract Point Based Graphics is a relatively new paradigm in Computer Graphics where points are used as primitives for the representation of objects. We initially present this technique, its development, and main applications. Through this presentation we hope to contribute for dissemination of this new paradigm in the UNISINOS community. As main contributions, this work introduces (i) a new approach for adaptative point sampling, where the orientation of polygons is used as criterion for a local supersampling and (ii) a technique for filling in the images at the rendering step. Keywords: Rendering, Ray Tracing, 3D Images, Point, Modeling.

4 Agradecimentos Tantas são as pessoas e entidades às quais eu preciso e devo agradecer que seriam necessários mais alguns trabalhos como este para comportar todos os votos e palavras. Os agradecimentos vão desde de meus familiares até o produtor de café que me manteve acordado quanto era necessário. Mas momentos e pessoas são especiais, cada um à sua maneira. E são para estas pessoas que gostaria de expressar toda minha gratidão e sincero reconhecimento. Aos meus pais, Jorge e Wanda, agradeço do fundo do meu coração por terem feito de mim a pessoa que sou hoje, e se estou alcançando esta vitória na minha vida, devo aos seus ensinamentos. A minha amada Ana quero agradecer por sua compreensão, amor e carinho expressado, que me aliviaram as dores e me fizeram continuar no caminho. Agradeço ao meu orientador, professor Marcelo Walter, por sua maneira tão sábia e humana de observar o caminho e me guiar corretamente neste trabalho. O esforço será recompensado. Minha gratidão aos professores Fernando Osório e Cláudio Jung pelas sábias observações feitas a este trabalho, e que foram de suma importância para torná-lo melhor. Agradeço aos meus colegas de trabalho pela paciência e compreensão durante este ano, e gostaria de finalizar com uma frase simples, transformada em clichê, mas que porém, poucos dão atenção ao seu real sentido: Quando realmente queremos alguma coisa, nós conseguimos E assim encontramos as conquistas. Obrigado!

5 5 Conteúdo Resumo 2 Abstract 3 Lista de Abreviaturas 7 Lista de Figuras 8 Lista de Tabelas 9 1 Apresentação Introdução Motivação Objetivos Estrutura do Texto O Modelo de Computação Gráfica Baseada em Pontos Trabalhos Anteriores O Processo de Renderização Baseada em Pontos Amostragem de Pontos Especificação dos Dados de Entrada Amostrando com Traçado de Raios Capturando Pontos Armazenando os Pontos Obtidos Reconstrução de Imagens Reconstruindo com Projeção Perspectiva Preenchendo Falhas Existentes Aplicações da CGBP Amostragem Adaptativa e Preenchimento de Falhas Amostragem Adaptativa Ajustando a Super-Amostragem Resolvendo a Etapa de Renderização Implementação e Resultados O Sistema Protótipo SARS Resultados Obtidos

6 Analisando a Amostragem Imagens Renderizadas Preenchendo Falhas na Imagem Conclusões e Trabalhos Futuros Conclusões Trabalhos Futuros Bibliografia 48

7 Lista de Abreviaturas CG CGBP EWA LDC LDI RBP SARS Computação Gráfica Computação Gráfica Baseada em Pontos Eliptical weighed Average Layered Depth Cube Layered Depth Image Renderização Baseada em Pontos Sistema de Amostragem e Reconstrução de Superfícies

8 Lista de Figuras 2.1 Determinação de vetores na superfície de uma triângulo ou polígono Amostragem de um objeto em três planos ortogonais Intersecção entre raios disparados e a superfície de um objeto Intervalo d de amostragem de um objeto Esquema de traçado de raios utilizado no processo de amostragem Representação das coordenadas baricêntricas em um triângulo Divisão de um polígono em um conjunto de triângulos Determinação do triângulo que contém um ponto em um polígono Imagem renderizada através de RBP Renderização de um objeto amostrado em resoluções diferentes Imagem com falhas de preenchimento Falhas de superfície e de fundo de imagem Estátua de David, parte do projeto Digital Michelangelo Intervalo d entre os pontos amostrados Área de análise para a determinação de falhas Imagens variando o fator de preenchimento de falhas de fundo Imagens variando o fator de preenchimento de falhas de superfície na imagem Janela principal do SARS Controles para renderização do SARS Amostragem de um objeto em várias resoluções Amostragem Adaptativa de um objeto Objetos escolhidos para os testes. Geometrias variadas Gráfico 1: Variação do número de falhas em diferentes objetos amostrados Gráfico 2: Variação do número de falhas em diferentes objetos amostrados Imagem utilizada para comparação dos fatores de precisão

9 Lista de Tabelas 4.1 Tempos de amostragem em diferentes resoluções Tempos de aquisição de pontos com super-amostragem Tempos de renderização de imagem Resultados da amostragem de objetos sem super-amostragem Resultados da amostragem dos objetos com super-amostragem Variação do número de falhas e número de pontos em relação a simetria dos objetos Análise da simetria da superfície de objetos Comparação de imagens renderizadas com vários fatores de precisão... 44

10 1 Apresentação Este capítulo faz uma breve introdução do assunto tratado nesta monografia, abordando os aspectos que motivaram a realização do trabalho, bem como de seus objetivos, finalizando com a disposição da organização dos capítulos ao longo do texto apresentado. 1.1 Introdução A computação gráfica tem se tornado cada vez mais uma ferramenta poderosa em diversas áreas do conhecimento. A indústria de entretenimento, jogos eletrônicos (Quake, Doom, etc), cinema (em filmes como Matrix, Guerra nas Estrelas e Final Fantasy), e televisão, têm utilizado técnicas de processamento gráfico para representar mundos e objetos não existentes, assim como reduzir custo na produção de efeitos especiais em ambientes reais. Esta monografia inicialmente apresenta um novo paradigma para a geração de cenas de computação gráfica, onde são utilizados apenas pontos para representar e descrever a superfície de um objeto. Este novo paradigma é entitulado Computação Gráfica Baseada em Pontos (CGBP), e dentro deste explora-se a amostragem de superfícies de objetos tridimensionais (3D). 1.2 Motivação O desafio de se conseguir melhores resultados na renderização de cenas, através de imagens com mais realismo, tem sido um objetivo constante de pesquisa em CG, e técnicas como Traçado de Raios [24] e Radiosidade [5] foram marcos importantes e que revolucionaram esta área da Computação Gráfica. Porém, para criar um ambiente, uma imagem que transmita o máximo de representação da realidade, é preciso haver pesquisa em novas técnicas, novos algoritmos e novos paradigmas. A Renderização Baseada em Pontos [14] (RBP), tópico dentro da Computação Gráfica Baseada em Pontos, pode desempenhar um papel importante na definição de novos mecanismos de modelagem e renderização. Nesta abordagem, os objetos são representados como um denso conjunto de pontos que possuem tanto informação da sua geometria, como do material que determina a aparência deste. Nos métodos tradicionais de renderização, é necessário obter um conjunto de dados que forma uma superfície, independente de sua representação (poligonal, paramétrica, implícita, etc), para depois projetar estes pontos em uma imagem em duas dimensões. Na CGBP, parte-se da etapa onde os pontos que definem a superfície já estão disponíveis, eliminando de certa forma uma parte do processo de renderização, que é a rasterização. Assim, grande parte da carga computacional necessária para gerar uma imagem é transferida para pré-processamento, justamente a captura dos pontos e de suas propriedades, permitindo que se organize estas informações de maneira que seja possível tornar as renderizações mais rápidas.

11 Objetivos A CGBP está atualmente em um processo de pesquisa intensa, e apesar de recente, pode viabilizar novos métodos de renderização de cenas até mesmo de forma interativa. Objetiva-se genericamente demonstrar o potencial desta abordagem como alternativa para a geração de imagens a partir de modelos de objetos em três dimensões. Em termos mais específicos, existem algumas possibilidades para investigação de aperfeiçoamentos na técnica. O objetivo principal deste trabalho é explorar a técnica de Computação Gráfica Baseada em Pontos, identificando suas principais etapas e em função disto, um objetivo a ser fortemente abordado é a possibilidade de realizar uma amostragem adaptativa de objetos, que melhor se adeque à qualquer superfície desejada. Em se tratando de uma técnica em recente estudo intenso, existem muitos problemas não muito esclarecidos na literatura atual. Assim, esta monografia demonstra alguns desses problemas, de forma bastante clara, juntamente com algumas respostas e ações que abordam tais problemas. Como uma contribuição mais específica, a questão da amostragem dos pontos em objetos, propondo métodos que visam adaptar-se à geometria do objeto, permitindo extrair o máximo de informação possível no processo de amostragem, facilitando a etapa de reconstrução da imagem, e melhorando sua qualidade final. Outro ponto de destaque é a realização de uma proposta que permita resolver problemas como a descoberta e preenchimento de falhas na imagem final renderizada, tornando esta mais isenta de artefatos. Além disto, o trabalho analisa a técnica como uma nova abordagem, verificando as vantagens e desvantagens em relação a outras técnicas de geração de imagens de computação gráfica, identificando aplicações potenciais que podem melhor se aproveitar deste modelo de renderização. 1.4 Estrutura do Texto O texto deste trabalho está dividido em 4 capítulos, distribuídos da seguinte forma: Capítulo 2: Este capítulo introduz a Computação Gráfica Baseada em Pontos, contextualizando o assunto através dos trabalhos realizados até o momento, e apresentando os passos gerais necessários para a renderização de imagens; Capítulo 3: As principais contribuições realizadas neste trabalho são apresentadas neste capítulo, demonstrando técnicas de amostragem alternativas e procedimentos para a melhoria da qualidade das imagens geradas; Capítulo 4: Apresenta a implementação das técnicas descritas nos capítulos anteriores bem como os resultados (e a análise destes) obtidos a partir dos experimentos realizados. A monografia encerra no capítulo 5, ao abordar trabalhos que podem ser ainda desenvolvidos baseados no que foi apresentado, e ainda resumindo as considerações realizadas, de forma a consolidar os conceitos de Computação Gráfica Baseada em Pontos.

12 2 O Modelo de Computação Gráfica Baseada em Pontos Este capítulo inicia apresentando os trabalhos mais relevantes sobre Computação Gráfica Baseada em Pontos e demonstrando a evolução da técnica em ordem cronológica. Em seguida, o processo de renderização de imagens é descrito de forma geral, aprofundando-se no mecanismo de geração de imagens utilizando pontos como primitiva de representação. Dentro do processo, são descritas as duas etapas principais: Amostragem e Reconstrução de imagens. Na amostragem é realizada uma análise de um objeto seguida da obtenção de pontos que descrevam a sua superfície. Já o processo de reconstrução da imagem, consiste em remontar a informação contida dos pontos obtidos no passo anterior. Esta etapa é composta de pequenas outras partes com a função específica de resolver problemas causados pela possível falta de informação, como por exemplo, falhas (furos onde a cor de fundo aparece em pixels onde não deveria) na imagem gerada. 2.1 Trabalhos Anteriores Pontos, às vezes também denominados partículas, já haviam sido utilizados para representar objetos intangíveis, como neblina, fogo ou fumaça [20] [6]. O primeiro passo para o desenvolvimento desta abordagem como método de renderização de imagens foi dado por Levoy e Whitted em 1985 [14], focando o caso específico de superfícies contínuas e diferenciáveis. Naquele momento, os autores apresentaram os primeiros conceitos de ponto (neste contexto, apenas coordenadas e cores), de representação geométrica de um objeto para a forma de conjunto de pontos, os processos de preparação das primitivas (recorte, remoção de faces ocultas e filtragem de texturas) encerrando com a geração da imagem propriamente dita. Apesar do trabalho pioneiro de Levoy e Whitted, as pesquisas nesta área ficaram estagnadas por um certo tempo, até que, em 1998 Grossman e Dally [10], introduziram um mecanismo mais complexo do que o apresentado pelos primeiros autores, onde é descrito com detalhes o processo de construção de uma cena com objetos representados apenas por pontos e os problemas encontrados. As pesquisas realizadas sobre este assunto ganharam importância novamente com o trabalho recente de Pfister et al, no ano 2000 [18] e com a disponibilidade cada vez maior de hardware específico para amostragem espacial, como scanners 3D. No trabalho de Pfister, os autores reafirmam a proposta de Grossman e Dally e inserem novas estratégias como, principalmente, a amostragem dos objetos em pontos utilizando técnicas de Layered Depth Images (LDI) [22]. Resumidamente, um LDI é uma imagem onde, para cada pixel, existe um conjunto de profundidades formados pelos pontos resultantes da intersecção do raio de projeção com o objeto. O trabalho também aborda novos meios de filtragem de textura e de remoção de falhas na imagem final. Os mesmos autores apresentaram outras publicações, e em 2001 propõem um método para a renderização de pontos chamado Surface Splatting [25], que visa melhorar a qualidade nos processos de suavização (anti-aliasing) e mapeamento de textura em RBP. Também em 2001 Kalaiah [12] apresenta uma forma de representação de pontos amostrados, visando otimizar a dispersão desses pontos sobre superfícies com curvaturas

13 13 mais acentuadas. Em 2003, Alexa et al [1] apresentam um mecanismo de RBP onde a densidade já amostrada de pontos pode ser alterada, aumentando (up-sampling) a quantidade de pontos em áreas onde a densidade é baixa, ou diminuindo (down-sampling) em algumas áreas, retirando de um conjunto de pontos aqueles que menos contribuem para a descrição da superfície. Ainda em 2003 é apresentado um novo tópico na utilização de pontos como primitiva de representação. No artigo [16] Pauly et al demonstram um framework de modelagem e criação de formas utilizando primitivas híbridas, através de pontos e superfícies implícitas. O trabalho de Pauly também demonstra a capacidade da computação gráfica baseada em pontos aplicada em modelagem de sólidos e processamento de geometrias com este tipo de representação. Em comum às técnicas que amostram pontos, verifica-se que esta é feita uniformemente ao longo da superfície. Em processos onde a obtenção de pontos é feita com hardware especializado, esta é uma limitação intrínseca (por exemplo, em digitalizadores 3D). Entretanto, em várias situações a CGBP pode ser utilizada em aplicações onde há controle sobre o processo de amostragem e, neste caso, uma amostragem adaptativa pode trazer benefícios nos resultados. Este trabalho explora uma possibilidade de amostragem adaptativa apresentada no capítulo 3. No ano de 2004, atestando a importância e a maturidade da área será realizado na Suíça o primeiro evento de Computação Gráfica Baseada em Pontos, entitulado Point-Based Graphics inserido no Eurographics e com participação do IEEE e ACM/SIGGRAPH. 2.2 O Processo de Renderização Baseada em Pontos Neste método de renderização, os objetos em uma cena são representados através de conjuntos de pontos. Estes por sua vez, são amostrados traçando-se raios de três vistas ortogonais de acordo com uma resolução determinada. Cada ponto amostrado é denominado Surfel (Surface Element) [18] e o conjunto de todos estes Surfels nos dá então a amostragem final do objeto. Neste trabalho, os tipos de objetos utilizados têm sua representação inicial na forma de polígonos quaisquer, ou triângulos, uma vez que esta é a estrutura mais utilizada para armazenamento da geometria de um objeto, e em geral é como este é modelado para diversas aplicações em Computação Gráfica. Percebe-se duas etapas bastante distintas neste processo. Inicialmente é necessário obter um conjunto de pontos que represente a superfície do objeto, e em seguida, é preciso reconstruir uma imagem partindo destes pontos. As sessões seguintes descrevem mais detalhadamente cada uma destas etapas denominando-as Amostragem e Reconstrução. 2.3 Amostragem de Pontos Na CGBP a maior parte do trabalho de manipulação dos objetos é feita em préprocessamento. Whitted observou que 90%-95% do tempo de processamento da técnica de traçado de raios é gasto calculando intersecções com as superfícies [24]. Assim, se comparado a este mecanismo, é fácil observar, que, enquanto os polígonos devem ser

14 14 processados no momento da geração da imagem, capturando assim os pontos e transformando estes para o espaço 2D, no modelo apresentado neste trabalho a fase de aquisição de pontos é feita de forma independente, deixando apenas a geração da imagem e aplicação de efeitos para o processo de renderização. Esta seção trata do processo de obtenção dos pontos que representarão um objeto utilizando recursos da técnica de traçado de raios. Problemas encontrados e mecanismos de aceleração também são discutidos nas seções a seguir Especificação dos Dados de Entrada Os objetos utilizados para a elaboração deste trabalho têm sua representação feita através de triângulos ou polígonos quaisquer, onde todos os seus vértices são coplanares. Mais especificamente, está sendo utilizado o formato de arquivo Wavefront OBJ [23], onde, além da geometria, pode se encontrar informações como cor e o comportamento do material perante uma fonte de iluminação. Este arquivo deve ser processado para que se possa identificar a geometria e capturar pontos nesta geometria. Uma estrutura de dados deve ser criada, onde é possível armazenar todas as informações pertinentes sobre o objeto. Como o processo de obtenção de pontos utiliza traçado de raios, é possível já durante esta etapa calcular algumas informações que futuramente serão necessárias, acelerando o processo de amostragem. Um dado importante que pode ser determinado nesta etapa é a equação do plano de cada polígono. A equação de um plano é dada por ax + by + cz + d = 0, onde a, b, e c são os valores do vetor normal do polígono em questão. Para isto, considere três pontos A, B e C, vértices do polígono (ver figura 2.1), e obtenha dois vetores U e V, de acordo com as equações em 2.1 e 2.2. Figura 2.1: Determinação de vetores na superfície de uma triângulo ou polígono. U = B A (2.1) V = C A (2.2) Determine a, b e c através de Ux V, conforme abaixo: a = (y U z V ) (z U y V ) (2.3) b = (z U x V ) (x U z V ) (2.4) c = (x U y V ) (y U x V ) (2.5)

15 15 É necessário ter o vetor normal encontrado anteriormente (formado por (a, b, c)) normalizado. Assim pode-se encontrar d utilizando um dos vértices do polígono, conforme a equação 2.6: d = a x A + b y A + c z A ; (2.6) Nesta etapa também é importante identificar uma Caixa Delimitante, formando um paralelepípedo onde o objeto está completamente inserido. Esta informação é utilizada para o processamento das etapas posteriores. Esta caixa delimitante pode ser obtida identificando-se os maiores e menores valores das coordenadas x, y e z dos vértices que compõe o objeto. Isto pode ser realizado na etapa de leitura do objeto Amostrando com Traçado de Raios A amostragem de um objeto consiste na obtenção dos pontos que descrevem sua superfície. Estes pontos podem ser capturados "disparando"raios partindo de três vistas ortogonais, conforme ilustrado na figura 2.2. Esta abordagem é citada inicialmente por Pfister et al, no ano 2000 em [18], e permite que sejam obtidos pontos sem perder muitos detalhes da superfície do objeto. Y Z X Figura 2.2: Amostragem de um objeto em três planos ortogonais. A utilização de três pontos de partida para a amostragem faz-se necessária pois, na etapa de reconstrução da imagem, deve ser possível renderizar uma cena, independente da posição do observador. Ou seja, o objeto pode estar sendo visto por qualquer ângulo e de qualquer distância, tornando-se imprescindível ter o máximo de informação possível para que a reconstrução da imagem seja feita corretamente. Um ponto é dito na superfície do objeto quando um raio disparado intercepta um dos polígonos que forma esta superfície. Neste mecanismo de amostragem, é necessário obter as informações de todos os polígonos, assim, uma pequena variação na técnica de traçado de raios é necessária. Cada raio disparado deve atravessar completamente o objeto, e para cada intersecção raio e polígono, um ponto é capturado, como mostra a figura 2.3, onde

16 16 o raio A atravessa a superfície do objeto, interceptando-o em dois pontos, e o raio B é tangente a superfície de objeto, capturando apenas um ponto. Figura 2.3: Intersecção entre raios disparados e a superfície de um objeto. Acelerando com Subdivisão do Espaço Assim como nos mecanismos tradicionais de traçado de raios, é possível acelerar este processo de amostragem subdividindo o espaço onde se encontra o objeto em uma octree [21]. Cada nodo desta estrutura possui informações sobre quais polígonos este nodo esta delimitando. Assim, para cada raio disparado, basta identificar quais nodos são interceptados pelo raio - o que pode ser feito rapidamente caminhando pela estrutura em árvore - e determinar os pontos de intersecção apenas para os polígonos contidos nos nodos encontrados, eliminando a necessidade de varrer todos os polígonos para cada raio disparado. A árvore que armazena a divisão do espaço pode ter sua altura parametrizável, o que impacta no tempo de amostragem. Quanto maior a altura da árvore, menor será o volume de cada nodo e mais precisa será a determinação dos polígonos que o raio irá interceptar. Quanto menor a altura, mais polígonos farão parte de cada nodo, fazendo com que seja necessário calcular muitas intersecções que na realidade não atingirão polígono algum. Porém, existe um limite para a altura da árvore onde não se consegue obter um aumento de velocidade. Este limite é dado pela relação entre o tamanho de cada nodo e as dimensões dos polígonos. Uma vez que a maior diagonal de um nodo torna-se menor ou igual a dimensão máxima do menor polígono que compõe o objeto, não é possível mais obter ganho de velocidade nesta etapa da amostragem. Esta nova estrutura, em árvore, é utilizada pelas etapas de amostragem seguintes, que serão responsáveis por adquirir os pontos que representarão o objeto Capturando Pontos Os pontos que representam a superfície do objeto contém a posição no espaço da intersecção raio-polígono. Porém, para a reconstrução da imagem, outras informações são necessárias, e que também devem ser obtidas neste momento. Cada parte da superfície amostrada deve conter também a informação sobre o vetor normal ao ponto necessário

17 17 para realizar os cálculos da iluminação daquele ponto na etapa de reconstrução da imagem. Juntamente com a cor - tomada como a mesma cor associada ao polígono - estes são os atributos que compõe o que neste trabalho denomina-se Elemento de Superfície (Surfel). Ponto de Partida dos Raios A informação espacial de cada ponto é obtida disparando raios perpendiculares aos planos x = c, y = c e z = c, onde c é uma constante. Nesta etapa, é necessário determinar a quantidade de raios projetados, que caracteriza a Resolução de Amostragem r. O valor inicial da resolução de amostragem é um parâmetro definido pelo usuário. Juntamente com os valores da caixa delimitante que envolve o objeto, é possível definir um intervalo d entre cada raio a ser disparado. Os limites máximos e mínimos do paralelepípedo que envolve o objeto fornecem uma distância D max, que é o valor da maior dimensão deste paralelepípedo. Com isto, é possível encontrar d = D max /r (ver figura 2.4), que seja sempre a mesma utilizada para amostrar todos os três pontos de visão do objeto. Usar a maior dimensão do objeto para calcular a distância entre os raios faz com que se tenha também a maior distância entre os raios, permitindo que o usuário ajuste o valor de r de acordo com o tamanho do objeto. Este recurso insere homogeneidade entre os pontos obtidos, fazendo com que a distância entre pontos adjacentes seja a mesma para cada eixo amostrado. Esta característica pode ser utilizada para melhorar o desempenho de qualquer cálculo aplicado a um conjunto de pontos. Figura 2.4: Intervalo d de amostragem de um objeto. O intervalo d é utilizado então para calcular a posição e a direção dos raios, sendo que a posição inicial é definida pelos limites do objeto, com um recuo em uma unidade no valor da coordenada referente ao eixo do vetor direção. Esta direção é determinada pelos vetores que descrevem os eixos de coordenadas, ou seja, os vetores unitários [1 0 0], [0 1 0] e [0 0 1]. Pode-se tomar como exemplo uma esfera de raio 1 e centralizada na origem, perfeitamente contida em um cubo com lado 1, como ilustrado na figura 2.5. A ordem em que os planos são tomados para amostragem é arbitrária, assim como o ponto em que se

18 18 inicia o traçado de raios, desde que este esteja sobre uma das bordas do cubo, o que facilita os cálculos. Neste caso pode-se tomar fazer a amostragem do primeiro plano usando z = c, tendo o início do primeiro raio em [ ] (ponto destacado na figura 2.5), e com sua direção definida pelo vetor [0 0 1]. O valor -2 para a coordenada z da posição inicial é resultado da aplicação do recuo citado anteriormente, calculado fazendo z 1 = 2, onde z = 1. Isto evita que um ponto válido exatamente na posição inicial da borda caixa que delimita o objeto (em [ ]) seja perdido por erro de precisão de ponto flutuante nos cálculos de intersecção. Figura 2.5: Esquema de traçado de raios utilizado no processo de amostragem. Uma vez definida a posição inicial, no exemplo [ ], basta ir incrementando o valor de d para todas as coordenadas que têm valor zero no vetor direção, neste caso, x e y. Isto se repete até que tenha sido alcançado a borda que delimita o objeto. Calculando Pontos no espaço Com uma posição inicial para o raio e um vetor direção, é possível determinar se este raio intercepta um polígono e em que ponto no espaço isto ocorre. Glassner descreve este processo com detalhes em [8] e é facilmente compreendido em três etapas: Verificar se o raio não é paralelo ao plano onde o polígono está contido; Calcular o ponto onde a intersecção raio-plano ocorre; Verificar se este ponto pertence ao polígono; Neste momento, faz-se uso da equação do plano calculada no momento da leitura do arquivo. Com um vetor formado por a, b, e c, pode-se determinar se o raio é ou não paralelo ao plano, através do produto escalar v d entre este vetor e o que determina a direção do raio, como apresenta a equação 2.7. Caso v d = 0, o raio é paralelo ao plano, e nenhuma intersecção ocorre.

19 19 v d = a x d + b y d + c z d (2.7) Caso v d 0, deve-se então calcular a posição no espaço onde o ponto de intersecção se encontra utilizando os valores de a, b, c e d da equação do plano e as coordenadas O de origem do raio. Isto é feito encontrando um valor t que determina a distância entre o ponto inicial (inicio do raio disparado) até o plano, como mostram as equações que abaixo: v o = (a x o + b y o + c z o ) + d (2.8) t = v o /v d (2.9) O valor de t deve sempre ser maior que zero, pois, o contrário significa que o plano estaria atrás da origem do raio, o que neste caso não deve ocorrer. O ponto de intersecção raio-plano é calculado como nas equações 2.10, 2.11 e 2.12, onde (x, y, z) O são as coordenadas de origem do raio e [x, y, z] d é o vetor direção do raio. x p = x o + x d t (2.10) y p = y o + y d t (2.11) z p = z o + z d t (2.12) O ponto encontrado fornece a posição no espaço da intersecção do raio com o plano que suporta o polígono, e não necessariamente este ponto pertence a este polígono. Um método para determinar se um ponto está ou não contido em um polígono qualquer é descrito em [8] que baseia-se no algoritmo descrito por Blinn em [3]. Este procedimento consiste em projetar um raio em uma direção arbitrária partindo do ponto de intersecção e contando o número de seguimentos (arestas) que este raio corta. Caso este número for ímpar, o ponto está dentro do polígono. Caso contrário, o ponto está fora. Primeiramente é necessário projetar o polígono em um plano bi-dimensional. Isto pode ser feito facilmente apenas eliminando uma das coordenadas dos vértices. Esta pode ser a coordenada do vetor normal do polígono que possui maior valor absoluto. Em outras palavras, se N = (0, 5, 3) é o vetor normal ao plano cujo polígono em questão está inserido, a coordenada do eixo y deve ser eliminada nos vértices. Esta técnica garante que o polígono será projetado em um plano 2D utilizando a maior área possível. As coordenadas restantes devem ser renomeadas como U e V, e o polígono deve ser transladado de forma que o ponto de intersecção fique na origem, o que pode ser obtido subtraindo as coordenadas deste ponto (U i, V i ) de cada vértice. Estes novos vértices devem ser nomeados como (U, V ). O pseudo-algoritmo a seguir descreve os passos finais do processo. 1. defina NC como o número de intersecções e com o valor zero; 2. defina SH como o controle de sinal, em função de V 0 (valor de V para o primeiro vértice da primeira aresta); atribua SH = -1 se V 0 for negativo atribua SH = +1 se V 0 for positivo

20 20 3. considere NV como o número de vértices, formando uma lista (U n, V n); 4. para cada aresta do polígono formada pelos pontos (U a, V a) e (U b, V b), onde a = 0 até NV-1, b =((a+1) mod NV): defina o atributo de sinal NSH para -1 caso V b for negativo e para +1 caso contrário; se SH \neq NSH: se U a é positivo e U _b é positivo então, NC = NC+1; caso contrário, se U a for positivo ou U b for positivo então: se U a - V a * (U b - U a) / (V b - V a) > 0 então NC = NC+1; SH = NSH; 5. continuar os vértices partindo do passo 4. Capturando a normal do ponto A estrutura geométrica do objeto fornece os vetores normais para cada vértice dos polígonos que o compõem. Estes vetores são utilizados para calcular a influência da fonte de luz sobre a superfície deste objeto. No processo conhecido como Gourad Shading [7] os pontos do interior do polígono tem seu vetor normal sendo resultado da interpolação ponderada dos vetores normais dos vértices. Esta técnica permite atribuir cores à superfície do objeto, causando um efeito visual mais realístico. Para que seja possível obter esta mesma qualidade, deve-se calcular os vetores normais para cada ponto já no momento da amostragem. A técnica utilizada neste trabalho para obter a normal de cada ponto em função dos vértices baseia-se no conceito de Coordenadas Baricêntricas [15]. As Coordenadas Baricêntricas fornecem um ponto P como sendo o Centróide Geométrico de três massas (t 1, t 2, t 3 ) que compõem um triângulo ABC, como mostra a figura 2.6. Uma analogia ao processo inverso permite determinar fatores de peso (u, v, w) que representem o balanceamento entre o ponto P e os vértices do triângulo, como mostra a figura 2.6. Considera-se o uso de coordenadas baricêntricas onde t 1 + t 2 + t 3 = 1 e u + v + w = 1, de forma que seja possível identificar a influência de cada vértice ABC sobre o ponto P. Os valores de u, v e w podem ser determinados de acordo com as equações 2.13, 2.14 e 2.15 respectivamente. u = area(abp ) area(abc) (2.13)

21 21 Figura 2.6: Representação das coordenadas baricêntricas em um triângulo. v = area(bp C) area(abc) (2.14) w = area(ap C) area(abc) (2.15) A função area resulta na área de um triângulo qualquer e pode ser calculada utilizando o produto vetorial dos vetores que determinam os vértices este triângulo, como mostra a equação abaixo: area(abc) = (B A) (C A) 2 Uma vez determinado (u, v, w), pode-se calcular a normal em P em função das normais dos vértices A, B e C (estas normais devem ser unitárias), como mostra a equação N P = N A u + N B v + N C w (2.16) O vetor N P é então atribuído como o vetor normal do ponto amostrado. As Coordenadas Baricêntricas são aplicáveis apenas em triângulos. Como os objetos utilizados podem estar descritos como polígonos quaisquer, é necessário dividir estes de uma maneira adequada. Um processo de triangularização possível é feito, unindo conjuntos de três vértices em seqüência, como mostra a figura 2.7. Esta triangularização não precisa alterar a representação geométrica do objeto, ou seja, pode ser realizada apenas para realização deste procedimento. Porém esta triangularização não precisa ser realizada para toda a superfície do polígono, pois é necessário apenas identificar um triângulo onde o ponto amostrado esteja contido. É possível que mais de um conjunto de 3 vértices forme triângulos que satisfaçam esta condição, de fato, esta escolha pode ser arbitrária, uma vez que os valores de

22 22 Figura 2.7: Divisão de um polígono em um conjunto de triângulos. (u, v, w) vão ser sempre coerentes ao conjunto de vértices escolhidos. Esta escolha não causa artefatos nas imagens renderizadas. Neste trabalho o triângulo escolhido é aquele formado pelos três primeiros vértices mais próximos ao ponto em questão. Esta proximidade é determinada pela distância euclidiana dos vértices dos pontos. A figura 2.8 ilustra esta idéia. As linhas pontilhadas definem triângulos onde o ponto pode estar inserido e a linha contínua o triângulo formado pelos vértices mais próximos a este ponto Armazenando os Pontos Obtidos Neste trabalho as informações dos elementos de superfície são armazenadas na forma de listas simples, utilizando três listas, uma para cada vista de amostragem. Isto já fornece algumas vantagens, pois permite que o comportamento simétrico da posição espacial de cada ponto diminua o número de operações em alguns cálculos do processo de reconstrução da imagem. Outras formas que utilizam estruturas de dados mais complexas podem requintar ainda mais o processo. Pfister propõe em [18] que os pontos sejam agrupados em uma representação que consiste na união dos conjuntos amostrados. Esta representação é denominada de LDC (Layered Depth Cube), que é construída sob uma octree incompleta e de altura parametrizável, onde nas folhas encontram-se os pontos amostrados. Uma vez determinada a estrutura de dados a ser utilizada, a amostragem pode ser armazenada em arquivos. Isto tem um valor muito importante, pois mesmo sendo o processo de amostragem demorado, ele só precisa ser executado uma única vez para cada objeto amostrado. Qualquer imagem relativa ao objeto amostrado pode ser gerada partindo-se de uma única tomada de pontos.

23 23 Figura 2.8: Determinação do triângulo que contém um ponto em um polígono. 2.4 Reconstrução de Imagens Com um conjunto de pontos amostrados é possível reconstruir uma imagem a partir destes. Deseja-se projetar o conjunto de pontos obtidos na etapa de amostragem, no espaço 3D, para uma imagem em 2D com uma resolução previamente definida pelo usuário. Para isto, são utilizadas as técnicas de operações de câmera sintética [7], aplicando operações com matrizes de forma a mapear as coordenadas dos pontos e de suas normais do antes espaço de objeto, para um espaço de câmera. As etapas necessárias para esta operação são: Projetar os pontos no espaço para uma viewport pré-definida; Associar as coordenadas na viewport com as coordenadas de tela (2D); Testar a visibilidade do pixel no ZBuffer; Calcular a cor do pixel considerando as propriedades materiais e fontes de luz; Existe ainda uma etapa de pós-processamento da imagem que visa preencher possíveis falhas de cobertura dos pixels. Isto se dá em virtude que, as transformações realizadas no objeto, magnificação (efeitos como zoom) e a distorção da projeção perspectiva conforme a posição do observador, podem tornar a resolução escolhida para a amostragem do objeto não suficiente. Este efeito também é causado caso a resolução da imagem a ser gerada for muito superior à resolução amostrada. Métodos para resolver este tipo de problema são discutidos de forma geral na seção e uma solução desenvolvida neste trabalho é apresentada na seção Reconstruindo com Projeção Perspectiva Para realizar a projeção perspectiva, é preciso estabelecer as informações da câmera e da área de visualização do objeto, denominada Frustum [7]. Este Frustum delimita o

24 24 espaço onde o objeto está inserido por seis planos, na forma de um tronco de pirâmide (ver figura 4.2). Isto significa que apenas pontos que estejam contidos neste volume devem ser projetados, eliminando cálculos desnecessários com pontos não visíveis. Além disto, o plano mais próximo da câmera fornece a janela de visualização (viewport), onde os pontos serão projetados ainda em coordenadas no espaço. Considera-se neste trabalho, sem perda de generalidade, que a câmera está centralizada na origem, tendo o vetor do observador no sentido do eixo z positivo [0 0 1], e o vetor que define a direção superior no sentido do eixo y positivo [0 1 0]. Naturalmente, o frustum deve acompanhar o sentido da câmera e o objeto deve estar contido neste frustum para poder ser visualizado. Tomando estes cuidados os cálculos necessários tornam-se mais simples. Do contrário, é necessário realizar as operações de transformação necessários sobre o objeto para que esta configuração seja atingida. Em outras palavras, passar o objeto do sistema de coordenadas do universo, para o sistema de coordenadas da câmera. Cada ponto deve ser projetado para a janela de visualização considerando sua posição no espaço. Porém, esta projeção eliminará a coordenada z de cada ponto, fornecendo as coordenadas desse ponto em uma janela de visualização em duas dimensões. Isto é feito utilizando as profundidades do ponto em questão z e da janela de visualização d, calculando w = z/d. As novas coordenadas x p e y p são obtidas simplesmente calculando x p = x/w e y p = y/w [7]. Os valores de xp e yp permitem calcular as coordenadas com valores inteiros da posição do pixel que este ponto representa na imagem, utilizando as dimensões da janela de visualização. As coordenadas discretizadas x e y também indexam as informações no ZBuffer. É possível que dois ou mais pontos projetem no mesmo pixel, porém apenas o mais próximo deve ser mantido. Um simples teste de profundidade no ZBuffer [4] permite saber se o ponto projetado está na frente ou atrás de algum outro já projetado. No ZBuffer também é armazenada a cor do pixel, que é resultado da aplicação das fontes de luz sobre a cor previamente obtida na amostragem. O modelo de iluminação utilizado aqui é o modelo de Phong [19]. A figura 2.9 mostra o resultado do processo de reconstrução completo com uma imagem gerada pelo protótipo desenvolvido neste trabalho. Figura 2.9: Imagem renderizada através de RBP.

25 25 Estas operações são realizadas para todos os pontos amostrados. Nesta monografia não está sendo considerado nenhum mecanismo de melhoria nos cálculos envolvidos porém algum mecanismo que acelere as operações pode ser desenvolvido tirando proveito da coerência existente entre os pontos amostrados. Também não está sendo realizado recorte dos pontos no Frustum, apenas identificando quais pontos estão fora da janela de visualização por scissoring [7]. O processo de reconstrução de imagens é fortemente afetado pela amostragem dos pontos. Na figura 2.10 pode-se notar este fato de forma bem destacada. Estas imagens foram renderizadas com uma resolução final de pixels, sem receber pós processamento para preencher falhas. A imagem da esquerda, 2.10(a), representa um objeto amostrado com o valor de resolução igual a 200 3, e pode-se notar um número bem superior de falhas do que a da imagem da direita, 2.10(b), onde a resolução de amostragem foi aumentada para (a) (b) Figura 2.10: Renderização de um objeto amostrado em resoluções diferentes A imagem final tem resolução de 256 2, e em (a) tem-se um objeto amostrado em 200 3, enquanto que em (b) a amostragem foi de Considerando este fato, uma das principais contribuições deste trabalho é uma solução que visa melhorar a amostragem de um objeto adaptando-se a sua superfície é apresentada na seção Preenchendo Falhas Existentes A amostragem do objeto fornece um conjunto de pontos baseado na resolução de amostragem solicitada pelo usuário. Em alguns casos, esta resolução pode não ser suficiente para gerar uma imagem perfeita, ou seja, podem existir pixels que não estão preenchidos com a cor correta, ou mesmo sem cor alguma. A figura 2.11 ilustra falhas de cobertura em uma imagem. Uma falha pode ser formada quando nenhum dos pontos amostrados é projetado em um pixel que deveria ser preenchido. Este tipo de falha é referenciado como falha com fundo de imagem. Ainda, quando um pixel está preenchido com alguma cor que faz parte da superfície do objeto que não deveria estar visível, a falha causada é denominada falha de superfície. Este último caso é comum acontecer considerando-se que na projeção

26 26 Figura 2.11: Imagem com falhas de preenchimento. A resolução de amostragem é e a da imagem renderizada é de perspectiva os pontos mais próximos à câmera serão projetados em pixels mais distantes um do outro do que os pontos mais distantes. Na figura 2.12 é possível notar a falha de superfície (em verde), causada pela projeção de pontos que fazem parte da área não visível do objeto. O pixel em branco representa uma falha de fundo de imagem, onde nenhum ponto projeta para aquele pixel, quando deveria. A resolução final da imagem também influencia no surgimento de falhas. Quanto maior a resolução desejada, maior a distância entre os pixels, aumentando a probabilidade de existir falhas entre estes pixels. No caso de menores resoluções, mais pontos projetaram no mesmo pixel ou em arredores, diminuindo a distância entre eles, e conseqüentemente o número de falhas. De forma que não seja necessário reamostrar este objeto, deve-se de alguma maneira preencher os pixels que não contém informação de cor. Esta etapa é um tanto delicada, uma vez que pode ser complicado quando uma falha é autêntica ou não. Zwicker utiliza uma técnica denominada Surface Splatting [25] que evita o surgimento deste tipo de problema já no momento da projeção dos pontos. Ao invés de um ponto representar exatamente um pixel na tela, este ponto incidirá em uma área no framebuffer. Esta área descreve uma forma elíptica determinada pelo EWA (Eliptical Weighted Average), onde os pixels mais distantes do centro da elipse possuem um peso mais baixo. Este peso é utilizado para determinar a influência daquela cor no pixel em questão, uma vez que diversas elipses podem estar sobrepostas. Outra solução, proposta por Grossman, analisa os pixels vizinhos daquele onde ocorreu a falha, comparando a profundidade no ZBuffer. Uma vez identificado se aquele pixel é uma falha autêntica, sua cor deve ser preenchida, e para isto, uma técnica semelhante ao mapeamento de texturas com Mip-Map. Várias imagens com menores resolução são geradas, até que o pixel equivalente ao que tem falha esteja preenchido. A cor deste pixel é utilizada então para preencher a falha na imagem original.

27 27 Figura 2.12: Falhas de superfície e de fundo de imagem. A área em verde representa uma falha de superfície, e a em branco, uma falha de fundo. Este trabalho propõe um novo mecanismo para preenchimento de falhas que visa obter a melhor relação entre tempo de processamento e qualidade da imagem. Esta solução é apresentada na seção Aplicações da CGBP A técnica de renderização baseada em pontos tem tomado importância na comunidade apenas recentemente, apesar de ter trabalhos iniciados há algum tempo. Muitos estudos estão sendo realizados, tanto para melhorar os procedimento existentes como para determinar novas aplicações possíveis. Neste trabalho, os pontos foram capturados em objetos representados por polígonos. No entanto, a técnica pode ser facilmente aplicada em objetos que já têm sua superfície capturada como conjunto de pontos, por exemplo, através de scanners 3D. Levoy et al demonstram esta aplicabilidade no projeto Michelangelo [13] (ver figura 2.13, onde o conjunto de pontos é obtido varrendo a superfície de estátuas. Outras aplicações em áreas como geociências [11], dados volumétricos como em aplicações médicas [9] e visualização de fluidos [17] também fazem uso de pontos para representar superfícies explicitamente. Isto mostra que, independente da fonte, qualquer superfície que estiver representada por pontos pode gerar imagens reconstruídas através dos mecanismos citados nesta monografia. A modelagem de formas de objetos também pode tirar proveito da representação por pontos. Aplicar efeitos como deformações ou distensões em superfícies representadas por triângulos por exemplo, implica em problemas como realizar a alteração da superfície de acordo com o que a disposição dos vértices dos triângulos. Em casos que se deseja uma fidelidade maior, talvez seja necessário dinamicamente subdividir a superfície

28 28 visando aumentar o nível de detalhes. Em superfícies representadas por pontos, aplicar estes efeitos torna-se mais simples, uma vez que já existe um alto nível de detalhe com uma primitiva fundamental como um ponto. A liberdade e a facilidade para movimentar pontos no espaço é maior do que com polígonos, em virtude da independência de um ponto em relação ao outro, o que não acontece com vértices de triângulos por exemplo. O mesmo acontece em situações onde deseja-se remover partes do objeto ou até mesmo fundir dois objetos. Remover uma área de um objeto representado por pontos consiste em apenas remover os pontos que dizem respeito aquela área. Unir dois objetos ou parte destes também torna-se simples neste abordagem, bastando adicionar o conjunto de pontos do um objeto à representação do outro. Figura 2.13: Estátua de David, parte do projeto Digital Michelangelo, sendo capturada por um scanner 3D.

29 3 Amostragem Adaptativa e Preenchimento de Falhas As falhas geradas na imagem final podem ser diminuídas melhorando a amostragem do objeto. Isto pode ser feito simplesmente aumentando a resolução de amostragem, o que levaria a um aumento homogêneo na quantidade de pontos amostrados. Uma outra solução é obter um número maior de pontos apenas em áreas onde se faz mais necessário. Estas áreas correspondem intuitivamente a partes da superfície do objeto que possuem uma certa curvatura. Quanto mais acentuada for esta, mais pontos seriam necessários para representá-la corretamente. O problema pode ser imaginado, analisando-se dois raios adjacentes sendo disparados contra uma superfície. Quanto mais próximo de zero for o ângulo entre este raio e a normal da superfície em questão, mais próximos estarão os pontos amostrados. Porém, a medida que o ângulo entre o raio e o plano do polígono vai se aproximando de 90 graus, mais distantes ficam os pontos amostrados, criando a possibilidade de gerar falhas na renderização da imagem. Pode-se observar este fato na figura 3.1, onde em (a) tem-se dois raios disparados contra uma superfície perpendicular a estes e uma distância d 1 entre os pontos de intersecção. Esta distância aumenta na figura (b) conforme a inclinação da superfície aumenta em relação aos raios, tendo como resultado d 1 < d 2 < d 3. A melhoria na amostragem de superfícies representada por polígonos descrita neste trabalho é denominada Amostragem Adaptativa, e é apresentada na próxima seção. 3.1 Amostragem Adaptativa O processo de Amostragem Adaptativa tenta sempre manter os pontos amostrados o mais próximos possíveis, sendo que a distância máxima aceita é definida pela resolução da amostragem inicial. A solução proposta permite determinar a necessidade de amostragem mais densa em função da inclinação local da superfície, que é identificada por um ângulo θ entre o raio e o vetor normal à superfície no ponto de incidência. Um novo valor d deve ser calculado de acordo com d = d. cos θ (aproveitando-se do valor já calculado do produto escalar entre os vetores do raio de incidência e a normal à superfície). Isto pode ser observado na figura 3.1, onde em (a) tem-se a distância entre dois raios ( d) ortogonais a superfície (θ=0 ) descrevendo exatamente a distância entre dois pontos. Já em (c), mantendo d em uma superfície inclinada aos raios (0 < θ <90 ), a distância entre os pontos é aumentada na dimensão representada pelo segmento contínuo. O segmento pontilhado representa a distância que os pontos deveriam manter, ou seja exatamente d. Quanto maior for θ, menor o novo intervalo entre os raios. Raios ortogonais ao vetor normal (θ=90 ) não são considerados como intersecções válidas. Este novo passo de intervalo calculado deve ser utilizado para realizar uma superamostragem local, ou seja, o valor de d é mantido como passo original entre os raios. Novos pontos são capturados iterativamente, em torno de cada ponto original, porém, desta vez utilizando o intervalo d. É importante observar que a resolução de amostragem inicial deve ser tal que possibilite atingir todos os polígonos do objeto. Caso isto não ocorra, a amostragem adaptativa não terá efeito sobre estes polígonos, já que nem um raio