COMPOSIÇÃO DE IMAGEM COMPLETAMENTE EM FOCO E RECONSTRUÇÃO 3D A PARTIR DE REGIÕES EM FOCO EM MACROFOTOGRAFIA

Transcrição

1 Universidade Federal da Paraíba Centro de Ciências Exatas e da Natureza Departamento de Informática Bacharelado em Ciência da Computação Programa de Educação Tutorial PET.Com Anderson Vinícius Alves Ferreira COMPOSIÇÃO DE IMAGEM COMPLETAMENTE EM FOCO E RECONSTRUÇÃO 3D A PARTIR DE REGIÕES EM FOCO EM MACROFOTOGRAFIA João Pessoa Abril de 2008

2 Universidade Federal da Paraíba Centro de Ciências Exatas e da Natureza Departamento de Informática Bacharelado em Ciência da Computação Programa de Educação Tutorial PET.Com Anderson Vinícius Alves Ferreira COMPOSIÇÃO DE IMAGEM COMPLETAMENTE EM FOCO E RECONSTRUÇÃO 3D A PARTIR DE REGIÕES EM FOCO EM MACROFOTOGRAFIA Monografia referente ao trabalho de pesquisa em desenvolvimento no âmbito do Programa de Educação Tutorial PET.Com, tendo como orientador o Professor Tutor Doutor Leonardo Vidal Batista. João Pessoa Abril de 2008

3 SUMÁRIO 1 INTRODUÇÃO FUNDAMENTAÇÃO TEÓRICA PROFUNDIDADE DE CAMPO FILTROS NO DOMÍNIO ESPACIAL OPERAÇÃO DE CONVOLUÇÃO CONVOLUÇÃO EM PROCESSAMENTO DIGITAL DE IMAGENS MEDIANA MATERIAIS E MÉTODOS MATERIAIS MÉTODOS Problema da Profundidade de Campo (Depth of Field Problem DOF) Reconstrução Tridimensional (3D) RESULTADOS PROBLEMA DA PROFUNDIDADE DE CAMPO Sem Mediana Com Mediana RECONSTRUÇÃO TRIDIMENSIONAL DISCUSSÃO CONCLUSÃO REFERÊNCIAS BIBLIOGRÁFICAS... 23

4 3 1 INTRODUÇÃO A fotografia é uma arte que surgiu no século XIX quando, em 1826, o inventor francês Joseph Nicéphore Niépce produziu uma imagem reconhecida como a primeira fotografia do mundo, sendo exigidas oito horas de exposição à luz solar, e que atualmente ainda encontra-se preservada (Wiki 01). A fotografia foi uma das mais importantes invenções do século XIX e, desde então, cresceu e cresce cada vez mais, impulsionada tanto por fotógrafos profissionais quanto por amadores. Em busca de obter a foto perfeita, os amantes da fotografia analisam diversos fatores iluminação, foco, ângulo de visão, profundidade de campo, tipos de lentes, tipos de filme e papel de revelação, entre outros que determinam a qualidade de uma foto e, às vezes, passam horas - ou mesmo dias - fazendo suas tentativas. As câmeras fotográficas têm dado largos passos para tornarem-se capazes nossa percepção visual em uma simples fotografia. Contudo, apesar de todo esse progresso, muitas limitações chave ainda permanecem. O olho humano consegue discernir uma ampla série de intensidades de luz, do claro ao escuro, é capaz de perceber uma mais vasta série de cores, e consegue taxar o que é branco em uma data cena muito melhor do que qualquer equipamento fotográfico (Cambridge 01). Os fotógrafos têm que estar cientes destas e outras deficiências para dar ênfase aos elementos de uma cena como eles os vêem. Isso freqüentemente requer que os fotógrafos façam decisões interpretativas antes e após a exposição para superar essas diferenças. Cada cena tem suas características únicas, e assim os resultados para cada foto podem ser bastante diferentes. Um quadro de uma noite à baixa-luz será tratado bem diferentemente de uma foto instantânea de uma pessoa durante um dia claro, por exemplo. Quando se vê uma cena, tem-se o prazer de ser capaz de procurar e mudar o que se vê com os próprios olhos. Esta habilidade é bastante diferente do que uma câmera pode fazer com uma dada lente, e implicações surgem desta diferença. Algumas técnicas, tais como Profundidade de Campo, Intensidade de Luz e Campo de Visão, podem todas contribuir para um efeito abrangente que provoquem emoções intensificadas em quem está admirando a fotografia, enfatizando não somente o que alguém realmente deseja ver, mas também o que elas gostariam que ele visse.

5 4 Em certas ocasiões, quando se obtém imagens de um determinado objeto alvo o objeto em foco da cena a ser fotografada que está a uma distância muito pequena da lente da câmera fotográfica, apenas parte do objeto está em foco. Exatamente no ponto onde foi focada, a imagem está, como planejado, em perfeito foco. Mas, para as partes da imagem nos planos mais à frente e nos planos mais distantes desse ponto perfeito de foco, a imagem está fora de foco. Este resultado é o efeito de uma estreita profundidade de campo que é definida como a gama de distâncias em torno do plano focal na qual há nitidez aceitável. E é importante observar que esse efeito é uma limitação física das lentes ópticas e, portanto, não há como os fotógrafos reverterem essa situação apenas utilizando suas câmeras quaisquer que sejam elas. Há ocasiões em que parte da imagem é intencionalmente deixada fora de foco, pois este efeito faz com que a parte em foco torne-se mais interessante, mais atrativa, em todo o contexto da imagem. Por outro lado, existem casos em que a estreita profundidade de campo torna-se um problema. Como exemplo, tem-se o problema específico de Granulometria, na área de Processamento Digital de Imagens, em que, para resultados otimizados, necessita-se de imagens com foco máximo em toda sua extensão. A obtenção de uma única imagem toda em foco é uma tarefa muito complicada, e algumas vezes impossível, principalmente quando os objetos são muito pequenos e fotografados a uma distância muito pequena. Uma estratégia para resolver esse problema, e conseqüentemente obter uma imagem com foco máximo, é capturar uma pilha de imagens cada uma com diferentes profundidades de campo, verificar e obter as partes em foco de cada imagem, e em seguida, fazer a junção de todas estas partes em uma única imagem a imagem com foco máximo. E seguindo a idéia de capturar imagens de um objeto alvo em uma mesma cena, mas com diferentes planos focais, pode-se entrar em outra área de grande interesse do ser humano e, por conseguinte, de diversas áreas do conhecimento, que é a reconstrução tridimensional (reconstrução 3D). A reconstrução tridimensional tem sua importância na medida em que ela reflete a percepção que o ser humano possui da realidade ao seu redor, tornando assim a visualização em mundo virtual mais realística. Como exemplo de aplicação da reconstrução 3D, e seguindo a linha do exemplo de Granulometria citado anteriormente, tem-se a reconstrução de grãos e partículas para Análise Morfológica de tais objetos.

6 5 Obtendo-se imagens de diferentes planos de um mesmo objeto, a idéia base para fazer a sua reconstrução 3D é obter os contornos do objeto em cada plano e, a partir deles, fazer as ligações entre seus pontos correspondentes. Sendo assim, este trabalho tem como objetivos principais criar um sistema computacional capaz de resolver o problema da profundidade de campo em imagens fotográficas utilizando uma pilha de imagens do mesmo objeto alvo em uma mesma cena e com diferentes planos de foco; e também investigar a possibilidade de usar essa mesma pilha para realizar a reconstrução tridimensional do objeto alvo.

7 6 2 FUNDAMENTAÇÃO TEÓRICA Esta seção descreve os principais conceitos utilizados nos métodos para a resolução do problema da profundidade de foco, e para a reconstrução tridimensional. 2.1 PROFUNDIDADE DE CAMPO A profundidade de campo é gama de distâncias em torno do plano focal na qual há nitidez aceitável. A profundidade de campo depende dos tipos de câmeras, aberturas e distância, apesar de também ser influenciada pelo tamanho da impressão e pela distância de visualização da imagem. Figura 01: Profundidade de Campo A profundidade de campo não muda em nenhuma região da imagem de modo abrupto, ou seja, em nenhum ponto observa-se transição de nitidez total para desfoque, sempre ocorre uma transição gradual. Na verdade, tudo imediatamente em frente ou atrás do plano de foco já começa a perder nitidez mesmo que não percebamos com nossos olhos ou pela resolução da câmera. 2.2 FILTROS NO DOMÍNIO ESPACIAL Em Processamento de Imagens Digitais, algumas operações são feitas trabalhando com os valores dos pixels da vizinhança de um determinado pixel e os correspondentes valores de uma subimagem que tem as mesmas dimensões desta vizinhança. Tal subimagem é geralmente

8 7 chamada de filtro, ou máscara. Os valores em um filtro são chamados de coeficientes, em vez de pixels. O conceito de filtro tem suas origens no uso da transformada de Fourier para processamento de sinais no então chamado domínio da freqüência (Gonzalez, 2002). Entretanto, os filtros usados no domínio espacial - termo usado para diferenciar este tipo de processo da mais tradicional filtragem no domínio da freqüência operam diretamente nos pixels de uma imagem. O processo consiste simplesmente em mover o filtro de ponto a ponto em uma imagem. Em cada ponto, a resposta do filtro é calculada segundo uma relação predefinida. Uma importante questão na implementação de operações sobre vizinhança para filtros espaciais é sobre o que acontece quando o centro do filtro alcança a borda da imagem. Se o centro da mascara se move cada vez mais perto da borda, uma ou mais linhas ou colunas ficarão localizadas fora do plano da imagem. Há muitas maneiras de manipular essa situação. A mais simples é limitar o percurso da mascara para ficar em uma região onde a vizinhança esta bem definida. Outro caminho é filtrar todos os pixels somente com a seção da mascara que esta completamente contida na imagem. Outra solução inclui preencher a imagem adicionando linhas ou colunas com alguma constante em nível de cinza, ou preencher reaplicando linhas ou colunas - o preenchimento é removido ao final do processo. Entretanto, a única maneira de obter um resultado de filtragem perfeito é aceitar uma imagem filtrada um tanto menor, limitando o percurso do centro do filtro a uma distancia em que a vizinhança esteja bem definida - ou seja, o filtro pode ser aplicado completamente. 2.3 OPERAÇÃO DE CONVOLUÇÃO Em matemática, convolução é um operador matemático que, a partir de duas funções, produz uma terceira. Ela é definida como a integral do produto de uma das funções com uma cópia revertida e deslocada da outra. A função resultante depende do valor deste deslocamento (Wiki 02). Fórmula 01: Operador de Convolução Unidimensional Contínua

9 8 Na fórmula acima, f seria a função de ponderação, enquanto que cópias revertidas de g estariam sendo deslocadas e somadas ao resultado. Entretanto, a convolução não depende da ordem das funções, ou seja, a função de ponderação pode ser tanto f quanto g, produzindo o mesmo resultado. Sempre que existirem transformações lineares e invariantes de um determinado sinal, pode-se falar em convolução. Ou seja, um sinal ao passar por um dispositivo qualquer, vai certamente sofrer uma transformação, e é essa transformação que chamamos convolução. Essa característica justifica plenamente o interesse existente no estudo dessa operação matemática, pois ela é essencial para sabermos o sinal que está na origem ou, pelo contrário, transformar o sinal original naquele que desejamos obter no final. As convoluções são definidas no domínio contínuo, mas devido à necessidade de implementação por muitos dispositivos eletro-eletrônicos, o operador é discretizado, o que significa, em termos práticos, a alteração da integral pelo somatório. Define-se a convolução discreta unidimensional, entre as funções f e g, no ponto n, como sendo: Fórmula 02: Operador de Convolução Unidimensional Discreta 2.4 CONVOLUÇÃO EM PROCESSAMENTO DIGITAL DE IMAGENS Em processamento digital de imagens, utiliza-se o operador de convolução bidimensional discreta, definido como sendo: Fórmula 03: Operador de Convolução Bidimensional Discreta e h. E para aplicação da equação acima, deve-se considerar nulos os valores indefinidos de f

10 9 Os mecanismos de convolução no domínio do espaço estão ilustrados na Figura 02. O processo consiste simplesmente em mover a máscara convolucional também chamada de filtro de ponto a ponto em uma imagem. A cada ponto (x, y), a resposta do filtro naquele ponto, é calculada usando alguma relação anteriormente definida. Para a filtragem espacial linear a resposta é dada pela soma dos produtos entre os coeficientes do filtro e os pixels correspondentes na imagem na área coberta pela máscara convolucional (Gonzalez, 2002). Figura 02: Mecanismo da Operação de Convolução no Domínio Espacial 2.5 MEDIANA Em Teoria da Probabilidade e em Estatística, a mediana é uma medida de tendência central, um número que caracteriza as observações de uma determinada variável de tal forma que este número (a mediana) de um grupo de dados ordenados separa a metade inferior da amostra, população ou probabilidade de distribuição, da metade superior. Mais concretamente, 1/2 da

11 10 população terá valores inferiores ou iguais à mediana e 1/2 da população terá valores superiores ou iguais à mediana. Em casos de populações (n) ímpares, a mediana será o elemento central (n+1)/2. Para os casos de populações (n) pares, a mediana será o resultado da média simples dos elementos n/2 e (n/2)+1. Para a seguinte população: 1, 3, 5, 7, 9 a mediana é 5 (igual à média). No entanto, para a população: 1, 2, 4, 10, 13 a mediana é 4 (enquanto a média é 6). Para a população par: 1, 2, 4, 7, 9, 10 a mediana é (4+7)/2, que é 5.5.

12 11 3 MATERIAIS E MÉTODOS Esta seção lista os materiais utilizados para a implementação dos sistemas e descreve os métodos utilizados para a resolução dos problemas. 3.1 MATERIAIS Para as implementações dos sistemas foram utilizados um computador portátil (laptop) com as configurações listadas abaixo, assim como as ferramentas utilizadas durante o processo, e as pilhas de imagens utilizadas para os testes. Computador: Processador: Intel Core Duo CPU T2350 1,87 GHz Memória (RAM): 1014 MB Tipo de Sistema: Sistema Operacional Windows Vista Starter Edition 32 bits Ferramentas: MatLab Version (R14). May 06, NetBeans IDE Version 6.0 (Build ) JAVA Version 1.6.0; Java HotSpot Client VM b105 Imagens: As pilhas de imagens utilizadas para os testes do sistema para a resolução do problema da profundidade de campo podem ser encontradas no endereço da Web: A pilha de imagens utilizada para os testes de reconstrução tridimensional é uma pilha de imagens de Ressonância Magnética (MRI), encontrada no diretório local do MatLab.

13 MÉTODOS Problema da Profundidade de Campo (Depth of Field Problem DOF) A resolução do problema consiste em obter uma pilha de imagens com profundidades de campo diferentes imagens com planos focais diferentes e combinar estas imagens para resultar em uma imagem com máxima profundidade de campo. Ou seja, cada ponto da imagem resultante imagem com foco máximo terá o valor do ponto da imagem que está em foco neste ponto, dentre todas as imagens contidas na pilha. A Figura 03 e a Figura 04 (abaixo) ilustram o método: Figura 03: Combinação de imagens com diferentes profundidades de campo Figura 04: Exemplo de combinação de imagens com diferentes profundidades de campo

14 13 O método utilizado para a composição de uma imagem com foco máximo, utilizando uma pilha de imagens com diferentes profundidades de campo, precisa-se, primeiramente, obter as partes da imagem que estão em foco para cada imagem contida na pilha. Uma característica marcante para a distinção entre as partes focada e não focada de uma imagem, é o maior detalhamento de bordas na parte focada. Levando este fato em consideração, utiliza-se a operação de convolução de cada imagem com a matriz convolucional filtro da Figura 05 como método de detecção de bordas, e em seguida, aplica-se a operação de módulo para os valores das matrizes geradas pela convolução. Após isso, tem-se uma pilha de matrizes com informações que levam à obtenção da imagem com foco máximo. Vale destacar que outras diversas matrizes convolucionais para detecção de bordas foram testadas, incluindo o Gradiente de Sobel, o Gradiente de Prewitt, o Operador de Bordas de Kirsch, mas obtiveram-se resultados considerados visualmente inferiores. Figura 05: Matriz convolucional para detecção de bordas O próximo passo consiste em percorrer, para cada coordenada, as matrizes obtidas através método de detecção de bordas, à procura do índice na pilha de matrizes, onde o ponto possui borda definida (focada). Isto é, para cada coordenada verifica-se qual o valor do índice que corresponde ao maior valor dentre todas as matrizes da pilha. Portanto, ao final deste passo, temse uma matriz de índices, que correspondem aos índices das imagens que possuem as bordas mais definidas. O passo seguinte verifica a matriz de índices e gera uma imagem onde o valor de cada pixel é obtido através dos índices. Por exemplo, se o valor de coordenadas (0,0) da matriz de índices é igual a 10, o valor do pixel, de mesma coordenada, da imagem resultante, corresponde ao valor do pixel nesta mesma coordenada da imagem de índice 10, dentre as imagens contidas na pilha de imagens inicial. A imagem obtida por este último passo trata-se da imagem com foco máximo.

15 14 Porém, as imagens da pilha inicial podem conter áreas em que as profundidades de campo se sobrepõem, gerando um tipo de ruído durante a composição da imagem em foco. Portanto, para a otimização do resultado final, aplica-se um filtro de mediana na matriz de índices. É importante destacar que este filtro de mediana opera sobre tamanhos de vizinhanças diferentes, dependendo da magnitude dos valores de detalhamento de borda de cada ponto, de acordo com a equação: raio = round( media/intensidade(i,j)). Analisando a equação, percebe-se que quanto maior for a intensidade de borda no ponto (i, j) intensidade(i,j) menor será a vizinhança; e quanto menor a intensidade maior o tamanho da vizinhança. Ou seja, se um determinado pixel tem um valor de intensidade de borda muito alto a probabilidade de que ele seja o pixel correto é muito grande. Por outro lado, se o valor de intensidade de borda for pequeno é provável que ele não seja o pixel correto ruído e, assim, esse pixel deve ser trocado pela mediana dos pixels ao seu redor para que haja uma uniformização da matriz de índices Reconstrução Tridimensional (3D) Para a reconstrução tridimensional de um determinado objeto a partir de uma pilha de imagens, o método, a seguir descrito, leva em consideração que tal pilha possui, em níveis subseqüentes, imagens de planos do objeto também subseqüentes. A idéia central, base, do método para reconstrução 3D utilizado neste trabalho consiste em considerar que cada ponto (pixel) na pilha de imagens corresponde a uma coordenada no espaço tridimensional, na extração dos contornos das imagens, e subseqüente ligação entre os pontos dos planos (imagens) contidos na pilha. O primeiro passo é a extração dos contornos de cada imagem. Para tal, utiliza-se como método de detecção de bordas o Gradiente de Prewitt, em que o Gradiente é aplicado para detecção de bordas verticais, depois para bordas horizontais, e somam-se os módulos das duas aplicações. Após a detecção de bordas, extraem-se apenas as bordas mais externas obtendo-se, assim, os contornos de cada imagem. Vale salientar que para a obtenção de um contorno mais suave, e conseqüentemente faces mais suaves, pode-se utilizar filtros de suavização (blurring), tal como o filtro da Gaussiana.

16 15 Por conseguinte, cria-se uma lista contendo todos os pontos do espaço tridimensional que poderá ser utilizado para a reconstrução. A posição de cada ponto na lista é dada pela equação: pos = tamj*i - tamj + j + tamj*tami*(k-1), em que pos é a posição do pixel de coordenadas (i, j) na lista de pontos, tami e tamj são, respectivamente, as dimensões horizontais e verticais das imagens, e k é o índice da imagem em que o pixel (i, j) se encontra. pos pertence ao intervalo discreto fechado que vai de 1 (hum) até tami*tamj*(quantidade de imagens na pilha). Em seguida, utilizam-se os contornos das imagens para a construção das faces que irão compor o objeto. Pontos pertencentes aos contornos são considerados vértices do objeto 3D e, a partir deles, são obtidas faces triangulares que fazem parte da reconstrução. A obtenção de faces a partir de um ponto é explicada, a seguir. E a mesma operação é repetida para os demais pontos. Seja um ponto (i, j) pertencente ao contorno de uma imagem, considera-se que esse ponto é vértice de um determinado objeto, portanto faz parte de uma face. A seguir, procura-se na imagem do plano acima, um ponto válido ponto pertencente ao contorno mais próximo do ponto (i, j). O ponto encontrado denomina-se pcima. Em seguida, procura-se pontos na vizinhança (i+1, j), (i-1, j), (i, j+1), (i, j-1), (i-1, j-1), (i-1, j+1), (i+1, j-1), (i+1, j+1) do mesmo plano, pontos válidos. E também os pontos válidos do plano acima, mais próximos de cada ponto válido da vizinhança. Tais pontos denominam-se pcima2. Para cada ponto válido encontrado nesta vizinhança (do mesmo plano), cria-se dois vetores com 3 (três) posições que representam duas faces triangulares. No primeiro vetor, a primeira posição é o ponto (i, j), a segunda posição é um ponto válido da vizinhança, e a terceira posição é o ponto pcima. No segundo vetor, a primeira posição é o ponto (i, j), a segunda é o ponto pcima, e a terceira é o ponto pcima2. Por conseguinte, esses dois vetores são colocados em uma nova lista, que contém as faces que compõem o objeto a ser reconstruído. Pode-se perceber que essas duas faces triangulares se unem formando uma face quadrangular, como podemos ver pelo esquema da Figura 06.

17 16 Figura 06: Duas faces triangulares formando uma face quadrangular O último passo consiste em fazer as interligações entre os pontos coordenados, utilizando as listas de coordenadas dos vértices e faces triangulares obtidas por intermédio dos passos anteriores.

18 17 4 RESULTADOS Os resultados que seguem abaixo são os resultados dos testes realizados utilizando as diferentes abordagens dos problemas, usadas ao longo do desenvolvimento deste trabalho. 4.1 PROBLEMA DA PROFUNDIDADE DE CAMPO Esta sub-seção contém os resultados referentes ao problema da profundidade de campo, utilizando duas abordagens principais para resolver o problema: utilizando e não utilizando o filtro da mediana na matriz de índices Sem Mediana (A) (B) (C) (D)

19 18 (E) (F) (G) (H) Com Mediana (A) (B)

20 19 (C) (D) (E) (F) (G) (H)

21 RECONSTRUÇÃO TRIDIMENSIONAL (A) (B) (C)

22 21 5 DISCUSSÃO No processo de composição de imagens em foco, a utilização do filtro da mediana nos índices das imagens resultou numa melhora significativa da percepção visual dos resultados finais das imagens com foco máximo. A detecção de bordas utilizando a operação de convolução com a matriz da Figura 05, mostrou-se mais robusta e precisa quando comparada com outras matrizes como o Gradiente de Sobel, o Gradiente de Prewitt, e o operador de Kirsch. Mesmo pequenas variações no centro de foco movimento podem gerar ruídos durante a composição da imagem em foco, e o sistema criado não faz detecção e correção destes movimentos. No processo de reconstrução 3D, os resultados finais são superfícies não suaves facetadas -, o que a torna não muito agradável visualmente. Este facetamento se dá pela não continuidade ao longo dos pixels ao longo dos contornos.

23 22 6 CONCLUSÃO Conclui-se que o método para composição de imagens em foco a partir de uma pilha de imagens com diferentes profundidades de campo, utilizando detecção de bordas no domínio espacial, mostrou-se bastante eficaz, considerando os resultados obtidos para as pilhas de imagens testadas. A utilização do filtro da mediana dos índices com tamanho de vizinhança dinâmico melhorou consideravelmente a percepção visual das imagens. Como trabalhos futuros, pode-se citar a implementação de um sistema sensível a variações do centro de foco, ou seja, um sistema capaz de detectar e corrigir casuais movimentos. Sobre a reconstrução tridimensional, conclui-se que o sistema consegue fazer a reconstrução da superfície. Entretanto, a superfície gerada pelo sistema não é suavizada, não constituindo então uma superfície visualmente agradável. Trabalhos futuros concentram-se em estudar maneiras para que a geração das faces componentes da superfície reconstruída se torne mais eficaz, gerando assim uma superfície mais suavizada.

24 23 7 REFERÊNCIAS BIBLIOGRÁFICAS [Cambridge 01] Página da Web, acessada em 28 de Abril de 2008, encontrada em: [Gonzalez 2002] GONZALEZ, Rafael C.; WOODS, Richards E. Digital Image Processing. Prentice Hall. New Jersey, [Wiki 01] Página da Web, acessada em 28 de Abril de 2008, encontrada em: [Wiki 02] Página da Web, acessada em 28 de Abril de 2008, encontrada em: