Trabalho Final de Processamento de Imagens: Panografia

Transcrição

1 Trabalho Final de Processamento de Imagens: Panografia 1. Introdução Vítor Silva Sousa 1 1 Escola Politécnica Universidade Federal do Rio de Janeiro (UFRJ) Rio de Janeiro RJ Brasil vitor.silva.sousa@gmail.com O objetivo desse trabalho é desenvolver uma aplicação focada na formação de uma imagem a partir de transformações lineares entre imagens que apresentam semelhanças nos seus componentes. Esse procedimento é conhecido como panografia e, na maioria dos casos, é realizada de forma manual, através da edição de cada imagem. Nesse sentido, a proposta desse trabalho é tornar a panografia um processo automatizado. 2. Panografia A aplicação proposta por esse trabalho para automatizar a panografia foi dividida numa sequência de etapas, conforme a Figura 1. Filtro Gaussiano Filtro de Sobel Detector de Harris União das Imagens RANSAC NCC Figura 1. Etapas para realizar a panografia. A primeira etapa consiste na realização de um filtro gaussiano, que consiste na convolução do sinal da imagem pela função gaussiana, nesse caso, bidimensional. Além disso, utiliza-se uma janela nxn para considerar a distribuição da função gaussiana. O uso desse filtro é justificado pela possibilidade de remoção de ruídos, sendo que a imagem final dessa transformação apresentada uma aparência borrada e menos pixels que a imagem original (por considerar uma janela nxn), conforme a Figura 2.

2 (a) (b) Figura 2. Aplicação do filtro gaussiano. (a) Imagem original. (b) Imagem com filtro gaussiano. Já o filtro de Sobel caracteriza-se pela convolução do sinal da imagem por uma janela 3x3, sendo que essa janela pode apresentar duas configurações (sentido horizontal e vertical). Essas configurações definem se o objetivo do filtro é detectar arestas na vertical (filtro de Sobel horizontal) ou na horizontal (filtro de Sobel vertical), conforme a Figura 3. (a) (b) Figura 3. Aplicação do filtro de Sobel. (a) Imagem com filtro de Sobel horizontal. (b) Imagem com filtro de Sobel vertical. A próxima etapa do processo de panografia consiste na execução do detector de Harris (Harris & Stephens, 1988), sendo que o mesmo pertence à categoria de detector de características. O objetivo dessa categoria é a identificação de pontos importantes numa imagem, sendo que sua importância está relacionada à capacidade de estipular correspondências entre imagens que apresentem pontos em comum. Para isso, esse detector baseia-se na análise da mudança da coloração dos pixels nos sentidos horizontal e vertical, sendo que os pontos de interesse são os dois quinas, em que as variações entre os dois sentidos são altos. A Figura 4 apresenta um exemplo de keypoints identificados pelo detector de Harris.

3 Figura 4. Os pontos azuis são keypoints detectados pelo detector de Harris. Já o algoritmo de NCC (Normal Cross-Correlation) (Gonzalez & Woods, 1992) foi responsável pela comparação de cada par de keypoints obtidos pelas imagens a serem comparadas para formar a panografia. O valor da comparação é obtido pela análise dos pixels vizinhos numa determinada janela a ser definida (parâmetro). Além disso, os pares de keypoints com maiores valores são definidos como matches, ou seja, sendo essa uma indicação de que os dois keypoints comparados poderiam ser elementos iguais nas duas imagens. Vale ressaltar que caso uma tentativa de definição de match possua algum dos keypoints definido em outro match, então esse match não será definido (não é válido). A Figura 5 apresenta um exemplo da execução do NCC para duas imagens.

4 (a) (b) (c) Figura 5. Resultado da execução do NCC. (a) e (b) são as imagens originais a serem comparadas. (c) matches realizados pelo algoritmo de NCC com valor superior a um valor de corte definido. Dada a identificação dos matches relevantes para a comparação de duas imagens, o algoritmo de RANSAC (Random Sample Consensus) (Cantzler) (Fischler & Bolles, 1981) foi desenvolvido para calcular a transformação linear necessária para que uma imagem sobreponha à outra. Esse algoritmo consiste na comparação de um conjunto de pontos ( ) mínimos para instanciar os parâmetros livres, sendo que esses pontos são escolhidos aleatoriamente. Essa comparação é realizada iterativamente a partir de um parâmetro que determina o número de interações, sendo que em cada interação, obtém-se uma solução ( ) com o conjunto de pontos definidos. Para a solução encontrada, cada elemento do conjunto complemento de é analisado para determinar se estão dentro de um erro tolerável (ε). Caso esteja, esse elemento é adicionado a outro conjunto de elementos que satisfazem ao problema ( ). Após cada interação, deve-se analisar se o conjunto apresenta um número maior que a melhor solução já encontrada. Caso seja maior, o conjunto torna-se a melhor solução, senão a melhor solução continua sendo a já armazenada. Ao final de todas as interações, a melhor solução poderá ser encontrada e aplicada ao modelo em questão. Nesse caso, a melhor solução é a transformação responsável pela rotação e translação de uma imagem para sobrepor outra. Portanto, o resultado apresenta os parâmetros (ângulo medido em radianos), (translação horizontal) e (translação vertical). Já a última etapa consiste no uso da solução da etapa anterior para sobrepor as imagens em si.

5 3. Desenvolvimento O trabalho foi desenvolvido através da IDE Aptana Studio 3, utilizando a linguagem de programação Python. Para realizar a manipulação das imagens foi utilizada a biblioteca PIL (Python Imaging Library), sendo a mesma responsável por abrir, converter, criar e sobrepor imagens. Para a solução do problema de regressão encontrado na etapa do algoritmo de RANSAC, utilizou-se a biblioteca SciPy. 4. Resultados Essa seção tem o objetivo de apresentar os resultados obtidos para as translações horizontal e vertical, assim como para a rotação de imagens Translação Horizontal As Figura 6, Figura 7 e Figura 8 apresentam exemplos com translação horizontal. Figura 6. Panografia de imagens transladadas horizontalmente. (a) Imagem de entrada 1. (b) Imagem de entrada 2. (c) Panografia produzida.

6 Figura 7. Panografia de imagens transladadas horizontalmente. (a) Imagem de entrada 1. (b) Imagem de entrada 2. (c) Panografia produzida. Figura 8. Panografia de imagens transladadas horizontalmente. (a) Imagem de entrada 1. (b) Imagem de entrada 2. (c) Panografia produzida.

7 4.2. Translação Vertical A Figura 9 apresenta um exemplo com translação vertical. Figura 9. Panografia de imagens transladadas verticalmente. (a) Imagem de entrada 1. (b) Imagem de entrada 2. (c) Panografia produzida Translação Horizontal e Vertical A Figura 10 apresenta um exemplo com translações horizontal e vertical. Figura 10. Panografia de imagens transladadas horizontal e verticalmente. (a) Imagem de entrada 1. (b) Imagem de entrada 2. (c) Panografia produzida.

8 4.4. Rotação A Figura 11 apresenta um exemplo com rotação de ângulo pequeno, enquanto que a Figura 12Figura 13 é um exemplo com rotação de ângulo acima de dez graus. Pelos resultados obtidos com diferentes testes de imagens com rotação, pode-se observar que a rotação não é bem efetuada por uma limitação do algoritmo de detecção de Harris, uma vez que a mudança no posicionamento dos pixels, quando há rotação, não é analisada pelo algoritmo ao observar sua vizinha. Por esse motivo, apesar de calcular o ângulo correto de rotação em alguns casos, o mesmo não realiza a translação adequada. Sendo assim, o uso de ângulos pequenos de rotação entre as imagens é uma limitação da execução desse algoritmo de panografia. Figura 11. Panografia de imagens com rotação de ângulo pequeno. (a) Imagem de entrada 1. (b) Imagem de entrada 2. (c) Panografia produzida.

9 Figura 12. Panografia de imagens com rotação. (a) Imagem de entrada 1. (b) Imagem de entrada 2. (c) Panografia produzida Panografia com três imagens A Figura 13 apresenta a panografia de três imagens. Como a comparação e união das imagens é realizada em pares, a panografia [Figura 13(d)], nesse caso, foi produzida a partir da comparação de pares de imagens, sendo no primeiro passo duas imagens de entrada foram comparadas [Figura 13(a) e Figura 13(b)] e, no segundo o passo, o produto da etapa anterior foi comparado com a outra entrada [Figura 13(c)], produzindo a panografia final.

10 Figura 13. Panografia de três imagens transladadas horizontal e verticalmente. (a) Imagem de entrada 1. (b) Imagem de entrada 2. (c) Imagem de entrada 3. (d) Panografia produzida. Bibliografia Cantzler, H. (n.d.). Random Sample Consensus (RANSAC). p. 4. Fischler, M. A., & Bolles, R. C. (1981). Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. p. 15. Gonzalez, R., & Woods, R. (1992). Digital Image Processing. Massachusetts: Reading. Harris, C., & Stephens, M. (1988). A Combined Corner And Edge Detector. p. 6.