AMANDA SAORI FUKUSHIGUE HAMA ANÁLISE PARAMETROS E TÉCNICAS UTILIZADOS EM MÉTODO DE REMOÇÃO DE REFLEXO COM SEQUÊNCIA DE IMAGENS

Transcrição

1 AMANDA SAORI FUKUSHIGUE HAMA ANÁLISE PARAMETROS E TÉCNICAS UTILIZADOS EM MÉTODO DE REMOÇÃO DE REFLEXO COM SEQUÊNCIA DE IMAGENS LONDRINA PR 2017

2

3 AMANDA SAORI FUKUSHIGUE HAMA ANÁLISE PARAMETROS E TÉCNICAS UTILIZADOS EM MÉTODO DE REMOÇÃO DE REFLEXO COM SEQUÊNCIA DE IMAGENS Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Prof. Dr. Alan S.Felinto LONDRINA PR 2017

4 Amanda Saori Fukushigue Hama Análise parametros e técnicas utilizados em método de remoção de reflexo com sequência de imagens/ Amanda Saori Fukushigue Hama. Londrina PR, p. : il. (algumas color.) ; 30 cm. Orientador: Prof. Dr. Alan S.Felinto Universidade Estadual de Londrina, Palavra-chave1. 2. Palavra-chave2. I. Orientador. II. Universidade xxx. III. Faculdade de xxx. IV. Título CDU 02:141:005.7

5 AMANDA SAORI FUKUSHIGUE HAMA ANÁLISE PARAMETROS E TÉCNICAS UTILIZADOS EM MÉTODO DE REMOÇÃO DE REFLEXO COM SEQUÊNCIA DE IMAGENS Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Prof. Dr. Alan S.Felinto Universidade Estadual de Londrina Orientador Prof. Dr. Segundo Membro da Banca Universidade/Instituição do Segundo Membro da Banca Prof. Dr. Terceiro Membro da Banca Universidade/Instituição do Terceiro Membro da Banca Prof. Ms. Quarto Membro da Banca Universidade/Instituição do Quarto Membro da Banca Londrina PR, 24 de novembro de 2017

6

7 Este trabalho é dedicado às crianças adultas que, quando pequenas, sonharam em se tornar cientistas.

8

9 AGRADECIMENTOS Os agradecimentos principais são direcionados à Gerald Weber, Miguel Frasson, Leslie H. Watter, Bruno Parente Lima, Flávio de Vasconcellos Corrêa, Otavio Real Salvador, Renato Machnievscz 1 e todos aqueles que contribuíram para que a produção de trabalhos acadêmicos conforme as normas ABNT com L A TEX fosse possível. Agradecimentos especiais são direcionados ao Centro de Pesquisa em Arquitetura da Informação 2 da Universidade de Brasília (CPAI), ao grupo de usuários latex-br 3 e aos novos voluntários do grupo abntex2 4 que contribuíram e que ainda contribuirão para a evolução do abntex2. 1 Os nomes dos integrantes do primeiro projeto abntex foram extraídos de < br/projects/abntex/> 2 < 3 < 4 < e <

10

11 Não vos amoldeis às estruturas deste mundo, mas transformai-vos pela renovação da mente, a fim de distinguir qual é a vontade de Deus: o que é bom, o que Lhe é agradável, o que é perfeito. (Bíblia Sagrada, Romanos 12, 2)

12

13 HAMA,AMANDA SAORI FUKUSHIGUE. Análise parametros e técnicas utilizados em método de remoção de reflexo com sequência de imagens. 35 p. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) Universidade Estadual de Londrina, Londrina PR, RESUMO Fotos por trás de elementos transparentes e reflexivos muitas vezes deixam a imagem obstruída por uma camada de reflexo. O trabalho tem como proposta avaliar mudança nos parametros e técnicas em um método de remoção de reflexo em imagem, que utiliza sequência de imagens com pequena movimentação entre elas. As comparações serão feitas entre o resultado das variações e uma foto da imagem central da sequência sem o objeto reflexivo entre a câmera e a imagem em diversos casos de teste. Com isso, será possível avaliar as vantagens e as desvantagens de cada alteração. Palavras-chave: Latex. Template ABNT-DC-UEL. Editoração de texto.

14

15 HAMA,AMANDA SAORI FUKUSHIGUE. Analysis of parameters and techniques used in reflex removal method with sequence of images. 35 p. Final Project (Bachelor of Science in Computer Science) State University of Londrina, Londrina PR, ABSTRACT Photos behind transparent and reflective elements often leave the image obstructed by a layer of reflection. The work has as proposal to evaluate changes in the parameters and techniques used in a method of image reflection removal, that use image sequence with small movement between them. Comparisons will be made between the results of the method variations and a photo of the central image of the sequence without the reflective object between the camera and the image in several test cases. With this, it will be possible to evaluate the advantages and disadvantages of each method. Keywords: Latex. ABNT-DC-UEL. Text editoration.

16

17 LISTA DE ILUSTRAÇÕES Figura 1 Exemplo de sequência de imagens Figura 2 Exemplo do uso do detector de borda de Canny Figura 3 Exemplo de separação entre reflexo(primeira fileira) e fundo(segunda fileira) Figura 4 Imagem de cada pixel de menor intensidade por entre as imagens alinhadas para o fundo

18

19 LISTA DE TABELAS Tabela 1 Cronograma de Execução

20

21 LISTA DE ABREVIATURAS E SIGLAS RANSAC NCC Random Sample Consensus Normamalized Cross-Correlation

22

23 SUMÁRIO 1 INTRODUÇÃO FUNDAMENTAÇÃO TEÓRICO-METODOLÓGICA E ES- TADO DA ARTE Paralaxe Visual Detector de bordas de Canny Fluxo de borda Normalized Cross-Correlation Método de separação de pixels com maior movimentação e menor Intensidade do pixel PROCEDIMENTOS METODOLÓGICOS/MÉTODOS E TÉC- NICAS OpenCV Funcionamento Aquisição Detecção de borda Mapa de diferença de movimentação dos pixels entre as imagens Separação dos pixels de borda entre fundo e reflexo Interpolação Alinhamento Otimização CRONOGRAMA DE EXECUÇÃO CONCLUSÃO REFERÊNCIAS

24

25 23 1 INTRODUÇÃO Muitas vezes é inevitável tirar fotos por detrás de elementos reflexivos como vidros transparentes, e com isso a imagem desejada fica obstruída por uma camada de reflexo. Há algumas maneiras de fotógrafos solucionarem esse problema, como por ajuste da luminosidade, posicionamento, ou usar lentes polarizadas nas câmeras, porém não são todas as pessoas que portam lentes polarizadas e pode não ser muito conveniente ajustar a luminosidade ou o posicionamento para tirar uma foto. A pesquisa tem como proposta realizar uma análise comparativa entre o método de remoção de reflexo em fotos [1] e variações nos parametros e técnicas desse método, o método utiliza sequência de imagens que tenham pequena movimentação horizontal entre elas para a remoção de reflexo. Para a comparação serão utilizadas sequências de fotos com um vidro transparente entre a câmera e a imagem e depois uma mesma foto da imagem central da sequência será tirada sem o objeto transparente, nas fotos que foram tiradas com a camada de reflexo serão utilizados as variações do método de remoção de reflexo e então será feita a comparação com a imagem sem o reflexo.

26

27 25 2 FUNDAMENTAÇÃO TEÓRICO-METODOLÓGICA E ES- TADO DA ARTE Para a remoção de reflexo em imagem podem ser relacionados três categorias de trabalhos. A primeira categoria seria a remoção de reflexo que utiliza apenas uma imagem. A segunda categoria utiliza equipamentos como lentes polarizadas [2][3], mudança de foco [4], ou aplicação de flash [5]. A terceira categoria utiliza sequência de imagens e usa o movimento relativo entre os dois componentes(fundo e reflexo) para decompor as duas camadas. O método que estudado neste trabalho[1] pertence á terceira categoria e usa fluxo de borda e o conceito de paralaxe visual, para a decomposição das camadas da imagem. 2.1 Paralaxe Visual A paralaxe visual é um conceito que pode ser descrito como a diferença de movimentação dos objetos mais próximos e mais distantes a partir de um observador em movimento, os objetos mais próximos apresentarão maior movimentação e os mais distantes menor, ou seja, como o elemento reflexivo está mais próximo na imagem, na sequência de imagens ele deverá ter uma movimentação visual maior que o fundo. 2.2 Detector de bordas de Canny O detector de bordas de Canny [6] é um algoritmo que detecta uma grande parte das bordas da imagem, ao utilizar esse algoritmo nas imagens de entrada serão extraídas as bordas do fundo e do reflexo tornando o cálculo de movimentação entre as imagens mais confiável, já que as bordas são reconhecidas com mais facilidade, mesmo com diferentes pixels na região da borda entre as imagens. 2.3 Fluxo de borda Fluxo de borda é o vetor de movimentação das bordas entre as imagens. 2.4 Normalized Cross-Correlation NCC(Normalized Cross-Correlation) é a correlação entre duas entradas de vetores, quanto maior o valor retornado maior a relação entre as imagens.

28 Método de separação de pixels com maior movimentação e menor Será escolhido algum método de separação dos pixels, para a literatura é utilizado o RANSAC, além deste método outros serão testados. 2.6 Intensidade do pixel Intensidade do pixel se refere ao "value"do sistema de cores HSV.

29 27 3 PROCEDIMENTOS METODOLÓGICOS/MÉTODOS E TÉCNICAS 3.1 OpenCV Para a pesquisa será utilizado o OpenCV, um software open source de biblioteca para visão computacional e aprendizagem de máquina, na versão 3.1.0, para o préprocessamento das imagens, será usado a linguagem C++ para a implementação; o software apresenta uma função implementada para o "detector de bordas de Canny", e para o cálculo do "NCC". 3.2 Funcionamento Nesta seção serão descritos as etapas do método de remoção de reflexo estudado, e as possíveis alterações nas técnicas ou parametros que serão testados neste trabalho Aquisição Para o método funcionar, são necessários pelo menos cinco fotos em sequência da imagem desejada, essas fotos devem apresentar pequena movimentação na horizontal entre elas, e pelo menos todas as partes da imagem do fundo devem aparecer em um frame dessa sequência. Figura 1 Exemplo de sequência de imagens Detecção de borda Utilizando o OpenCV, essas imagens são dadas como entrada, a imagem do meio será fixada como a principal e o resultado será comparado com a imagem sem reflexo

30 28 dessa imagem central, após a entrada das fotos será feito a detecção das bordas de cada uma delas, na literatura é utilizado o detector de bordas de Canny, para este trabalho planeja-se testar e comparar uma mudança de parametros no detector de Canny, ou a utilização de outro método para a detecção da borda nas imagens. Figura 2 Exemplo do uso do detector de borda de Canny Mapa de diferença de movimentação dos pixels entre as imagens Usando as matrizes com as bordas resultantes da etapa anterior é feito o cálculo de movimentação das bordas entre a imagem central e uma outra, esse cálculo será feito para cada uma das imagens da sequência resultando em quatro mapas de distancia. O cálculo de movimentação na literatura é feito por meio do NCC, essa função indica onde melhor uma janela de imagem se encaixa em uma segunda imagem, com isso é possível encontrar a melhor correspondência para cada pixel de borda e calcular a diferença do local em que o pixel está localizado na primeira imagem comparado com a segunda. Na implementação feita no OpenCV, cada pixel de borda da primeira imagem é o centro da uma janela quadrada menor que a imagem, e então é usado a função NCC do OpenCV, que retorna a melhor correspondência daquela janela na segunda imagem, a diferença da localização do pixel é salvo em uma matriz de estruturas que contém: "x,y"a coordenada do local com melhor correspondência para o pixel na segunda imagem; "difx,dify"sendo a diferença de "x"e "y"entre as duas imagens; e "dist"distância entre os pontos. Para a pesquisa pretende-se testar e comparar outra forma de calcular a correspondência Separação dos pixels de borda entre fundo e reflexo Utilizando o conceito de paralaxe é possível classificar os pixels de borda que mais se movimentaram como parte do reflexo e as que menos se movimentaram como fundo, para essa separação na literatura é utilizado o método RANSAC, é necessário calcular

31 29 para todos os mapas de distância. Na implementação atual o limiar entre reflexo e fundo é encontrado de forma manual, mas espera-se realizar essa divisão de forma automática, um dos métodos que será testado será o Otsu. Figura 3 Exemplo de separação entre reflexo(primeira fileira) e fundo(segunda fileira) Interpolação Com a separação dos pixels pertencentes ao reflexo e ao fundo, é feito a interpolação dos valores da movimentação dos pixels para toda a matriz, isso é feito para a matriz de bordas de reflexo e para a matriz de bordas de fundo, para todas as oito matrizes de pixels de borda. Na implementação atual a interpolação não está sendo utilizada, porém na literatura há o uso da interpolação de superfície visual(visual surface interpolation)[7], serão testados esse e outros métodos de interpolação para este trabalho Alinhamento Com o valor da movimentação do reflexo e do fundo de cada imagem em relação a imagem central, é possível alinhar cada imagem o máximo de pixels de borda de reflexo com a imagem central e então alinhar toda a imagem de acordo, cada pixel da imagem resultante será o pixel de menor intensidade entre os frames alinhados.

32 30 Figura 4 Imagem de cada pixel de menor intensidade por entre as imagens alinhadas para o fundo Otimização No estado atual do trabalho, não foi implementado a otimização utilizada no método estudado.

33 31 4 CRONOGRAMA DE EXECUÇÃO Atividades: 1. Implementação de método automático para separação de pixels de fundo e reflexo; 2. Implementação das etapas de interpolação e otimização; 3. Testes do método com variações nas técnicas e parametros nas etapas de: detecção de borda, mapeamento de movimentação de pixels entre as imagens, classsificação dos pixels entre fundo e reflexo, e interpolação ; 4. Avaliação dos métodos. 5. Escrita do TCC Tabela 1 Cronograma de Execução mai jun jul ago set out nov dez Atividade 1 x x x Atividade 2 x x x Atividade 3 x Atividade 4 x Atividade 5 x x

34

35 33 5 CONCLUSÃO Como as bordas tem alto contraste e são bem definidas, essa característica é usada para auxiliar na localização de uma região correspondente entre 2 imagens distintas, indicando a razão de utilizar as bordas como base da separação por movimento dos pixels. A utilização de paralaxe visual indica uma forma de separar reflexo e fundo em uma imagem, entre pixels que se movimentam mais como reflexo por estarem mais próximos da câmera, e por se movimentarem menos como fundo por estarem mais afastados da câmera. Ao usar o pixel de menor intensidade entre as imagens alinhadas para o fundo, obteve-se uma imagem estimada do fundo melhor do que se fosse utilizado a média entre os pixels alinhados.

36

37 35 REFERÊNCIAS [1] XUE, T. et al. A computational approach for obstruction-free photography. ACM Transactions on Graphics (TOG), ACM, v. 34, n. 4, p. 79, [2] SCHECHNER, Y. Y.; SHAMIR, J.; KIRYATI, N. Polarization-based decorrelation of transparent layers: The inclination angle of an invisible surface. In: IEEE. Computer Vision, The Proceedings of the Seventh IEEE International Conference on. [S.l.], v. 2, p [3] SCHECHNER, Y. Y.; SHAMIR, J.; KIRYATI, N. Polarization and statistical analysis of scenes containing a semireflector. JOSA A, Optical Society of America, v. 17, n. 2, p , [4] SCHECHNER, Y. Y.; KIRYATI, N.; BASRI, R. Separation of transparent layers using focus. In: IEEE. Computer Vision, Sixth International Conference on. [S.l.], p [5] AGRAWAL, A. et al. Removing photography artifacts using gradient projection and flash-exposure sampling. ACM Transactions on Graphics (TOG), ACM, v. 24, n. 3, p , [6] CANNY, J. A computational approach to edge detection. IEEE Transactions on pattern analysis and machine intelligence, Ieee, n. 6, p , [7] SZELISKI, R. Fast surface interpolation using hierarchical basis functions. IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE, v. 12, n. 6, p , 1990.