RICARDO PETRI SILVA PROCESSAMENTO DE IMAGENS PARA RESOLUÇÃO DE PROBLEMAS DE REFLEXOS E SOMBRAS

RICARDO PETRI SILVA PROCESSAMENTO DE IMAGENS PARA RESOLUÇÃO DE PROBLEMAS DE REFLEXOS E SOMBRAS LONDRINA PR 2015

RICARDO PETRI SILVA PROCESSAMENTO DE IMAGENS PARA RESOLUÇÃO DE PROBLEMAS DE REFLEXOS E SOMBRAS Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Prof. Dr. Alan Salvany Felinto LONDRINA PR 2015

RICARDO PETRI SILVA Processamento de imagens para resolução de problemas de reflexos e sombras/ RICARDO PETRI SILVA. Londrina PR, 2015-34 p. : il. (algumas color.) ; 30 cm. Orientador: Prof. Dr. Alan Salvany Felinto Universidade Estadual de Londrina, 2015. 1. Processamento de imagens. 2. Reflexos. 3. Sombras. 4. Iluminação. I. Alan Salvany Felinto. II. Universidade Estadual de Londrina. III. Faculdade de Ciência da Computação. IV. Processamento de imagens para resolução de problemas de reflexos e sombras CDU 02:141:005.7

RICARDO PETRI SILVA PROCESSAMENTO DE IMAGENS PARA RESOLUÇÃO DE PROBLEMAS DE REFLEXOS E SOMBRAS Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Prof. Dr. Alan Salvany Felinto Universidade Estadual de Londrina Orientador Londrina PR, de 2015

Este trabalho é dedicado às crianças adultas que, quando pequenas, sonharam em se tornar cientistas.

Para ganhar conhecimento, adicione coisas todos os dias. Para ganhar sabedoria, elimine coisas todos os dias. (Lao-Tsé)

SILVA, R.P.. Processamento de imagens para resolução de problemas de reflexos e sombras. 34 p. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) Universidade Estadual de Londrina, Londrina PR, 2015. RESUMO Na área de processamento de imagens que está presente na computação gráfica, são realizados vários procedimentos para a análise de imagens e melhoramento na sua qualidade a fim de proporcionar uma melhor identificação e extração de informações. Dentre os problemas existentes, será abordado nesse trabalho técnicas para correção de imagens que apresentam sombras e reflexos, que são fatores que existem em imagens com grande variação de luminosidade. As sombras produzem falsos contornos e os reflexos saturam os canais relacionados as cores, o que causa a perda das informações das cores contidas nos pixels dificultando o processamento da imagem. Neste TCC serão avaliados e comparados artigos e técnicas que abordam o problema do tratamento de imagens com reflexos e sombras. Como finalização temos apresentado os problemas e as soluções encontradas para resolver os artefatos de sombras e reflexos encontrados em imagens. Palavras-chave: processamento de imagens, relfexos, sombras, iluminação.

SILVA, R.P.. Image processing for solving reflections and shadows problems. 34 p. Final Project (Bachelor of Science in Computer Science) State University of Londrina, Londrina PR, 2015. ABSTRACT In the image processing area that is present in graphics computing are performed several procedures for the analysis of images and improvement in quality to provide a better identification and information extraction. Among the existing problems will be addressed in this work techniques for correction of images with shadows and reflections, which are factors that exist in images that shows great variation in brightness. The shadows produce false contours and reflexes saturate related channels colors which causes the loss of color information contained in the pixel difficulting the image processing. In this final paper will be evaluated and compared articles and techniques that address the imaging of the problem with reflections and shadows. As completion will be presented the problems and the solutions to solve the artifacts of shadows and reflections found in images. Keywords: image processing, reflections, shadows, illumination.

LISTA DE ILUSTRAÇÕES Figura 1 Exemplo de pontos extremos da imagem................. 26 Figura 2 Imagem original............................... 27 Figura 3 Imagem corrigida.............................. 27 Figura 4 Imagem original e imagem corrigida.................... 28 Figura 5 Valores de luminosidade nos pontos escolhidos.............. 29 Figura 6 Regiões de análise............................. 29 Figura 7 Imagem original e imagem segmentada.................. 30 Figura 8 Imagem corrigida e imagem segmentada................. 30

LISTA DE ABREVIATURAS E SIGLAS VPA FMP MATLAB Valor do pixel acessado Fator médio do pixel Matrix Laboratory

SUMÁRIO 1 INTRODUÇÃO............................ 19 2 FUNDAMENTAÇÃO........................ 21 2.1 SEGMENTAÇÃO........................... 21 2.2 PROBLEMAS DE SOMBRAS E REFLEXOS.......... 21 2.3 ESPAÇOS DE CORES........................ 22 2.4 PESQUISAS E ESTUDOS RELACIONADOS.......... 22 3 METODOLOGIA........................... 25 4 RESULTADOS............................ 27 5 CONCLUSÃO............................. 31 REFERÊNCIAS........................... 33

19 1 INTRODUÇÃO Muitas vezes somos incapazes de identificar ou entender uma imagem devido aos ruídos que são fatores que interferiram na sua representação no momento em que foi capturada, como por exemplo, variações de luminosidade [2]. Nesse âmbito, busca-se nesse trabalho, com apoio de técnicas computacionais, realizar um estudo sobre a correção desses agentes para a resolução desse problema. Imagens que apresentam uma grande variação de luminosidade podem apresentar irregularidades em sua representação como falsos contornos de sombras bem como reflexos que são caracterizados pela grande variação de iluminação em uma região que resulta na saturação dos canais que representam a perda da informação da cor do pixel, dessa forma os pixels tendem a ter cor próximas a cor branca Serão utilizadas técnicas presentes na área de computação gráfica, mais específicamente na parte de processamento de imagens, que consistem na identificação e análise do problema, evidenciando as regiões que foram afetadas pela variação de luminosidade que apresentam um alto nível de sombreamento e reflexo por meio de um método capaz de modificar o espaço de cor da imagem para facilitar a identificação e extração de informações das regiões que apresentaram variação de luminosidade e marcar as áreas comprometidas, facilitando assim futuros procedimentos no processo de segmentação que evidenciará a parte que deverá ser tratada aplicando o algoritmo de correção que será desenvolvido. Será utilizado um espaço de cor que separe as características de cromaticidade e luminosidade do pixel, desta forma a luminosidade da cena fica isolada podendo ser alterada sem modificar a matiz e a saturação contidos nos objetos da cena [3]. Para isso foram realizados levantamentos bibliográficos para estudo de técnicas e informações relevantes em bibliotecas digitais científicas como: IEEE, Science Direct, ACM Digital Library, entre outros, pois esses estudos correlatos auxiliarão e servirão como exemplo de comparação após a finalização do processo de minimização da ação de sombra e reflexos em imagens, que será um dos métodos avaliativos da eficácia do algoritmo que será desenvolvido no estágio obrigatório do curso. Serão apresentados a seguir as demais seções do trabalho que estão organizadas da seguinte forma: A seção 2 apresentará a fundamentação teórico-metodológica, a seção 3 evidenciará a metodologia de desenvolvimento, a seção 4 mostrará os resultados e por fim teremos a conclusão do trabalho.

21 2 FUNDAMENTAÇÃO A área de computação envolve uma grande gama de aplicações, dessa forma é necessário estar bem situado no setor no qual a problemática está presente com o apoio de estudos relacionados a fim de garantir a compreensão de métodos e técnicas que serão indispensáveis durante o percurso de execução do trabalho. O ramo de computação gráfica será o grande foco desse trabalho, por esse motivo a seguir serão detalhados algumas informações necessárias para estudo e pesquisa a respeito da problemática proposta que consiste na minimização da ação de variações de luminosidade como sombras e reflexos em imagens. A seguir são apresentados alguns temas que possuem influência direta no processo de segmentação e técnicas utilizadas para a minimização da ação de sombra e reflexo em imagens [4]. 2.1 SEGMENTAÇÃO A segmentação de imagens é o processo utilizado para identificar informações relevantes realizando a divisão da imagem em várias partes. O processo de reconhecimento da imagem é uma etapa muito importante no processo de segmentação e diferentes condições de iluminação provocam alterações na sua aparência e propriedades. Um exemplo é a identificação de diferentes objetos. Vários fatores devem ser levados em consideração na avaliação desses objetos, como a posição deles, a condição de iluminação, reflexo na superfície, e outras características [5]. 2.2 PROBLEMAS DE SOMBRAS E REFLEXOS O falso contorno dificulta o processo de identificação dos objetos por criar sombras ao redor da imagem e no processo de segmentação essa região pode ser considerada como parte real do objeto, obtendo assim um contorno inexistente do item real. Já a grande concentração de iluminação satura o canal de cor comprometendo a representação da cor do pixel perdendo as propriedades da imagem. Figuras com reflexo permanecem constantes em diferentes condições de iluminação, já imagens com sombreamento apresentam variações em diferentes condições de iluminação e essas imagens podem ser usadas para análise de sombreamento, constância de cor, entre outros [6]. No trabalho em questão o foco é a correção desses agentes e não a exploração de suas características. Dessa forma é necessário a utilização de métodos eficientes para solucionar esse problema.

22 2.3 ESPAÇOS DE CORES Noções sobre os modelos de cores existentes é importante na realização do processo de segmentação e a utilização deles facilita na identificação e tratamento do problema. O modelo RGB é o mais conhecido porém existem vários outros modelos que dependendo da aplicação desempenham uma melhor identificação do problema em questão. O modelo RGB consiste nas cores primárias, vermelho, verde e azul, podendo reproduzir as demais cores a partir dessas três. Outro modelo conhecido é o HSI, que apresenta componentes de tom, saturação e intensidade. O modelo HSI deriva do modelo RGB e é muito utilizado na visão computacional, que é a técnica utilizada para se obter informações de dados, como imagens. O modelo de cor LAB apresenta suas cores uniformimente distribuídas representando a luminosidade separada da cromaticidade. Para o desenvolvimento do algoritmo de correção dos fatores de sombra e reflexo foi utilizado o espaço de cor YIQ já que esse modelo permite trabalhar no canal Y responsável pela luminância isoladamente do canal IQ, que são responsáveis pela cromaticidade que representam o canal de cores da imagem [7]. Dessa forma é possível analisar a variação de luminosidade de cada pixel da imagem e aplicar o algoritmo de correção nesses pontos caso seja necessário. Para solucionar o problema de uma imagem que apresenta variação de luminosidade é necessário separar algumas propriedades contidas nela como cromaticidade e a luminosidade para poder normalizar a distribuição desses agentes que tem impacto direto na identificação de reflexos contidos na imagem. O reflexo nas imagens é caracterizado pela grande variação de iluminação em uma região que resulta na saturação dos canais que representam a perda da informação da cor do píxel, dessa forma os pixels tendem a ter cor próximas a branco [8]. 2.4 PESQUISAS E ESTUDOS RELACIONADOS Para a aplicação e entendimento de todos as técnicas envolvidas dentro da problemática proposta que ainda não foram detalhadas nesse trabalho serão levantados estudos e informações atuais como artigos científicos, revistas, algoritmos, que serão indispensáveis, utilizando bibliotecas digitais como: IEEE, Science Direct, ACM Digital Library que servirão de apoio durante a fase de desenvolvimento e que também possibilitará a avaliação do algoritmo que será desenvolvido com técnicas existentes para verificar sua performance. Algumas relações de estudos podem ser feitas a partir de artigos como [9] que realiza o reconhecimento facial e analisa iluminações nas faces gerando uma máscara para facilitar o processo de segmentação da face inibindo a ação de luminosidade. Vacha e Haindl [10] tratam em seu trabalho sobre a recuperação e identificação de imagens a partir

23 da sua textura de cor em diferentes cenas com diferentes iluminações. Para classificação e identificação de imagens que apresentam ruídos temos [11] detectando ruídos em imagens a partir de uma filtragem considerando aspectos de inclinação de objetos na imagem, borrões e enquadramento. Existe também [12] que aborda o reconhecimento de face com imagens que apresentam interferência de ambientes com iluminação. Para solucionar o problema de iluminação é feito um remapeamento da imagem analisando os pixels que apresentam baixa intensidade para a correção deles para uma intensidade alta. É um problema bem parecido com o que tem que ser tratado nesse TCC por envolver a ação da iluminação em imagens e a necessidade de seu tratamento para melhoria da imagem. A partir da análise dos artigos encontrados é possível verificar a grande necessidade de resolução de problemas e aplicações que envolvem interferência da luminosidade em imagens, principalmente sombras e reflexos.

25 3 METODOLOGIA A seguir teremos a metodologia adotada durante o processo de desenvolvimento do algoritmo de minimização da ação de sombra e reflexo no estágio. Considerando que as imagens são representadas por matrizes nas quais sua dimensão é dada pela própria resolução da imagem, por exemplo, uma imagem com resolução de 200x240 é representada por uma matriz de dimensão 200 por 240, sendo que a primeira parte representa a largura da imagem e a segunda parte representa sua altura. Sabendo disso é possível manipular essa imagem de forma que cada posição dessa matriz represente um determinado pixel da imagem. A variação de iluminação pode causar alterações na coloração da imagem, pois ocorre a saturação do pixel. A metodologia para solucionar esse problema foi utilizar um plano de fundo com uma distribuição de cor sem variação que servirá de referência para identificar a variação da luminosidade na figura. Ou seja, em um ambiente sem interferência de luz os pontos que representam o plano de fundo devem apresentar o mesmo valor. Então é verificado se algum ponto da imagem apresenta alguma variação e caso seja confirmado a região comprometida será normalizada. O primeiro algoritmo para a correção de reflexos causados pela grande concentração de luminosidade em um determinado ponto da imagem foi elaborado com o objetivo de realizar uma distribuição equilibrada de iluminação por toda imagem. Para realizar a distribuição normalizada dos pixels responsáveis pela luminância da imagem foi utilizado o espaço de cor YIQ, considerando apenas o canal Y e em cada linha da matriz que representa a imagem foram utilizados dois pontos extremos, caracterizados por um ponto à esquerda e um à direita. Essa técnica foi adotada por que busca-se obter uma distribuição equilibrada de variação de iluminação, dessa forma os valores do pixel de cada extremidade devem apresentar valores mais próximos por serem representados pelo mesmo plano de fundo, ou seja, caso não apresentem valores iguais sofreram influência da iluminação. O fator médio do pixel é obtido com os pontos da extremidade da imagem conforme está representado na figura abaixo. A função de ajuste possui duas possibilidades. Como o fator médio do pixel é aplicado em cada ponto da linha da matriz a seguinte condição é verificada: se o fator médio for maior que o valor do pixel do ponto que está sendo acessado naquele momento teremos o seguinte ajuste: VPA = Valor do pixel do ponto acessado. FMP = fator médio do pixel. VPA = (VPA (FMP VPA)/2).

26 Figura 1 Exemplo de pontos extremos da imagem Já a segunda condição temos que o fator médio ter um valor menor que o valor do pixel que está sendo acessado, assim teremos o seguinte ajuste: VPA = (VPA (VPA FMP)/2). Dessa forma temos uma distribuição controlada da iluminação de cada pixel evitando grandes concentrações em uma determinada região bem como a saturação do canal de cor. Depois de aplicar o ajuste em todas as linhas, a imagem que estava no espaço de cor YIQ é transformada para o modelo RGB, pois é o modelo que representa as diversas cores presentes na imagem. No segundo algoritmo foi utilizado uma abordagem diferente da primeira já que o objetivo é remover falsos contornos de sombra da imagem com o intuito de garantir uma segmentação melhor do objeto de interesse. A ideia é de normalizar os pixels que correspondem à luminosidade da imagem para garantir que todos esses pontos assumam valores próximos. Esse processo permite a eliminação dos fatores de sombras nas imagens. Para eliminar os falsos contornos da imagem também foi utilizado o espaço de cor YIQ e adquiriu-se a média geral do valor dos pixels do canal Y e esse valor foi aplicado em cada pixel da imagem, fazendo com que a distribuição de iluminação ficasse muito similar aos demais pontos e assim eliminando falsos contornos que existiam anteriormente. Após todo o processo a imagem também foi transformada para o espaço de cor RGB.

27 4 RESULTADOS Após a aplicação dos algoritmos foram obtidos os seguintes resultados: Figura 2 Imagem original Figura 3 Imagem corrigida Esses resultados foram obtidos a partir do primeiro algoritmo que tinha como objetivo equilibrar a distribuição de luminosidade na imagem.

28 Analisando a Figura 3 é possível verificar uma melhoria considerando a distribuição da luminosidade na imagem, porém o processo de correção acabou causando alguns ruídos na imagem que deverão ser tratados futuramente. Figura 4 Imagem original e imagem corrigida É possível ter uma melhor noção da melhoria na iluminação da carne com a Figura 4, onde temos regiões mais comprometidas pela luminosidade na imagem original e o tratamento delas na imagem corrigida. Porém a análise feita visualmente não garante que o resultado foi realmente bom, pois a percepção de cada pessoa pode variar. Dessa forma foram coletados dados utilizando o software MATLAB e o canal YIQ para observar o valor que representa a luminosidade, ou seja, o Y desse canal para verificar se realmente houve uma melhora após a utilização do algoritmo de correção de luminosidade. A partir da tabela de valores é possível veríficar que de fato houve uma normalização da luminosidade pela imagem, sendo que os pontos onde não havia muita concentração de iluminação, (10,126) e (525,126), que representam a coordenada na imagem, não tiveram muita variação, pois de 0.43 foi para 0.41 e 0.45 para 0.44, respectivamente. Já os pontos comprometidos (195,263) e (256,238) obtiveram uma grande diferença no valor após a aplicação de correção, pois eram regiões que precisavam de uma correção mais forte para garantir uma melhor distribuição de luminosidade. Os valores obtidos nessas regiões podem ser verificados a seguir:

29 Figura 5 Valores de luminosidade nos pontos escolhidos Foram utilizados as seguintes regiões para análise, representados pelos 4 pontos verdes na imagem: Figura 6 Regiões de análise O segundo algoritmo tinha como objetivo a eliminação de falsos contornos. A Figura 8 demonstra o resultado obtido pelo algoritmo de correção de falsos contornos de

30 sombra e sua melhora pode ser observada pela ausência de contornos em volta da carne comparando a Figura 8 com a Figura 7, pois o fator médio do pixel de iluminação de cada extremidade foi ajustado aos demais pontos garantindo uma distribuição controlada desses valores eliminando problemas causados pela grande concentração de luminosidade em uma determinada região. Figura 7 Imagem original e imagem segmentada Figura 8 Imagem corrigida e imagem segmentada

31 5 CONCLUSÃO O processamento de imagens é uma tarefa muito importante dentro da computação gráfica. Nesse trabalho foram exploradas técnicas de mudança de cor de espaço de imagens e ajustes nas suas características de luminosidade para corrigir a ação de sombras e reflexos. Após a aplicação das técnicas foram obtidas imagens com correção na distribuição da luminosidade e também a melhoria na remoção de falsos contornos de sombra principalmente aos redores da carne. Pretende-se como trabalhos futuros desenolver novas técnicas e melhorar a qualidade da imagem após a aplicação dos algoritmos para obter uma imagem sem a presença de ruídos, melhorando assim o processo de segmentação para isolar o objeto de interesse. Também será estudado até quando é vantajoso a tentativa de restauração de um pixel que sofreu saturação e perdeu sua propriedade de cor.

33 REFERÊNCIAS [1] [2] D.K. Nayak and C. Bhagvati. A new hsi based filtering technique for impulse noise removal in images. In Computer Vision, Pattern Recognition, Image Processing and Graphics (NCVPRIPG), 2013 Fourth National Conference on, pages 1 5, Dec 2013. [3] Richard E. Woods Rafael C. Gonzales. Processamento Digital de Imagens. Pearson, 2011. [4] R.R. Ganta, S. Zaheeruddin, N. Baddiri, and R.R. Rao. Segmentation of oil spill images with illumination-reflectance based adaptive level set model. Selected Topics in Applied Earth Observations and Remote Sensing, IEEE Journal of, 5(5):1394 1402, Oct 2012. [5] D.W. Jacobs, P.N. Belhumeur, and R. Basri. Comparing images under variable illumination. In Computer Vision and Pattern Recognition, 1998. Proceedings. 1998 IEEE Computer Society Conference on, pages 610 617, Jun 1998. [6] Guangfeng Lin Caixia Fan, HongZhu and Lei Cao. Deriving reflectance and shading components from a single image. In Intelligent Control and Information Processing (ICICIP), 2013 Fourth International Conference on, pages 139 143, Jun 2013. [7] H. B. Kekre, S. D. Thepade, A. Athawale, and A. Parkar. Using assorted color spaces and pixel window sizes for colorization of grayscale images. In Proceedings of the International Conference and Workshop on Emerging Trends in Technology, ICWET 10, pages 481 486, New York, NY, USA, 2010. ACM. [8] E. Vazquez, R. Baldrich, J. van de Weijer, and M. Vanrell. Describing reflectances for color segmentation robust to shadows, highlights, and textures. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 33(5):917 930, May 2011. [9] Pan Ng and Chi-Man Pun. Skin segmentation based on human face illumination feature. In Proceedings of the The 2012 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technology - Volume 03, WI-IAT 12, pages 373 377, Washington, DC, USA, 2012. IEEE Computer Society. [10] Pavel Vacha and Michal Haindl. Image retrieval measures based on illumination invariant textural mrf features. In Proceedings of the 6th ACM International Conference on Image and Video Retrieval, CIVR 07, pages 448 454, New York, NY, USA, 2007. ACM. [11] Rafael Dueire Lins, Serene Banergee, and Marcelo Thielo. Automatically detecting and classifying noises in document images. In Proceedings of the 2010 ACM Symposium on Applied Computing, SAC 10, pages 33 39, New York, NY, USA, 2010. ACM. [12] Deng-Yuan Huang, Shr-Huan Di, Wu-Chih Hu, and Yi-Jen Su. Face recognition based on dual-tree complex wavelet transform under low illumination environments.

34 In Proceedings of the 29th International Conference on Image and Vision Computing New Zealand, IVCNZ 14, pages 253 258, New York, NY, USA, 2014. ACM.