, ) New approach for Mixturogram EigenSketch. Osvaldo Severino Junior Instituto Federal de São Paulo campus Catanduva

Transcrição

1 New approach for Mixturogram EigenSketch onaldo Pires de Souza Instituto Federal de São Paulo campus Catanduva Osvaldo Severino Junior Instituto Federal de São Paulo campus Catanduva Abstract This paper presents a new approach to obtain a face sketch in which every pixel of a color image can be decomposed into eight layers, each layer can be classified as one of the colors black, blue, green, cyan, red, magenta, yellow and white, a preliminary Mixturegram result that is an approach of the G image quantization. etrieved decomposition of the pixel, we propose a new approach to sketch a face using only the pixels in the layer 6, the second most significant Mixturogram classified as black and yellow. The results demonstrate the potential of the new approach outline on the approach proposed previously by the authors, besides the potential of the new approach compared to the original image. Thus, the relevance of the new approach can be exploited in jobs that depend on characteristics associated with the description of color image contentbased image retrieval. 1. Introdução Com o advento das câmeras digitas cresceu também o volume de imagens armazenadas. Segundo Campo e Traina [1] à medida que cresce o volume de imagens armazenadas cresce também o interesse por sistemas capazes de recuperar informações visuais de maneira eficiente e com maior grau de automação, em vez de processamento de texto simples, tais como anotações ou palavras-chave. Dessa forma, a ecuperação de imagens baseada em conteúdo (do inglês, Content-ased Image etrieval - CI) é uma forma de buscar imagens por meio de uma imagem base usando suas características como: cor, textura e forma [2]. Justificando o uso de CI, Santos [3] relata que o ser humano destaca-se na área de recuperação de imagens por conteúdo por ser muito eficiente no reconhecimento de informações apresentadas graficamente, já que o cérebro humano processa melhor informações visuais do que textuais. ibeiro [4] acrescenta que essa capacidade do humano o torna capaz de associar alguns traços de um desenho ou esboço com os traços de uma pessoa. Esta capacidade do ser humano estimulou o uso da proposta inicial de esboço de uma face já sugerida anteriormente na literatura [5,6, 7]. Dessa forma, a proposta precípua deste trabalho é a apresentação de uma nova abordagem do esboço de uma face. Para demonstrar a aplicabilidade da nova abordagem foi implementada uma aplicação CI para recuperação de imagens por conteúdo pelo esboço de uma face. Os resultados obtidos demonstram o potencial dessa nova abordagem em relação à proposta anterior. O trabalho está estruturado da seguinte forma: na próxima seção será apresentada a metodologia do Misturograma; na seção esboço de uma face serão apresentadas a metodologia anterior e a nova abordagem sugerida; na seção Metodologia será mostrado o processo da extração de características e descrição do sistema CI baseado no esboço de uma face; a seguir serão analisados os resultados obtidos e por último será apresentada a conclusão sobre a nova abordagem implementada neste trabalho. 2. Misturograma O processo natural de aquisição e visualização de imagens digitais utiliza o espaço de cor G. Severino Jr [7] defini C = (, G, ) como uma cor no modelo G, que representada na forma binária em um sistema computacional com 24 bits (8 bits para cada canal), é igual a: C = ( G G G G G G G G onde os bits 0,G 0 e 0 correspondem aos bits menos significativos de, G e, e os bits 7,G 7 e 7 correspondem aos bits mais significativos. Dessa forma, os valores de, G e variam de 0 ( ) a 255 ( ). Dado que cada canal possui 8 bits, pode-se também definir 8 camadas K, tal que: (, G ) K, i = i i i para i = (1) 0, 0 ),

2 onde K i representa a i-ésima camada que compõe a cor do pixel. Nota-se que cada camada K i é constituída por uma cor, de forma que: K i = ( 0, 0, 0 ) expressa a ausência das cores vermelho, verde e azul e define o preto; K i = ( 0, 0, 1 ) define a cor azul; K i = ( 0, 1, 0 ) define a cor verde; K i = ( 0, 1, 1 ) expressa a mistura das cores: verde e azul e define a cor ciano; K i = ( 1, 0, 0 ) define a cor vermelho; K i = ( 1, 0, 1 ) expressa a mistura das cores: vermelho e azul e define a cor magenta; K i = ( 1, 1, 0 ) expressa a mistura das cores: vermelho e verde e define a cor amarelo; K i = ( 1, 1, 1 ) expressa a mistura das cores: vermelho, verde e azul e define a cor branco. Na Figura 1 poder ser visto a representação K i da cor C = (109,146,137). para 0 v < 1 7 o valor inteiro de v = 0 8 representa a cor preta; para 1 7 v < 2 7 o valor inteiro de v = 1 representa a cor azul; para 2 7 v < 3 7 o valor inteiro de v = 2 representa a cor verde; para 3 7 < v 8 o valor inteiro de v = 3 representa a cor ciano; para 4 7 v < 5 7 o valor inteiro de v = 4 representa a cor vermelho; para 5 7 v < 6 7 o valor inteiro de v = 5 representa a cor rosa; para 6 7 v < 7 7 o valor inteiro de v = 6 representa a cor amarelo; para 7 7 v < 8 7 o valor inteiro de v = 7 representa a cor branca. Na Figura 2-a é apresentada uma imagem no formato G com 24 bits do banco de faces A [8] e na Figura 2- b, a mesma imagem, quantizada em 8 cores (preto, azul, ciano, verde, vermelho, magenta, amarelo e branco) pelo valor v da mistura de cores da imagem. Figura 1: epresentação da cor C= (109,146,137) em camadas. Como o valor da mistura de cores é diretamente derivado do G, também é aditivo. Segundo Severino Jr [7] a cor final da mistura pode ser dada pela soma da contribuição da cor representada em cada camada, ou seja, pela soma do valor numérico de cada camada multiplicado pelo seu respectivo peso normalizado. Assim, define-se o valor da mistura v como: Deriva-se do valor da mistura uma aplicação imediata na quantização de cores. Como 0 v 7 e a mistura pode ser obtida por 8 cores (preto, azul, verde, ciano, vermelho, magenta, amarelo e branco), valores inteiros podem ser definidos para v, tal que: (2) Figura 2: Aplicação da mistura de cores. a) Imagem Original. b) Imagem quantizada pelo valor da mistura de cores. O valor da mistura pode ser utilizado como um método de quantização de cores estático gerando um histograma definido por Severino Jr [7] como Misturograma (do inglês, Mixturegram) que indica a quantidade das cores preto, azul, verde, ciano, vermelho, magenta, amarelo e branco quantificadas pelo valor v da mistura de cor (Equação 2) de cada pixel, que compõe uma imagem G com 8 bits por canal.

3 3. Esboço de uma face Segundo Houaiss [11] esboço (do inglês, Sketch) é um delineamento elaborado com o propósito de facilitar uma análise preliminar a respeito da realização de uma obra. O desafio é encontrar o delineamento de uma imagem final, ou seja, a imagem de uma pessoa, que permita realizar uma análise da mesma, tal como, corte do cabelo, olhos, boca, orelhas, sobrancelhas e barba. A solução imediata foi utilizar um detector de bordas. A Figura 3 mostra o esboço gerado pelo detector de bordas Sobel [12] implementada no software aplicativo MatLab aplicado a uma imagem facial do banco de faces A [8]. Entretanto, numa análise preliminar, verificou-se que cabelos, olhos, boca e sobrancelhas ficaram prejudicados no esboço obtido pelo detector de bordas Sobel. Para obter um esboço que contemplasse a representação desses elementos foi proposta a utilização do Misturograma [5, 6, 7]. Figura 4: Imagem quantificada pelo Misturograma utilizando apenas a camada 7. a) Imagem original. b) Imagem quantificada na camada 7. Na Figura 4-b pode-se notar que a região da face, correspondente ao cabelo, sobrancelhas, boca e olhos, torna-se facilmente identificadas pela cor preta. Segmentou-se a imagem facial com os pixels que eram quantificados como preto na camada 7 no processo de quantização de cores pelo Misturograma. A imagem obtida desse processo foi definida por Severino Jr [7] como imagem Esboço da face pelo Misturograma. A Figura 5 ilustra a obtenção da imagem esboço de uma face pelo Misturograma segmentada a partir do banco de faces A. Figura 3: Obtenção da imagem esboço de uma imagem de face. a) imagem original. b) imagem do esboço da face pelo detector Sobel Proposta Preliminar do Esboço pelo Misturograma No processo de quantização em 8 cores (preto, azul, verde, ciano, vermelho, rosa, amarelo e branco), pelo Misturograma, as camadas K i (equação 1) da imagem equivalem às cores separadas cuja mistura gera a cor final quantificada nas 8 camadas e, a influência de cada camada no aspecto final da imagem é proporcional ao peso da camada. Observando a Figura 4-b e a proposta de quantização de cores de Pass et al. [9] e Mitra et al. [10] que utilizaram somente os bits mais significativos de cada canal do espaço de cor G, Severino Jr [7] investigou a capacidade de segmentação da mistura de cores utilizando apenas a camada de cor mais significativa, ou seja, a camada 7 que corresponde ao bit mais significativo da cor de cada pixel da imagem. Na Figura 4-b é apresentado um exemplo de uma imagem facial do banco de faces A quantificada pela mistura de cores correspondentes à camada 7. Figura 5: Obtenção da imagem esboço de uma face. a) Imagem original. b) Imagem do esboço da face. Entretanto, numa análise preliminar verificou-se que o traçado da orelha foi omitido nesta representação. Esta omissão levou a um questionamento: Será que a ausência desse traçado poderia prejudicar o processo de recuperação de imagens por conteúdo? Para sanar esta dúvida foi proposta uma nova abordagem do esboço que contemplasse esse traçado Nova Abordagem do Esboço pelo Misturograma Com base na proposta de quantização de cores de Pass et al. [9] e Mitra et al. [10] que utilizaram somente os bits mais significativos de cada canal do espaço de cor G e, já tendo investigado a capacidade de segmentação do Misturograma utilizando apenas a camada 7, analisou-se a capacidade de segmentação utilizando apenas a camada

4 6 que corresponde ao segundo bit mais significativo da cor de cada pixel da imagem. Na Figura 6-b é apresentado um exemplo de uma imagem facial do banco de faces A quantificada pelo Misturograma correspondentes à camada 6. Figura 6: Imagem quantificada pelo Misturograma utilizando apenas a camada 6. a) Imagem original. b) Imagem quantificada na camada 6. Na Figura 6-b pode-se notar que a região correspondente ao cabelo, sobrancelhas, boca, olhos e orelhas, torna-se facilmente identificadas pelas cores preta e amarelo. Segmentou-se a imagem facial do banco de faces A com os pixels que apresentavam os valores preto e amarelo na camada 6 no processo de quantização do Misturograma, como visto na Figura 7. Nessa nova abordagem proposta do esboço da face verifica-se uma representação mais próxima dos cabelos e olhos da imagem original, bem como, contempla a representação da orelha Aquisição das imagens Para a aquisição da imagem esboço de face foi utilizado o banco de faces A [8] formado por 76 homens e 59 mulheres constituindo, dessa forma, de 135 classes, sendo que cada classe possuía 4 imagens de expressão facial (normal, sorrindo, espantado e bocejando) totalizando 540 imagens G com 8 bits por canal e resolução espacial de 576 x 768 pixels. Inicialmente, utilizando o software aplicativo MatLab foram geradas as 540 imagens de esboço de face utilizando a ferramenta de detector de bordas Sobel. Após, foram geradas as 540 imagens de esboço da face quantificadas pelo Misturograma utilizando apenas a camada 7, aonde foram considerados os pixels classificados na camada como preto. Finalmente foram geradas as 540 imagens da nova abordagem do esboço da face quantificadas pelo Misturograma utilizando apenas a camada 6, aonde foram considerados os pixels classificados na camada como preto e amarelo. Portanto, foram constituídos 4 bancos de imagens: imagem original, esboço da face pelo detector de bordas Sobel, esboço da face pelo Misturograma utilizando apenas a camada 7 e a nova abordagem do esboço da face pelo Misturograma utilizando apenas a camada 6, como ilustrado na Figura 8. Figura 7: Nova abordagem da obtenção da imagem esboço de uma face. a) Imagem original. b) Nova imagem do esboço da face. 4. Metodologia A proposta deste trabalho é definida por três etapas: i) a aquisição das imagens, ii) a extração de características e iii) a descrição do sistema CI baseado no reconhecimento do esboço de uma face. Figura 8: Constituições dos 4 bancos de imagens. a) Imagem original. b) Esboço da face pelo detector de bordas Sobel. c) Esboço da face pelo Misturograma aplicado na camada 7. d) Nova abordagem do esboço da face pelo Misturograma aplicado na camada 6.

5 4.2. Extração de características Para efetuar a extração de características para o sistema CI baseado no reconhecimento do esboço da face, extraiu-se um vetor característica com 100 valores a partir da descrição global das imagens, com o auxílio da técnica Análise dos Componentes Principais (do inglês, Principal Components Analysis - PCA) [13]. Com o uso da técnica PCA as imagens esboço da face passaram a denominar EigenSketch Sistema CI para reconhecimento do esboço de uma face Implementaram-se 4 aplicações CI: a primeira com as imagens originais, a segunda com as imagens EigenSketch obtidas pelo detector de bordas Sobel, a terceira com as imagens EigenSketch obtidas pelo Misturograma aplicado na camada 7 e a quarta com as imagens EigenSketch obtidas pela nova abordagem aplicada no Misturograma na camada 6. Todas as aplicações utilizaram acesso sequencial, a técnica PCA para compor o vetor característica com 100 valores a partir da descrição global das imagens da aplicação e a distância euclidiana como critério de similaridade. 5. esultados Para verificar o desempenho de cada sistema CI foram calculadas as respectivas curvas P (do inglês, ecall x Precision) [14]. Cada sistema CI era composto por 135 classes, sendo que cada classe possuía 4 imagens de expressão facial (normal, sorrindo, espantado e bocejando) totalizando 540 imagens G com 8 bits por canal. A Tabela 1 mostra os resultados obtidos no sistema CI composto pelas imagens originais do banco A, quando submetido à busca da classe: primeiro pela imagem de expressão facial normal, segundo pela imagem de expressão facial sorrindo, terceiro pela imagem de expressão facial espantado e quarto pela imagem de expressão facial bocejando. Da mesma forma, a Tabela 2, Tabela 3 e Tabela 4 mostram os resultados obtidos nos sistemas CI compostos pelas imagens: Sketch obtidas pelo detector de bordas Sobel, Sketch obtidas pelo Misturograma aplicado na camada 7 e Sketch obtidas pela nova abordagem no Misturograma aplicado na camada 6, respectivamente. Na Figura 9 pode ser visto as curvas P de cada sistema CI. As curvas P demonstram o desempenho do sistema CI composto pelas imagens EigenSketch obtidas pela nova abordagem no Misturograma aplicado na camada 6 em relação aos sistemas CI composto pelas imagens: original, EigenSketch obtidas pelo detector de bordas Sobel e EigenSketch obtidas pelo Misturograma aplicado na camada 7. Além disso, verifica-se, também, que o sistema CI composto pelas imagens EigenSketch obtidas pela nova abordagem no Misturograma aplicado na camada 6 obtiveram um desempenho superior que o sistema CI composto pelas imagens EigenSketch obtidas pelo Misturograma aplicado na camada 7. Tabela 1: ecuperação com 4 imagens originais por classe. Acertos Precisão 100% 97,7% 95,8% 91,6% Tabela 2: ecuperação com 4 imagens esboço por classe obtidas pelo detector de bordas Sobel. Acertos Precisão 100% 95,9% 90,8% 83,7% Tabela 3: ecuperação com 4 imagens esboço por classe obtidas pelo Misturograma na camada 7. Acertos Precisão 100% 97,7% 95,1% 90% Tabela 4: ecuperação com 4 imagens esboço por classe obtidas pelo Misturograma na camada 6. Acertos Precisão 100% 99,2% 97,2% 93,3% Figura 9: Curva P das aplicações CI.

6 Portanto, verifica-se que as imagens EigenSketch obtidas pela nova abordagem no Misturograma aplicado na camada 6 apresentam elementos mais discriminantes que a própria imagem original na recuperação de imagens baseadas em conteúdo. 6. Conclusões Mostrou-se com este trabalho que cada pixel de uma imagem colorida pode ser decomposto em 8 camadas, sendo que cada camada pode ser classificada como uma das cores preto, azul, verde, ciano, vermelho, magenta, amarelo e branco, um resultado preliminar do Misturograma que é uma abordagem de quantização de cores de uma imagem G. Uma investigação anterior mostrou que era possível segmentar um esboço da face utilizando apenas os pixels da camada 7, a mais significativa do Misturograma, classificados como preto. Neste trabalho foi proposto uma nova abordagem do esboço de uma face que utilizou apenas os pixels da camada 6, a segunda mais significativa do Misturograma, classificados como preto e amarelo. Os resultados obtidos demonstram o potencial da nova abordagem do esboço em relação à abordagem anterior, além do potencial da nova abordagem em relação à imagem original. Demonstrando, dessa forma, a relevância da nova abordagem que poderá ser explorada em trabalhos futuros como uma contribuição para a constituição de características associadas à descrição de imagens digitais coloridas na recuperação de imagens baseada em conteúdo. 7. eferências ibliográficas [1] CAMPO, C. Y.; TAINA, A. J. M. Uma Abordagem Eficiente para ecuperação de Imagens Médicas. III Workshop de Informática Médica, [2] SMEULDES, A. W. M.; WOING, M.; SANTINI, S.; GUPTA, A.; JAIN,. Content-ased Image etrieval at the End of the Early Years. IEEE Transactions on Pattern Analysis and Machine Intelligence, v. 22, n. 12, p , [3] SANTOS,.. econhecimento de Esboços de Formas Geométricas Contidas em Fluxogramas. Goiânia, p. Dissertação de Mestrado. Instituto de Informática, Universidade Federal de Goiás. [4] IEIO, S. E. M. Ilustrações lápis, nanquim e cores. Silvio ibeiro, [5] SEVEINO J., O.; GONZAGA, A. Auto-esboço e Auto-pele pelo Misturograma. II Workshop de Visão Computacional (WVC 2006), São Carlos, 2006, p [6] SEVEINO J., O.; GONZAGA, A. Auto-Fusão da Auto-Face, do Auto-Esboço e da Auto-pele pelo Misturograma em imagens em nível de cinza. III Workshop de Visão Computacional (WVC 2007), São José do io Preto, 2007, p [7] SEVEINO J., O. Mistura de cores: Uma nova abordagem para processamento de cores e sua aplicação na segmentação de imagens f. Tese (Doutorado) Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos, [8] MATINEZ, A. M.; ENAVENTE,. The A Face Database. Computer Vision Center Technical eport, n. 24, [9] PASS, G.; ZAIH,.; MILLE, J. Comparing Images Using Color Coherence Vectors. In: POCEEDINGS OF FOUTH ACM MULTIMEDIA CONFEENCE, [10] MITA, M.; HUANG J.; KUMA, S.. Combining Supervised Learning with Color Correlograms for Content-ased Image etrieval. In: POCEEDINGS OF FIFTH ACM MULTIMEDIA CONFEENCE, [11] HOUAISS, A. Novo Dicionário Houaiss da Língua Portuguesa. io de Janeiro: Editora: Objetiva, [12] GONZALEZ,. C.; WOODS,. E.; EDDINS, S. L. Digital Image Processing using Matlab. Pearson Education, [13] AEK, K.; ATLETT, M. S.; DAPE,. A. ecognition faces with PCA and ICA. Computer Vision and Image Understand, v. 91, p , [14] AEZA-YATES,.; IEIO NETO,. Modern Information etrieval. New York, ACM Press, 1999.