Auto-Fusão da Auto-Face, do Auto-Esboço e da Auto-Pele pelo Misturograma em imagens em nível de cinza

Transcrição

1 Auto-Fusão da Auto-Face, do Auto-Esboço e da Auto-Pele pelo Msturograma em magens em nível de cnza Severno Jr, Osvaldo IMES - FAFICA osvaldo@fafca.br Gonzaga, Adlson Escola de Engenhara de São Carlos - USP agonzaga@sc.usp.br Resumo Neste trabalho é apresentado um novo método para a segmentação da regão de pele e esboço da face em magens em nível de cnza, através de uma extensão do método de quantzação de cores defndo no sstema RGB e denomnado Msturograma. A extensão proposta para o Msturograma permtrá a quantzação de cada um dos pxels de uma magem em nível de cnza nas cores preto, azul, verde, cano, vermelho, magenta, amarelo e branco. A relevânca das magens do esboço da face e da regão de pele em nível de cnza fo verfcada pela auto-fusão. A Auto-fusão é um método de Fusão Multmodal Paralelo efetuado no módulo de decsão. 1. Introdução A pele humana é consttuída por dferentes msturas de cores (pgmentos). A pgmentação defne um caráter racal de grande mportânca e consste na cor que apresenta a pele, o cabelo e a írs do olho. Segundo Domenech [1] levando-se em conta, como caráter fundamental, a cor da pele, pode-se defnr grandes grupos ou troncos racas. Baseando-se no conceto que a pgmentação da pele é defnda por dferentes msturas de cores, o prmero passo dessa pesqusa consstu na proposta do termo Msturograma [2]. O Msturograma representa um método de quantzação de cores defndo pela observação que uma cor é representada pela adção do vermelho, verde e azul no espaço RGB. Na Tabela 1 verfca-se que esta adção pode resultar em oto combnações, onde 0 ndca a ausênca e 1 a presença da cor nos canas R, G e B. Para obterem as oto cores (preto, azul, verde, cano, vermelho, magenta, amarelo, branco), o Msturograma utlza a defnção bnára da cor e realza um fatamento de bts, do mas sgnfcatvo para o menos sgnfcatvo. Dessa forma, cada fata será consttuída por uma das oto combnações (Tabela 1). Além dsso, cada fata possu um peso em relação à mstura fnal da cor que decresce do bt mas sgnfcatvo para o menos sgnfcatvo. Tabela 1. Combnações de Cores no RGB. Canas Cor R G B Resultante Preto Azul Verde Cano Vermelho Magenta Amarelo Branco Portanto, a mstura fnal pode ser expressa por um valor v, tal que: v = K = ( R 2 + G 2 + B ) Na Tabela 2 observa-se que para C, no espaço RGB, gual a (109,146,137) a representação bnára é ( , , ) e o valor v será gual a 3, Tabela 2. Representação de v pelo fatamento de bts, do mas para o menos sgnfcatvo de uma cor no RGB. bts R G B Cor Cano Vermelho Vermelho Verde Magenta Vermelho Vermelho Magenta Dessa forma, qualquer mstura de cores poderá ser quantzada a um valor v entre 0 e 7, onde 0 corresponde ao valor RGB gual a (0,0,0) e 7 ao valor RGB gual a (255,255,255). Entretanto, para determnar uma cor a partr de v, defnu-se um ntervalo gual a 0,875 (7/8) para expressar a seqüênca de cores (preto, azul, verde, (1)

2 cano, vermelho, magenta, amarelo, branco). Portanto, para v gual a 3,3923 será atrbuída a cor cano. Baseando-se na déa da pele como uma característca relevante para descrção de uma magem, o segundo passo dessa pesqusa aplcou o Msturograma para segmentar a regão de pele em magens facas colordas. 2. Segmentação da regão de pele em magens facas colordas Na Fgura 1 dentfca-se uma magem facal reduzda para o tamanho 288 x 384 pxels no formato RGB com 24 bts do banco de faces AR [3] e a magem quantzada pelo Msturograma. A partr dessa combnação foram realzadas pesqusas na base AR que demonstraram a relevânca da magem de regão de não pele que passou a ser denomnada de Esboço da face [4]. Em resumo, foram obtdos o esboço da face e a regão da pele de cada magem do banco AR. Após, as magens da face, esboço e pele foram convertdas para nível de cnza e aplcou-se a técnca PCA (Prncpal Component Analyss) [5] obtendo-se as magens auto-face, auto-esboço e auto-pele e verfcou-se o desempenho e a contrbução das mesmas. Em uma nova etapa da pesqusa, ncaram-se testes na base FERET [6], entretanto, esta base de magens facas possu magens colordas e em nível de cnza. Incalmente, optou-se por utlzar apenas as magens colordas. Mas, a exclusão das magens em nível de cnza casou uma nquetação que contrbuu para a conclusão de uma nova etapa na pesqusa que consste na segmentação da regão de pele e esboço da face em magens facas em nível de cnza. 3. Segmentação da regão de pele e esboço da face em magens facas em nível de cnza Fgura 1. a) Imagem orgnal e b) magem quantzada pelo Msturograma. Analsando a magem quantzada pelo Msturograma (Fgura 1-b), constatou-se que consderando as oto cores, extraem-se 256 combnações possíves. Numa tentatva em reduzr o número de combnações, as magens foram agrupadas duas a duas, de forma que as cores que pertencam a prmera não estavam presentes na segunda e as oto cores aparecam nas duas magens, assm, obtendo 128 combnações. Verfcando essas combnações constatou-se que uma delas consegua segmentar a regão da pele pelos pxels da magem orgnal quantzadas pelo Msturograma nas cores cano, vermelho, magenta, amarelo e branco, enquanto a regão de não pele era segmentada pelos pxels quantzados pelas cores preto, azul e verde (Fgura 2). Testes demonstraram que é possível obter a magem em nível de cnza a partr do valor v da mstura de cores (Equação 1). Para sso, é necessáro dvdr o valor v de cada pxel da magem por 7, dessa forma, normalzam-se os novos valores dos pxels da magem no ntervalo de 0-1. Após, encontra-se o valor ntero mas próxmo da multplcação do novo valor do pxel por 255. Portanto, dada uma magem com os valores v obtêm-se c (magem em nível de cnza), tal que: v(, c(, = 255, c(, N (2) 7 A Fgura 3 mostra as magens geradas em nível de cnza pelo software Matlab e pelo valor v da mstura de cores. Verfca-se que a magem gerada por v captura melhor os detalhes de lumnação da magem. Fgura 2. a) Imagem orgnal, b) regão de não pele e c) regão da pele. Fgura 3. a) Imagem orgnal, b) magem em nível de cnza gerada pelo software Matlab e c) magem em nível de cnza gerada pelo valor v da mstura de cores.

3 Portanto, dada uma magem em nível de cnza c obtémse o valor v, tal que: c(, v (, = 7 (3) 255 Efetuado o cálculo de v, para determnar a cor de cada pxel, aplca-se um ntervalo gual a 0,875 para defnr a seqüênca de cores (preto, azul, verde, cano, vermelho, magenta, amarelo, branco). Na Fgura 4 verfca-se que a magem quantzada pelo Msturograma a partr da magem em nível de cnza é gual à obtda a partr da magem colorda da Fgura 1-b. Fgura 4. a) Imagem em nível de cnza e b) magem quantzada pelo Msturograma a partr de a). 4. Valdação da Proposta Com o ntuto de valdar a proposta foram realzados testes na base AT&T [7] composta por 40 classes de magens facas com tamanho 112x92 pxels em nível de cnza, sendo que ca contnha 4 magens com dferentes expressões facas (olhos abertos e fechados, sorrndo e não sorrndo). Incalmente, foram geradas as magens quantzadas pelo Msturograma a partr das magens em nível de cnza da base. Após, utlzando as magens quantzadas foram encontradas as magens esboço da face e regão de pele. Na Fgura 5 podem ser vstas uma amostra de algumas dessas magens. Gerada a base de teste fo aplcada a técnca PCA nas magens facas, esboço e pele, obtendo as magens autoface, auto-esboço e auto-pele, respectvamente. Para verfcar o desempenho dessas magens foram calculadas as suas respectvas curvas recall x precson (revocação x precsão) consderando como crtéro de smlardade a dstânca eucldana. A Fgura 6 mostra que 92% das magens auto-face do banco conseguram recuperam as 4 magens, já as magens auto-esboço alcançaram o índce de 90%, enquanto as magens auto-pele atngram 80%. Nota-se que o desempenho das magens auto-esboço é próxmo ao desempenho das magens auto-face. Fgura 5. Exemplos de magens esboço da face (centro) e regão de pele (dreta) obtdas de magens facas (esquerda) em nível de cnza. Fgura 6. Verfcação do desempenho das magens autoface, auto-esboço e auto-pele.

4 Para verfcar a relevânca das magens auto-pele um novo passo na pesqusa fo marcado pela proposta do método auto-fusão [8]. 5. Auto-Fusão Auto-fusão é um método de Fusão Multmodal Paralelo efetuado no módulo de decsão [9] com três característcas bométrcas: face, esboço e pele (Fgura 7). Verfca-se na Fgura 8 que se pode defnr uma matrz acumulatva, tal que: os três Modos de Decsão encontraram a como a prmera magem mas próxma, um Modo de Decsão encontrou a magem como a segunda magem mas próxma, enquanto os outros dos encontraram a magem , apenas um Modo de Decsão encontrou a magem como a tercera magem mas próxma, dos Modos de Decsão encontraram a magem como a quarta magem mas próxma. mas próxmas ª 2ª 3ª 4ª Fgura 8. Resultado Acumulatvo dos Modos de Decsão Fgura 7. Exemplo de Fusão Multmodal Parelelo efetuado no modo de decsão modfcado de Jan [9]. Em resumo, ncalmente todas as magens de face do banco de dados foram utlzadas para calcular o subespaço PCA da Face. Após, projetou-se cada magem de face no subespaço PCA da Face e calculou-se a auto-face. Este procedmento fo realzado para as magens esboço e pele que consttuíram o subespaço PCA do Esboço e da Pele e conseqüentemente as magens auto-esboço e auto-pele. Dada uma magem query da face, ela é projetada no subespaço PCA da Face resultando na sua auto-face. Após, efetua-se a dstânca eucldana da auto-face da magem query com todas as auto-faces do banco de magens de forma seqüencal e, então, o módulo de Decsão da Face classfca as magens mas próxma da magem query de acordo com a dstânca eucldana em ordem crescente. Da mesma forma, as magens esboço e pele, geradas a partr da magem query, são projetadas nos subespaços PCA do Esboço e da Pele e verfcada a dstâncas em relação as auto-esboço e auto-pele do banco. Para explcar o método de fusão proposto, suponha que se deseje localzar as quatro magens mas próxmas da (magem 3 5) e que obteve-se os seguntes resultados: Módulo de Decsão da Face: , ; ; ; Módulo de Decsão do Esboço: ; ; ; ; Módulo de Decsão da Pele: ; ; ; Então, o método de auto-fusão procura pelos valores 3, 2, 1 na matrz acumulatva, exclundo-se a coluna e a lnha que pertencem a estes valores. Na Fgura 8 verfca-se que a matrz acumulatva possu o valor 3 na lnha e a na coluna 1ª, nesse caso, o método defne a magem com a prmera busca mas próxma e elmna essa lnha e essa coluna (Fgura 9). mas próxmas ª 3ª 4ª Fgura 9. Matrz acumulatva após a retrada do valor 3. Na Fgura 9 analsa-se que a matrz acumulatva possu o valor 2 na lnha e na coluna 2ª e na lnha e na coluna 4ª, nesse caso, o método defne a magem com a segunda busca mas próxma e a magem com a quarta busca mas próxma e elmnam-se as respectvas lnhas e colunas (Fgura 10). mas próxmas 3ª Fgura 10. Matrz acumulatva após a retrada do valor 2. Na Fgura 10 observa-se que a matrz acumulatva possu o valor 1 na lnha e na coluna 3ª, nesse caso, o método defne a magem com a tercera

5 busca mas próxma e elmna essa lnha e essa coluna. Portanto, o modo de Fusão Auto-fusão obtém o resultado: , , , Esse resultado é superor aos apresentados pelo Modo de Decsão da Face, do Esboço e da Pele que encontraram 3 magens, ao passo que a auto-fusão encontrou as 4 magens da classe. Em caso de houver empate ou ausênca de um dos valores 3, 2 e 1 na coluna, prevalece à ordem: prmero a magem encontrada pelo Método de Decsão da Face, segundo pelo método do Esboço e tercero pelo método da Pele, devdo ao desempenho alcançado por estes de forma ndvdual (Fgura 6). Na Fgura 11 pode-se observar o desempenho da autofusão em relação aos métodos aplcados de forma ndvdual. Verfca-se que utlzando a auto-fusão 95% das magens do banco conseguem localzar as 4 magens que compõe as suas respectvas classes, e este resultado é 3% superor ao alcançado pela magens auto-face. uma contrbução para a formação de característcas assocadas à descrção de magens dgtas colordas ou em nível de cnza. 10. Bblografa [1] J.M.T. Domenech, A.P. Bolvar, Atlas das Raças Humanas, Ibero-Amercano, Ltda, Ro de Janero, [2] O. Severno Jr., A. Gonzaga, Msturograma Uma proposta de Quantzação do Hstograma através da Mstura de Cores, WVC' I Workshop de Vsão Computaconal, Praccaba, 2005, pp [3] A.M. Martnez, R. Benavente, The AR Face Database, CVC Techncal Report nº 24, 1998, June. [4] O. Severno Jr., A. Gonzaga, Auto-esboço e Autopele pelo Msturograma, WVC' II Workshop de Vsão Computaconal, São Carlos, 2006, pp [5] K. Baek, M.S. Bartlett, and B.A. Draper, Recognton faces wth PCA and ICA, Computer Vson and Image Understand, Vol. 91, 2003, pp [6] P. J. Phllps, H. Moon, P. J. Rauss, and S. Rzv, The FERET evaluaton methodology for face recognton algorthms, IEEE Transactons on Pattern Analyss and Machne Intellgence, Vol. 22, No. 10, October, Fgura 11. Gráfco de desempenho da auto-fusão. 6. Conclusão Mostrou-se com este trabalho que cada pxel de uma magem em nível de cnza pode ser classfcado como uma das cores preto, azul, verde, cano, vermelho, magenta, amarelo e branco, através de uma extensão do Msturograma que é uma abordagem de quantzação de cores de uma magem RGB. Uma das ntenções deste trabalho fo mostrar o potencal do Msturograma quando utlzado para a segmentação da regão de pele e esboço da face de magens em nível de cnza. Outra ntenção fo mostrar a relevânca das magens da face, esboço e pele quando utlzadas como característcas em um sstema multmodal. Verfcando-se, também, o desempenho e a relevânca do método auto-fusão, acredtamos que as característcas relaconadas ao esboço da face e a regão de pele poderão ser exploradas em trabalhos futuros como [7] F. Samara, and A. Harter, Parametersaton of a stochastc model for human face dentfcaton, 2nd IEEE Workshop on Applcatons of Computer Vson, Sarasota (Florda), December, [8] O. Severno Jr., A. Gonzaga, Auto-Fusão na Recuperação de Baseadas em Conteúdo, WVC' II Workshop de Vsão Computaconal, São Carlos, 2006, pp [9] A.K. Jan, A. Ross, and S. Prabhakar, An Introducton to Bometrc Recognton. IEEE Transactons on Crcuts and Systems for Vdeo Technology, Specal Issue on Image- and Vdeo-Based Bometrcs, 2004.