RECUPERAÇÃO DE IMAGENS DE FACES HUMANAS BASEADA EM CONTEÚDO DE RETRATO FALADO

Transcrição

1 RECUPERÇÃO DE IMGENS DE FCES HUMNS SED EM CONTEÚDO DE RETRTO FLDO Leandro Sebastian Pereira da Silva e dilson Gonzaga USP/EESC Universidade de São Paulo / Departamento de Engenharia Elétrica v. do Trabalhador São-Carlense, 400, CEP , São Carlos, São Paulo, rasil [sebastian, adilson]@sel.eesc.usp.br Resumo tecnologia hoje disponível para a construção de sistemas computacionais que analisem imagens digitalizadas e delas recuperem alguma informação é muito incipiente. Em vista disto, este trabalho objetiva desenvolver um sistema computacional capaz de buscar imagens de faces humanas em um banco de dados de faces reais. Foram confeccionados retratos falados para comparar com imagens reais de faces humanas presentes em banco de dados e, recuperar as mais semelhantes. Com eficiência de 81,25% nas buscas realizadas, o sistema computacional desenvolvido neste trabalho se mostra como um método viável para recuperar imagens reais a partir de retratos falados. bstract Today, the available technology to the construction of computer systems that analyses digital images and recuperate of them some information, is very scarce. That s why, this work objective to develop a computer system capable to search images of human faces in a database of real faces. Face sketch were made with real images of human faces present in database, and to recover the more similar faces. With as efficiency of 81,25% in the made searches, the computer system developed in this work shows be a feasible method to recuperate real images of face sketch. 1. Introdução área de recuperação de imagens por conteúdo (CIR do inglês Content-based Image Retrieval) tem proporcionado um avanço considerável durante a era tecnológica no campo de Visão Computacional. Este avanço é atribuído à disseminação dos produtos tecnológicos e a necessidade de administrar grandes quantidades de dados e imagens. À medida que cresce o volume de imagens armazenadas, cresce também o interesse por sistemas capazes de recuperar informações visuais de maneira eficiente e com grau de automação maior [2]. importância dos sistemas que habilitam a recuperação de imagens pelo seu conteúdo (CIR) tem, freqüentemente, sido reforçada pela necessidade da informação no lugar certo e no tempo adequado, a fim de aumentar a qualidade e a eficiência dos procedimentos em diversas áreas do conhecimento. Estes sistemas, por sua própria natureza, demandam a integração de conhecimentos das áreas de processamento de imagens e bases de dados, envolvendo pesquisas para o desenvolvimento de técnicas de extração de características, identificação de objetos salientes, desenvolvimento de um modelo eficiente de armazenamento para permitir indexação e buscas baseadas no conteúdo, além de formulação de consultas por similaridade. O ser humano é muito eficiente no reconhecimento de informações apresentadas

2 graficamente, portanto tem uma grande facilidade em interpretar imagens, sendo capaz de associar alguns traços de um desenho ou esboço com os traços de uma pessoa. Por causa dessa associação de traços de um desenho ao indivíduo a que remetem, é que se passou a utilizar Retratos Falados para se encontrar indivíduos desaparecidos ou procurados, seja para fins forenses (para encontrar criminosos foragidos), ou para fins sociais (reencontrar crianças ou entes desaparecidos) [7]. Desenvolver ferramentas computacionais capazes de reproduzir a associação dessas características imitando a capacidade humana tornou-se um desafio. No processo de busca por similaridade, as imagens são submetidas a um processo de extração de características. Idealmente, essas características devem ser capazes de descrever as imagens referidas. Então, quando o usuário solicita uma consulta por similaridade, deve existir um subconjunto das características que descreve o aspecto da imagem em que o usuário está interessado. Quando o usuário indica as respostas que lhe são relevantes dentre as respostas de uma consulta, as características dessas imagens que descrevem o aspecto em que o usuário está interessado devem estar com valores próximos entre si, enquanto as características que não estão vinculadas a esse aspecto devem apresentar faixas de variação diferentes [3]. Comparada com essa capacidade humana, a tecnologia hoje disponível para a construção de sistemas computacionais que analisem imagens digitalizadas e delas recuperem alguma informação, é muito incipiente [2]. Em vista disso, este trabalho tem por objetivo desenvolver um sistema computacional capaz de buscar imagens de faces humanas em um banco de dados de faces reais que possuam características em comum com um retrato falado, comparando com resultados de outros métodos de busca presentes na literatura. Para provar a capacidade computacional de comparar imagens reais com um retrato falado são propostas técnicas de CIR, com o descritor wavelets de Haar como extrator de características das imagens e a distância Euclidiana na comparação entre os vetores de características gerados. s imagens de faces reais presentes em um banco experimental serão pré-processadas pelo método Misturograma a fim de torná-las comparáveis aos retratos falados utilizados para busca. Esse sistema busca agilizar os processos de investigação policial na identificação e procura de criminosos através de retratos falados feitos a partir da descrição das vítimas ou testemunhas; auxiliar nos processos de identificação e busca de pessoas desaparecidas que tenham seu retrato falado feito a partir da descrição de parentes e conhecidos, uma vez que o retrato falado é mais eficiente que fotos antigas por conservar as características invariantes ao envelhecimento, em casos onde a foto original possa não ser tão eficaz; além de disponibilizar um mecanismo de fácil processamento de busca em grandes bancos de dados de domínio público como a internet, por exemplo. 2. Material e Métodos O sistema de recuperação dá a oportunidade ao usuário de entrar com sua imagem de retrato falado para ser utilizada como referência da busca. partir desta imagem de retrato falado, inserida pelo usuário, o sistema realiza a busca por similaridades em uma base de faces reais. s imagens de retrato falado foram desenvolvidas por voluntários utilizando diversos programas de confecção de imagens disponíveis, tais como: Photoshop, Corel Draw, Ms Paint. lém desses, foram utilizados programas específicos, desenvolvidos e destinados propriamente à confecção de retratos falados, é o caso do Photocomposer Plus [5] e do FlashFace [6].

3 O banco de faces utilizado como base de busca foi composto a partir do banco de faces R [3], formado por imagens de faces humanas reais e coloridas de homens e mulheres ocidentais, de raça predominante branca. Para realização dos experimentos, foram selecionadas cem imagens distribuídas igualmente em vinte e cinco classes escolhidas aleatoriamente. Cada classe do banco de faces experimental foi composta por quatro poses diferente da mesma face, como pode ser observado no resultado da figura 1. reúne as informações mais significativas no que se refere às formas presentes na imagem. Na figura 3 é possível ver a mesma face representada apenas com a mistura de cores da camada 7, correspondente ao bit mais significativo da cor de cada pixel da imagem. Figura 1 Classe composta por quatro poses diferentes da mesma face. s imagens selecionadas foram submetidas ao Misturograma [1], que segmenta as imagens reais e coloridas. Essa ferramenta reúne as características visuais das fotografias de face em um traçado básico, aproximando a imagem original a um retrato falado sem muito esforço. figura 2 mostra em a) uma imagem reduzida para o tamanho 288 x 384 pixels no formato RG com 24 bits do banco de faces R [3] e, em b) a mesma imagem quantizada em 8 cores pelo misturograma. Figura 3 - Imagem quantizada pela mistura de cores da camada 7. Na camada 7, os traços principais da face são facilmente identificados pelo preto, resultando numa imagem interessante para o processo de comparação com os retratos falados confeccionados pelos voluntários. Observa-se na figura 4 a imagem resultante desse processo, ou seja, formada a partir da abstração da camada 7 pelos pixels de cor preta, que será aproveitada pela busca do sistema. Figura 2 - : Imagem original e : Imagem quantizada pelo Misturograma. imagem quantizada pelo Misturograma é constituída por camadas de misturas de cores, sendo a sétima, a camada que C Figura 4 - Imagens segmentadas. e C: imagem original, e D: auto-esboço da face. D

4 Utilizando o software específico, Photocomposer Plus citado anteriormente, foi possível confeccionar o retrato falado que pode ser observado na figura 5, inspirado na imagem original presente no banco de faces R. Figura 5 - : imagem original e : imagem feita com o software de retrato falado utilizando a imagem original como referência. Para a comparação entre as imagens resultantes, foi desenvolvido um sistema de busca baseado no conteúdo, que utiliza a transformada de wavelets de Haar como descritor [4]. s transformadas de wavelets sempre se mostraram uma alternativa muito interessante para geração de características em um sistema de CIR, devido à considerável compressão de dados das imagens digitais, além de permitir um alto grau de automação sem que haja necessidade de interferência humana no processo. Figura 6 - : auto-esboço da face e : imagem feita com o software de retrato falado utilizando a imagem original como referência. Na figura 6 é possível visualizar as duas imagens que se pretende comparar, a primeira resultante do método de auto-esboço da face através da sétima camada do misturograma, e a segunda, fruto de um retrato falado, elaborado por um voluntário utilizando o software de retrato falado tomando por base as características do indivíduo na imagem original. Utilizando as duas imagens acima, foi aplicado um algoritmo de extração de características, criando-se um vetor baseado na transformada de wavelets de Haar para cada uma delas. Para comparação entre a imagem de retrato falado com as outras da base, utilizou-se a Distância Euclidiana. Vale ressaltar que não é objetivo deste trabalho comprovar a eficácia da distância Euclidiana ou do descritor wavelets de Haar, já explorados na literatura existente, e sim mostrar a capacidade computacional de comparação entre um retrato falado e as imagens de faces originais e coloridas presentes na base de dados. 3. Resultados Como resultados para análise recuperouse quatro imagens mais semelhantes para cada retrato falado submetido à busca. Para cada posição das quatro imagens recuperadas preenchidas por uma imagem da classe a que se refere o retrato falado foi considerado um acerto. O exemplo da figura 7 representa um caso onde as quatro posições das quatro imagens recuperadas foram preenchidas com imagens da classe a que o retrato falado representa, somando quatro acertos. Considerando que para cada imagem de retrato falado submetida à busca, existem quatro imagens da classe a qual o mesmo foi relacionado, um resultado de 100% se daria se, para cada um dos vinte e cinco retratos falados o sistema retornasse as quatro imagens da classe desejada. Para as vinte e cinco imagens de retrato falado submetidas à busca, a eficácia de acertos foi de 81 %.

5 Figura 7: resultado da busca por similaridade das quatro faces mais semelhantes da base de testes, comparando-se o auto-esboço com o retrato falado. 100% das quatro mais similares pertencem à classe original. Figura 8: Gráfico de Recall&Precision. presentando o resultado da busca com Retratos falados comparado com os resultados da busca com os próprios esboços do Misturograma e com as imagens originais. No gráfico da figura 8 observam-se os resultados da busca a partir de retratos falados (em azul) comparados com os resultados da busca a partir das imagens de esboço do Misturograma (em vermelho) e com os resultados da busca a partir das imagens originais e coloridas (em verde), utilizando o mesmo sistema de busca e o mesmo conjunto de imagens. Os quatro pontos em destaque representam o resultado acumulado de cada um dos quatro indivíduos recuperados para cada uma das vinte e cinco classes para os três métodos. Com o retrato falado introduzido na base de busca, obteve-se resultado superior aos outros dois métodos comparados, o que representa que o retrato falado como referência

6 de busca é menos suscetível às variações de expressão. Esta característica revela também, que as buscas computacionais com retratos falados podem ser mais eficientes se houver incidência de pequenas alterações ou disfarces nas imagens envolvidas. 4. Conclusões o final do experimento em CIR, considerando-se a comparação do auto-esboço com o retrato falado demonstra uma alternativa cheia de possibilidades e muito interessante. O resultado comprova a capacidade computacional de comparação de imagens reais com um desenho de retrato falado. Em comparação com outros métodos de busca o retrato falado obteve boa eficácia. Conforme o gráfico da figura 7, o desempenho do retrato falado em azul apresenta eficácia melhor do que as imagens de esboço, em vermelho, e em comparação com as imagens reais o retrato falado aparece com vantagem ainda maior. Em vista da viabilidade deste método, pode-se afirmar que se trata de uma boa opção para fins forenses. Se aplicado a identificação de suspeitos criminais ou pessoas desaparecidas pode agilizar os processos de busca em bancos de imagens em domínio policial e público. [2] Campo, C.Y. e Traina,.J.M., Uma bordagem Eficiente para Recuperação de Imagens Médicas, III Workshop de Informática Médica, [3] Martinez,.M. e enavente, R., The R Face Database, CVC Technical Report nº 24, [4] Silva, C.Y.V.W. e Traina,.J.M., nalisando Wavelets como Geradoras de Características de Imagens para Recuperação por Conteúdo, II Workshop de Visão Computacional, São Carlos, 2006, p [5] software.htm - último acesso em 27/06/2009. [6] último acesso em 27/06/2009. [7] Tang, X. e Wang, X, Face Photo Recognition Using Sketch, IEEE International Conference on Image Processing, 2002, pp gradecimentos Os autores agradecem à FPESP Fundação de mparo à Pesquisa do Estado de São Paulo, pelo suporte financeiro ao desenvolvimento deste trabalho. 5. Referências ibliográficas [1] Severino Jr., O. e Gonzaga,., uto-esboço e uto-pele pelo Misturograma, II Workshop de Visão Computacional, São Carlos, 2006, p