MIMPCA: uma abordagem robusta para extração de características aplicada à classificação de faces

Transcrição

1 Universidade Federal de Pernambuco Centro de Informática Pós-graduação em Ciência da Computação MIMPCA: uma abordagem robusta para extração de características aplicada à classificação de faces José Francisco Pereira Dissertação de Mestrado Recife 13 de agosto de 2010

2

3 Universidade Federal de Pernambuco Centro de Informática José Francisco Pereira MIMPCA: uma abordagem robusta para extração de características aplicada à classificação de faces Trabalho apresentado ao Programa de Pós-graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco como requisito parcial para obtenção do grau de Mestre em Ciência da Computação. Orientador: Co-orientador: George Darmiton da Cunha Cavalcanti Tsang Ing Ren Recife 13 de agosto de 2010

4 Pereira, José Francisco MIMPCA: uma abordagem robusta para extração de características aplicada à classificação de faces / José Francisco Pereira. - Recife: O Autor, xxii, 77 folhas : il., fig., tab. Dissertação (mestrado) Universidade Federal de Pernambuco. CIn. Ciência da Computação, Inclui bibliografia e apêndice. 1. Inteligência artificial. 2. Aprendizagem de máquina. I. Título CDD (22. ed.) MEI

5 Dedico este trabalho a uma guerreira fundamental em minha trajetória de vida, sem a qual eu jamais teria alcançado êxito algum: a minha mãe Josefa. Muitíssimo obrigado Dona Nega.

6

7 Agradecimentos Primeiramente à família pelo apoio incondicional durante toda a vida, pelo esforço em me dar a infra-estrutura necessária para conquistar meus objetivos. À minha noiva Cintya pelo companheirismo, pelos puxões de orelha nas horas certas, por todas as palavras de ânimo, em fim, obrigado por tudo. Aos "irmãos da faculdade"pelas conversas, distrações, discussões e até brigas que só contribuíram para o meu amadurecimento pessoal, profissional e acadêmico. Como não agradecer também aos demais irmãos-de-vida por tornar estes dois últimos anos, se não os melhores, os mais bem aproveitados da minha vida. Agradeço em especial aos professores George Darmiton e Tsang Ren pela paciência na minha orientação, pelo imprescindível apoio, pelas motivações e por compreender e ajudar a driblar todas as "pedras no caminho"até a defesa deste trabalho. vii

8

9 De tudo ficam três coisas: a certeza de que estamos sempre começando... a certeza de que é preciso continuar... a certeza de que seremos interrompidos antes de terminar... portanto, devemos fazer da interrupção um caminho novo... da queda um passo da dança... do medo, uma escada... do sonho, uma ponte... da procura... um encontro. FERNANDO SABINO

10

11 Resumo É crescente a necessidade de controle de acesso a lugares, serviços e informações. É crescente também a busca por soluções mais eficientes na identificação pessoal. Neste contexto, a biometria, que consiste no uso de características biológicas como mecanismo de identificação, tem sido utilizada com resultados bastante promissores. Dentre as informações utilizadas para identificação dos indivíduos podem ser destacadas a íris, a retina, a face, a impressão digital ou até mesmo a geometria da mão. Dentre as biometrias, o reconhecimento de faces destaca-se por ser uma técnica que apresenta ótimos resultados com baixo custo de implantação. Ela pode ser utilizada nos mais diversos tipos de dispositivos e, em sua forma mais simples, não exige hardware dedicado. A técnica destaca-se ainda por não necessitar da interação do usuário ou qualquer tipo de contato físico para captura e classificação das faces. O presente trabalho é focado no reconhecimento de faces baseado em imagens (2D). Mais precisamente o trabalho visa reduzir ou eliminar os efeitos de variações no ambiente ou na própria face que prejudiquem a sua classificação final. As técnicas examinadas e propostas fazem uso da análise de componentes principais (PCA) para extração de características das imagens de faces frontais. Elas baseiam-se em estudos recentes com o objetivo de melhorar as taxas de classificação mesmo sob condições adversas de aquisição de imagens ou oclusão parcial das faces. Os resultados obtidos mostraram uma superioridade nas taxas de acerto das abordagens propostas em relação às suas técnicas-base quando executadas sobre imagens com algum tipo de variação local. Foi constatado também um grande ganho no tempo de processamento das imagens, o que contribui para aplicar as técnicas propostas em dispositivos com menor capacidade computacional. Palavras-chave: Reconhecimento, Face, Verificação, PCA, MIMPCA, MPCA, IMPCA, cmimpca, wmimpca, k-nn xi

12

13 Abstract There is a growing need for controling access to places, services and information. It also increased the search for more efficient solutions in personal identification. In this context, biometrics, what is the use of biological characteristics as a mechanism for identification, has been used with promising results. Among personal information used for identification can be highlighted the iris, retina, face, fingerprint and even the hand geometry. The face classification stands out for achieving excellent results with low aquisition cost. It can be used in various types of devices and, in its simplest form, does not require dedicated hardware. The technique distinguishes from anothers because it doesn t require user interaction or any kind of contact. The present work focuses on face classifications based on two-dimensional images. More especifically this work adresses do reduce or avoid enviromental changes or also faces variarions. These kind of variations usually affects final face classification. The proposed techniques use Principal Compnent Analysis (PCA) for feature extraction of frontal face images. They are based on recente researches in face classifications PCA approaches improvements and they addresses to improve the recognition rates even under adverse conditions of image acquisition or partial face occlusion. Obtained results showed that proposed techniques improves the classification rates when compared to based techniques. All experiments were performed over the same face databases and used the same training and testing sets. It was also noticed a considerably redution on computational cost needed to image processing and feature extraction. This features contributes to apply the proposed techniques to small computer devices with low computational power. Keywords: Recognition, Face, Verification, PCA, MIMPCA, MPCA, IMPCA, cmimpca, wmimpca, k-nn xiii

14

15 Sumário 1 Introdução Contexto Motivação Objetivos Estrutura do Trabalho 4 2 Classificação de Faces Como Classificamos Faces - Uma abordagem Biológica Sistemas de Classificação de Faces Arquitetura de um Sistema de Classificação de Faces Reconhecimento versus Verificação Estado da arte Fisherfaces Modelos Escondidos de Markov Proximidade de Linha de Características Técnicas baseadas em análise de componentes principais Eigenfaces Análise de Componentes Principais Bidimensional Análise de Componentes Principais Modular Análise de componentes principais baseado em subpadrões - SpPCA Análise de componentes principais baseado em subpadrões com pesos adaptativos - Aw-SpPCA 21 3 Métodos Propostos Modular Image Principal Component Analysis (MIMPCA) Procedimento de extração de características Weigthed Modular Image Principal Component Analysis (wmimpca) Abordagem Para Verificação de Faces Class-Modular Image Principal Component Analysis (cmimpca) Procedimento de extração de características 31 4 Experimentos, Resultados e Discussão Bases de dados ORL UMIST 33 xv

16 xvi SUMÁRIO Yale Técnicas de Reconhecimento de Faces Modular Image Principal Component Analysis - MIMPCA Weighted Modular Image Principal Component Analysis - wmimpca Verificação de Faces Class Modular Image Principal Component Analysis (cmimpca) 45 5 Conclusão Considerações Finais Limitações e Dificuldades Trabalhos Futuros 56 A Detalhamento dos Resultados 59 A.1 Modular Principal Component Analysis - MPCA 60 A.2 Image Principal Component Analysis - IMPCA 63 A.3 Modular Image Principal Component Analysis - MIMPCA 66 A.4 Weighted Modular Image Principal Component Analysis - wmimpca 70

17 Lista de Figuras 2.1 Uso de informações locais para representação das faces Exemplos de imagens de faces em posição normal e rotacionadas em 180 graus Macro-etapas do processo de classificação de faces Visão geral do processo de reconhecimento de faces Visão geral do processo de verificação de faces HMM para o reconhecimento de faces. Estados e possíveis transições Projeção do ponto x sobre a linha x 1 x Subdivisão de imagens adotadas pelas técnicas modulares SpPCA e Aw-SpPCA. (Fonte: Artigo que propõe o Aw-SpPCA [Tan05] ) Forma de classificação de faces baseada na classificação de cada subimagem Forma de classificação baseada na classificações intermediárias de cara região Conjunto de pesos utilizados para classificação das faces utilizando a técnica wmimpca Exemplos de faces presentes na base de dados ORL Exemplos de faces presentes na base de dados UMIST Exemplos de faces presentes na base de dados Yale Resultados obtidos para diferentes configurações de particionamento das faces para a técnica MIMPCA sobre a base de faces ORL Resultados obtidos nos experimentos com a técnica MIMPCA sobre a base de faces Yale Resultados obtidos nos experimentos com a técnica MIMPCA sobre a base de faces ORL Resultados obtidos nos experimentos com a técnica MIMPCA sobre a base de faces UMIST Comportamento da taxa de acerto das técnicas MPCA, IMPCA e wmimpca variando a quantidade de sub-imagens da faces Resumo das taxas de acerto da técnica wmimpca para as bases de dados testadas Resultados obtidos nos experimentos com a técnica wmimpca sobre a base de faces Yale Resultados obtidos nos experimentos com a técnica wmimpca sobre a base de faces UMIST Resultados obtidos nos experimentos com a técnica wmimpca sobre a base de faces ORL. 44 xvii

18 xviii LISTA DE FIGURAS 4.13 Curvas ROC exibindo o desempenho das técnicas tradicionais (esquerda) e das técnicas adatadas à verificação de faces (direita) para a base de faces ORL Curvas ROC exibindo o desempenho das técnicas tradicionais (esquerda) e das técnicas adatadas à verificação de faces (direita) para a base de faces Yale Curvas ROC exibindo o desempenho das técnicas tradicionais (esquerda) e das técnicas adatadas à verificação de faces (direita) para a base de faces UMIST. 51

19 Lista de Tabelas 4.1 Média das taxas de acerto para a técnica Resumo das melhores taxas de reconhecimento obtidas pelas técnicas Taxas de verdadeiros positivos (TP) ao se fixar o valor de falsos positivos (FP) em 1% Taxas de verdadeiros positivos (TP) ao se fixar o valor de falsos positivos (FP) em 5% Tempo computacional, em segundos (s), necessário para as etapas de extração de características e classificação dos padrões Número de coeficientes utilizados para representação da imagem utilizando 1 e 3 componentes principais 53 A.1 Detalhamento das médias das taxas de reconhecimento para a técnica MPCA sobre a base de faces Yale 60 A.2 Detalhamento dos Desvios Padrão para a técnica MPCA sobre a base de faces Yale 60 A.3 Detalhamento dos Desvios Padrão para a técnica MPCA sobre a base de faces UMIST 61 A.4 Detalhamento dos desvios padrão para a técnica MPCA sobre a base de faces UMIST 61 A.5 Detalhamento dos Desvios Padrão para a técnica MPCA sobre a base de faces ORL 62 A.6 Detalhamento dos desvios padrão para a técnica MPCA sobre a base de faces ORL 62 A.7 Detalhamento das médias das taxas de reconhecimento para a técnica IMPCA sobre a base de faces Yale 63 A.8 Detalhamento dos Desvios Padrão para a técnica IMPCA sobre a base de faces Yale 63 A.9 Detalhamento das médias das taxas de reconhecimento para a técnica IMPCA sobre a base de faces UMIST 64 A.10 Detalhamento dos Desvios Padrão para a técnica IMPCA sobre a base de faces UMIST 64 A.11 Detalhamento das médias das taxas de reconhecimento para a técnica IMPCA sobre a base de faces ORL 65 A.12 Detalhamento dos Desvios Padrão para a técnica IMPCA sobre a base de faces ORL 65 xix

20 xx LISTA DE TABELAS A.13 Detalhamento das médias das taxas de reconhecimento para a técnica MIMPCA sobre a base de faces Yale 66 A.14 Detalhamento dos Desvios Padrão para a técnica MIMPCA sobre a base de faces Yale 67 A.15 Detalhamento das médias das taxas de reconhecimento para a técnica MIMPCA sobre a base de faces UMIST 68 A.16 Detalhamento dos Desvios Padrão para a técnica MIMPCA sobre a base de faces UMIST 68 A.17 Detalhamento das médias das taxas de reconhecimento para a técnica MIMPCA sobre a base de faces ORL 69 A.18 Detalhamento dos Desvios Padrão para a técnica MIMPCA sobre a base de faces ORL 69 A.19 Detalhamento das médias das taxas de reconhecimento para a técnica wmimpca sobre a base de faces Yale 70 A.20 Detalhamento dos Desvios Padrão para a técnica wmimpca sobre a base de faces Yale 71 A.21 Detalhamento das médias das taxas de reconhecimento para a técnica wmimpca sobre a base de faces UMIST 72 A.22 Detalhamento dos Desvios Padrão para a técnica wmimpca sobre a base de faces UMIST 72 A.23 Detalhamento das médias das taxas de reconhecimento para a técnica wmimpca sobre a base de faces ORL 73 A.24 Detalhamento dos Desvios Padrão para a técnica wmimpca sobre a base de faces ORL 73

21 Terminologias e Notações Os seguintes termos e notações serão utilizados no decorrer da dissertação: Representação de Matrizes: serão representadas por letras maiúsculas. Exemplo: S, A; Representação de Vetores: é feita utilizando letras minúsculas em negrito. Exemplo: a, b; Representação de Valores Escalares: será feita utilizando caracteres maiúsculos em itálico ou caracteres minúsculos. Exemplo: M, C, x, y, i, j; I: Matriz que representa a imagem da face; M: Número de elementos que formam a base de treinamento; I m ou i m : m-ésima imagem da base de treinamento; I m (x,y): Função imagem que retorna a intensidade do pixel de coordenada(x,y); I t ou i t : t-ésima imagem da base de teste; Ā ou ā: Matriz com as médias das faces de treinamento; S: Matriz de covariância das imagens do conjunto de treinamento; Y m ou y m : Matriz normalizada da m-ésima face ou região da face (treinamento); Y t ou y t : Matriz normalizada da t-ésima face ou região da face (testes); P: Matriz de projeção das faces; W m ou w m : Nova representação da m-ésima face ou região após a projeção (treinamento); W t ou w t : Nova representação da t-ésima face ou região após a projeção (teste); Q: Número de subconjuntos disjuntos da base de treinamento. Cada conjunto representa um indivíduo ou classe; C q : Cardinalidade do k-ésimo conjunto de classes; K: Número de autovetores utilizados na representação da imagem; xxi

22 xxii TERMINOLOGIAS E NOTAÇÕES Os índices i j são utilizados para referenciar as regiões da imagem; As abreviações utilizadas na dissertação estão relacionadas abaixo: 2DPCA: Two-Dimensional Principal Component Analysis; Aw-SpPCA Adaptively weighted sub-pattern PCA for face recognition; cmimpca: Class Modular Image Principal Component Analysis; DCT: discrete cosine transform; DLA: Dynamic Link Archtecture; FL: Feature Line; HMM: Hidden Markov Model; ICA: Independent Component Analysis; IMPCA: Image Principal Component Analysis; LDA: Linear Discriminant Analysis; PCA: Principal Component Analysis; MIMPCA: Modular Image Principal Component Analysis; MPCA: Modular Principal Component Analysis; NFL: Nearest Feature Lines; SpPCA: Subpattern-based Principal Component Analysis; wmimpca: Weighted Modular Image Principal Component Analysis;

23 CAPÍTULO 1 Introdução 1.1 Contexto Cada vez mais cresce a necessidade de controle de acesso a lugares, serviços e informações. É crescente também a busca por soluções mais eficientes na identificação dos indivíduos. Neste contexto, a biometria, que consiste no uso de características biológicas como mecanismo de identificação, tem sido utilizada com resultados muito promissores. A biometria parte do princípio de que o corpo humano é sua senha e que todo indivíduo é único. Dentre as informações utilizadas para identificação podem ser destacadas a íris, a retina, a face, a impressão digital ou até mesmo a geometria da mão. Outro uso promissor da biometria diz respeito à interação entre homens e máquinas, na qual ações e gestos podem ser utilizados como entrada do sistema. Novos dispositivos e mídias exigem novas formas de interação além dos tradicionais teclados, mouses e telas. O entendimento, por parte dos sistemas, do estado emocional e das ações dos usuários também será muito beneficiada com o desenvolvimento das tecnologias de reconhecimento baseadas em biometria. Ainda são revolucionários os dispositivos que fazem uso de gestos e expressões como principal forma de interação, entretanto, já estão surgindo versões comerciais destes dispositivos, que vão de consoles de videogames a carros que reconhecem seu proprietário. O reconhecimento de faces é um método de reconhecimento de indivíduos baseado em suas características faciais. Ela destaca-se por ser uma das técnicas biométricas que exigem menos interação do usuário. Atualmente, tem sido aplicada a problemas de controle de fronteiras, controle de acesso a parques, escolas e outras áreas restritas, identificação de criminosos, autenticação de usuários em sistemas etc. Reconhecimento de faces vem sendo pesquisado há mais de trinta anos e já apresenta resultados muito promissores. A classificação de faces pode ser feita utilizando diferentes informações, tecnologias e metodologias, a depender do grau de precisão e condições nas quais os dados serão coletados. Restringindo-se à classificação de faces baseada em imagens, as técnicas de classificação envolvem duas grandes áreas de pesquisa em visão computacional: detecção e reconhecimento. A primeira delas, a segmentação de imagens ou detecção de padrões, é bastante utilizada em vários outros campos de processamento de imagens [GW00] e visão computacional para detecção e extração dos mais diversos tipos de objetos ou padrões presentes em imagens. A outra área envolvida engloba as etapas de representação e reconhecimento das faces encontradas na etapa anterior, de modo que possam ser utilizadas para comparação com faces da base de conhecimento. O reconhecimento, juntamente com a detecção e extração das faces, são áreas de pesquisa fundamentais em visão computacional e análise de padrões. A segmentação ou detecção de faces é o ato de localizar as faces presentes em uma imagem 1

24 2 CAPÍTULO 1 INTRODUÇÃO e é considerada como uma etapa de pré-processamento sendo, desta forma, independente do sistema de reconhecimento [dbgm + 06]. Ainda segundo o autor, em [dbgm + 06], a detecção não é um procedimento simples, pois em imagens, muitos objetos têm forma semelhante a faces, o que aumenta bastante o número de falsos positivos. Por considerar a detecção de faces um pré-processamento das imagens este trabalho não irá detalhar esta etapa do processo. A classificação de faces é responsável por representar as imagens segmentadas e comparálas às faces da base de conhecimento. Na maioria das técnicas a imagem a ser processada tem sua informação transformada em uma nova representação. Esta mudança na representação visa facilitar o processo de comparação e diminuir os custos de processamento e armazenamento. Essa nova representação geralmente é menor que a original e com dados mais representativos. Esta dissertação focará na etapa de extração de características das faces de forma a eliminar os ruídos e variações externas que prejudiquem o desempenho do sistema de classificação. A presente dissertação limita-se ao estudo de técnicas de classificação de faces utilizando imagens estáticas das faces. Mais precisamente, utilizará a abordagem estatística de análise de componentes principais para a extração de características de faces. 1.2 Motivação Há diversas abordagens que podem ser utilizadas para a classificação de faces que se baseiam em imagens. Elas, em geral, se caracterizam em função das regiões da face que serão utilizadas para análise e posterior representação. Pode-se utilizar toda a informação presente na imagem ou apenas os dados de regiões mais representativas que compõem a face. Há ainda, técnicas que fazem uso de outras informações, como: volumes, estrutura das faces e distâncias entre seus componentes (olhos, nariz, boca etc.). Estas técnicas, que usam apenas algumas regiões da face, acabam desconsiderando a maior parte da informação global da face. Dentre as técnicas de classificação de faces baseadas em imagens, destacam-se as abordagens que utilizam Análise de Componentes Principais - PCA (do inglês, Principal Component Analysis) [TP91] e suas derivações, como as mais promissoras na análise de faces frontais. Embora PCA e suas inúmeras derivações venham obtendo excelentes resultados em problemas que envolvam classificação de faces frontais, elas são muito afetadas por variações ambientais e expressões faciais. Estes dois problemas, juntamente com rotação das faces ocorridos na captura das imagens, prejudicam consideravelmente a classificação. As técnicas baseadas em PCA tradicionalmente utilizam a abordagem holística, isto é, utilizam toda a informação da face ou da imagem que contém a face. Como conseqüência, mesmo pequenas variações na expressão facial ou na iluminação do ambiente, que geralmente afetam apenas algumas regiões da imagem, poderão modificar toda a representação da face a ser classificada. Somem-se, a este problema de variações locais, os problemas relativos ao baixo número de instâncias na base de treinamento. Em problemas de classificação de faces é comum ter apenas alguns poucos exemplos (instâncias) dos padrões de treinamento para se extrair as características. Logo, técnicas que façam análise estatística dos padrões de treinamento podem ser prejudicados pelo baixo número de instâncias de treinamento. Uma característica do PCA tradicional que agrava ainda mais a análise estatística dos dados diz respeito à mudança na representação das imagens. Esta mudança de representação transforma as matrizes das imagens

25 1.3 OBJETIVOS 3 em vetores unidimensionais, que terão dimensionalidade muito alta. Com uma base de treinamento muito pequena, e elementos com dimensionalidade muito alta, a análise estatística dos padrões pode ser prejudicada consideravelmente. Visando superar estas limitações inerentes a problemas de reconhecimento de faces, foi proposta a técnica PCA bidimensional (IMPCA ou 2DPCA) [YZF + 04]. A técnica IMPCA elimina a necessidade de transformação da imagem em vetor, o que facilita a análise estatística dos dados. Entretanto, a técnica bidimensional adota a abordagem holística para extração de características, o que pode prejudicar a classificação final das faces que sofreram algum tipo de variação local. Visando reduzir a influência das variações locais na representação das faces, Gottumukkal e Asari propuseram a técnica modular [GA04] para extração de características. Esta técnica faz uso de diferentes tipos de particionamento da imagem original da face, visando obter dados mais representativos de cada uma das regiões. A bordagem proposta atribui a mesma importância a cada uma das regiões nas quais as imagens foram divididas e aplica o PCA tradicional sobre cada uma dessas regiões. Desta forma, embora sejam obtidos melhores resultados que os alcançados fazendo uso da técnica PCA tradicional, seus resultados ainda sofrem influência de variações na aquisição das imagens. A aquisição das imagens não exige qualquer tipo de contato, interação ou mesmo consentimento do usuário. Em função disso, um único padrão pode estar sujeito a uma grande gama de variações (pose, escala, expressões faciais etc.) e influências de fatores externos (iluminação, problemas na aquisição, ruidos etc.), especialmente quando as imagens não são obtidas em ambientes controlados. Estas variações afetam diretamente o desempenho do sistema de classificação de faces. Logo, o desenvolvimento de técnicas capazes de extrair informações representativas dos dados de treinamento mesmo sob forte influência de variações no ambiente é uma das principais vertentes das pesquisas atuais em reconhecimento de faces. Ela também serve de motivação para as pesquisas realizadas nesta dissertação. 1.3 Objetivos Em geral, a aquisição de imagens de faces para reconhecimento é muito dinâmica, pois não são exigidos posicionamento ou contato físico. Em função disso, as imagens obtidas podem estar sujeitas a muitas variações no ambiente ou na própria face. Tomando por base estas variações juntamente com as limitações no número de protótipos de treinamento, a presente dissertação tem como principais objetivos: Apresentar estudos e conceitos sobre como os seres humanos reconhecem faces; Analisar os estudos mais recentes sobre reconhecimento de faces utilizando abordagens estatísticas; Propor modificações e novas técnicas de extração de características de modo a melhorar as taxas de acerto sobre problemas de reconhecimento e verificação. Por fim, comparar os resultados das técnicas propostas com os obtidos pelas técnicasbase.

26 4 CAPÍTULO 1 INTRODUÇÃO A proposta de novas técnicas de extração de características visa melhorar as taxas de reconhecimento de faces sujeitas a condições adversas. Além disso, a redução do custo computacional para extração das características é uma importante deficiência das abordagens estatísticas atuais. Desta forma, os principais objetivos das técnicas propostas são: Eliminar ou reduzir os efeitos das variações de iluminação, expressão facial e rotação da face na classificação final; Melhorar as taxas de acerto da classificação em faces com oclusão parcial; Reduzir o custo computacional para extração de características das faces. 1.4 Estrutura do Trabalho Esta dissertação apresenta uma nova técnica de classificação de faces baseada em abordagens recentes de análise estatística de imagens. Desta nova técnica proposta, foram derivadas duas outras abordagens que serão detalhadas e executadas sobre diferentes bases de faces. As novas técnicas, experimentos, resultados e conclusões, serão apresentados conforme estrutura a seguir. No Capítulo 2 será mostrada uma abordagem biológica de como os seres humanos fazem o reconhecimento de faces, com base em alguns estudos recentes da neurologia e psicologia. Também será apresentada a arquitetura básica de um sistema de classificação de faces, além do levantamento das principais técnicas de reconhecimento utilizadas atualmente. No Capítulo 3 serão apresentados os modelos propostos neste trabalho. Primeiramente será apresentada a técnica modular bidimensional (MIMPCA) aplicada ao reconhecimento de faces. Em seguida, sua abordagem ponderada, que atribui diferentes contribuições para cada região, é descrita seguida da abordagem por classe que será aplicada a problemas de verificação ou validação de faces. No Capítulo 4 serão apresentadas as bases de faces utilizadas nos experimentos, a parametrização dos experimentos será detalhada, e, por fim, os resultados obtidos serão analisados e comparados entre si. No Capítulo 5 serão apresentados os experimentos e resultados obtidos com as técnicas propostas e comparados com os obtidos por técnicas de extração de características utilizados como base. Os experimentos foram feitos sobre bases de face bem conhecidas na literatura que exploram variações no ambiente e na própria face. Por fim, no Capítulo 6 serão apresentadas as conclusões obtidas, limitações das técnicas e os trabalhos futuros que estão sendo, ou serão realizados, com as técnicas desenvolvidas.

27 CAPÍTULO 2 Classificação de Faces 2.1 Como Classificamos Faces - Uma abordagem Biológica O reconhecimento de faces não é uma característica exclusivamente humana. Há estudos que comprovam que algumas aves e mamíferos também são capazes de reconhecer faces e expressões [DEP02] [Ekm99]. Segundo estudos da Fundação Dana, renomada fundação de pesquisa em estudos do cérebro, esta habilidade de reconhecimento de faces, juntamente com a composição estrutural padrão das faces, tem uma explicação: a sobrevivência. A composição da face com testa, dois olhos, nariz, boca e queixo, e sua disposição foram fundamentais para sobrevivência das espécies. Os olhos frontais facilitam a procura de comida, enquanto que os laterais, presente em algumas espécies, facilitam a visão de possíveis predadores; o nariz voltado para baixo evita problemas de inalação de sólidos, assim como a boca posicionada sob os olhos e nariz facilita a ingestão da comida localizada pela visão e olfato. Especificamente para os seres humanos, as habilidades de reconhecer e avaliar as pessoas com base em suas faces foi de grande importância para a sobrevivência. Saber em quem confiar e em quem não confiar serviu durante muito tempo para evitar conflitos, e em um segundo momento, para formar as primeiras sociedades. Desde então, a análise das características da face como mecanismo de comunicação e identificação é quase indispensável à convivência em sociedade. Mais recentemente, Charles Darwin [DEP02] escreveu sobre a importância das expressões faciais e postura como mecanismos de comunicação e sobrevivência entre seres humanos e animais. Aprofundando o estudo de Darwin, publicado um século antes, Paul Ekman conduziu experimentos visando comprovar o caráter universal das expressões faciais. Segundo seu trabalho [Ekm99], "nossa evolução nos deu expressões universais, que fornece a outras pessoas importantes informações sobre nós". Através da face, pode-se inferir características físicas dos indivíduos como idade ou sexo, assim como características comportamentais como emoção, temperamento, nível de estresse, cansaço, etc. Neste contexto, a face destaca-se como um importante mecanismo de comunicação e identificação de pessoas. No que concerne à identificação de indivíduos baseados em suas faces, é possível destacar duas vertentes nas pesquisas sobre o assunto. Há o grupo que acredita que o reconhecimento de faces dá-se de forma holística, isto é, considerando a informação de toda a face. Ao passo que outra corrente de pesquisa defende uma identificação modular, na qual as regiões da face contribuem diferentemente para o reconhecimento do indivíduo. Alguns estudos apontam a importância de regiões como nariz [HC08], olhos [RFK02] ou queixo, como pontos-chave para o reconhecimento das faces. Entretanto, tais informações isoladamente geralmente não são suficientes para identificação dos indivíduos, necessitando das informações globais da face 5

28 6 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES para fazê-lo. Examinando as imagens da Figura 2.1, percebe-se a dificuldade de identificação utilizando apenas informações parciais da face. Figura 2.1 Uso de informações locais para representação das faces Todas as pesquisas envolvendo reconhecimento de faces e comportamento cerebral têm um ponto em comum: há regiões específicas no cérebro para o reconhecimento de faces. Problemas nesta região do cérebro originaram uma doença chamada prosopagnosia, ou cegueira para feições. Pacientes com esta doença não conseguem lembrar da face das pessoas, embora consiga lembrar as demais características perfeitamente (roupa, perfume, chapéu etc). No tratamento do reconhecimento de faces, o fluxo de informação visual do cérebro diferencia-se levemente do utilizado para reconhecimento dos demais objetos. No fluxo padrão, a informação é obtida pelas células ópticas, chega ao córtex visual na parte posterior do cérebro, segue para as regiões dorsal e ventral, onde são processados a localização do objeto e o que é o objeto, respectivamente. Para o caso de reconhecimento de faces, há uma quarta região envolvida, a área facial fusiforme, onde o reconhecimento é feito. Vale ressaltar que pacientes com prosopagnosia normalmente reconhecem parentes e pessoas próximas em função de outras características como: voz, cheiro, aparência física etc, pois tais habilidades não são comprometidas pela doença. Outra característica importante no processo de reconhecimento de faces diz respeito à importância da orientação das imagens para o seu reconhecimento. Constatou-se que imagens rotacionadas em 180 graus, ou seja, imagens com a cabeça voltada para baixo, apresentam maior dificuldade na identificação. Isso ocorre em função do cérebro processar a imagem como sendo um objeto qualquer e, consequentemente, a análise ser feita fora da região específica para reconhecimento de faces. Como exemplo, as imagens na Figura 2.2 apresentam faces rotacionadas e as mesmas imagens em sua posição normal. Estes estudos sobre o reconhecimento de faces influenciaram consideravelmente as pesquisas no final do século passado e contribuíram para torná-la inerentemente multidisciplinar, atraindo pesquisadores das mais diversas áreas, como: psicologia, neurociência, sociologia, computação, matemática etc. Avanços em uma área de pesquisa implica melhorias para as demais. Em resumo, o reconhecimento de faces destaca-se como um importante mecanismo de identificação de indivíduos. Componentes faciais como olho, boca e nariz concentram a maior parte da informação discriminatória mas individualmente podem não ser suficientes para identificar adequadamente um indivíduo. Além de identificar, a face fornece informações a respeito da idade, emoções e até mesmo possíveis atitudes dos indivíduos. Por isso, a face cumpre

29 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 7 (a) (b) (c) (d) Figura 2.2 Exemplos de imagens de faces em posição normal e rotacionadas em 180 graus um importante papel no convívio social, sendo, por vezes, mais importante até mesmo que a comunicação propriamente dita. 2.2 Sistemas de Classificação de Faces O reconhecimento de face é uma das poucas tecnologias biométricas de classificação que reúne duas excelentes características: possui boa taxa de reconhecimento e é pouco intrusiva no que concerne à interação entre os usuários e o sistema. Isto é, o reconhecimento de faces pode ser realizado sem a necessidade de contato físico ou mesmo sem necessitar posicionamento específico para detecção das faces. Com isso, a tecnologia pode ser utilizada de forma transparente e com resultados muito satisfatórios. Pelo mencionado acima, sistemas de reconhecimento de faces têm ganhado cada vez mais atenção pelos setores industrial e acadêmico. Seu relativamente baixo custo de aquisição ou construção e por, na maioria dos casos, não necessitar de equipamentos específicos também contribui para a proliferação da biometria aos mais diversos tipos de dispositivos eletrônicos. Além disso, existe uma grande oferta de equipamentos dedicados para reconhecimento de faces, e muito embora seu custo seja relativamente alto, já estão sendo comercializados há algum tempo e com excelentes taxas de acerto. Estes sistemas também podem ser empregado em uma grande gama de aplicações, que vão desde os sistemas de grande porte, como os que são utilizados em investigações criminais ou controle de fronteiras, aos mais simples sistemas

30 8 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES de verificação, que reconhecem unicamente a face dos proprietários de celulares, carros e outros dispositivos. Existem também uma infinidade de tecnologias de classificação utilizadas no reconhecimento de faces, assim como diferentes tecnologias de aquisição dos dados, dentre os quais destacam-se o reconhecimento baseado em imagens e o baseado em volumes das faces. Este trabalho focará nos sistemas de reconhecimento baseado em imagens bidimensionais das faces. Neste tipo de reconhecimento, independentemente da aplicação e do tamanho da base utilizada, pode-se destacar um núcleo comum a estes sistemas. Especialmente no que diz respeito às duas macro etapas do processo: a detecção das faces em imagens e a extração de características Arquitetura de um Sistema de Classificação de Faces Sistemas de classificação de faces baseado em imagens possuem um conjunto de etapas comuns - aquisição, extração de características e classificação - especialmente nos sistemas que utilizam imagens para reconhecimento. As principais etapas do reconhecimento de imagens são detalhadas a seguir: Aquisição da Imagem: etapa na qual a imagem contendo a(s) face(s) é obtida do meio externo. Geralmente esta etapa exige o uso de equipamentos como câmeras ou sensores para obtenção dos dados. Estas imagens podem ser obtidas em tons de cinza, coloridas ou ainda usando dispositivos que capturam os mais variados espectros de luz desde o infra-vermelho ao ultravioleta, passando pela luz visível. Cada tipo de aquisição exige pré-processamento específico. Entretanto, neste trabalho serão utilizadas apenas imagens em tons de cinza; Detecção da Face: nesta etapa, a imagem obtida é segmentada e todas as faces presentes na imagem são extraídas. Geralmente esta etapa pode ser dividida em outra responsável por melhorar a qualidade das imagens das faces; Extração de características: para cada imagem extraída na etapa anterior é realizada uma mudança na representação das faces. Elas deixam de ser representadas por uma matriz de pixels e passam a ser representadas por um conjunto de características, geralmente numéricas, de menor tamanho. Esta etapa é essencial para o bom desempenho do sistema e está diretamente relacionada às etapas seguintes do processamento das imagens; Classificação da face: é responsável pela identificação ou verificação das faces processadas nas etapas anteriores, e por este motivo dependente fortemente das demais etapas. Esta classificação pode ser feita por comparação simples entre as instâncias apresentadas e as armazenadas ou por classificadores mais complexos como redes neurais, SVM etc. A Figura 2.3 sumariza as principais etapas dos sistemas de reconhecimento de faces. Neste trabalho apenas as etapas de extração de características e classificação serão estudadas. As demais áreas, como aquisição das imagens e principalmente detecção das faces, compreendem todo um ramo de estudos com problemas e tratamentos próprios e não serão detalhadas neste trabalho. Na detecção de faces, por exemplo, há diversas técnicas que visam superar algumas

31 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 9 das limitações presentes também na etapa de classificação, tais como: iluminação, rotação da face, escala das imagens, expressões faciais etc. Há também problemas específicos da detecção, como a sobreposição das faces e a possibilidade de existir mais de uma face nas imagens. Combinado a estes fatores, há ainda a elevada quantidade de possíveis faces em uma imagem, visto que cada pequena região pode ser considerada uma face, o que dá margem a um elevado número de falsos positivos. Figura 2.3 Macro-etapas do processo de classificação de faces Os sistemas de classificação de faces atuais ainda estão muito aquém da capacidade humana, especialmente quando sujeitos a condições adversas, sejam causadas pelo ambiente ou por características da própria face. Entretanto, já são obtidos resultados muito próximos dos 100% de acerto, principalmente quando aplicados sobre imagens que foram obtidas em ambientes controlados. Atualmente, há um esforço considerável para melhorar as taxas de reconhecimento ou verificação de faces afetadas por variações que alterem a representação das faces. Nesta busca, as técnicas que fazem uso de características locais têm obtido melhores resultados Reconhecimento versus Verificação Os sistemas de classificação de faces dividem-se basicamente em dois grandes grupos em relação à sua finalidade: os sistemas de reconhecimento e os sistemas de verificação de faces. Reconhecimento de faces está relacionado à identificação do indivíduo, ou seja, trata-se de determinar a qual indivíduo da base de conhecimento a face apresentada pertence. Neste tipo de classificação o padrão é apresentado ao sistema que checa se este corresponde a algum indivíduo cadastrado. No geral, a base de conhecimentos é composta por padrões que possuem algum tipo de restrição, isto é, que não possuem acesso à determinado serviço, local ou informação. Como exemplo dessas bases é possível citar um controle de fronteiras cujo banco de dados geralmente é composto por padrões que não podem ingressar em determinada região. A Figura 2.4 apresenta de forma gráfica o método de reconhecimento de faces. Em outro contexto de classificação de faces, a verificação refere-se à autenticação de identidade. Desta forma, a base de conhecimento é composta por todos os padrões que não possuem restrição de acesso. No contexto de autenticação, o padrão facial de cada indivíduo assemelhase às senhas utilizadas atualmente para restrição de acesso. Seguindo a analogia acima, além da senha, aqui representada pela face, é necessário fornecer uma identificação. Logo, na verificação de faces além da imagem propriamente dita também é necessário informar a suposta

32 10 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES Figura 2.4 Visão geral do processo de reconhecimento de faces identidade do usuário para validação conjunta das informações. A Figura 2.5 apresenta de forma gráfica o processo de verificação de faces. Figura 2.5 Visão geral do processo de verificação de faces Essas técnicas de classificação são aplicáveis em contextos diferentes e ambas obtêm excelentes resultados, especialmente quando a captura das imagens é feita em ambiente controlado, isto é, com pouca interferência externa. A conseqüência destas interferências na qualidade da classificação das faces será detalhada nos próximos capítulos Estado da arte Como discutido anteriormente, a classificação de faces é uma disciplina inerentemente multidisciplinar. Ela envolve diversos campos de pesquisa, tais como: ciência da computação, psi-

33 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 11 cologia, matemática, biologia, sociologia e outras [ZP00]. Em função disso há várias técnicas e abordagens fazendo uso de diversas tecnologias para classificar faces. Dentre estas pode-se destacar redes neurais, abordagens estatísticas como PCA [TP91, GA04, YZF + 04, PCR09], modelos escondidos de Markov [NHI98] e abordagens tridimensionais [LCY09, VKRM09, XLTQ09]. Desta enorme gama de tecnologias e técnicas de reconhecimento resultam diversas taxas de acerto, tempos de processamento, limitações de aquisição de imagens, efeitos de variações do ambiente etc. Entretanto, há um comportamento padrão nos diversos sistemas de reconhecimento existentes, conforme descrito na Seção Em relação à abordagem utilizada no reconhecimento de faces, pode-se classificar as técnicas em três grandes grupos: abordagem holística, abordagem baseada em templates e abordagem híbrida. Na abordagem holística, toda a informação da face, ou da imagem que contém a face, é utilizada como entrada do sistema de reconhecimento. Alguns exemplos de técnicas que utilizam a abordagem são: eigenfaces - que se destaca como base das técnicas mais promissoras no reconhecimento de faces frontais - eigenfaces probabilísticas, fisherfaces, proximidade das linhas de características e análise de componentes independentes (ICA, do inglês Independent Component Analysis). Nas abordagens baseadas em templates, a imagem sofre segmentação contextualizada, isto é, cada região conterá regiões como: olhos, boca, nariz, queixo etc. Logo, cada região representará componentes específicos da face e geralmente são submetidas a classificadores estruturais que levam em consideração cada componente da face. Hidden Markov Model e Dynamic Link Architecture são exemplos de técnicas utilizadas para reconhecimento de faces que utilizam esta abordagem. A abordagem híbrida é inspirada na forma como o sistema de visão humano percebe as características locais e a informação global presente na face. Ela mescla as duas abordagens citadas anteriormente visando explorar as informações locais da face sem desconsiderar sua informação global. Entre as técnicas que utilizam essa abordagem, podem ser destacadas: eigenfaces modulares [LL99], características locais híbridas [AHP06] e métodos baseados em componentes [ZP00]. As diversas técnicas de reconhecimento foram agrupadas sob as três categorias citadas acima considerando apenas a forma de extração de características das faces. Elas também podem ser categorizadas de acordo com as tecnologias utilizadas, formas de aquisição dos dados (2D ou 3D), etc. A seguir são apresentadas algumas técnicas recentes e bem sucedidas no reconhecimento de faces. São apresentadas também algumas outras técnicas muito importantes historicamente por dar origem a uma nova família de abordagens para o reconhecimento de faces Fisherfaces A técnica Fisherfaces [B + 06] também conhecida como Análise de Discriminantes Lineares de Fisher (LDA, do inglês Fisher s Linear Discriminant Analysis) procura produzir um subespaço muito semelhante ao definido pela eigenfaces. Entretanto, o método tem por objetivo solucionar um dos principais problemas presentes na eigenfaces: o tipo de projeção de dados obtido com o uso do PCA. Na análise de componentes principais, a dispersão total das imagens

34 12 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES é maximizada, o que pode maximizar também a dispersão entre os protótipos de uma mesma classe. Uma maior dispersão entre os elementos de determinada classe pode acarretar no aumento da taxa de erro de classificação. Este problema é agravado especialmente quando há grandes variações entre os elementos de uma mesma classe, o que no caso de faces pode ser caracterizado pelos efeitos das variações externas. Considerando que grandes variações de iluminação e pose em uma mesma face são geralmente mais complexas de serem tratadas do que as diferenças entre faces de indivíduos diferentes nas mesmas condições de iluminação, um sistema de reconhecimento de faces mais robusto deveria ser capaz de tratar este problema. O método fisherfaces toma proveito de informações intra-classe e procura minimizar a variação entre protótipos da mesma classe ao passo que maximiza a separação entre elementos de classes distintas. Nestas condições, os problemas de classificações erradas decorrentes de variações ocorridas em imagens da mesma face seriam menores, melhorando o desempenho de sistemas que utilizam a técnica Modelos Escondidos de Markov Os resultados obtidos com a aplicação dos Modelos Escondidos de Markov (HMM, do inglês Hidden Markov Models), como técnica de reconhecimento de faces, tem sido bastante animadores [ZP00], especialmente em faces com variações de iluminação e expressões faciais. HMM é um conjunto de modelos estatísticos usados para caracterizar propriedades de sinais. Ele já é utilizado há bastante tempo, com muito êxito, para reconhecimento de fala e de caracteres que são tratados como problemas unidimensionais. O sistema de reconhecimento a ser modelado é entendido como sendo um processo de Markov com parâmetros desconhecidos, sendo o objetivo encontrar a melhor configuração para os parâmetros escondidos a partir dos modelos observáveis. Cada estado da HMM tem uma distribuição de probabilidade que define as possíveis saídas. A técnica HMM foi utilizada para reconhecimento de faces [ZP00] baseado nos vetores de características obtidos pela transformada discreta do cosseno (DCT, do inglês discrete cosine transform). O autor tirou proveito das propriedades de compressão da DCT para extrair as características da imagem e reduzir a dimensionalidade dos dados. A Figura 2.6 apresenta as transições e a estrutura da cadeia aplicada ao reconhecimento de faces. Figura 2.6 HMM para o reconhecimento de faces. Estados e possíveis transições Para o tratamento de faces humanas, a técnica extrai os principais componentes, como: cabelo, olhos, nariz, boca e queixo, e os representa como estados da cadeia unidimensional. Cada um desses componentes tem sua dimensionalidade reduzida com o uso da DCT. Desta forma, os vetores de observação podem ser reduzidos significativamente tornando o sistema

35 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 13 muito eficiente do ponto de vista de tempo de processamento e mantendo uma elevada taxa de reconhecimento. A convergência do modelo é baseada na mudança nos valores da matriz de probabilidades observáveis. Estes valores de estimativa são obtidos através dos vetores de observação associados a cada estado, que nada mais são do que a resposta de um determinado estado do modelo a um padrão apresentado Proximidade de Linha de Características Li propõe uma técnica holística baseada em Proximidade de Linhas de Características (NFL, do inglês Nearest Feature Lines) [LL99] para tratar alguns dos problemas apresentados pela técnica eigenfaces. A técnica representa cada imagem como um vetor, ou um ponto no espaço, e define o conceito de feature (característica) como sendo a representação de uma classe. Para se obter uma feature são necessários pelo menos dois protótipos de uma mesma classe. Definindo x 1 e x 2 como dois protótipos quaisquer de uma classe da base, pode-se definir um vetor (x 1,x 2 ) passando pelos dois pontos do espaço. Este vetor é conhecido por linha de característica da classe (FL, do inglês Feature Line) à qual as imagens pertencem. O vetor definido pelos pontos representa uma aproximação entre os dois protótipos, que podem ter sido obtidos em diferentes condições de iluminação, posicionamento, diferença de escala etc. Para uma classe de teste qualquer x, sua classificação é baseada na distância entre seu ponto no espaço (característica) e as linhas de características dos vetores da base (Figura 2.7). Esta distância é definida pela equação d(x,x 1 x 2 ) = x p. A classe representada pela linha mais próxima do ponto x será atribuída ao protótipo de teste. Experimentos realizados com a técnica sobre bases de faces de Cambridge, Bern, Yale e Harvard comprovaram o melhor desempenho da técnica NFL sobre a técnica eigenfaces quando aplicadas sobre imagens com variação de iluminação, expressões faciais e posicionamento [LL99]. Em função de sua simplicidade, a técnica pode ser combinada com técnicas de projeção ou redução de dimensionalidade dos dados como PCA, LDA, DCT etc. Há ainda, a possibilidade de uso de imagens de mais baixa resolução como forma de tentar melhorar a taxa de acerto da técnica. Experimentos recentes [CRC03] mostram que trabalhar com imagens de baixa resolução, em alguns casos, pode apresentar resultados equivalentes aos obtidos com redução de dimensionalidade de imagens com alta resolução Técnicas baseadas em análise de componentes principais Desde a formalização da técnica eigenfaces, baseada em PCA, para extração de características e representação de faces feita por Turk e Pentland [TP91], em 1991, ela se tornou referência para outros trabalhos de reconhecimento de face. Logo foram propostas diversas modificações da técnica, visando adaptá-la a posicionamento e escala, além de tentativas de se tratar matematicamente as modificações de iluminação nas imagens. Recentemente, surgiram abordagens baseadas em PCA mais complexas, que apresentam melhores resultados em função de modificações na extração de características e na representação das faces. Dentre as novas técnicas podem ser destacadas a ICA [cit], a Kernel PCA [SSM97] e a PCA Bidimensional [YZF + 04],

36 14 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES Figura 2.7 Projeção do ponto x sobre a linha x 1 x 2 que melhoraram o desempenho da técnica formalizada pela eigenfaces. Nas próximas seções serão detalhadas as principais abordagens de extração de características e representação de faces baseadas em análise de componentes principais desenvolvidas recentemente. Algumas delas baseiam-se na subdivisão das imagens das faces para tirar proveito de variações parciais sofridas pelas imagens, tais como: PCA Modular (MPCA) e PCA baseado em subpadrões (SpPCA). A técnica W-SpPCA pondera a importância atribuída a cada uma das diferentes regiões utilizadas para extração de caraterísticas da face. Já a técnica PCA Bidimensional (IMPCA ou 2DPCA) rompe com a representação tradicional feita pelas técnicas baseadas em PCA e manipulam imagens como matrizes. Assim, ela consegue trabalhar com dados de dimensão bem menor e consequentemente torna os dados extraídos mais representativos do conjunto de treinamento. As técnicas mencionadas serão detalhadas nas seções seguintes Eigenfaces Eigenfaces é um método de análise estatística e extração de características de faces humanas. A técnica baseia-se no fato de que qualquer face humana pode ser representada por uma combinação linear de eigenfaces. Entenda eigenfaces como sendo um conjunto de autovetores extraídos da matriz de covariância de todas as faces que constituem a base de treinamento. O trabalho publicado por Turk e Pentland [TP91] a quase duas décadas tornou-se padrão na área de pesquisa, servindo como referência de desempenho para novas técnicas até hoje. Eigenfaces (auto-faces) é uma técnica de reconhecimento de padrões baseada em análise estatística de imagens de várias faces. Mais precisamente, é um conjunto de autovetores obtidos a partir da matriz de covariância dos vetores que representam as faces. Desta forma, a face de qualquer indivíduo pode ser representada por uma combinação linear destes autovetores. O processamento das imagens das faces pela técnica inicia-se pela representação adotada. Nela, todas as imagens da base de dados são representadas como um longo vetor de dados, em lugar da tradicional representação matricial das imagens. O conjunto das imagens forma um espaço (espaço-imagem) onde cada face é representada por um ponto. Uma vez que as faces possuem estrutura muito similar, os vetores que as representam serão

37 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 15 correlacionados e tendem a se localizar em regiões próximas no espaço. Esta proximidade entre os vetores em alta dimensão, em um primeiro momento, dificulta a separação das imagens em classes distintas. A ideia por traz da nova representação das imagens é encontrar um subespaço onde vetores de menor dimensionalidade possam representar idealmente estas faces. Como a técnica aplica diretamente PCA sobre as imagens ela não destrói qualquer informação, o que permite a reconstrução dos dados originais. Embora a técnica garanta uma elevada taxa de reconhecimento ela é bastante sensível a modificações de iluminação, pose e tamanho das faces. Outro fator que influencia negativamente o desempenho de classificação da técnica é a quantidade de imagens disponíveis para treinamento [PPT06]. Calculando as representações das faces Considerando que as imagens utilizadas nos experimentos foram normalizadas para a dimensão de m n pixels. Elas devem ser representadas por vetores de dimensão m n, ou um ponto no espaço de mesma dimensão. Como exemplo, nos experimentos todas as imagens serão normalizadas para a resolução de sendo necessários pixels para representá-las. Desta forma, o conjunto de faces de treinamento será representado por um conjunto de pontos no espaço (espaço-imagem). Pela similaridade estrutural entre as faces (presença de olhos, nariz, boca etc.), estes pontos não estarão distribuídos aleatoriamente no espaço, logo, será possível representá-los em uma menor dimensão. Os vetores base deste novo subespaço podem ser os autovetores associados à matriz de covariância das imagens da base de treinamento. Considere que as imagens I 1,I 2,,I M representam as M imagens presentes na base de treinamento. A média das imagens é obtida da seguinte forma: ā= 1 M M i=1 (i i ) (2.1) Todas as imagens da base são normalizadas utilizando a matriz-média obtida na equação anterior. y i = i i ā (2.2) Desta forma, é definido um conjunto de vetores y 1,y 2,,y M cujo centro será a face média. Estes vetores serão utilizados para cálculo da matriz de covariância. A Eq. 2.3 mostra a definição da matriz de covariância. S= 1 M M i=1 y i y T i (2.3) Os K autovetores mais significantes são extraídos da matriz de covariância S, ou seja, são extraídos os autovetores que possuem os maiores autovalores associados. Este conjunto de autovetores são utilizados para extração de características das imagens normalizadas. A extração de características dá-se pela multiplicação dos autovetores (e k ) com as imagens normalizadas (y i ) conforme definido na Eq. 2.4.

38 16 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES w ik = e T k y i i=1,2,...m,k=1,2,...,k (2.4) Da Eq. 2.4 percebe-se que a nova representação da i-ésima imagem (w i ) é indexado também pelo k-ésimo autovetor extraído da matriz de covariância. Desta forma, torna-se perceptível a relação entre o número de componentes principais adotados na representação da imagem e a quantidade de autovetores extraídos da matriz de covariância. Para cada imagem da base será obtido um vetor w i de dimensionalidade K, sendo K o número de componentes principais utilizados na representação. O cálculo das projeções das imagens de teste (i t ) é feita em apenas duas etapas: Normalização da imagem de teste (Eq. 2.2) seguido da projeção da imagem normalizada sobre os autovetores selecionados (Eq. 2.4) Análise de Componentes Principais Bidimensional Nas técnicas baseadas em PCA as matrizes de imagens precisam ser transformadas em vetores unidimensionais antes de serem submetidas à técnica. Como resultado desta necessidade, os vetores resultantes da transformação trabalham em espaços de dimensão muito alta. Nestas condições, torna-se difícil analisar a matriz de covariância precisamente, em função do seu tamanho e a quantidade relativamente pequena de exemplos de treinamento [PPT06]. Fazendo uso das técnicas de Decomposição em Valores Singulares [Wal03] (do inglês, Singular Value Decomposition - SVD) os autovetores podem ser calculados sem a necessidade de gerar e processar a matriz de covariância. Contudo, isso implica que os autovetores podem não ser avaliados de forma precisa, visto que são estatisticamente determinados pela matriz de covariância [YZF + 04]. Com base na limitação de representação das imagens pelas técnicas baseadas em PCA, Zhang et al. propuseram a técnica IMPCA [YZF + 04], ou 2DPCA, (do inglês two-dimensional principal component analysis). Na técnica proposta, as imagens são representadas através de matrizes bidimensionais, o que elimina a etapa de transformação da representação matricial da imagem em vetor. Além disso, diferentemente da matriz de covariância produzida pela técnica PCA, a matriz gerada pela técnica bidimensional é bem pequena. Como resultado, torna-se mais fácil e precisa a avaliação da matriz de covariância. Outra vantagem na redução da matriz diz respeito à melhor representação das correlações dos dados de treinamento e à redução no tempo de processamento para extração dos autovetores. Calculando as representações das faces O processo de extração de características das faces se diferencia levemente das técnicas baseadas no PCA tradicional apresentadas nas seções anteriores. Especialmente no que diz respeito à representação interna das imagens adotada pela técnica. Detalhes do processo de extração de características são dados a seguir. Considere uma imagem I i de uma face de tamanho m n e um vetor X n-dimensional sobre a qual a imagem será projetada.

39 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 17 Y = I i x (2.5) Com isso, obteremos o vetor Y m-dimensional, chamado vetor de características da imagem I. A avaliação da qualidade da projeção feita pelo vetor X pode ser feita através da medida de dispersão total das imagens projetadas. A dispersão total dos vetores resultantes da projeção é medida pelo traço da matriz de covariância gerada a partir destes vetores. Desta forma, o seguinte critério pode ser adotado: J(X)= tr(s x ) (2.6) Na qual S x corresponde à matriz de covariância dos vetores de características obtidos das imagens da base de treinamento e tr(s x ) corresponde ao traço da matriz de covariância. A maximização do critério definido na Eq resulta em encontrar um vetor X, sobre o qual as imagens serão projetadas, que maximize a dispersão total dos vetores de características obtidos. A matriz de covariância S x pode ser obtida por: S x = E(Y EY)(Y EY) T = E[IX E(IX)][IX E(IX)] T (2.7) Logo, Sabendo que G t pode ser expressa como: S x = E[(I EI)X][(I EI)X] T (2.8) tr(s x )=X T G t X (2.9) G t = E[(I EI) T (I EI)] (2.10) A matriz G t definida acima representa a matriz de covariância das imagens da base. De sua definição percebe-se que G t é uma matriz quadrada não negativa de tamanho n n. A matriz G t pode ser obtida diretamente através das imagens da base de treinamento. Supondo que há M exemplos de imagens na base de treinamento, a j-ésima imagem de treinamento é representada por uma matriz de tamanho m n denominada I j ( j = 1,2,,M) e a média de todas as imagens de treinamento é representada por Ā. Com isso, G t é definida como: G t = 1 M Desta forma, o critério definido na Eq resume-se a: M (I j Ā) T (I j Ā) (2.11) ( j=1) J(X)=X T G t X (2.12) O critério acima é conhecido como critério generalizado de dispersão total (do inglês, generalized total scatter criterion). O vetor unitário X que maximiza a expressão é o que maximiza a dispersão total das imagens projetadas sobre ele.

40 18 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES O vetor de projeção ótima e opt é o que maximiza J(X), isto é, o autovetor de g t correspondente ao maior autovalor. Assim como ocorre nas técnicas baseadas em PCA, em geral se escolhe um conjunto de vetores ótimos para extração dos pesos. Estes vetores devem ser ortonormais e maximizar o critério originalmente definido na Eq Desta forma, os vetores de projeção ótima, x 1,x 2,,x K são os autovetores de g t correspondentes aos K maiores autovalores. Os vetores de projeção da técnica IMPCA, x 1,x 2,,x K, serão utilizados para extração de características das imagens das faces. Para uma imagem I pode-se extrair os vetores de características a partir da seguinte expressão: y k = I x k k=1,2,,k (2.13) Com isso, é obtido um conjunto de vetores de características [y 1,y 2,,y K ], chamados de vetores de componentes principais da imagem I. É importante notar que cada componente principal extraído com a técnica é um vetor, enquanto na técnica PCA cada componente é um valor escalar (coeficiente). Os vetores de componentes principais extraídos são utilizados para construir a matriz W = [y 1,y 2,,y K ] de tamanho m K conhecida como a matriz de características da imagem. Ou seja, ela é formada pelos vetores de componentes principais da imagem Análise de Componentes Principais Modular Os métodos de representação de faces baseados em PCA descritos nas seções anteriores têm seu desempenho bastante afetado sob condições de variação de pose, iluminação, expressões faciais etc. Isso ocorre porque tais técnicas consideram toda a informação presente na imagem, desta forma, pequenas variações que ocorrem apenas em partes da imagem acarretam mudanças em toda sua representação. Estas alterações na representação acabam diferenciando bastante as faces com variações das demais faces do mesmo indivíduo em condições normais. Neste contexto, a técnica de PCA Modular (MPCA), proposta por Gottumukkal e Asari [GA04], surge para eliminar esta deficiência das baseadas em PCA que usam abordagens holísticas. A técnica proposta extrai informações mais representativas dos dados através da subdivisão da imagem original em partes menores. A técnica considera que se a imagem for dividida em regiões menores, e as projeções forem extraídas para cada uma das partes, elas representarão mais fielmente a informação local de cada região da face. Variações como iluminação, expressões faciais e até mesmo rotação da face, em geral, comprometem apenas parte das informações presentes na imagem, deixando outras regiões intactas, isto é, com a mesma informação das faces em condições normais. Com isso, as regiões não afetadas pelas alterações irão influenciar positivamente na classificação da imagem. Por este motivo, é esperada uma melhoria na taxa de reconhecimento da técnica modular quando comparada ao PCA tradicional. Calculando as representações das faces Por utilizarem uma base teórica comum, os procedimentos necessários para extração das

41 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 19 características da imagem utilizada pela técnica PCA Modular são muito parecidos com os utilizados pela técnica eigenfaces. Entretanto, há algumas peculiaridades a serem abordadas, especialmente na forma como as imagens são subdivididas e na projeção das imagens. Na técnica MPCA, a imagem é dividida em N partes. Desta forma, considerando uma imagem quadrada de tamanho L por L, o tamanho de cada sub-imagem será L 2 /N pixels. Matematicamente, estas imagens podem ser representadas como: I mi j (x,y)=i m ( K A ( j 1)+x, L B (i 1)+y ) i, j (2.14) Sabendo que x varia de 1 a M, sendo M o número de imagens no conjunto de treinamento, j e i variam de 1 a N, sendo N o número de sub-imagens, e m e n variando de 1 a L/ N, A e B corresponde o número de partições verticais e horizontais, respectivamente, da imagem original da face. A função I mi j (x,y) pode ser interpretada como sendo o valor da intensidade do pixel de coordenada (x,y) da sub-imagem de índice i, j da imagem original I m. Outra característica importante da técnica é o cálculo da média das imagens e da matriz de covariância. Na técnica, há apenas uma média, independentemente da quantidade de partes na qual a imagem tenha sido dividida. Consequentemente, apenas uma matriz de covariância é gerada. Embora o motivo de utilizar apenas uma média e uma matriz de covariância não tenha sido explicado pelos autores da técnica, entende-se que esta abordagem visa relacionar as partes da imagem com o todo. Desta forma, o PCA Modular não se trata apenas da aplicação do PCA em cada parte que constitui a imagem mas também de relacionar cada parte com a imagem original e posteriormente realizar os cálculos necessários à representação de cada uma delas. Desta forma, a média de todas as imagens é obtida como sendo: ā= 1 (M N) M m=1 N i=1 N (i mij ) (2.15) j=1 Examinando esta equação percebe-se uma grande semelhança com a Eq. 2.1, que foi utilizada para cálculo da matriz-média na técnica PCA, apenas adicionada da soma dos valores das partes que constituem a imagem original. Assim como na PCA tradicional, apenas uma média é gerada para toda a base de treinamento. Obtida a imagem média (ponto médio no espaço-face), as imagens da base de treinamento podem ser normalizadas. Esta normalização equivale a uma transformação linear de troca de bases, ou seja, o ponto de origem do espaço é transladado para o ponto médio e as normas de todos os vetores são modificadas. Esta normalização é feita pela expressão a seguir: y mij = i mij ā m,i, j (2.16) Após a obtenção das médias é possível calcular a matriz de covariância das imagens da base. S= 1 (M N) M m=1 N i=1 N (y xij y T xij ) (2.17) j=1

42 20 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES Novamente, a similaridade das fórmulas é perceptível. A fórmula anterior se assemelha bastante com a forma de cálculo da matriz de covariância da técnica PCA (Eq. 2.3), adicionado do somatório das partes que constituem cada imagem. Esta característica impõe à técnica a necessidade de que todas as partes tenham o mesmo tamanho. Logo, o particionamento também aumenta o número de exemplos de treinamento e reduz o tamanho da matriz de covariância, facilitando sua análise e reduzindo o custo de processamento. Com isso, é obtido um ganho no tempo de processamento em função da extração dos autovetores e autovalores ser feita sobre uma matriz menor. A próxima etapa do procedimento é a extração dos autovetores da matriz de covariância associados aos maiores autovalores. Estes autovetores serão representados por [e 1,e 2,,e K ]. Os pesos, ou projeções, são calculados através da equação a seguir: W mi jk = e kt (Y mij ) m,i, j,k (2.18) Sabendo-se que Ek T representa a matriz transposta do k-ésimo autovetor extraído da matriz de covariância e k assume os valores 1,2,3,,K, x é o índice da imagem processada e assume valores de 1 a M, sendo M o número de imagens presentes na base de treinamento, j e i assumem valores de 1 a N, onde N é a quantidade de partes que a imagem foi dividida. Da definição, percebe-se que cada face I x será representada por j i vetores de características W x, cada um com dimensionalidade K. Desta forma, para uma única imagem I x que tenha sido dividida, por exemplo, em dezesseis partes (N=16) e se queira utilizar dez componentes principais (K=10) na sua representação, serão necessários dezesseis vetores de dez dimensões cada, totalizando assim 160 (cento e sessenta) características (N K = 160). Logo, para representar imagens da base de treinamento com a técnica é necessária uma maior capacidade de armazenamento, embora se possa chegar a resultados de forma mais rápida e com melhor taxa de reconhecimento Análise de componentes principais baseado em subpadrões - SpPCA Uma abordagem semelhante à modular (MPCA) foi proposta por Zhu e Chen [CZ04] em seu trabalho sobre Análise de Componentes Principais baseado em Subpadrões (SpPCA, do inglês Subpattern-based Principal Component Analysis). Baseado no princípio da exploração de variações locais das faces, o método propõe uma forma de subdivisão, sem sobreposição, das regiões das imagens originais visando obter melhores taxas de reconhecimento. Diferentemente da abordagem proposta na técnica MPCA, no SpPCA é definida uma média e uma matriz de covariância para cada uma das sub-regiões nas quais a imagem original foi dividida. Para cada uma das partes, é extraído um conjunto de componentes principais que irão constituir o vetor de características final do padrão. Uma vantagem da técnica em relação à abordagem modular (MPCA) é a quantidade variável de componentes que podem ser extraídos de cada uma das regiões. Ela também possibilita o uso de regiões de tamanhos diferentes para extração dos componentes da imagem. Desta forma, algumas regiões da imagem, que potencialmente possuem informação mais discriminatórias, podem ser melhor exploradas de acordo com a parametrização utilizada para a região. Como desvantagem da técnica, destaca-se a falta de relação entre as partes com a infor-

43 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 21 mação global da face. Com isso, o uso da técnica SpPCA resume-se ao uso da técnica PCA em diversas regiões da imagem de forma independente uma das outras. Este tratamento pode acarretar em perda de precisão na classificação final das imagens. Entretanto, seus autores conseguiram melhores resultados que a técnica MPCA em seu trabalho sobre SpPCA adaptativo [Tan05] Análise de componentes principais baseado em subpadrões com pesos adaptativos - Aw-SpPCA Seguindo a abordagem modular proposta em seu trabalho original sobre PCA aplicado a subpadrões [CZ04], Chen propôs uma nova abordagem modular baseada em pesos adaptativos. A nova abordagem intitulada Análise de Componentes Principais Ponderado Adaptativo [Tan05] Aw-SpPCA (do ingês, Adaptively weighted sub-pattern PCA for face recognition) também é baseada na subdivisão das imagens em regiões menores e disjuntas para extração de características mais representativas. Entretanto, o trabalho propõe um mecanismo para ponderar a importância de cada uma das regiões na classificação final da imagem. Desta forma, regiões da face que possuam pouca informação discriminatória à classificação final da imagem terão menor importância na classificação da imagem. O cálculo dos pesos é feito de forma iterativa e adaptativa onde cada uma das regiões e dos indivíduos presentes na base contribuem para esta ponderação. O algoritmo basicamente divide-se em três macro etapas, cada uma delas com subetapas bem definidas: particionamento das imagens, cálculos dos pesos de cada uma das partes e, finalmente, classificação das imagens. Tais etapas serão detalhadas a seguir. A etapa de particionamento das imagens baseia-se fortemente nas idéias de particionamento de imagens desenvolvida na técnica SpPCA. Nesta etapa, cada uma das imagens é particionada em um número fixo L de sub-imagens, não necessariamente do mesmo tamanho. Estas regiões, nas quais as faces foram divididas, serão separadas em L grupos segundo o posicionamento da imagem original, ou seja, cada grupo L i contém a i-ésima região das imagens presentes na base de treinamento (Fig. 2.8). A este conjunto de dados dá-se o nome de conjuto de treinamento dos subpadrões. Na etapa de definição dos pesos dos subpadrões são definidos dois outros conjuntos de dados que influenciarão diretamente o cálculo destes pesos. O primeiro deles (o conjunto global G) é idêntico ao conjunto de treinamento de subpadrões. O segundo conjunto (P) é definido tendo por base a média e a mediana das faces de cada um dos indivíduos presentes na base. Logo, se a base de treinamento é constituída de N imagens particionadas em L regiões pertencentes a M indivíduos, cada um dos L conjuntos G será formado por N elementos, enquanto cada conjunto P será formado por 2 M. Algo que chama a atenção em relação à definição da base P diz respeito ao uso da base de treinamento para cálculo das faces média e mediana. Isto ocorre em função da média e da mediana do próprio conjunto de treinamento possuírem melhor representatividade para determinar as contribuições de cada região da face. Uma vez definidos os conjuntos G e P, a técnica PCA tradicional é aplicada a cada um dos L conjuntos de G para extração de suas matrizes de projeção U g. Uma vez calculadas as matrizes de projeção, para cada subpadrão faz-se necessário a definição do conceito de similaridade/dissimilaridade adotada pela técnica. A similaridade adotada é definida na expressão a

44 22 CAPÍTULO 2 CLASSIFICAÇÃO DE FACES Figura 2.8 Subdivisão de imagens adotadas pelas técnicas modulares SpPCA e Aw-SpPCA. (Fonte: Artigo que propõe o Aw-SpPCA [Tan05] ) seguir: S(x,y)= ((x y) T U g U T g (x y)) (2.19) O processo de cálculo dos pesos propriamente dito pode ser resumido como a média da quantidade de acertos na classificação de cada vetor do conjunto de dados P em relação aos dados do conjunto global G. Desta forma, para cada elemento que constitui o conjunto P são medidas as similaridades para todos os elementos do conjunto G, sendo a classe do elemento mais similar do conjunto G atribuída como classe do elemento extraído de P. Caso a classe obtida seja igual à classe original do elemento em P, incrementa-se um no contador (C j ), deixando-o com o mesmo valor em caso contrário. Com isso, para um j-ésimo subpadrão teremos 2 M classificações que após a normalização feita pela Eq resulta em um valor no intervalo [0,1]. W j = C j 2 M (2.20) Sendo C j o número de acertos total na classificação dos elementos do j-ésimo padrão do conjunto P e a expressão 2 M uma constante de normalização para os pesos. Os pesos definidos anteriormente assim como o conjunto de dados G serão utilizados para classificação de um padrão desconhecido t. O processo de classificação do novo padrão inicialmente é idêntico às etapas iniciais do algoritmo de extração de características. Primeiramente, o padrão é subdividido em L regiões, para cada uma destas regiões é encontrado o subpadrão mais similar. Encontrados todos os padrões mais similares, é construída uma matriz de distâncias D(t) de tamanho N L. Todos os valores d di j da matriz possuem valor igual a 0(zero), salvo os que a classe da i-ésima pessoa coincide com a classe associada à l-ésima região do padrão t, na qual o valor atribuído será W j. Consequentemente, a classe final associada ao padrão de entrada t é baseada na equação a seguir:

45 2.2 SISTEMAS DE CLASSIFICAÇÃO DE FACES 23 sabendo que, identity(t)=argmax i (TC i (t)) (2.21) TC i (t)= L l=1 d i j (2.22) Desta forma, visto que os valores de d i j correspondem aos pesos W j em caso de classificação correta e a 0(zero) em caso de má classificação, temos que TC i (p) corresponde à soma de todas as classificações corretas ponderadas pelo valor do peso que indica a importância da região na classificação final da imagem. Os métodos apresentados neste capítulo apresentam melhorias sobre a técnica eigenfaces no que diz respeito ao tratamento de imagens com variações comumente presentes em sistemas de reconhecimento reais. É notória a melhoria na qualidade e desempenho dos sistemas de reconhecimento de faces atuais, entretanto, ainda há um longo caminho a se percorrer para tornar o desempenho do sistema independente das variações de ambiente ou variações da própria face. No próximo capítulo serão apresentadas as contribuições deste trabalho para a melhoria das taxas de classificação de faces sob diversas condições de variações no ambiente ou da própria face.

46

47 CAPÍTULO 3 Métodos Propostos Tomando por base as limitações apresentadas nos capítulos anteriores este trabalho propõe três novas técnicas de extração de características. Duas delas serão aplicadas no contexto de reconhecimento de faces e uma outra aplicada à verificação. Todas fazem uso das abordagens modular e bidimensional para extração de características. A técnica modular bidimensional MIMPCA (do inglês, Modular Image Principal Component Analysis) faz uso da abordagem modular para subdividir as faces em regiões menores e da abordagem bidimensional para a obtenção de características mais representativas. A técnica toma proveito de variações locais na imagens para melhorar sua taxa de classificação. A abordagem ponderada wmimpca (do inglês, Weighted Modular Image Principal Component Analysis) faz uso de um conjunto de pesos para ponderar a importância de cada uma das faces. Desta forma, regiões mais afetadas por variações locais terão sua importância reduzida enquanto regiões mais representativas serão enfatizadas. No contexto de classificação de faces, foi proposta a técnica baseada uma em classes, isto é, a extração de características é otimizada para um padrão de faces específico. A redução do número de instâncias de treinamento afeta consideravelmente as técnicas de extração de características baseadas em PCA. Neste contexto, a técnica cmimpca (do inglês, Class Image Principal Component Analysis) foi proposta visando eliminar o problema de tamanho da amostra de treinamento. Detalhes sobre as técnicas propostas são fornecidas nas subseções a seguir. 3.1 Modular Image Principal Component Analysis (MIMPCA) Os métodos tradicionais baseados em PCA [TP91] não são eficientes o bastante para reconhecer faces em condições onde mudanças no ambiente influenciam consideravelmente a qualidade das imagens capturadas. Nestas condições, as representações das faces, que foram obtidas fazendo uso de técnicas tradicionais, podem ser drasticamente alteradas e diferir bastante das representações das imagens em situações normais. Esta situação, muito comum em sistemas de reconhecimento de faces, afeta consideravelmente o desempenho final do sistema. Logo, o desenvolvimento de algoritmos de reconhecimento que possam minimizar os efeitos destas variações externas é crucial para melhorar o desempenho de sistemas de reconhecimento de faces. Algumas dessas variações, como as causadas por mudanças de iluminação, expressões faciais ou uso de objetos sobre a face, geralmente afetam apenas algumas regiões da imagem. Nas abordagens tradicionais da técnica de Análise de Componentes Principais (PCA) toda a 25

48 26 CAPÍTULO 3 MÉTODOS PROPOSTOS imagem da face é utilizada para extração das características. Desta forma, toda a representação da face é prejudicada mesmo quando apenas um pequena parte da imagem foi afetada por estas variações. Neste contexto, o uso de abordagens modulares pode influenciar positivamente o desempenho do sistema de reconhecimento. Isso ocorre em função de regiões pouco afetadas pelas variações contribuirem positivamente para a classificação da face. Como na abordagem modular elas são processadas separadamente sua representatividade é pouco afetada por variações em outras regiões. Outro ponto de forte influência no resultado final do sistema de reconhecimento de faces diz respeito à representatividade das características (features) extraídas da imagem. Em problemas de reconhecimento de faces, e imagens em geral, tem-se um elevado número de características, ao passo que o número de exemplos de treinamento é muito pequeno em relação ao número de características. Esta relação entre as quantidades dá origem ao problema conhecido por "Problema do Tamanho da Amostra"[PPT06], dificultando o processo de análise e extração de informações discriminatórias dos padrões de treinamento. Nas abordagens tradicionais de PCA, é comum o uso de toda a imagem, isto é, todos os pixels da imagem, como o padrão de entrada. A imagem de entrada é convertida em um vetor de altíssima dimensão no qual cada coeficiente corresponde a um pixel da imagem. Com isso, a análise e a extração de características podem não representar adequadamente os padrões de treinamento, visto que as amostras de treino geralmente não são suficientes para determinar as relações de similaridade e dissimilaridade de toda a população de dados. Visando superar o problema da baixa representatividade dos dados extraídos dos padrões de treinamento, o método proposto combina a extração de características proposta por Yang et al. - a técnica de PCA bidimensional (IMPCA) [YZF + 04] - com a técnica de particionamento de imagens proposta por Gottumukkal e Asari - a técnica de PCA modular (MPCA) [GA04]. O uso da abordagem modular visa amenizar o efeito de variações locais sobre a representação final das imagens, uma vez que trata cada região da face de forma individualizada. Já o uso da abordagem bidimensional para extração de características visa obter informações mais representativas dos dados de treinamento. Com a abordagem bidimensional os padrões possuem uma representação mais compacta, pois não precisam ser convertidos para vetores de alta dimensão Procedimento de extração de características Definindo I 1,I 2,I 3,...,I M como as imagens do conjunto de treinamento da base de faces. I m representa a m-ésima imagem de tamanho H L do conjunto de treinamento. As imagens do conjunto de treinamento estão divididas em Q subconjuntos disjuntos (C 1,C 2,C 3,...C Q ) onde, cada conjunto agrupa as faces de um único indivíduo da base de treinamento. A técnica proposta é aplicável apenas sobre imagens em tons de cinza. Logo, I m consiste de uma matriz do mesmo tamanho da imagem, onde cada elemento representa a intensidade do pixel correpondente na imagem. A técnica proposta adota um particionamento simples das imagens em regiões retangulares, disjuntas e de mesmo tamanho. Este particionamento é feito sem qualquer análise semântica do conteúdo da imagem, isto é, sem levar em consideração quais regiões da face estarão representadas nas subimagens. Desta forma, a divisão é realizada em A regiões horizontalmente e

49 3.1 MODULAR IMAGE PRINCIPAL COMPONENT ANALYSIS (MIMPCA) 27 B regiões verticalmente considerando apenas o tamanho da imagem que contém a face. Logo, a imagem original é dividida em N regiões sendo N = A B. Na técnica proposta, todas as regiões devem possuir o mesmo tamanho e cada uma das regiões deve possuir (H L)/N pixels. Caso a regra de cálculo do tamanho das regiões não resulte em um número inteiro, deve ser considerada apenas sua a parte inteira. Cada uma dessas regiões pode ser representada matematicamente pela equação a seguir: I mi j (x,y)=i m ( K A ( j 1)+x, L B (i 1)+y ) i, j (3.1) A necessidade de todas a regiões da imagem serem de mesmo tamanho deve-se ao fato de a técnica utilizar apenas uma média para todas as regiões. Em outras palavras, comparando este comportamente com a abordagem holística a técnica proposta usa cada região da imagem como uma instância de treinamento. Este comportamento também estabelece um mecanismo simples de relacionar cada região da face com a informação da imagem inteira. Outra vantagem desta adoção refere-se à simplificação da técnica proposta, visto que não será preciso tratar separadamente as informações de cada região dos padrões de treinamento. A matriz média dos padrões de treinamento é obtida conforme equação 3.2. Ā= 1 Q Q Ā q (3.2) q=1 Sendo que Ā q corresponde à média das imagens da q-ésima classe, computada conforme a equação 3.3. Ā q = C 1 q (A B C q ) A m=1 i=1 B I mi j (3.3) j=1 Perceba que os valores obtidos na Equação 3.3 são utilizados apenas para o cálculo da matriz-média das imagens de treinamento. Uma vez obtida a matriz-média, a próxima etapa corresponde à normalização dos dados de treinamento. Nesta etapa, todos as regiões das imagens são normalizadas subtraindo-se cada uma das regiões pelo valor da matriz de média global definida anteriormente. A normalização é definida na equação seguinte: Y mi j = I mi j Ā m,i, j (3.4) Na qual Y mi j representa a matriz normalizada da região de coordenadas i, j da m-ésima imagem de treinamento. Novamente, visando utilizar cada uma das regiões como um padrão de treinamento, é produzida apenas uma matriz de covariância para extrair as correlações entre os dados. Esta matriz de covariância é definida pelas equações 3.5 e 3.6. S= 1 Q Q S q (3.5) q=1 Onde S q representa a matriz de covariância da q-ésima classe do conjunto de dados, obtida conforme equação a seguir:

50 28 CAPÍTULO 3 MÉTODOS PROPOSTOS S q = C 1 q (A B C q ) A m=1 i=1 B (Y mi j Ymi T j) (3.6) j=1 A matriz de covariância global expressa as variações presentes nos dados de treinamento. Dela podem ser extraídos vetores que irão constituir a base do novo espaço vetorial, no qual as matrizes normalizadas de cada uma das regiões serão projetadas. Logo, a escolha de tais vetores influencia diretamente a qualidade da nova representação dos dados. Eles serão obtidos através de análise de correlação e dependência entre os dados de treinamento. Yang et al. [YZF + 04] demonstram que tais vetores, que maximizam a dispersão, são os autovetores correspondentes aos maiores autovalores da matriz de covariância dos padrões de treinamento. Geralmente, projeções feitas sobre um único eixo do novo espaço não são suficientes para representar os dados de forma ótima. Logo, são necessários mais de um eixo para formar o novo espaço vetorial. São necessários mais de um autovetor por que, embora um único vetor consiga indicar o eixo de maior dispersão dos dados, ele pode não ser suficiente para se obter uma classificação aceitável. Logo, são extraídos os primeiros V autovetores associados aos maiores autovalores. Desta forma, um conjunto de autovetores (e 1,e 2,e 3,...,e V ) extraídos da matriz de covariância será utilizado para formar a base do novo espaço-face. Fazendo-se uso de V vetores-base, a representação final de cada região da imagem (W mi j ) será formada por uma matriz de tamanho L V. Das definições acima, pode-se inferir que a matriz final de projeção será definida por P = [e 1 e 2 e 3...,e V ]. Ela faz uso do conjunto de autovetores obtido anteriormente como vetores coluna da matriz. A partir da definição de P, as representações das regiões das faces serão obtidas através de uma simples multiplicação entre as matrizes normalizadas das regiões da face pela matriz de projeção. Z mi j = P (I mi j Ā) m,i, j (3.7) Essa representação também é computada para as regiões de todas as t imagens que compõem a base de testes (I ti j ). Logo, as projeções das imagens de teste (Z ti j ) serão computadas conforme equação abaixo: Z ti j = P (I ti j Ā) i, j (3.8) Uma vez definida todas as projeções de cada uma das regiões, é necessário calcular a representação e, posteriormente, classificação da imagem. O procedimento de classificação final da imagem baseia-se nas classificações independentes de cada uma das regiões na qual a imagem original foi particionada. Em seguida, a classificação final da face é feita atribuindo-se à imagem de teste, a classe com o maior número de ocorrências dentre as classificações de cada região. Como exemplo de classificação podemos utilizar a Fig. 3.1, nela, cada uma das quatro regiões da face é classificada independentemente resultando em até quatro classes diferentes. A classe com maior número de ocorrências será atribuída ao padrão de testes. Caso haja igualdade no número de ocorrências uma das classes será selecionada aleatoriamente. Também foram feitos experimentos para classificação final da imagem fazendo uso de todas as classificações intermediárias de cada região. Nesta abordagem, as classes das projeções

51 3.1 MODULAR IMAGE PRINCIPAL COMPONENT ANALYSIS (MIMPCA) 29 Figura 3.1 Forma de classificação de faces baseada na classificação de cada subimagem. das subimagens mais próximas de pelo menos uma região é utilizada na classificação final da face. Desta forma, padrões de faces que estejam próximos de pelo menos uma das regiões a serem classificadas podem contribuir mais significativamente para a classificação final do que quando apenas o resultado final de cada região é considerado. A Figura 3.2 a seguir representa graficamente a mesma situação apresentada na Figura 3.1 mas resulta em uma classificação diferente para a mesma face. Figura 3.2 Forma de classificação baseada na classificações intermediárias de cara região. A medida de dissimilaridade adotada pela técnica MIMPCA é baseada na distância euclidiana, diferenciando-se apenas por ser executada sobre matrizes e não sobre vetores de dados. A equação 3.10 define tal medida. d(i m,i t )= A i=1 B DistMatriz(W mi j,w ti j ) (3.9) j=1 Sendo que I m representa imagens da base de treinamento e I t representa imagens de teste e DistMatriz é a função de cálculo da distância euclidiana entre matrizes. DistMatriz(U m,u t )= 2 H/A L/B i=1 j=1 [U m (i, j) U t (i, j)] 2 (3.10) Na qual U m (i, j) representa o valor da coordenada (i, j) da m-ésima imagem U; U m (i, j) representa o valor da coordenada (i, j) da m-ésima imagem U; H e L é o número de pixels verticais e horizontais respecitivamente e A e B representa o número de divisões verticais e horizontais da imagem original. O grau de similaridade entre as faces é definido conforme equação a seguir: R(I m,i t )= d(i m,i t ) (3.11)

52 30 CAPÍTULO 3 MÉTODOS PROPOSTOS 3.2 Weigthed Modular Image Principal Component Analysis (wmimpca) A abordagem modular bidimensional (MIMPCA) foi proposta visando eliminar a influência do ambiente na classificação final das faces. Ela faz uso das informações locais das regiões da face junto com um bem conhecido algoritmo de extração de características de imagens (IMPCA) para tal finalidade. Entretanto, a forma como a classificação final da imagem é feita ignora as diferentes contribuições que cada uma das regiões pode oferecer ao atribuir a mesma importância a cada uma das regiões. Tal característica pode influenciar negativamente a classificação das faces, uma vez que regiões muito afetadas por mudanças externas contribuirão da mesma forma que regiões não afetadas por tais alterações. Desta forma, foi proposta uma modificação no MIMPCA de forma a considerar a importância de cada uma dessas regiões para a classificação final da face, originando o MIMPCA ponderado (ou wmimpca, do inglês Weighted Modular Image Principal Component Analysis). Com isso, regiões com informações mais discriminatórias podem ser enfatizadas, enquanto, as demais, podem ter sua importância minimizada. Ele também elimina a necessidade de se construir uma matriz final que represente a face processada. Tal técnica pode ser aplicada às duas abordagens de classificação de faces apresentadas na seção anterior. Contudo, a abordagem ponderada influenciará mais fortemente a técnica baseada nas classificações intermediárias por serem mais granulares e aumentarem bastante o número de pesos envolvidos na classificação. A técnica wmimpca faz uso de um conjunto de pesos para tratar as contribuições de cada região para a classificação final da face. A seleção do conjunto de pesos ideal será feita por análise de desempenho das classificações obtidas fazendo uso de diferentes combinações de pesos. Para tal finalizade será utilizado um algoritmo genético (AG) [For96] conforme descrito na seção Espera-se obter melhores resultados com a abordagem ponderada, considerando que regiões diferentes da face possuem diferentes tipos de informações que podem melhorar ou piorar o desempenho do sistema de reconhecimento [Tan05]. A Figura 3.3 exibe alguns dos pesos obtidos para bases de dados bem conhecidas, sobre as quais os experimentos foram realizados. Figura 3.3 Conjunto de pesos utilizados para classificação das faces utilizando a técnica wmimpca. Um outro ganho muito importante obtido com o uso do wmimpca refere-se à eliminação da necessidade de se construir uma matriz de projeção final para cada face. Nela, cada região

53 3.3 ABORDAGEM PARA VERIFICAÇÃO DE FACES 31 será tratada independentemente e ponderada meramente para fins de classificação. Desta forma, obtém-se um pequeno ganho de desempenho em relação à técnica original. Ou seja, os vetores de pesos serão considerados apenas durante a aplicação da medida de dissimilaridade entre as faces. A função de classificação é expressa na equação a seguir: f(m)=argmin[ T A t=1 i=1 B ((I m,i, j I t,i, j ) W i, j )] (3.12) j=1 Resultados obtidos através de experimentos mostram uma superioridade do wmimpca quando comparado ao MIMPCA, especialmente quando executado sobre bases de faces que exploram variações locais. Tais resultados serão apresentados no próximo capítulo. 3.3 Abordagem Para Verificação de Faces Class-Modular Image Principal Component Analysis (cmimpca) As técnicas apresentadas anteriormente foram originalmente propostas para reconhecimento de faces, obtendo excelentes taxas de classificação nestas circunstâncias. Neste tipo de problema, as imagens das faces a serem reconhecidas são comparadas com todas as faces de todos os indivíduos da base de treinamento. Além disso, as faces de todos os indivíduos são utilizados para a construção de uma única matriz de projeção. Entretanto, esta não é uma boa prática para problemas de verificação de faces. Em problemas que envolvem verificação, há diferenças consideráveis no procedimento de extração de características, por considerem apenas as instâncias do padrão em análise. Há a necessidade de criação de um espaço-face para cada um dos padrões envolvidos, resultando em uma redução considerável do número de padrões de treinamento. Visando superar as limitações acima, foi proposta a técnica cmimpca (do inglês, Class- Modular Image Principal Component Analysis), que faz uso apenas das instâncias de cada padrão para construção da matriz de projeção. A nova abordagem trata individualmente cada subconjunto de treinamento construindo um espaço-face para cada classe da base Procedimento de extração de características Considere o conjunto com M imagens de treinamento (I 1,I 2,...,I M ) conforme definido anteriormente. Estas imagens são divididas em Q subconjuntos disjuntos (C 1,C 2,...,C Q ), sendo Q o número de classes de treinamento e C q o subconjunto com as instâncias pertencentes à q-ésima classe. O procedimento de cálculo do espaço-face para verificação dá-se de forma muito semelhante à utilizada para reconhecimento, excluindo-se algumas etapas nas quais as informações das classes são consolidadas e generalizadas para toda a base de treinamento. Desta forma, apenas as etapas detalhadas a seguir são realizadas. A extração da matriz-média envolve toda a base de treinamento que, neste contexto, está restrita às instâncias da q-ésima classe.

54 32 CAPÍTULO 3 MÉTODOS PROPOSTOS Ā q = C 1 q (A B C q ) A m=1 i=1 B I mi j (3.13) j=1 Na equação acima q varia de 1 a Q, e C q representa o subconjunto de instâncias da q-ésima classe de faces. A próxima etapa é a normalização das imagens. Y mi j = I mi j Ā q i, j,i m C q (3.14) Uma vez normalizadas todas as imagens da base de treinamento, calcula-se a matriz de covariância pela equação 3.15: S q = C 1 q (A B C q ) A m=1 i=1 B (Y mi j Ymi T j) (3.15) j=1 Nota-se, pela Equação 3.15, que a quantidade efetiva de instâncias de treinamento torna-se maior em função do tratamento dado a cada região que, nesta abordagem, é considerada uma instância. Desta forma, aumenta-se virtualmente o número de instâncias na base de treinamento contribuindo para uma melhor análise de suas correlações. Além disso, o uso da abordagem bidimensional reduz consideravelmente o tamanho da matriz de covariância, facilitando sua análise e extração de características. Conseqüentemente, espera-se um melhor desempenho da técnica proposta em relação às técnicas de verificação ou reconhecimento tradicionais. A etapa de projeção das imagens normalizadas sobre o novo espaço-face é feita utilizando as matrizes de covariância S q definidas anteriormente. Com isso, apenas as informações de uma classe específica são utilizadas na projeção. Esta abordagem produzirá tantas matrizes de projeção quantas forem as classes envolvidas no problema. Logo, o procedimento de cálculo da representação de uma imagem de teste T, que supõe-se ser da classe q, fará uso das Equações 3.13 e 3.14 mas retringindo-se à matriz-média e matriz de projeção da q-ésima classe. Uma vez obtida a nova representação das faces, a função de aceitação de uma imagem de teste T m como pertencente à classe q é feita pela equação abaixo: {1,se f(i m,q)= 2 M m=1 A i=1 B j=1 ((I m,i, j I s,i, j ) 2 )<L q (3.16) 0,em caso contrrio Onde L q corresponde ao limiar de aceitação da classe q. O padrão apresentado será aceito como pertencence à classe q única e exclusivamente se o grau de dissimilaridade for menor que o limiar de aceitação da classe (L q ). Em caso contrário, a face apresentada não será reconhecida como pertencente à classe informada. Detalhes sobre o cálculo do limiar de aceitação das classes serão fornecidos no próximo capítulo.

55 CAPÍTULO 4 Experimentos, Resultados e Discussão 4.1 Bases de dados Os experimentos realizados para validação das técnicas de reconhecimento de faces foram conduzidos de forma a explorar alguns dos vários tipos de problemas presentes em sistemas de reconhecimento reais. Primeiramente, as bases de dados foram selecionadas em função da frequência com que ocorrem na literatura e pelos diferentes tipos de variações que exploram. Desta forma, obtém-se testes mais condizentes com problemas inerentes ao reconhecimento de faces e que afetam significativamente o desempenho dos sistemas de classificação ORL A base de dados ORL [SH94] contém imagens de quarenta indivíduos, cada um com dez imagens. Estas imagens foram tiradas em laboratório, sob um mesmo plano de fundo e em condições controladas de luminosidade. As fotos de alguns indivíduos foram tiradas em momentos distintos, entretanto, devido ao curto intervalo de tempo, efeitos como, por exemplo, o envelhecimento não são perceptíveis. A base de dados explora algumas variações nas características da própria face tais como: expressões faciais, olhos abertos ou fechados, sorrisos e bocejos, além do uso ou não de óculos. As imagens foram obtidas com pequenas variações na inclinação da face e rotações de aproximadamente 20. É perceptível também uma variação de escala de aproximadamente 10% para alguns indivíduos. Todas as imagens estão em escala de cinza e redimensionadas para a resolução de 92x112 pixels. Figura 4.1 Exemplos de faces presentes na base de dados ORL UMIST A base de dados UMIST [GA98] é composta por 564 imagens, em escala de cinza, de 20 indivíduos, obtidas em ambiente controlado com fundo homogêneo. Nela, cada indivíduo possui 33

56 34 CAPÍTULO 4 EXPERIMENTOS, RESULTADOS E DISCUSSÃO diferentes quantidades de imagens, variando de 19 (indivíduo 1g) a 48 imagens (indivíduo 1s). Na versão normalizada da base, as imagens possuem a resolução de 92x112 pixels. A base será utilizada para teste de desempenho das técnicas quando há grandes variações de rotação das faces. Figura 4.2 Exemplos de faces presentes na base de dados UMIST Yale A base de dados Yale [GBK01] é composta por 165 imagens, em escala de cinza, de 15 indivíduos - onze imagens diferentes por indivíduo. As imagens não foram obtidas em ambientes totalmente controlados e possuem variações do plano de fundo. Esta base explora diferentes expressões faciais (cansado, surpreso, sorrindo, triste etc.), uso de objetos sobre a face e diferentes configurações de iluminação. As imagens originalmente disponibilizadas possuem a resolução de 320x243 pixels, com as faces não centralizadas e localizadas em diferentes posições nas imagens. As faces de todas as imagens foram extraídas, centralizadas, e normalizadas manualmente para a resolução de 92x112 pixels. Figura 4.3 Exemplos de faces presentes na base de dados Yale. 4.2 Técnicas de Reconhecimento de Faces O reconhecimento de faces é uma técnica biométrica de classificação de indivíduos baseada em informações presentes em suas faces. Ou seja, trata-se de um problema de identificação de pessoas, dentre um conjunto formado por vários indivíduos, baseando-se unicamente nas características de suas faces. Logo, problemas de reconhecimento são problemas do tipo 1 para n, no qual uma face é comparada com todas as faces que formam a base de dados com a finalidade de identificar instâncias com características semelhantes. Recentemente, a tecnologia de reconhecimento de faces tem se expandido para as mais diversas áreas que necessitam de controle de acesso. Está presente em dispositivos móveis