Reconhecimento Multibiométrico de Pessoas em Imagens de Vídeo para Monitoramento Visual de Ambientes

Transcrição

1 Reconhecimento Multibiométrico de Pessoas em Imagens de Vídeo para Monitoramento Visual de Ambientes Gustavo Botelho de Souza, Ícaro Ribeiro, Aparecido Nilceu Marana Universidade Estadual Paulista (UNESP), Faculdade de Ciências - Bauru Departamento de Computação gustavo.botelho@gmail.com, icaroribeiro@fc.unesp.br, nilceu@fc.unesp.br Abstract Biometrics has been widely employed for fast, automatic, and robust people identification. Recently, in order to increase the population coverage and improve the identification rates of automatic identification systems, the multibiometric identification has been proposed. Good results have been reported in the literature regarding multibiometric systems based on the fusion of biometric features like fingerprint, palm vein, iris, etc. However, these biometric features require user collaboration and do not allow identification at a distance, which is a necessity in applications like surveillance. For this purpose, soft biometric traits, such as height, weight, gender, hair and skin color, among others, seems to be more suitable since they can be extracted at a distance with a acceptable accuracy, in a covert and non-intrusive way. In this work we present a prototype of a multibiometric system designed for people identification in a surveillance application. This system is based on two soft biometric traits, height and skin color, and one traditional biometric trait, face. The proposed multibiometric system was implemented and assessed in an indoor and controlled environment. Results obtained during the experiments indicate that the fusion of traditional strong features, like face, with new soft features make possible reach a high accuracy in the process of people identification and can be proper for covert surveillance applications. 1. Introdução A biometria ( bio : vida, metria : medida) pode ser definida como um ramo da biologia que emprega a estatística e a análise quantitativa no estudo de seus dados [1]. Nos últimos anos ela vem sendo associada ao reconhecimento automático de pessoas (por sistemas computacionais) baseado em suas características físicas, fisiológicas e comportamentais. O homem sempre teve necessidade de identificar-se para obter acesso a determinado recurso, lugar ou privilégio. Ao longo da história, equipamentos, tais como cadeados e cofres foram desenvolvidos e aprimorados para impedir o acesso ou uso de recursos por pessoas não autorizadas. Com o advento dos computadores, as senhas e cartões magnéticos tornaram-se mecanismos de segurança comuns no cotidiano das pessoas. Os cadeados e cofres, justamente por serem dispositivos mecânicos, podem ser facilmente burlados por usuários mal intencionados. Por sua vez, as senhas e cartões também apresentam falhas. Os passwords podem ser esquecidos, inferidos ou compartilhados indevidamente. Os cartões por sua vez podem ser roubados, perdidos ou emprestados para uso indevido. Nos últimos anos, com o aumento do poder computacional e o barateamento de sensores, técnicas mais eficientes começaram a ser empregadas no reconhecimento de pessoas para diversos fins, entre eles a segurança [2]. Estas técnicas valem-se da biometria e da alta capacidade de processamento dos computadores atuais para, por exemplo, permitir acesso de um indivíduo a lugares restritos, a sistemas computacionais, a informações sigilosas, ou para outros fins como a identificação criminal e controle de ponto. Baseado nas características físicas, fisiológicas e comportamentais dos indivíduos, os sistemas são capazes de identificá-los. Com isto, é possível reconhecer o indivíduo pelo que ele é e não pelo que ele possui (no caso dos cartões) ou pelo que sabe (no caso das senhas) [3]. Na realidade, os sistemas biométricos podem se valer de uma ou mais evidências biométricas (neste caso são chamados de multibiométricos). Em geral, os sistemas multibiométricos apresentam melhores desempenhos que os sistemas que se baseiam em apenas uma evidência biométrica. Além disso, propiciam uma maior cobertura da população e dificultam os ataques fraudulentos [4]. O processo de reconhecimento biométrico que se vale apenas de características como a impressão digital, a íris e as veias das mãos, por exemplo, não permite a identificação à distância e, portanto, não pode ser usado para o monitoramento discreto de ambientes. Além disso, nesse tipo de aplicação, o sistema biométrico precisa operar no modo de identificação. Isso exige uma busca (dadas as características biométricas extraídas da pessoa sob análise no momento) por todos os registros da base de

2 dados, o que pode causar uma demora demasiada dependendo do número de usuários cadastrados no sistema. Para a identificação discreta de pessoas em aplicações de vigilância, algumas características físicas tais como sexo, peso, altura, raça, cor do cabelo, cor da pele, cor dos olhos, dentre outras, conhecidas como soft biometric traits [4, 5, 6], são mais apropriadas e podem tornar o sistema de reconhecimento biométrico mais eficiente e preciso, quando utilizadas em conjunto com características biométricas tradicionais, como as faces. Uma das grandes vantagens do uso das características soft em sistemas multibiométricos é que em geral elas podem ser extraídas de forma não intrusiva, silenciosa e à distância, com razoável precisão. Dentre as aplicações que exigem identificação de pessoas que mais podem se beneficiar pelo reconhecimento biométrico por meio das características soft encontra-se o monitoramento sigiloso de ambientes. O monitoramento de ambientes pode ser realizado para diversos fins como, por exemplo, para a análise da movimentação de pessoas em certo local a fim de adequálo e facilitar a locomoção dos pedestres. Entretanto, em geral, ele se volta à segurança do local sendo monitorado. O monitoramento destinado à segurança é uma tendência, principalmente nas grandes metrópoles. Na Inglaterra, estima-se que o número de câmeras CCTV (Closed-Circuit Television) espalhadas por todo o país tenha ultrapassado um milhão. Segundo Xiang [7], um cidadão inglês, em média, aparece nas filmagens destas câmeras cerca de 300 vezes ao dia. Em geral as câmeras gravam imagens de locais onde é necessário garantir-se segurança como bancos, estacionamentos, etc. a fim de identificar criminosos ou comportamentos suspeitos. Este artigo tem como objetivo apresentar o protótipo de um sistema de visão computacional projetado para ser utilizado em aplicações de monitoramento discreto de pessoas, utilizando a face como característica biométrica principal, associada a duas características biométricas soft : a altura e a cor da pele das pessoas. Esse sistema biométrico foi projetado para operar no modo de identificação de pessoas. 2. Material e Metodologia 2.1. Material Para desenvolvimento e avaliação do protótipo do sistema de visão computacional biométrico projetado foram utilizados os seguintes recursos: Vídeos capturados por uma webcam com resolução de 1.3 megapixels (a uma taxa de 30 quadros por segundo), posicionada sobre um suporte a uma altura de aproximadamente 1.70 metros, em um ambiente interno, com iluminação artificial constante, homogênea e não muito intensa; Computador com sistema operacional Windows 7, linguagem C++ com ambiente de desenvolvimento Visual Studio 2008 (Visual C++); Biblioteca OpenCV (versão 1.0) [8] Metodologia Para atingir os objetivos desse trabalho, inicialmente foram definidas que duas características biométricas soft, altura e cor da pele das pessoas, seriam extraídas das imagens de vídeo capturadas pela webcam para serem utilizadas pelo sistema proposto em conjunto com a análise facial. Para o cálculo da altura foi utilizado o algoritmo proposto por Jain et al. [6] com algumas adaptações que, em síntese, consiste em armazenar uma imagem com o background, ou seja, o local onde foram capturados os vídeos, sem a presença de pessoas no foreground, e realizar comparação quadro a quadro do vídeo detectando assim a posição da pessoa se movendo no local. Esta comparação só se inicia quando um classificador baseado nas características de Haar, similar ao proposto por [9], detectar que há uma pessoa no quadro atual do vídeo. Com isto, ao perceber que a pessoa passa por uma posição pré-determinada no ambiente (para a qual se sabe a altura) o sistema consegue estimar a altura da pessoa utilizando-se regra de proporção. Com relação à análise da cor da pele, foi usada uma técnica simples e de baixo esforço computacional proposta por diversos autores, dentre eles, Kovac, Peer, e Solina [10]. Esta técnica consiste basicamente em selecionar os pixels da imagem (no formato RGB) cujos componentes R, G e B atendam às seguintes restrições: 1ª: R > 95; 2ª: G > 40; 3ª: B > 20; 4ª: max(r,g,b) - min(r,g,b) > 15; 5ª: R - G > 15; 6ª: R > G; 7ª: R > B. Essas restrições definem o subespaço de cores (dentro do espaço RGB) onde se encontram as cores de pele humana conhecidas. Com isto, uma cor média para a pele da pessoa presente na imagem pode ser calculada e usada no processo de reconhecimento, tendo como base os pixels selecionados. Na realidade, estas restrições servem apenas para detectar pele em situações onde a iluminação é uniforme, constante e não muito intensa. Conforme mencionado por

3 pesquisadores que propuseram ou utilizaram esta técnica, as regras acima foram definidas e são justificadas da seguinte forma: as três primeiras são responsáveis por modelar a tonalidade da cor de pele, a quarta evita que os valores de R, G e B do pixel estejam muitos próximos diminuindo assim a influência de tons de cinza, a quinta restrição é responsável por garantir a atenção à real complexidade dos tons de pele, mantendo os valores de R e G distantes e, por fim, as duas últimas regras asseguram que para o pixel ser um pixel de pele humana seu componente R deve ser maior que os outros (G e B), uma vez que, visivelmente, as cores de pele são mais próximas do vermelho (marrom, etc.) que do azul ou do verde. No sistema desenvolvido, para evitar que se considerem pixels de objetos com cores próximas às cores de pele no cálculo da cor média da pele da pessoa presente no vídeo, restringiu-se a possibilidade de classificação como pixel de pele aos pixels da região da face da pessoa no quadro do vídeo sendo tratado. Para se realizar o reconhecimento facial foi empregado um algoritmo que opera em três fases: primeiro realiza-se a detecção facial no quadro do vídeo baseado nas características de Haar (algoritmo similar ao proposto em [9] e implementado na biblioteca OpenCV), depois a face detectada é recortada do quadro do vídeo em um retângulo de tamanho padrão e transformada para tons de cinza e, por fim, a face é projetada no subespaço das autofaces (técnica PCA - Principal Component Analysis) de forma similar ao apresentado em [11]. Vale observar que o subespaço citado é gerado a partir das faces já cadastradas na base de dados do sistema desenvolvido. Para avaliar o desempenho do sistema multibiométrico de identificação à distância proposto que se vale das três análises explanadas (face, altura e cor da pele) foram realizados experimentos (gravados vídeos) em um ambiente interno, com iluminação controlada e no qual apenas uma pessoa por vez adentra a cena. A Figura 1 mostra um esboço do ambiente onde o sistema de monitoramento foi avaliado. Nesse ambiente, a pessoa caminha por um corredor (posição 1), cruza uma porta (posição 2), entra em uma sala (local onde há uma câmera filmando o ambiente), caminha para frente (posição 3) e finalmente desvia para a direita, conforme indicado pelas setas na própria Figura 1. Ao passar pela porta (posição 2) sua altura é estimada com base na altura do batente. Ao chegar na posição 3, o sistema detecta e analisa a face da pessoa, bem como extrai a cor média da pele da sua face (conforme os algoritmos descritos anteriormente). Figura 1. Esboço do ambiente utilizado para avaliar o sistema multibiométrico de identificação à distância. A partir do momento em que a face da pessoa começa a ser detectada (próximo à posição 3) repetem-se os seguintes passos até o momento em que não é não é mais possível detectar faces nos quadros do vídeo: O sistema calcula (para cada registro da base de dados) a soma ponderada das distâncias normalizadas obtidas com cada característica biométrica individualmente (altura, cor da pele e face), sendo que cada distância individual indica o grau de similaridade entre a característica extraída da pessoa detectada no vídeo e a característica do registro armazenado na base de dados. Como observação, a distância facial entre uma face sob análise e uma face de um registro do banco de dados é obtida pela soma das diferenças ao quadrado dos coeficientes relacionados aos autovetores do subespaço gerado pela PCA da face sob análise e da face do registro, a distância da altura é a distância euclidiana entre a altura estimada no momento e a do registro na base de dados e para a cor da pele a distância gerada é a soma das distâncias euclidianas entre os valores dos componentes R, G e B da cor da pele extraída e estes mesmos componentes da cor da pele do registro do banco de dados. A soma ponderada mencionada gera a distância final de cada registro da base de dados e é calculada atribuindo-se peso 0.8 à distância facial (pois esta é a característica biométrica utilizada no sistema que apresenta maior unicidade), peso 0.15 para a distância da cor da pele e peso 0.05 para a distância da altura. Nos casos em que o sistema não consegue detectar a pessoa passando pela porta (o que não raramente ocorre visto que o padrão corporal das pessoas é muito variável dificultando a detecção da pessoa no vídeo pelo classificador usado), a característica altura é desprezada no cálculo das distâncias finais e os pesos para as características

4 face e cor da pele são alterados para 0.9 e 0.1, respectivamente; Caso a menor distância final calculada esteja abaixo de um limiar definido com base na distribuição de casamento genuínos e impostores entre as faces já cadastradas na base de dados ( casadas duas a duas), a pessoa é reconhecida como sendo aquela relacionada com o template que proporcionou a menor distância. Caso contrário, a pessoa é rejeitada. Se a decisão de rejeição se mantiver para os quadros subsequentes a pessoa é considerada desconhecida pelo sistema e sua imagem é armazenada no banco de dados para verificação posterior. Quando a face da pessoa deixa de ser detectada nos quadros do vídeo, a identidade que mais vezes foi encontrada nos passos anteriores é associada à pessoa. Nesse momento, o sistema registra no banco de dados que aquele usuário esteve presente naquele local e em determinado dia e horário. 3. Sistema de Monitoramento Desenvolvido No protótipo do sistema biométrico desenvolvido, apenas os administradores podem cadastrar novos usuários ou iniciar o módulo de reconhecimento de pessoas. Ao acessar o sistema, justamente por motivos de segurança, registra-se também na base de dados o horário e a data da entrada e saída de cada administrador. Na Figura 2 apresenta-se a interface de acesso ao sistema de monitoramento desenvolvido. regiões de pele da face, encontrando a cor média da pele da pessoa. No momento do cadastro, o administrador informa altura da pessoa no campo apropriado. O sistema permite o cadastro de mais de uma face com sua respectiva cor de pele para cada pessoa. A Figura 3 mostra a interface do módulo de cadastro de pessoas. Figura 3. Módulo de cadastro do sistema desenvolvido. A Figura 4 mostra o gerenciamento de usuários, também feito no módulo de cadastro do sistema onde é possível alterar dados pessoais de um usuário, consultar por um usuário, excluir certo indivíduo do sistema bem como cadastrar novas informações biométricas para o mesmo ou excluir alguma informação indesejada (uma imagem facial com pouca qualidade, por exemplo). Figura 4. Módulo de cadastro (aba Gerenciar Usuário ) do sistema desenvolvido. Figura 2. Interface de acesso ao sistema. O sistema possui um módulo de cadastramento de pessoas. Neste módulo é possível cadastrar um indivíduo com seus dados pessoais bem como suas características biométricas (altura, face e cor de pele). O sistema detecta nas imagens de vídeo capturadas pela webcam a face da pessoa sendo cadastrada em tempo real e segmenta as O módulo de reconhecimento do sistema por sua vez, é responsável por realizar a função principal do sistema: a identificação da pessoa presente no vídeo. Neste módulo são exibidos os nomes das pessoas associadas aos templates mais votados durante o intervalo de tempo decorrido desde o momento que a pessoa surge no vídeo até o momento em que ela desaparece da cena. Ao término deste intervalo, uma janela exibe a identificação final da pessoa. Essa identificação é armazenada no banco de dados, juntamente com a data e horário da ocorrência

5 desse evento. Nas Figuras 5, 6, 7 e 8 apresenta-se o sistema em funcionamento, estimando a altura e a cor média da pele de uma pessoa, executando a detecção da face da mesma e seu reconhecimento. A Figura 5 apresenta o módulo de reconhecimento (aba Vídeo da Altura ). Nesta aba são exibidos os resultados do algoritmo de detecção da pessoa e estimativa da altura da mesma. O segmento de reta na cor azul indica o rastreamento da pessoa detectada quadro a quadro no vídeo, enquanto o segmento de reta na cor verde permanece sobre a lateral da porta (utilizada nesse ambiente como referência para o cálculo da altura das pessoas). Após passar pela porta a altura da pessoa é calculada e exibida no campo Altura Extraída do Vídeo. No exemplo apresentado na Figura 5, a altura estimada para a pessoa no vídeo foi de 1.75 metros, valor bem próximo da altura real da mesma (1.72 metros). Figura 6. Módulo de reconhecimento (aba Vídeo da Pele ). Figura 7. Módulo de reconhecimento (aba Vídeo da Face ). Figura 5. Aba Vídeo da Altura. Na Figura 6 mostra-se o resultado obtido com a técnica de segmentação da cor da pele. Nesse caso, a pessoa já está mais próxima da câmera. Na aba Vídeo da Pele é exibida a imagem obtida do quadro atual do vídeo com as regiões de pele segmentadas. Nota-se que várias partes da imagem foram consideradas erroneamente como sendo regiões de pele. Porém, o algoritmo de reconhecimento do sistema usa apenas as regiões da face da pessoa para estimar a cor média da sua pele. A Figura 7 por sua vez mostra o sistema operando sobre um quadro posterior do vídeo onde a pessoa está ainda mais próxima da câmera. Na aba Vídeo da Face é exibida a imagem obtida do quadro atual do vídeo com a face detectada (retângulo verde). Nota-se que o algoritmo de detecção facial foi muito preciso e pode-se perceber que o algoritmo de reconhecimento (que opera combinando informações da face, pele e altura extraídas da pessoa) acertou, pois a pessoa da imagem no campo Face Extraída é a mesma da imagem do campo Face da Base. Na tabela do canto inferior direito da tela apresentada na Figura 7 são registradas as identificações parciais realizadas pelo sistema no decorrer do vídeo. Na Figura 8 mostra-se a mensagem informando a identidade final da pessoa que apareceu no vídeo, tendo em vista os reconhecimentos intermediários realizados durante o decorrer do mesmo. No exemplo mostrado, o sistema determinou corretamente a identidade da pessoa. Essa identidade final é registrada no banco de dados. Figura 8. Após a pessoa sair da cena, o sistema exibe uma mensagem informando a identidade final da mesma.

6 4. Resultados Experimentais Para avaliar o desempenho do protótipo do sistema multibiométrico proposto para monitoramento à distância de ambientes, como descrito na subseção 2.2, foram realizados experimentos utilizando-se vídeos previamente gravados de 7 pessoas distintas caminhando naturalmente pela área sob monitoração, conforme mostrado na Figura 1. Nesses experimentos obteve-se 100% de acerto na identificação das pessoas. 5. Discussão e Conclusão Nesse artigo apresentamos o protótipo implementado de um sistema de visão computacional projetado para auxiliar no monitoramento de ambientes, utilizando a fusão de características biométricas tradicionais, como a face, e de características soft, como a altura e a cor da pele da pessoa. Uma das características mais importantes do sistema proposto é a possibilidade de identificar pessoas de forma discreta e à distância, sem exigir muita colaboração durante o processo de monitoramento do ambiente. As características biométricas soft, apesar de apresentarem baixo grau de unicidade, são importantes para aumentar as taxas de reconhecimento correto das pessoas, quando fundidas com outras características biométricas. Além disso, elas podem ser úteis quando utilizadas como índices em grandes bancos de dados, para otimizar as consultas, uma vez que apenas os templates associados a pessoas que possuem as características biométricas soft parecidas com as da pessoa sob análise teriam que ser analisados. Embora os resultados obtidos com os experimentos realizados durante esse trabalho não sejam conclusivos, eles mostraram a viabilidade da proposta, ou seja, permitiram concluir que é possível utilizar as características biométricas soft altura e cor da pele da pessoa em conjunto com o reconhecimento facial para o monitoramento de ambientes à distância, de forma discreta e sem muita colaboração das pessoas sob análise. 7. Referências [1] Webster s New World Dictionary of the American Language, College Edition, World Publishing Co., New York, [2] A. K. Jain, S. Pankanti, S. Prabhakar, L. Hong, A. Ross, and J. L. Wayman, Biometrics: A Grand Challenge, Proc. International Conference on Pattern Recognition (ICPR), vol. II, pp , Cambridge, UK, August [3] A. K. Jain, A. Ross and S. Prabhakar, An Introduction to Biometric Recognition, IEEE Transactions on Circuits and Systems for Video Technology, Special Issue on Image- and Video-Based Biometrics, Vol. 14, No. 1, pp. 4-20, January [4] A. K. Jain, S. C. Dass, K. Nandakumar, Soft Biometric Traits for Personal Recognition Systems, Proceedings of the Int. Conf on Biometric Authentication, LNCS 3072, pp , Hong Kong, July [5] A. K. Jain, K. Nandakumar, X. Lu, and U. Park, Integrating Faces, Fingerprints, and Soft Biometric Traits for User Recognition, in Proceedings of Biometric Authentication Workshop, in conjunction with ECCV2004, LNCS 3087, pp , Prague, May [6] A. K. Jain, S. C. Dass and K. Nandakumar, Can soft biometric traits assist user recognition?, in Proceedings of SPIE Vol. 5404, Biometric Technology for Human Identification, pp , Orlando, FL, April [7] L. Xiang, Visual Surveillance Scene Inventories, Master Thesis. Cranfield University, September [8] Intel OpenCV ( (último acesso em 28 de maio de 2008). [9] M. J. Jones, P. Viola, Robust Real-Time Face Detection, Int. J. Comput. Vision, [10] J. Kovac, P. Peer, F. Solina, Human Skin Colour Clustering for Face Detection, in International Conference on Computer as a Tool EUROCON 2003, Ljubljana, Slovenia, September Trabalhos Futuros Pretende-se, como extensão desse trabalho, realizar novos experimentos utilizando uma base de dados maior e mais heterogênea bem como fazer experimentos de monitoramento de pessoas em outros ambientes, com diferentes condições de iluminação. Pretende-se também desenvolver e incorporar ao sistema técnicas para a identificação de várias pessoas presentes simultaneamente nos quadros do vídeo.