Reconhecimento Facial 3D utilizando o Simulated Annealing com as Medidas Surface Interpenetration Measure e M-Estimator Sample Consensus

Transcrição

1 Reconhecimento Facial 3D utilizando o Simulated Annealing com as Medidas Surface Interpenetration Measure e M-Estimator Sample Consensus Dissertação de Mestrado em Informática Sídnei Augusto Drovetto Jr. Orientadora: Dra. Olga R. P. Bellon Co-orientador: Dr. Luciano Silva

2 Sumário Introdução Hipótese Objetivo Conceitos Simulated Annealing Medidas de Erro Abordagens Utilizadas Considerações Finais

3 Introdução Biometria Ramo da ciência que estuda a utilização de traços físicos ou comportamentais para identificar pessoas;

4 Introdução Biometria Ramo da ciência que estuda a utilização de traços físicos ou comportamentais para identificar pessoas;

5 Reconhecimento Facial Imagens 2D vs. Imagens 3D

6 Reconhecimento Facial Imagens 2D vs. Imagens 3D Variações de pose e de iluminação são difíceis de serem tratadas. Fonte: Zhao et al (2003)[1]

7 Reconhecimento Facial Imagens 2D vs. Imagens 3D Imune aos problemas das imagens 2D; Barateamento dos sensores de aquisição.

8 Reconhecimento Facial 3D Grande parte das abordagens baseiam-se no registro das faces. Face 1 Face 2

9 Reconhecimento Facial 3D Grande parte das abordagens baseiam-se no registro das faces. Faces Alinhadas

10 Reconhecimento Facial 3D Grande parte das abordagens baseiam-se no registro das faces. Translações Rotações

11 Hipótese Utilização do Simulated Annealing (SA) com medidas de erro robustas: M-Estimator Sample Consensus (MSAC); Surface Interpenetration Measure (SIM).

12 Objetivo Atingir altas taxas de reconhecimento e de verificação utilizando apenas informação 3D da face. Motivação Prover um método confiável de reconhecimento facial.

13 Sumário Introdução Hipótese Objetivo Conceitos Simulated Annealing Medidas de Erro Abordagens Utilizadas Considerações Finais

14 Simulated Annealing O Simulated Annealing (Kirkpatrick et al, 1983 [2]) é um algoritmo de busca local inspirado no processo de aquecimento e resfriamento de um material.

15 Simulated Annealing Mínimos Locais Custo da Solução Mínimo Global Solução

16 MSAC O MSAC (Torr e Zisserman, 2000 [3]) é um avaliador robusto para a correspondência de pontos. Classifica os pontos em: inliers outliers

17 MSAC Avaliação de correspondência de pontos pelo MSAC

18 SIM Faces Alinhadas

19 SIM Faces Alinhadas

20 SIM Detalhe Faces Alinhadas

21 SIM A Surface Interpenetration Measure (Silva et al, 2005 [4]) é uma medida que quantifica a interpenetração entre superfícies. Detalhe Faces Alinhadas

22 SIM Linhas Alinhadas

23 SIM Linhas Alinhadas

24 SIM Detalhe do Alinhamento

25 Sumário Introdução Hipótese Objetivo Conceitos Simulated Annealing Medidas de Erro Abordagens Utilizadas Considerações Finais

26 Primeira Abordagem

27 Segmentações Nariz Olhos Face

28 Base de Faces Base de faces do Biometric Experimentation Environment (BEE). Foram utilizadas 778 imagens de 250 indivíduos. Combinação do tipo 1-N: entre faces de mesmos indivíduos entre faces de indivíduos diferentes

29 Resultados Região ICP SA Taxa de Verificação Limiar Taxa de Verificação Limiar Face 84,66% 14,5% 97,23% 16,75% Olhos 91,86% 11,5% 94,31% 14,75% Nariz 93,83% 18,5% 93,75% 22,5%

30 Resultados Combinação Face + Olhos Face + Nariz Olhos + Nariz Face + Olhos + Nariz ICP Taxa de Verificação 93,44% 96,78% 98,65% 98,85% SA Taxa de Verificação 97,79% 98,26% 96,28% 99,05%

31 Segunda Abordagem

32 Segmentações Nariz Nariz Região Elíptica Nariz Região Circular Olhos Face

33 Base de Faces Base de faces do Face Recognition Grand Challenge 3D Face Database v2.0. Foram utilizadas 978 imagens de 256 indivíduos. Combinação do tipo 1-N: entre faces de mesmos indivíduos entre faces de indivíduos diferentes

34 FAR e FRR 1.0 FAR FRR Limiar

35 FAR e FRR FAR FRR Limiar

36 ROC ROC FRR FAR

37 Resultados Alg. [5] Alg. [6] Alg. [7] Alg. [8] SAM Rank-One 96,5% 97,1% 98,0% 99,0% 100,0% Tax. Verif ,77% EER - 0,12% - - 0,03% Segundo (Phillips et al, 2005) uma boa taxa de verificação para o Face Recognition Grand Challenge 2006 é de 98,0% com FAR de 0,1%. O SAM atinge uma taxa de verificação de 100% com FAR de 0,03%.

38 Exemplo 1

39 Exemplo 1 SIM: 41,38%

40 Exemplo 2

41 Exemplo 2

42 Exemplo 2 SIM: 22,34%

43 Exemplo 3

44 Exemplo 3

45 Exemplo 3 SIM: 29,05%

46 Exemplo 4

47 Exemplo 4

48 Exemplo 4 SIM: 20,95%

49 Sumário Introdução Hipótese Objetivo Conceitos Simulated Annealing Medidas de Erro Abordagens Utilizadas Considerações Finais

50 Considerações Finais O SA utilizando o MSAC e a SIM como medidas de erro representa uma abordagem inovadora e com ótimos resultados. Trabalhos Futuros: Estudar meios de tornar o algoritmo menos sensível à presença de expressões faciais acentuadas; Desenvolver métodos para redução do tempo de execução do algoritmo.

51 Agradecimentos Orientadores: Profa. Dra. Olga R. P. Bellon Prof. Dr. Luciano Silva Colegas de projeto: Chauã Coluene Queirolo B. S. Maurício Pamplona Segundo Apoio financeiro: CNPq

52 Obrigado!

53 Referências Bibliográficas (1/2) [1] W. Zhao, R. Chellappa, P. J. Phillips, e A. Rosenfeld. Face recognition: A literature survey. ACM Computing Surveys, 35(4): , [2] S. Kirkpatrick, C.D. Gelatt, Jr., e M.P. Vecchi. Optimization by simulated annealing. Science, 220(4598): , Maio de [3] P. H. S. Torr e A. Zisserman. MLESAC: A new robust estimator with application to estimating image geometry. Computer Vision and Image Understanding, 78: , [4] Luciano Silva, Olga R.P. Bellon, e Kim L. Boyer. Precision range image registration using a robust surface interpenetration measure and enhanced genetic algorithms. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(5): , Maio de 2005.

54 Referências Bibliográficas (2/2) [5] Kyong I. Chang, KevinW. Bowyer, e Patrick J. Flynn. Adaptive rigid multi-region selection for handling expression variation in 3d face recognition. CVPR 05: Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops, pp. 157, Washington, DC, USA, IEEE Computer Society. [6] Kyong I. Chang, Kevin W. Bowyer, e Patrick J. Flynn. Multiple nose region matching for 3d face recognition under varying facial expression. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(10): , Outubro de [7] X. Lu e A. K. Jain. Integrating range and texture information for 3D face recognition. Proc. 7th IEEE Workshop on Applications of Computer Vision, pp , Breckenridge, CO, [8] X. Lu, A. K. Jain, e D. Colbry. Matching 2.5D face scans to 3D models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(1):31 43, 2006.

55 SIM A B q i c n c p q j N p

56 SIM Esparsa Diferença no valor da SIM (%) SIM Esparsa (Erro Relativo) Média Pontos utilizados (%)

57 Análise das Segmentações

58 Exemplo 1

59 Exemplo 1 SIM: 7,98%

60 Exemplo 2

61 Exemplo 2 SIM: 8,54%

62 Exemplo 3

63 Exemplo 3 SIM: 7,27%

64 Exemplo 4

65 Exemplo 4 SIM: 8,28%