DEPARTAMENTO DE MESTRADO EM ENGENHARIA ELÉTRICA DA FEI 18/5/2006 SEMINÁRIOS DA FEI

Transcrição

1 DEPARTAMENTO DE MESTRADO EM ENGENHARIA ELÉTRICA DA FEI

2 TUTORIAL SOBRE ANÁLISE DE COMPONENTES PRINCIPAIS PARA RECONHECIMENTO AUTOMÁTICO DE FACES MESTRADO DA FEI/IAAA Edson C. Kitani (Mestrando) Orientador: Dr. Carlos Thomaz MAIO-2006

3 OBJETIVOS - Introdução. - Histórico. - Representação das imagens de face. - O problema da dimensionalidade dos dados. - PCA para redução da dimensionalidade. - Optimalidade do PCA. - Aplicação em reconhecimento de faces. - Conclusão.

4 INTRODUÇÃO O PCA (Principal Components Analysis) é uma das mais antigas e bem sucedida técnica de estatística multivariada. É uma ferramenta largamente utilizada nas áreas de estatística aplicada para economia, biologia, química, engenharia, etc., para: - Reconhecimento de padrões. - Compressão de dados p/ armazenamento e/ou transmissão. - Detecção e reconhecimento de faces. Uma pesquisa feita no intervalo de 999 a 2000, encontrou mais de 2000 artigos que referenciavam a palavra PCA [9].

5 HISTÓRICO DO PCA Descrito inicialmente por Karl Pearson no artigo, On lines and planes of closest fit to systems of points in space, Philosophical Magazine, 90. In many physical, statistical, and biological investigations it is desirable to represent a system of points in plane, three or higher dimensioned space by the best-fitting straight line or plane (Pearson, 90).

6 HISTÓRICO DO PCA Nova abordagem apresentada por Harold Hotelling em, Analysis of a complex of statistical variable into principal components, Journal of Psychology, 933. Diferentemente de Pearson, Hotelling derivou as componentes principais a partir de um problema de autovalores e autovetores, mas ainda sem o formalismo da notação matricial. Ele foi o primeiro a utilizar expressão componentes principais [9].

7 HISTÓRICO DO PCA - Um outro nome conhecido para o PCA é a Transformada de Karhunen-Loève. - Kari Karhunen (946) e Michael Loève 2 (955) propuserem de forma independente, a representação de processos estocásticos como sendo uma combinação linear de variáveis. Este modelo é muito utilizado na área de processamento de sinais. Zur Spektraltheorie Stochastischer Prozesse, Ann. Acad. Sci. Fennicae, (946) 2 Probability Theory, Princeton, N.J.: VanNostrand, 955

8 REPRESENTAÇÃO DAS IMAGENS DE FACE Uma imagem discreta de face pode ser representada assim, ou na forma matricial, x l c

9 REPRESENTAÇÃO DAS IMAGENS DE FACE Mas também é possível concaternar a matriz X, e assim teremos: i [ 200, 20,92,... ] T x um vetor cua dimensão é o produto n l c, onde o l é o número de linhas e c o número de colunas da matriz x i.

10 REPRESENTAÇÃO DAS IMAGENS DE FACE Formação do espaço de faces

11 O PROBLEMA DA DIMENSIONALIDADE - Se cada imagem discreta de face tiver uma resolução de monocromático. - E o nosso conunto de imagens de faces for de 200 faces. - então... - A matriz Zx será formada por células. - Ou sea células!!!!

12 O PROBLEMA DA DIMENSIONALIDADE Em termos computacionais... Adaptado de [OSUMA, 2004] E como resolver este problema?

13 PRIMEIRA APLICAÇÃO DO PCA EM FACES - Lawrence Sirovich & Michael Kirby. Low-dimensional procedure for caracterization of human faces, Journal of Optical Society of America,987.

14 IMAGEM DE FACE VISTO COMO UM SINAL VARIÁVEL NO TEMPO Posição do vetor de face

15 REPRESENTAÇÃO NO ESPAÇO R n Sabemos que um vetor x no espaço Z R n pode ser representado como uma combinação linear de vetores ortonormais, tal que: x i x + x x i i2 2 in n () Onde x i é a i-ésima face do conunto Zx, x i são as proeções ortogonais sobre uma base ortonormal, i é um vetor ortonormal que forma essa base, e, 2,...n.

16 REPRESENTAÇÃO NO ESPAÇO R n Calculemos a média do conunto de treinamento: x N x N i Logo, cada face x i varia em torno dessa média, tal que: φ i x x i i (2) (3) Face média global.

17 REPRESENTAÇÃO NO ESPAÇO R n Portanto, podemos escrever que qualquer face φ i : φ n i y φ i p onde n y + y p+ T i para i 0 para i e y é um vetor de características nesse novo espaço vetorial. Podemos desmembrar e equação (4), onde p < n. (4) (5)

18 REPRESENTAÇÃO NO ESPAÇO R n Vamos substituir parte do vetor de características por uma constante b: onde b i é uma constante. Logo, teremos um erro na reconstrução da face original,, * n p p i b y φ + + * i i i φ φ ε (6) (7)

19 REPRESENTAÇÃO NO ESPAÇO R n Substituindo as equações (5) e (6) em (7) temos, Eliminando-se os termos comuns e colocando em evidência, n p p n p p i b y y y ε (8) ( ) (9) n p i b ε y + O erro depende apenas do que estamos descartando! ``

20 OPTIMALIDADE NO ESPAÇO R p Então precisamos minimizar a magnitude do erro ε i : Expandindo a equação (0), temos: (0) } ) ( { ) ( 2 _ 2 n p y b E P ε + (). ) ( ) )( (. ) ( 2 _ n p n p T k k k n p k b y E b y b y E P ε

21 OPTIMALIDADE NO ESPAÇO R p FUKUNAGA (990), propõe derivar parcialmente a equação () em relação a b. b E [( y b ) 2 ] 0 (2) 2 ( E[ y ] b ) 0 (3) b ( E[ y ]). Solução trivial b y! (4)

22 OPTIMALIDADE NO ESPAÇO R p Não queremos a solução trivial! Substitua b da eq. () ( ) ( ) [ ] (5) ] [ n p y E y E ε (6) T y φ ( ) ( ) [ ] (7) ] [ n p T T E E φ φ ε

23 OPTIMALIDADE NO ESPAÇO R p Expandindo a equação (7), temos: ( ) ( )( ) [ ] n p T T E E E φ φ φ φ ε + 2 ] [ ] [ Σ + ) ( 2 n p T ε, T λ Σ Matriz de covariância (8) (9) Pares de autovalores e autovetores.

24 OPTIMALIDADE NO ESPAÇO R p Finalmente temos: ( ε ) 2 n λ (20) p+ Ou sea, o que minimiza o erro é a soma dos menores autovalores. Como conseqüência, a eliminação dos autovetores correspondentes.

25 GEOMETRICAMENTE Adaptado de OSUMA, 2004.

26 TRANSFORMAÇÃO PARA O ESPAÇO PCA Zx N n Matriz P n p Imagem de Teste n Formação do Conunto de Treinamento, sem a média global. Matriz com as características mais expressivas, observem a dimensão!! x x Matriz PCA N p Calculam-se os autovetores e autovalores da matriz de covariância de Zx. Classificador Testa uma imagem de face. Adaptado de THOMAZ, 2004.

27 IMAGEM DAS COMPONENTES PRINCIPAIS Conunto de treinamento: 49 faces femininas e 49 masculinas. As 4 primeiras componentes principais, ou eigenfaces. a PC 2 a PC 3 a PC 4 a PC

28 RECONSTRUÇÃO Original 0 PCs 20 PCs 30 PCs 40 PCs 50 PCs 60 PCs 97 PCs

29 O PROGRAMA FACES.EXE O programa FACES.EXE calcula e compara imagens de face utilizando 3 diferentes abordagens, o PCA, LDA e o MLDA.

30 CONCLUSÃO O PCA retém as informações mais expressivas. Uma imagem de face pode ser representada economicamente em uma outra base vetorial menor, diferente da base original. As transformações são lineares.

31 MATERIAL DISPONÍVEL EM - Tutorial sobre o PCA. - Esta apresentação. - Outros artigos muito interessantes.

32 REFERÊNCIAS [] CHELLAPPA, Rama; WILSON, Charles; SIROHEY, Saad. Humam and Machine Recognition of Faces: A Survey. Proceedings of the IEEE, vol 83 no.5, May 995. [2] Kitani, E.C., THOMAZ, C.E, Um Tutorial sobre Análise de Componentes Principais para Reconhecimento Automático de Faces, Relatório Técnico, Depto Engenharia Elétrica, FEI-SP, 0/2006. [3] TURK, Matthew; PENTLAND, Alex. Eigenfaces for Recognition. Journal of Cognitve Science, vol. 3 no, MIT 99. [4] ZHAO, Weny; CHELLAPPA, Rama; KRISHNASWAMY, Arvindli. Discriminat Analysis of Principal Components for Face Recognition. IEEE, 998. [5] FUKUNAGA, Keinosuke, Introduction to Statistical Pattern Recognition, 2 a ed., Boston, MA: Academic Press, 990. [6] OSUMA, Ricardo Gutierrez, Principal Components Analysis, Lecture Notes 9, Texas A&M University, Texas, 2004, disponível em acessado em 20/2/2005. [7] SIROVICH, L. KIRBY, M, Low-dimensional Procedure for the Characterization of Human Faces, Journal of the Optical Society of America, vol. 4, pp , 987. [8] THOMAZ, Carlos Eduardo, Estudo de Classificadores para Reconhecimento Automático de Faces, Tese de Mestrado, 04 pg., PUC RJ, 999.

33 REFERÊNCIAS [9] JOLLIFE, I.T., Principal Components Analysis, Springer-Velag, Longon. UK, [0] PEARSON, K. On lines and planes of closest fit to system of point in space, Philosophical Magazine, 2: pp , 90, disponível em acessado em 06/05/2006. [2] BARTLETT, M. S., et al., Face Recognition by Independent Component Analysis, IEEE Transactions on Neural Networks, vol 3, no. 6, November, [3] JAIN, Anil, et al. Biometrics: A Grand Challange, Presentation, disponivel em acessado em 0/0/2005.