GRUPO DE INTELIGÊNCIA COMPUTACIONAL, MODELAGEM E NEUROCOMPUTAÇÃO ICONE

Transcrição

1 GRUPO DE INTELIGÊNCIA COMPUTACIONAL, MODELAGEM E NEUROCOMPUTAÇÃO ICONE LABORATÓRIO DE SISTEMAS INTEGRADOS LSI DEPARTAMENTO DE ENGENHARIA DE SISTEMAS ELETRÔNICOS PSI ESCOLA POLITÉCNICA DA USP

2 PRINCIPAL COMPONENTS ANALISYS PCA Msc. Edson Kitani Prof. Dr. Emilio Del Moral Hernandez

3 HISTÓRICO DO PCA Descrito inicialmente por Karl Pearson no artigo, On lines and planes of closest fit to systems of points in space, Philosophical Magazine, In many physical, statistical, and biological investigations it is desirable to represent a system of points in plane, three or higher dimensioned space by the best-fitting straight line or plane (Pearson, 1901). Msc Edson Kitani 3

4 HISTÓRICO DO PCA Nova abordagem apresentada por Harold Hotelling em, Analysis of a complex of statistical variable into principal components, Journal of Psychology, Diferentemente de Pearson, Hotelling derivou as componentes principais a partir de um problema de autovalores e autovetores, mas ainda sem o formalismo da notação matricial. Ele foi o primeiro a utilizar a expressão componentes principais [9]. Msc Edson Kitani 4

5 HISTÓRICO DO PCA - Um outro nome conhecido para o PCA é a Transformada de Karhunen-Loève. - Kari Karhunen 1 (1946) e Michael Loève 2 (1955) propuserem de forma independente, a representação de processos estocásticos como sendo uma combinação linear de variáveis. Este modelo é muito utilizado na área de processamento de sinais. 1 Zur Spektraltheorie Stochastischer Prozesse, Ann. Acad. Sci. Fennicae, (1946) 2 Probability Theory, Princeton, N.J.: VanNostrand, 1955 Msc Edson Kitani 5

6 Transformada de Karhunen-Loève em tempo contínuo A série de Fourie é um caso especial da expansão de sinais x(t) na forma: xˆ cnn t 0 t T n1 na qual t é um conjunto de funções ortonormais no intevalo (0, T) e os coeficientes c n são variáveis aleatórias definidas por: c n T 0 x t * n t dt E para que x t xˆ t é necessário que os coeficientes sejam ortonormais. Para solucionar isto é necessário calcular a seguinte integral: T Rxx t1 0 t t ( t ) dt ( t ), 0 T Athanasios Papoulis, 1991 Msc Edson Kitani 6 c n

7 Tranformada de Karhunen-Loève em tempo discreto Sabemos que um vetor x no espaço Z n pode ser representado como uma combinação linear de vetores ortonormais, tal que: x i x x... x i1 1 i2 2 in n (1) Onde x i é o i-ésimo sinal do conjunto Zx, x ij são as projeções ortogonais sobre uma base ortonormal, ij é um vetor ortonormal que forma essa base, e j= 1, 2,...n. Msc Edson Kitani 7

8 Geometricamente Extraído de Osuma Msc Edson Kitani 8

9 REPRESENTAÇÃO NO ESPAÇO n Calculemos a média do conjunto de treinamento: x N N i 1 Logo, cada sinal x i varia em torno dessa média, tal que: (3) i 1 x x x i i (2) Msc Edson Kitani 9

10 REPRESENTAÇÃO NO ESPAÇO n Portanto, podemos escrever que qualquer sinal n : i i y j j1 i p j n onde y j j y j1 j p1 j j T i 1parai j j 0 parai j e y é um vetor de características nesse novo espaço vetorial. Podemos desmembrar e equação (4), onde p n. (4) (5) Msc Edson Kitani 10

11 REPRESENTAÇÃO NO ESPAÇO n Vamos substituir parte do vetor de características por uma constante b: * i p j1 y j j n b j j p1, j onde b i é uma constante. (6) Logo, teremos um erro na reconstrução do sinal original, * i i i (7) Msc Edson Kitani 11

12 Duas Setas no Espaço R 3 Msc Edson Kitani 12

13 Duas Setas no Espaço R 3 Msc Edson Kitani 13

14 Duas Setas no Espaço R 3 Msc Edson Kitani 14

15 Sistema de Transmissão X Transmissor y T i i X y 1, y2,..., y p Receptor m y i i1 i Xˆ p 1 p Adaptado de Fukunaga, 1990 Msc Edson Kitani 15

16 TRANSFORMAÇÃO PARA O ESPAÇO PCA Conjunto de entrada sem a média M n Zx= Calcula Matriz dos Autovetores x Espaço de Entrada Projetado no Espaço PCA Matriz PCA M p Matriz P n p Autovetores Adaptado de THOMAZ, Msc Edson Kitani 16

17 Retorno do Espaço PCA Espaço de Entrada Projetado no Espaço PCA Matriz PCA M p Conjunto de entrada sem a média Zx= M n x Matriz P n p Autovetores Adaptado de THOMAZ, Msc Edson Kitani 17

18 Exemplo com Sinais Eletromiográficos Msc Edson Kitani 18

19 Reconstrução com todos os Autovetores Sinal eletromiográfico original 2 Normal Sinal eletromiográfico reconstruido x Reconstruido x x Erro de reconstrução Taxa de erro Tempo X 25us x 10 4 Msc Edson Kitani 19

20 Comparação dos Resultados Z (100X200) FC T orig T T final final (Extraído de Costa et al. 2007) Número de Componentes Principais Fator de Compressão (%) RDP (%) 9+ x 90 19,1 14+ x 85 8,1 100% 19+ x 80 4, x 75 3, x 70 2,5 49+ x Msc Edson Kitani 20

21 Reconstrução com FC = 90 e RDP= 19,1% Sinal eletromigráfico original Sinal eletromiográfico reconstruído x Erro de reconstrução x Tempo X 25us x 10 4 Msc Edson Kitani 21

22 DEMONSTRAÇÃO do PCA em MATLAB Imagens de Faces Sinais Eletromiográficos Msc Edson Kitani 22

23 Sobre as Propostas Categorias Musicais Digitos Manuscritos Elevador Inteligente Lingua Eletrônica Reconhecimento de Placas de Transito Sistema de Correção para Sensor de Pressão Diferencial Reconhecimento de EEG Msc Edson Kitani 23

24 OBRIGADO!! Edson C. Kitani Doutorando na Poli - USP Orientador: Prof. Dr. Emilio Del Moral Hernandez Formação: Tecnico em Eletrônica (ETEP Santo André) Tecnólogo em Automação Industrial (Centro Universitário de Santo André) Especialista em Mecânica Fina (Universidade São Judas) Mestre em Eng. Elétrica (Centro Universitário da FEI) Atividade profissional: Professor Assistente I na FATEC- Santo André (Eletrônica Automotiva) Chefe do Departamento de Projetos de Máquinas na Mahle Anéis edson.kitani@ieee.org Msc Edson Kitani 24

25 Áreas de Interesses e Atuação: -Redes Neurais Artificiais (Enfase em SOM e RNP) - Neurocomputação e Neurocognição - Reconhecimento Estatísticos de Padrões - Processamento de Imagens e Visão Artificial - Processamento e Reconhecimento de Faces - Machine Learning - Eletrônica Automotiva - Eletrônica em Geral Msc Edson Kitani 25

26 Publicações trabalhos em: - Congresso do SIBGRAPI (4 papers) - SIBGRAPI (2 Journals) - ENIA (1 paper) - SBRN (1 paper) - SAE (1 paper) - Capitulo de Livro Face Recognition Intech ISBN Orientações de TCC (5 na Fatec Santo André) Msc Edson Kitani 26

27 REFERÊNCIAS COSTA, Marcus V. C., BERGER, Pedro A., NASCIMENTO, F. A. O., ROCHA, A. F. Compressão de sinais de EMG isométricos utilizando o JPEG2000, In IV Latin American Congress on Biomedical Engineering 2007, Bioengineering Solutions for Latin American Health, Springer Berlin Heidelberg. COSTA, Marcus, V. C., BERGER, Pedro A., ROCHA, A. F., CARVALHO, J. L. A., NASCIMENTO, A. F., Compression of electromygraphy signals using image compression techniques., In International Conference, IEEE Engineering in Medicine and Biology Society, Vancouver, Proceedings 30th International Conference, IEEE Society, pp , 2008 De LUCA, Carlo J., The use of surface electromyography in Biomechanics, Journal of Applied Biomechanics, vol. 13, pp , Human Kinetcs Pubishers, Inc, FUKUNAGA, Keinosuke, Introduction to Statistical Pattern Recognition, 2 a ed., Boston, MA: Academic Press, GUERRERO, Alfonso P., MAILHES, Corinne, On the choice of an electromyogram data compression method, In Proceeding of 19 th International Conference IEEE/EMBS pp , KITANI, Edson. C., THOMAZ, Carlos, E., Um Tutorial sobre Análise de Componentes Principais para Reconhecimento Automático de Faces, Relatório Técnico, Departamento de Engenharia Elétrica da FEI, Maio de 2006, disponível em PAPOULIS, Athanasios, Probability, Randon Variables and Stochastic Processes, 3rd edition, McGraw Hill, OSUMA, Ricardo Gutierrez, Principal Components Analysis, Lecture Notes 9, Texas A&M University, Texas, 2004, disponível em acessado em 20/12/2005. THOMAZ, Carlos Eduardo, Estudo de Classificadores para Reconhecimento Automático de Faces, Tese de Mestrado, 104 pg., PUC RJ, Msc Edson Kitani 27