Transformação dos dados. Analise de Componentes Principais - PCA

Transcrição

1 Transformação dos dados Tratamento nos dados Redução de Dimensionalidade Dados centrados na média e variância xm = /n Σ i=n x i x i = ( x i - xm)/σ (centrados na média) Escalamento ela variância ( quando temos muito dominante em rel. as demais) var j = / (n-)σ i=n (x ij - xm j ) x ij (sv) = x ij / var desvio= σ=sqrt(var) Transformação nos dados Pre-rocessamento dos dados log 0 ( deve ser usado quando existem grandes disaridades de magnitude nos dados) Normalização x = Σ x i j ara i, j =,..., ; x i j (norm) = x i j / x não aconselhável ara dados com menos de 0 variáveis Transformação de dados do intervalo [a,b] ara [-,]: y = (x b a ) / (b a ) Analise de Comonentes Princiais - Reduz o no. de variáveis x, x,, x ==> t, t,., t m ( m<) os erros roagados nos valores de w são menores, orque t, t,., t m são ORTOGONAIS (sem correlação) Covariância Covariância Como é a matriz de covariância? Medir c/ var. sobre a média de seus n valores x i = /n Σ i= x ij c ij = /n Σ k= (x ik - x i ) (x jk - x j ) onde c ij é a covariância de x i e x j. C (x) A covariância é or vezes chamada de medida de deendência linear entre as duas variáveis aleatórias

2 Objetivo: Dadas variáveis, deseja-se achar combinações lineares dessas, ara roduzir índices que sejam não correlacionados, de tal forma que: Índices Z i : comonentes rinciais. i i i-ésima comonente rincial Z = a X + a X a Com restrição: a i i i + ai + L+ ai = X Z, Z,..., Z i, Z i Não correlacionados : resume-se em encontrar os autovalores e autovetores da matriz C de covariância dos dados C= c c L c c c L c M M M c c L c Suondo que: os autovalores da matriz C estejam ordenados da seguinte forma: Os auto-vetores associados: λ λ... λ... λ a, a,..., a,..., a j j Proriedades a a T i Para j =, 0, i = j i j Z = a X + a X + + a X a, a,..., a i i i... i i i i são os elementos do i-ésimo autovetor corresondente a soma dos auto-valores corresonde ao traço da matriz covariância C λ + λ λ = c + c c Var(Z i ) = λ i

3 Teste com o conj. Iris Os dados da Íris coletados or Fisher em 936 (Understanding the Data, 005), existem quatro (=4) medidas em cm das étalas e séalas de três tios (g=3) de flores Íris (setosa, versicolor e virginica), com cinqüenta observações de cada classe (cada tio de flor) n=50; Exemlo Íris Setosa Íris Versicolor Íris Virginica X X X3 X4 X X X3 X4 X X X3 X Roseli 4.3 A..3F. Romero Conjunto de dados Iris Exemlo Autovetores (coeficientes) Comonente Autovalor X X X 3 X Conclusões: Z é resonsável or 7.77% do total da variância. Z é resonsável or 3.03% do total da variância. Z3 é resonsável or 3.68% do total da variância. Z4 é resonsável or 0.5% do total da variância. Conceitos Básicos Z Polinômio Característico P(λ) = det (A λi) = 0 orque Av= λv => (A-λI)v=0 => se v não nulo => det(a-λi)= Z 3

4 Exemlo: Determinar os auto-valores e auto-vetores de: A = det(a λi)= -λ = (-λ) - 3 = 0 -λ Sol: λ =3 e λ = Exemlo Determinar o auto-vetor assoc. a λ =3 -v + v = 0 v - v = 0 Sol: v = v Portanto v= [ ] T Analogamente, v = [ -] T araλ = Oerações em Exercicio Det. dos auto-valores e auto-vetores: calculo do determinante e sol. de um sistema de eq. lineares. Imlementar a técnica (use o Matlab ou algum acote estatístico, ou ling. de rogr.) e verifique as com. Princiais obtidas ara o conj. iris Reconstrução dos dados originais Redução da Dimensionalidade T Z = [ Z, Z,..., Z ] = X T a X T a X T a = A T X [,,..., ] X = A Z = i= Z i a i T A T = A - Sejam λ, λ,..., λ m os m auto-valores da matriz C Entao X ~ X onde: o erro: e = X - X onde: X = m i= Z i a i m < e = Z a i i i= m+ 4

5 Algoritmo da O vetor de erro e é ortogonal ao vetor X, que aroxima X. Verifique isto!!! A equação: e T X = 0 : rincíio da ortogonalidade Existe uma rede neural que imlementa, roosta or RUBN-89 (vamos ver!!!). Padronize os dados corresondentes às variáveis ara que estes tenham média igual a 0 e variância igual a.. Calcule a matriz de covariância C. 3. Encontre os autovalores da matriz C e seus corresondentes auto-vetores. Os coeficientes da i- ésima comonente rincial são dados elo autovetor associado ao i-ésimo auto-valor 4. Descarte as comonentes que acumulem uma equena roorção da variação dos dados. Por exemlo, se os dados originais tiverem 0 variáveis e as três rimeiras comonentes rinciais forem resonsáveis or 90% do total da variância, as outras 7 comonentes rinciais odem ser ignoradas. %%%%%%%%%%%%%%%% % Comonentes Princiais % % - Roseli Romero % %%%%%%%%%%%%%%%% Algoritmo - Matlab % carregamento doa arquivo iris.dat load iris.txt % verificando a dimensao do conjunto [n,] = size(iris); % tirando a rimeira coluna da matriz de dados iris(:,)=[ ]; = -; X = iris; % matriz X contem os dados % centrando os dados na media 0 S = std(x); % S armazena os desvios-adrao de cada coluna de X M = mean(x); % M armazena as medias de cada coluna de X X = X - ones(n,) * M; % transformando os dados ara ter variancia X = X./(ones(n,)*S); % calculando a matriz de covariancia C C = (X'*X)/n; % auto-valores (A) e auto-vetores (V) da matriz de covariancia [V,A] = eig(c); A = diag(a); % ordenando auto-valores e auto-vetores or ordem crescente de auto-valores V = V'; %coloca auto-vetores nas linhas de V A= [A,V]; % concatena A e V (cada linha de A contem um auto-valor e auto-vetor) A=sortrows(A,); %ordena os auto-valores em ordem crescente A=A(:,) %seara auto-valores em A e imrimi na tela V %imrimi V na tela %calculando as comonentes rinciais Z=[]; for i=: Vt = V(-i+,:); %ega os auto-vetores em ordem decrescente dos auto-valores Z(:,i) = X * Vt'; % otem-se a i-esima comonente rincial end % salvando as comonentes rinciais em um arquivo save('comonentes_iris.txt') Z=Z(:, :) L= Z(:50,:); L=Z(5:00,:); L=Z(0:50,:); % fazendo o grafico das duas rimeiras comonentes %lot(z,z,'-') %fazendo o grafico das tres classes searadas lot(l(:,),l(:,),'.',l(:,),l(:,),'+',l(:,),l(:,),'*') Imlementar a tecnica (use o Matlab ou algum acote estatistico, ou ling. de rogr.) e verifique as 4 com. Princiais obtidas ara o conj. iris 5

6 Dada a matriz: X = transformar essa matriz: dados centrados ela média escalamento ela variância 6