Análise de Componentes Principais (PCA) no Scilab. Matriz de dados analisados: Copa do Mundo de 2002 Resultados da primeira fase, Grupos C e E

Transcrição

1 Análise de Componentes Principais (PCA) no Scilab Matriz de dados analisados: Copa do Mundo de 2002 Resultados da primeira fase, Grupos C e E -->X=[ > > > > > > > ] X = Centrando a matriz nas médias das variáveis (criando X C ): -->Xm=ones(8,1)'*X*(1/8) Xm = Esse é o vetor linha das médias das variáveis (Xm). -->Xm=mean(X,'r') Xm =

2 [ r vem de row = linha. Se deseja médias dos objetos, colocar mean(x, c )] -->ones(8,1)*xm O produto externo de um vetor 1n pelo vetor linha das médias gera uma matriz de mesma dimensão de X com os valores do vetor linha (as médias das variáveis nos objetos) ao longo das colunas, sendo esta a matriz das médias. -->Xc=X-ones(8,1)*Xm Xc = Centrar os dados na média algebricamente significa modificar a matriz X de modo que a média das variáveis seja 0: -->mean(xc,'r') Geometricamente significa transladar os vetores dos objetos no espaço das variáveis para que a origem seja a média de cada uma delas. Por exemplo, plotando as duas primeiras colunas, ou seja, os valores das duas primeiras variáveis para todos os objetos, tanto de X quanto de Xc: --> plot(x(:,1),x(:,2),'o',xc(:,1),xc(:,2),'*',xm(:,1),xm(:,2),'pentagram',0,0,'pentagram') 2

3 (4,875;4,875) (0,0) Estatisticamente cada elemento de Xc é os desvio de seu respectivo valor em X com relação a sua média. Logo Xc é uma matriz de desvios. Observe que um grau de liberdade é perdido neste processo, observável pelos postos de X e Xc: -->rank(x) 5. (poderia ser no máximo 5, pois é truncado pelo menor número de variáveis que de objetos) -->rank(xc) 4. Isso porque foi imposta uma codição que omite um grau de liberdade, pois antes, em X, o ponto médio dependia dos dados de partida, e em Xc eu imponho que, independente de X, o ponto central seja 0. Agora, obtendo a matriz de covariância (C): -->C=Xc'*Xc/(8-1) C = Se a matriz de covariância contêm elementos x ij, na diagonal principal (i=j) estão as variâncias das variáveis e fora dela (i j) estão as covariâncias entre elas. A variância é 3

4 uma medida da dispersão de determinados valores, e quanto maior esta disperção mais distinguíveis eles são, e consequentemente mais informação é observada. Neste sentido as variáveis gols feitos e gols levados são as mais informativas, pois diferenciam mais os times. A covariância é uma medida da redundância da informação entre duas variáveis pois mede a associação linear entre elas. O sinal da covariância indica se os deslocamentos dos desvios em relação as suas médias variam no mesmo sentido ou no sentido inverso. Gols feitos e gols levados têm a maior covariância entre as variáveis (- 12,16), o que indica que é muito provável que quem faz gol não leva (indicado pelo sinal - ). As covariâncias entre gols feitos e vitórias bem como gols levados e derrotas são positivas pois quem faz gols ganha e quem leva gols perde. A Análise de Compontentes Principais consiste na concentração da informação da matriz de covariancia (ou de correlação) num menor número de dimensões. Isto é feito pela diagonalização da matriz, que possibilita que ela seja possa ser expressa num somatório produtos externos (entre vetores de pesos e escores) de posto um cada. A diagonalização leva a autovetores V e autovalores L: -->[V,L]=spec(C) L = 8.796D V = D D [Spec vem de decomposição espectral] Note que o traço de C e de L são iguais, porêm a informação é mais concentrada no segundo caso, da esquerda para direita. -->trace(c) >trace(l)

5 A maior quantidade de informação (variância) é encontrada na primeira componente principal (PC1), sendo expressa pela percentagem do autovalor correspondente com relação a soma dos autovalores: -->%PC1=L(5,5)*100/trace(L) %PC1 = A parcela ortogonal a PC1 é a segunda mais explicativa e é chamada de PC2. A informação retida nesta componente é a seguinte: -->%PC2=L(4,4)*100/trace(L) %PC2 = A quantidade de informação em cada dimensão (individualmente) é apresentada no gráfico do scree (ou gráfico do aluvião), que mostra o quão decresce a variância em cada componente. Para fazê-lo vamos primeiro inverter a ordem crescente de autovalores da esquerda para a direita: -->pertrans(l) D-16 -->plot(1:5,diag(ans)*100/trace(ans),'pentagram-') 5

6 No Statistica: ,15% Gráfico do scree Active variables only Autovalor (informação explicada) ,68% 0,78%,39% -5 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 5,5 Número de componentes Observe que o ultimo autovalor é zero, pois o número de autovalores não nulo é igual ao posto da matriz de covariância, neste caso 4. Os autovetores V são os cosenos dos ângulos formados entre os vetores das variáveis de Xc e as componentes, e são chamados de pesos. Quanto maiores (em módulo) seus valores, maior variância a variável associada apresenta, sendo capaz de melhor distinguir os objetos. Plotanto-se os pesos de PC1 contra PC2 obtemos: -->plot(v(:,5),v(:,4),'rd') 6

7 No Statistica: 1 Pesos de PC1 vs. PC2 Empates PC2 (13,68%) 0 Derrotas Vitórias -1 Gols Levados Gols feitos PC1 (85,15%) Gols feitos e gols levados são as variáveis mais influentes em PC1 e em PC2, o que é de se esperar dado o observado na matriz de covariância. V = D D Gols feitos Gols levados 7

8 As coordenadas dos objetos (os times de futebol) no espaço das componentes são os escores. Os escores são obtidos a partir da rotação dos vetores dos objetos no espaço das variáveis de Xc pela multiplicação desta matriz por V, o que é uma rotação. -->T=Xc*V T = 2.776D D D D D D D D Similarmente aos vetores dos pesos de PC1 e PC2, os escores destas duas componentes representam 99% da informação original, e podem ser plotados para visualizar padrões: -->plot(t(:,5),t(:,4),'r.') No Statistica: 8

9 4 Gráfico dos escores de PC1 vs. PC2 3 2 Camarões Irlanda Turquia PC2 (13,68%) China Costa Rica Alemanha -2 Arábia Saudita -3 Brasil PC1 (85,15%) A Alemanha e o Brasil, por terem feitos muitos gols (11) são encontrados no 4º quadrante do gráfico dos escores, e a Arábia Saudita, por ter levado 12, se encontra no extremo do 3º quadrante. Os três times dos quadrantes superiotes (Irlanda, Camarões e Turquia) nem fizem muitos gols nem levaram muitos, e tiveram alguns empates, justificando seu posicionamento. Note no gráfico dos pesos que tanto PC1 quanto PC2 sã descritas praticamente por duas variáveis: gols feitos e gols levados. Na verdade PC1 pode ser descrita como a diferença entre gols feitos e gols levados, isto é, o saldo de gols, e PC2 como a soma destas variáveis, ou seja, o total de gols. Estas são variáveis latentes, pois não são explícitas. Para verificar esta afirmação basta plotar os escores das respectivas componentes contra estas novas variáveis: -->SG=[X(:,1)-X(:,2)] SG = >TG=[X(:,1)+X(:,2)] TG =

10 >plot(sg,t(:,5),'b.') -->plot(tg,t(:,4),'g.') Pelo visto a descrição de PC2 como o total de gols não é tão boa, pois variáveis como empate também influenciam razoavelmente. Como afirmado anteriormente, a diagonalização da matriz C permite expressar Xc como uma soma de produtos externos dos escores pelos pesos de cada componente: 10

11 Cada um destes produtos tem posto 1, pois o posto da multiplicação de dois vetores (como são unidimensionais tem posto 1) é o mínimo posto dos dois. Com isso Xc pode ser descrita, por exemplo, só pelos pesos e escores de PC1, a partir de um modelo M1: -->M1=T(:,5)*V(:,5)' M1 = Como foi afirmado, este modelo tem posto 1: -->rank(m1) 1. Este modelo, quando comparado com a matriz original pela diferença, deixa um resíduo chamado primeira matriz de resíduos, E1: -->E1=Xc-M1 E1 = Esta é uma matriz de vetores ortogonais a PC1, pois só vetores ortogonais a esta componente não podem ser projetados nela: -->E1'*M1 11

12 1.0D-14 * Uma forma de avaliar o quanto o modelo explica a matriz original é pela Soma Quadrática Total (SQT), que é a soma quadrática de todos os elementos de uma matriz. No caso a SQT de Xc está relacionada com a variância total, ou seja, o traço de Xc *Xc, pois basta ser dividida por n-1 para ser este valor. Já a proporção explicada por M1 é dada por comparação destas medidas. -->SQT=trace(Xc'*Xc) SQT = >SQ1=trace(M1'*M1) SQ1 = >SQr1=trace(E1'*E1) SQr1 = Essa é a variância que o modelo não explica, pois refere-se aos resíduos ortogonais a PC1. -->SQ1*(n-1)/SQT*(n-1) Exatamente a informação explicada por PC1. Agora vamos usar a primeira matriz dos resíduos para obter um modelo com PC2. Basta executar o procedimento usado em Xc, ou seja, diagonalizar a matriz covariância de E1: -->C1=E1'*E1/7 C1 =

13 -->[V1,L1]=spec(C1) L1 = D D V1 = Observe que só aparecem 3 autovalores diferentes de 0 já que E1 é uma matriz de posto 3, pois da matriz Xc foi tirado 1 pela subtração por M1: -->rank(e1) 3. Veja também que o 2º autovalor de L, correspondente a PC2, passou a ser o 1º: -->L L = 8.796D Isso mostra que PC2 é a primeira componente principal da primeira matriz dos resíduos. Podemos contabilizar no modelo agora PC1 e PC2, seja pela repetição do procedimento de diagonalização de Xc: -->T1=E1*V1 T1 = D D D D D D D D D D D D D D

14 D D Ou usando a primeira diagonalização, pegando diretamente os pesos e escores de PC2: T = 2.776D D D D D D D D M1 é o melhor modelo de posto 1, pois PC1 é a componente mais informativa de todas elas, mas nada impede que usemos mais de uma componente no modelo, descrevendo Xc como um somatório de modelos, levando a um modelo de posto igual ao número de compontentes, até o posto da matriz original. Incluindo PC2 no modelo temos: -->M2=T(:,5)*V(:,5)'-T(:,4)*V(:,4)' M2 = Avaliando o quão bem o modelo descreve a matriz Xc: -->SQ2=trace(M2'*M2) SQ2 = >SQ2/SQT Essa é a infomação explicada por PC1 (0.86) + PC2 (0,13), que é a variância cumulativa do modelo. Uma descrição perfeita de Xc é dada pela inclusão de todas as componentes: -->Xc-T*V' 14

15 1.0D-15 * Ou seja, o resíduo é 0. Porém normalmente não é desejável criar um modelo que contenha todas as componentes, e sim truncá-las para um número bem menor, não só para uma visualização gráfica do sistema como para uma descrição dos dados sem a interferência dos ruídos dos dados. Por isso existem alguns critérios para escolher quantas componenes devem ser usadas. Para uma matriz de covariância podemos usar o critério de Kaiser, no qual deve-se reter as componentes com variância superior a variância média das variáveis antes da análise. Ou seja λ > λ corte = Tr(C)/p. Logo, para os dados da copa: -->Lcorte=trace(C)/5 Lcorte = Então só se deve usar PC1 segundo este critério. O critério de Malinowski é baseado no teste F, para diferenças significativas entre variâncias. Mede-se um F k = λ k /s 2 mk para uma componente k, para 1 grau de liberdade para λ k e (p-k-1) para s 2 mk. Este segundo valor é a variância média dada por Σ i=k+1 p λ i /(p-k-1). Para verificar se devemos incluir PC1 segundo este critério: -->Vm1=(L(1,1)+L(2,2)+L(3,3)+L(4,4))/(5-1-1) Vm1 = >F1=L(5,5)/Vm1 F1 = Como F crítico (1 e 3 graus de liberdade, com 95% de confiança) = 10,1 < 18,3 = F1, as variâncias são significativamente diferentes e portanto PC1 deve ser incluída. Já com PC2: -->Vm2=(L(1,1)+L(2,2)+L(3,3))/(5-2-1) Vm2 =

16 -->F2=L(4,4)/Vm2 F2 = Como F crítico (1,2,95%) = 18,5 < 23,6 = F2, PC2 também deve ser incluída. -->Vm3=(L(1,1)+L(2,2))/(5-3-1) Vm3 = >F3=L(3,3)/Vm3 F3 = Como F crítico (1,2,95%) = 161 >> 2,07 = F3, PC3 não deve ser incluída de jeito nenhum, como o esperado (pois ela contém menos que 1% da informação, inclusive com variâncias aleatórias). Pela matriz de covariância, oriunda da dos desvios, a variância natural das variáveis está associada a informação que elas contêm. Em casos de espectros é importante utilizá-la na PCA, pois separa sinal de ruído, já que a variância do primeiro é muito maior. Por outro lado pode-se dar a mesma variância para cada variável, os que as uniformiza em termos de informação. As diferentes variâncias retidas em cada variável podem ser observadas nas diferentes escalas de gols feitos e vitórias, por exemplo: -->plot(x(:,1),x(:,3),'b.') 16

17 [Aparecem menos pontos porque alguns estão sobrepostos] Enquanto gols feitos variam de 0 a 12, gols levados varia de 0 a 3. As variâncias destas variáveis podem ser obtidas de duas maneiras, com ou sem atalho: Sem atalho: -->xc=[xc(:,1) Xc(:,3)] xc = >c=xc'*xc/(8-1) c = Esta matriz de covariância (c minúsculo deveria ser maiúsculo, pois é uma matriz, não um vetor, mas neste caso é só para diferenciar da matriz de covariância de todas as variáveis C, da mesma forma que Xc difere de xc) apresenta as variâncias de gols levados e vitórias na diagonal. É possível transformar a diagonal de uma matriz num vetor de variâncias: -->diag(c) Os desvios padrões associados a estes valores são simplesmente as raíses destes: -->sqrt(ans) A matriz das variáveis autoescaloladas é uma matriz em que as variáveis são normalizadas pelos seus desvios, isto é: -->ones(8,1)*sqrt(diag(c))' 17

18 >xa=xc./ans xa = Ou então assim: -->diag(sqrt(diag(c))) >xc*inv(ans) Agora plotanto novamente estas variáveis autoescalonadas e comparando com as anteriores: -->plot(ans(:,1),ans(:,2),'r.',xc(:,1),xc(:,2),'b.') 18

19 A variância bem maior em gols feitos agora está equivalente a variância de vitórias. O atalho para variância de variáveis no Scilab é stdev. Logo: -->stdev(xc,'r') E isso pode ser usado para facilitar a obtenção de xa: -->xa=xc*inv(diag(stdev(xc,'r'))) xa = E o espírito do autoescalonamento: -->stdev(xa,'r') Como normalizamos as variáveis pelos respectivos desvios padrões, os desvios delas são unitários. Note que como desvios padrões tem a mesma unidade das respectivas 19

20 variáveis, a transformação de xc em xa adimensionaliza as variáveis. Por este motivo variáveis de diferentes unidades devem ser pré-processadas por este método. A metodologia para análise de componentes principais com este pré-processamento leva à matriz de correlação R, ao invés da matriz de covariância C: -->Xa=Xc*inv(diag(stdev(Xc,'r'))) Xa = >R=Xa'*Xa/(8-1) R = As variâncias que ficam na diagonal são unitárias, como o esperado. Os outros valores são correlações entre as variáveis. As correlações podem variar de -1 a 1. Observe que a maior correlação da matriz (em módulo) é referente às variáveis gols feitos e vitórias, e é positiva, pois fazer gols certamente leva a vitórias, pelos dados disponíveis na matriz original. Seguindo a mesma diretriz da PCA com C: -->[V,L]=spec(R) L = 4.350D V = D D >pertrans(l) 20

21 D-17 -->plot(1:5,diag(ans)*100/trace(ans),'pentagram-') No Statistica: 21

22 4,5 Gráfico do scree 4,0 3,5 73,53% Autovalores (informação explicada) 3,0 2,5 2,0 1,5 1,0 0,5 0,0 22,82% 2,46% 1,20% -0,5 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 5,5 -->plot(v(:,5),v(:,4),'rv') Número da componente No Statistica : 22

23 Pesos de PC1 vs. PC2 1,0 Empates 0,5 PC2 (22,82%) 0,0 Derrotas Gols Levados -0,5 Gols feitos Vitórias -1,0-1,0-0,5 0,0 0,5 1,0 PC1 (73,53%) -->T=Xa*V T = D D D D D D D D >plot(t(:,5),t(:,4),'b.') 23

24 No Statistica: 2,0 1,5 Gráficos dos escores de PC1 vs. PC2 Irlanda 1,0 0,5 Camarões Turquia Costa Rica PC2 (22,82%) 0,0-0,5 China Arábia Saudita Alemanha -1,0-1,5-2,0 Brasil -2, PC1 (73,53%) Para fazer um biplot basta normalizar os pesos e escores aos maiores valores deles e plotá-los juntos: -->diag(max(v,'r')) 1.275D

25 >inv(ans) warning matrix is close to singular or badly scaled. rcond = D D >Vbp=V*ans Vbp = D D D >Tbp=T*inv(diag(max(T,'r'))) warning matrix is close to singular or badly scaled. rcond = D-16 Tbp = >plot(vbp(:,5),vbp(:,4),'b.',tbp(:,5),tbp(:,4),'r.') 25

26 26