Estatística: Aplicação ao Sensoriamento Remoto SER ANO Componentes Principais

Transcrição

1 Estatística: Aplicação ao Sensoriamento Remoto SER 4 - ANO 9 Componentes Principais Camilo Daleles Rennó camilorenno@inpebr

2 Associação entre Variáveis r = < r < - < r < r = r = - r Cov(, ) Var( ) Var( ) Coeficiente de Correlação (de Pearson) Quanto maior a variância, maior é a variabilidade e portanto maior a informação contida na variável Num caso extremo, se a variância é zero, a variável não apresenta nenhuma informação a respeito do fenômeno por ela representada Por sua vez, a covariância (e a correlação) é interpretada como uma redundância em análises múltiplas ( ou mais variáveis), já que a informação contida numa variável está parcialmente representada em outra Num caso extremo, para que utilizar duas variáveis perfeitamente correlacionadas ( r = ), uma vez que, conhecendo-se o valor de uma, pode-se inferir com precisão o valor da outra?

3 Transformação por Componentes Principais (exemplo D) Como poderíamos eliminar a redundância entre e? W Y W Y Cov(, ) W w Cov( W, W ) Cov(, ) Y W j j j Cov( Y, Y ) rotação com preservação da ortogonalidade dos eixos y w W y Y Y W W Var( Y ) Y W W Var( Y ) a CP a CP são chamados de autovetores são chamados de autovalores ( > ) Var( ) Var( ) informação total é preservada 3

4 mm m m m m α Os autovetores representam as transformações lineares aplicadas em m variáveis correlacionadas de modo a obter m variáveis não correlacionadas e podem ser representados na forma de uma matriz (m m): Autovalores e Autovetores Os autovalores representam a variância de cada componente (variável transformada) e podem ser representadas na forma de uma matriz diagonal (m m): Nesta matriz, os autovetores estão organizados em colunas, ou seja, o o autovetor está na a coluna, o o autovetor está na a coluna e assim por diante ( > > > m ) Mas como são calculados os autovalores e autovetores? m λ 4

5 Matriz de Variância-Covariância Supondo que n amostras sejam avaliadas segundo m variáveis diferentes (atributos), podemos representar o conjunto de valores observados por um matriz, onde cada elemento x ij representa o valor da i-ésima amostra para a j-ésima variável x x xn x x x nm x x x m m m nm A variância de cada variável e as covariâncias entre todos os pares de variáveis podem ser representadas através da matriz de variância-covariância (m m): Σ Cov Cov Cov, Cov, m, Var Cov, Var, Cov, Var m m m m m m Cov(, ) n i i i n Cov(, ) Cov(, ) k l l k Cov(, ) Var( ) k k k 5

6 Cálculo dos Autovalores e Autovetores Os autovalores () e autovetores () são obtidos de modo a satisfazer a seguintes condições: α Σ λα ou λiα Σ sendo αα I (autovetores ortogonais) Como os autovetores são não nulos, então Σ λi gera um polinômio de grau m cujas raízes representam os m autovalores Ordenam-se os autovalores do maior para o menor e para cada autovalor k, calcula-se o autovetor k de modo que: λ Iα Σ k k Assim, os valores transformados para a componente principal k são calculados a partir da matriz : Y k α k 6

7 Exemplo,5,3,3,3 5,,,3, 3,4,5,3,3,3 5,,,3, 3,4 Σ λi 7,659,59 9,,8,39 ) )(,5 8,6 (7,68,8,39 ) )(,5 )(5, (3,4,,65,9,468,9,36,98 ) )(,5 )(5, (3,4,) )( (,5 )(,3) (5,,3) )( (3,4,3)(,3),)( ( ) )(,5 )(5, (3,4 3 Σ λi,46,887, Encontrando as raízes do polinômio, tem-se,5,3,3,3 5,,,3, 3,4 Suponha que Σ I Então Σ λ 7

8 Exemplo Agora, para cada autovalor, calcula-se o autovetor correspondente de modo que Demonstrando para o primeiro autovalor = 5,757 α Σ λα 3, 4,,3, 5,,3 5, 757,3,3,5 3 3,357,,3 3,,557,3 3,3,3 5, , ,84 3 Repetindo para os demais autovalores, chega-se a: 5, α, ,4 7, ,858, Como os autovetores são ortogonais então Assim,76,583, αα I, α, , , ,43497,587338,854569,4385,

9 Análise de Componentes Principais 3 4,596,443 5,8457,7544,46,97 6,9976 4,3787,684,76 5,894,97,54 9,49 6,867,887,733 5,98 4,4443 9,69,7587 7,4789,578 5,574,84 7,464 7,848 5,39,8336 4,5949 4,58 9,457,575,75 4,884,5356,838 7,773,439 5,849,95 4,5368 4,345 8,5466,796 3,739 4,397 8,357,7357,9786 4,347 8,9358,8759 6,595 4, 9,698,394 4,586,9 6,45,5584 4,365 5,595,6657,4849 3,47 3,5743 7,443,369,85 6,346 3,677,5869,9385 4,5867 9,63,794 3,56 3,338 7,47 5 5,,4,6, ,,4,6, Matriz de Variância-Covariância,56,44 -,683 -,37,44 7,3698-3,4-6,36 -,683-3,4,9737 3,886 -,37-6,36 3,886 7, Autovalores 5,765,9,3, Autovetores,34,583,948,38,6485,758 -,67 -,87 -,3437,787 -,837,857 -,6784,5865,7 -, ,,4,6,

10 CP4 CP4 CP4 CP3 CP3 CP Análise de Componentes Principais CP CP CP 3 CP 4-3,444 -,589 -,354,689-5,74,9 -,55,8-3,87,94,4,98-4,944 -,5494,594,8,8577,95 -,36,37 6,7,87 -,94,68-8,993 -,453,486 -,66,589,6859,4 -,35 -,7664,9,4 -,35 6,579,5895,455 -,84,649,4,638,977,3543 -,96 -,344 -,6,6757 -,6745,49,45,9795,35,76 -,6 3,88 -,3335 -,7 -,349 -,7436,786 -,397 -,68,647 -,466 -,65,383-4,393,63 -,669 -,95 -,9 -,76,4,94,3949 -,443,433 -,73,5,5, , ,5 - CP,3,, , -, -,3 -,4 CP,5,,5,, ,5 5 -, -,5 -, -,5 CP,3,, , -, -,3 -,4,5,,5,,5 -, -,5 -, -,5 Matriz de Variância-Covariância 5,765,9,3, CP - - -,5 3 CP A primeira componente guarda 9,% da variação total As primeiras CP, acumulam 99,7% da variação total,5,,5,,5 -,4 -, -,5,,4 -, -,5 -, -,5 CP3

11 Análise de Componentes Principais no R x<-c(596,46,684,54,733,7587,84,8336,575,838,95,796,7357,8759,394, 5584,4849,369,5869,794) x<-c(443,97,76,949,598,74789,7464,45949,75,7773,45368,3739,9786, 6595,4586,4365,347,85,9385,356) x3<-c(58457,69976,5894,6867,44443,578,7848,458,4884,439,4345,4397,4347,4,9, 5595,35743,6346,45867,3338) x4<-c(7544,43787,97,887,969,5574,539,9457,5356,5849,85466,8357,89358,9698, 645,6657,7443,3677,963,747) x<-cbind(x,x,x3,x4) round(cov(x),4) x x x3 x4 x x x x sum(diag(cov(x))) [] pccov<-prcomp(x) pccov Standard deviations: [] Rotation: PC PC PC3 PC4 x x x x λ sum(pccov$sdev^) [] 79458

12 Análise de Componentes Principais no R summary(pccov) Importance of components: PC PC PC3 PC4 Standard deviation Proportion of Variance Cumulative Proportion pc<-pccov$x #Calculando as componentes principais round(cov(pc),4) PC PC PC3 PC4 PC 5764 PC 9 PC3 3 PC4 pairs(x) pairs(pc)

13 Observações A transformação prioriza as variáveis com maior variância Atenção: isso pode ocorrer quando as variáveis possuem diferentes grandezas Para neutralizar o efeito das variâncias de cada variável de modo que todas tenham o mesmo peso, os autovalores e autovetores devem ser calculados a partir da matriz de correlação (que equivale realizar a transformação sobre as variáveis padronizadas) 3

14 ,,,,,, m m m m r r r r r r r Alternativamente, as relações entre as variáveis podem ser expressas através da matriz de correlação: Matriz de Correlação m m,, Var Var Cov r,,, k k k l l k r r r Obs: em R, para computar a transformação por componentes principais utilizando a matriz de correlação, pode-se usar a função pccor<-prcomp(x, scale=true) 4

15 Observações A transformação prioriza as variáveis com maior variância Atenção: isso pode ocorrer quando as variáveis possuem diferentes grandezas Para neutralizar o efeito das variâncias de cada variável de modo que todas tenham o mesmo peso, os autovalores e autovetores devem ser calculados a partir da matriz de correlação (que equivale realizar a transformação sobre as variáveis padronizadas) Por usar covariância (ou correlação), esta transformação pressupõe relações lineares entre variáveis A interpretação dos valores de uma determinada componente principal pode ser bastante difícil, necessitando a avaliação do autovetor correspondente Ex: Y =,34 +,6485,3437 3,

16 Aplicações Diminuição da dimensionalidade do problema Ao invés de se trabalhar com 5 dimensões, escolhem-se as primeiras componentes que guardam a maior parte da informação total Isso melhora o desempenho de classificadores que se baseiam em inversões de matrizes Visualização de Dados A informação contida numa imagem hiperespectral pode ser visualizada usando-se as 3 primeiras componentes numa composição colorida RGB (obs: as cores podem ser de difícil interpretação) 6

17 Visualização de Dados TM/LANDSAT (Bandas a 5 e 7) 7/68 ano 999 B B B3 543/RGB B4 B5 B7 7

18 Visualização de Dados TM/LANDSAT (Bandas a 5 e 7) 7/68 ano 999 (ganho,45 e offset variável) B B B3 543/RGB B4 B5 B7 8

19 Visualização de Dados TM/LANDSAT (Bandas a 5 e 7) 7/68 ano 999 (ganho,45 e offset variável) Média DPadrão B 45,556 9,3 B 8,36,6 B3 5,484,837 B4 3,698 8,8 B5 8,5 44,84 B7 39,7 5,8 Covariância B B B3 B4 B5 B7 B 37,489 95,99 38,969-6,67 493,634 95,37 B 95,99 34,554 8,3-33,44 49,773 45,47 B3 38,969 8,3 434,63-7,4 837,56 499,6 B4-6,67-33,44-7,4 353,868-6,5-6,894 B5 493,634 49, ,56-6,5 95,58 94, B7 95,37 45,47 499,6-6,894 94, 666,57 Autovetor Autovalor B B B3 B4 B5 B7 335,547 CP,3,8,35 -,88,766, ,967 CP,79 -,,55 -,966 -,5,4 7,9 CP3,84,9,4,3 -,38 -,53 35, CP4 -,333,69,549,67 -,487,543 9,45 CP5,3 -,9 -,563,7 -,5,683 4,7 CP6,57 -,877,444,47, -,85 B BB3 B4 B5B7 Importante: Para obtenção das estatísticas é necessário desconsiderar a região sem informação OBS: Em geral, as imagens resultantes não são representadas em bytes ( a 55), tendo valores positivos e negativos 9

20 (mesmo ganho e offset da CP) Visualização de Dados Componentes Principais 8,7% CP 8,8% CP 7,% CP3,9% CP3/RGB CP4 98,5% CP5,5%,% CP6

21 Visualização de Dados Componentes Principais Média DPadrão CP 56,88 CP 8,6 CP3 6,5 CP4 5,934 CP5 4,375 CP6,7 Covariância CP CP CP3 CP4 CP5 CP6 CP 335,55 CP 345,967 CP3 7,9 CP4 35, CP5 9,45 CP6 4,7 CP6 CP5 CP4 CP3 CP CP (ganho e offset arbitrários)

22 Data Aplicações Diminuição da dimensionalidade do problema Ao invés de se trabalhar com 5 dimensões, escolhem-se as primeiras componentes que guardam a maior parte da informação total Isso melhora o desempenho de classificadores que se baseiam em inversões de matrizes Visualização de Dados A informação contida numa imagem hiperespectral pode ser visualizada usando-se as 3 primeiras componentes numa composição colorida RGB (obs: as cores podem ser de difícil interpretação) Detecção de Mudanças Numa comparação de datas (mesma banda), os valores extremos da segunda componente evidenciam onde ocorreu mudança entre datas DesvPad Data

23 Aplicações Diminuição da dimensionalidade do problema Ao invés de se trabalhar com 5 dimensões, escolhem-se as primeiras componentes que guardam a maior parte da informação total Isso melhora o desempenho de classificadores que se baseiam em inversões de matrizes Visualização de Dados A informação contida numa imagem hiperespectral pode ser visualizada usando-se as 3 primeiras componentes numa composição colorida RGB (obs: as cores podem ser de difícil interpretação) Detecção de Mudanças Numa comparação de datas (mesma banda), os valores extremos da segunda componente evidenciam onde ocorreu mudança entre datas Aumento de Contraste por Decorrelação Aplica-se a transformada por componentes principais, faz-se um aumento de contraste das componentes de modo que todas fiquem com a mesma variância e, por fim, faz-se a transformação inversa, restabelecendo-se as variáveis originais PC PC PC PC Cov(, ) > Cov(, ) = 3

24 Aplicações Diminuição da dimensionalidade do problema Ao invés de se trabalhar com 5 dimensões, escolhem-se as primeiras componentes que guardam a maior parte da informação total Isso melhora o desempenho de classificadores que se baseiam em inversões de matrizes Visualização de Dados A informação contida numa imagem hiperespectral pode ser visualizada usando-se as 3 primeiras componentes numa composição colorida RGB (obs: as cores podem ser de difícil interpretação) Detecção de Mudanças Numa comparação de datas (mesma banda), os valores extremos da segunda componente evidenciam onde ocorreu mudança entre datas Aumento de Contraste por Decorrelação Aplica-se a transformada por componentes principais, faz-se um aumento de contraste das componentes de modo que todas fiquem com a mesma variância e, por fim, faz-se a transformação inversa, restabelecendo-se as variáveis originais Simulação de dados correlacionados Calculam-se os autovalores e autovetores da matriz de variância-covariância Simulam-se dados não-correlacionados com variância igual aos autovalores e fazse a transformação inversa 4

25 Exemplo: Simulação de dados correlacionados Simulação de 3 variáveis correlacionadas sendo que 3 ~ N(,3; 3,5) μ,3 35, 7,8 ~ N( 35,; 7,8) 3,5,,5 Σ ~ N( 7,8;,), 7,8,9 3 3,5,9, ~ N μ, Deseja-se simular 5 valores destas 3 variáveis respeitando suas correlações A simulação conjunta, mesmo para uma distribuição gaussiana, não é muito simples Por outro lado, a simulação de variáveis independentes é bastante simples de ser implementada quando se conhece a distribuição destas variáveis Σ 5

26 Exemplo: Simulação de dados correlacionados Σ 3,5,,5, 7,8,9,5,9, TCP λ α 8,869,3867,96,34,589,55,946,8,398,934,77,9886 Por definição, todas as componentes principais tem média zero e a variância de cada componente é dada pelo autovalor correspondente Além disso, no caso de distribuições gaussianas, a forma da distribuição é preservada após a transformação, ou seja, as componentes também têm distribuição gaussiana: PC PC PC 3 ~ N( ; PC ~ N( ; ~ N( ; PC PC 3 8,869),589),55) ' α PC μ ' α μ ' α α αpc μ ' P C ( 5 ) ( 5) 3 ( 5 ) 6

27 Exemplo: Simulação de dados correlacionados Neste exemplo, deseja-se gerar 5 valores para cada variável O processo inicia-se com a geração de números aleatórios de uma distribuição uniforme contínua entre e : U U U

28 Exemplo: Simulação de dados correlacionados A partir de U calcula-se Z através da relação: P( Z z ij ) u ij Exemplo: P ( Z z,),9789 z,,3 U Z U Z U3 Z

29 Exemplo: Simulação de dados correlacionados A partir de Z calcula-se PC multiplicando cada z ij pelo desvio padrão da componente principal i, ou seja, a raiz quadrada do autovalor i: pc Exemplo: pc z,3 8,869 6, 47,, ij z ij i PC Z PC Z PC3 Z

30 x Exemplo: Simulação de dados correlacionados Finalmente, aplica-se a rotação inversa definida pela matriz de autovetores e soma-se a média correspondente a cada uma das variáveis : ij, pc, j, pc, j,3 pc3, j Exemplo: x,, pc,, pc, i onde kw é o k-ésimo elemento do autovetor w,3 pc 3,,3867 6,47,946,778,8,996,3,95 PC Z PC Z PC3 3 Z

31 Exemplo: Simulação de dados correlacionados É importante notar que, por se tratar de uma simulação, os valores de média, variância e covariância estimados a partir dos valores simulados não são exatamente os que se desejava (e variam a cada simulação!): μ,3 35, 7,8,8 35, 7,83 Σ 3,5,,5, 7,8,9,5,9, Σˆ 3,37,6,59,6 8,9,93,59,93,4 3

32 Exemplo: Simulação de dados correlacionados em R m<-c(3,35,78) cov<-cbind(c(35,-,-5),c(-,78,9),c(-5,9,)) auto<-eigen(cov) #gera autovalores e autovetores a partir da matriz de covariância n<-5 Z<-matrix(rnorm(3*n),nrow=n,ncol=3) #as colunas representam amostras de uma normal padrão (independentes) colnames(z)<-c("z","z","z3") pairs(z,upperpanel = NULL) PC<-Z*(matrix(rep(,n))%*%t(sqrt(auto$values))) colnames(pc)<-c("pc", "PC", "PC3") pairs(pc,upperpanel = NULL) 3

33 Exemplo: Simulação de dados correlacionados em R <-t(auto$vectors%*%t(pc)+t(matrix(rep(,n))%*%m)) colnames()<-c("", "", "3") pairs(,upperpanel = NULL) round(colmeans(),) μ,3 35, 7,8 round(cov(),) Σˆ Σ 3,5,,5, 7,8,9,5,9, 33