Série de Relatórios Técnicos em Ciência da Computação. Num 07/2017 Dezembro IV Escola de Verão do MACC. Thelmo Pontes de Araujo

Transcrição

1 Universidade Estadual do Ceará UECE Série de Relatórios Técnicos em Ciência da Computação Num 07/2017 Dezembro 2017 IV Escola de Verão do MACC Thelmo Pontes de Araujo Mestrado Acadêmico em Ciência da Computação Universidade Estadual do Ceará Av. Dr. Silas Munguba, CEP: Fortaleza - Ceará Brasil

2 Análise de Componentes Principais Aula 2 Thelmo de Araujo IV Escola de Verão do MACC

3 Um Pouco de Estatística Vamos estudar um pouco de estatística. Como primeiro exemplo, utilizaremos os seguintes dados, que representam a temperatura média diária e o valor total diário de vendas de sorvetes em uma sorveteria durante 12 dias. Na Teoria das Probabilidades, dizemos que a temperatura e o total de vendas são variáveis aleatórias, e denominá-las-emos de X 1 e X 2, respectivamente. Os dados serão importados no formato do GNU Octave do arquivo ice cream data.m: load ice cream data.m

4 Um Pouco de Estatística Temperatura ( C) X 1 Total da Venda ($) X

5 Um Pouco de Estatística Média As primeiras informações que extrairemos das variáveis aleatórias serão suas médias (amostrais), definidas por: µ = 1 m m x k, k=1 sendo m a quantidade de amostras e x k o k-ésimo valor da variável aleatória X. Assim, no exemplo do sorvete: µ 1 = e µ 2 =

6 Um Pouco de Estatística Variância Mas a média não nos dá nenhuma informação sobre a dispersão dos dados. De fato, se uma pessoa comer um frango e outra passar fome, na média cada uma comeu meio frango, o que é muito diferente de cada uma ter comido, de fato, meio frango. Pergunte àquele que passou fome... Para medir a dispersão dos dados, utilizamos a variância amostral, definida por: σ 2 = 1 m 1 m k=1 (x k µ) 2. A raiz quadrada da variância é chamada de desvio padrão (σ).

7 Um Pouco de Estatística Variância No exemplo do sorvete, temos: σ 2 1 = e σ 2 2 = Observe que as variâncias diferem em três ordens de grandeza. Voltaremos a este problema em breve.

8 Um Pouco de Estatística Covariância Se pusermos num gráfico X 1 X 2, obteremos: Figura: Nuvem de dados.

9 Um Pouco de Estatística Covariância Podemos perceber, na figura anterior, que, à medida em que a temperatura (X 1 ) aumenta, o total de vendas de sorvete (X 2 ) também aumenta. Essa relação entre variáveis aleatórias X 1 e X 2 é medida pela covariância, que é definida por: σ 12 = 1 m 1 m k=1 (x k1 µ 1 )(x k2 µ 2 ). A covariância σ 12 é uma medida da variação conjunta das variáveis X 1 e X 2, isto é, como X 1 se comporta quando X 2 aumenta ou diminui.

10 Um Pouco de Estatística Covariância Para normalizar a covariância, obtendo números que vão de 1 a 1, definimos a correlação entre as variáveis aleatórias X 1 e X 2 como: ρ 12 = σ 12 σ 1 σ 2. Assim, a correlação entre uma variável aleatória e ela mesma é máxima e igual a 1. Figura: Exemplos de correlações.

11 Um Pouco de Estatística Covariância Para visualizarmos o quão duas variáveis aleatórias são correlacionadas, devemos normalizar os dados. Isto é, devemos subtrair a média de cada coluna e dividir os resultados pelo desvio padrão dessa coluna: z k = x k µ σ, chamando de Z a normalização da variável aleatória X. Assim, obteremos para o exemplo do sorvete:

12 Um Pouco de Estatística Covariância Temperatura Z 1 Total da Venda Z

13 Um Pouco de Estatística Covariância No gráfico: Figura: Nuvem de dados normalizados.

14 Um Pouco de estatística Exemplo A estatística do exemplo do sorvete é: Médias: µ 1 = e µ 2 = Variâncias: σ 2 1 = e σ 2 2 = Covariância e correlação: σ 12 = e ρ 12 = O que nos mostra que a temperatura média diária e o total de vendas diárias de sorvete, nos dados coletados, são fortemente positivamente correlacionados (ρ próximo de 1). Ou seja, quanto mais quente, mais sorvetes são vendidos.

15 Um Pouco de Estatística Mais de Duas Dimensões E se tivermos três variáveis aleatórias? Figura: Nuvem de dados tridimensional.

16 Um Pouco de Estatística Multivariada A maneira de tratarmos mais de duas variáveis aleatórias (e.g., n variáveis) é utilizar uma matriz de covariância: Σ = σ 2 1 σ σ 1n σ 21 σ σ 2n σ n1 σ n2... σ 2 n. Notemos que Σ é simétrica (i.e., Σ T = Σ), já que: σ ij = 1 m 1 m k=1 (x ki µ i )(x kj µ j ) = 1 m 1 m k=1 (x kj µ j )(x ki µ i ) = σ ji.

17 Um Pouco de Estatística Multivariada Voltemos ao problema original, no qual tratamos de várias imagens formando uma matriz X m n, sendo m o tamanho de cada imagem (em forma de vetor-coluna) e n o número de imagens. Nesse caso, é comum que n m (já sabemos que m tende a ser muito grande), mas mesmo assim as dimensões envolvidas são intratáveis numericamente. O que fazer, então? Uma ideia é a redução de dimensionalidade por meio de projeções.

18 Variabilidade e Informação Qual das três vistas fornece mais informação? Figura: Celular visto sob três vistas diferentes.

19 Variabilidade e Informação Um Exemplo 3D Vejamos um exemplo de dados em três dimensões, adaptado do Combined Cycle Power Plant Data Set [8, 5]. Extraímos 60 amostras de três características: temperatura, umidade relativa e consumo ĺıquido horário de energia elétrica. Temperatura Umidade Relativa Consumo Elétrico ( C) X 1 (%) X 2 (MW) X

20 Variabilidade e Informação Um Exemplo 3D Num gráfico tridimensional: Figura: Dados de consumo de energia, temperatura e umidade relativa.

21 Variabilidade e Informação Um Exemplo 3D Tomemos os dados em: uece/cursos/pca/matlab/ carregando os dados com load power plant data.m; e façamos: scatter3(x(:,1),x(:,2),x(:,3), filled )

22 Variabilidade e Informação Um Exemplo 3D Ou, isolando pares de variáveis:

23 Variabilidade e Informação Um Exemplo 3D Calculando as estatísticas de X, obtemos: Médias: µ 1 = , µ 2 = , µ 3 = Variâncias: σ 2 1 = , σ 2 2 = , σ 2 3 = Matriz de correlação: P =

24 Variabilidade e Informação Um Exemplo 3D Assim, a maior correlação (negativa) é entre as variáveis X 1 e X 3 : ρ 13 = , como vemos na figura abaixo.

25 Variabilidade e Informação Um Exemplo 3D A segunda maior correlação (negativa) é entre as variáveis X 1 e X 2 : ρ 12 = , como vemos na figura abaixo.

26 Variabilidade e Informação Um Exemplo 3D A menor correlação (positiva) é entre as variáveis X 2 e X 3 : ρ 13 = , como vemos na figura abaixo.

27 Variabilidade e Informação Um Exemplo 3D Quando consideramos somente as variáveis X 1 e X 2, desconsiderando X 3, estamos projetando os vetores de dados no plano X 1 X 2 : Mas, sabemos que X 1 e X 2 dependem (de alguma maneira) de X 3. Essa dependência é do tipo linear, e é isso que investigaremos a seguir.

28 Variabilidade e Informação Um Exemplo 3D Vamos criar, por meio de combinações lineares de X 1, X 2 e X 3, as variáveis aleatórias artificiais: Y 1 = X X X 3, Y 2 = X X X 3 e Y 3 = X X X 3. Teremos agora novas variáveis aleatórias, que não resultam de medidas com instrumentos físicos, mas de combinações lineares destas.

29 Variabilidade e Informação Um Exemplo 3D No exemplo do consumo de energia: SigmaX = cov(x); [Q L] = eigs(sigmax,3); Y0 = X0*Q Vamos calcular a matriz de covariância de Y 0 : SigmaY = cov(y0)

30 Variabilidade e Informação Um Exemplo 3D Comparando as matrizes de covariância: Σ X = e Σ Y = As variáveis artificiais não co-variam e obtivemos variâncias maiores e menores que as das variáveis originais!

31 Variabilidade e Informação Um Exemplo 3D Para obtermos os coeficientes das combinações lineares é necessário descobrir as direções de maior variabilidade. Observe que as duas direções de maior variabilidade es no plano da figura. Executar: gerar melhor plano. Estudaremos como encontrar esse plano nas próximas aulas.

32 Produto Interno Antes de estudarmos projeções ortogonais, precisamos estender outra noção geométrica: os ângulos entre vetores. Para isso, precisamos definir o análogo do produto escalar: Definição Um produto interno é uma função que associa a cada par de vetores u e v de um espaço vetorial V um número (real ou complexo) u, v, tal que, para quaisquer u, v e w em V e qualquer α escalar: 1 u, v = v, u, sendo que a barra significa o complexo conjugado; 2 u + v, w = u, w + v, w ; 3 αu, v = α u, v ; 4 v, v 0, com v, v = 0 se, e somente se, v = 0.

33 Produto Interno Euclidiano Novamente, neste minicurso, usaremos somente o produto interno euclidiano (real), definido por: u, v = u 1 v 1 + u 2 v u n v n. Outra maneira de escrever o produto interno euclidiano (real) é: u T v = u 1 v 1 + u 2 v u n v n. Notemos que a norma euclidiana provém do produto interno euclidiano: u = u, u.

34 Produto Interno e Ângulo entre Vetores Utilizando a Desigualdade de Cauchy-Schwarz u, v u v, podemos definir o ângulo θ entre os vetores não nulos u e v por: cos θ = u, v u v. O único ângulo que estamos interessado é o de π/2 radianos (90 ). Assim, definimos: Definição Dois vetores u e v de um espaço vetorial real com produto interno são ortogonais se u, v = 0. Nesse caso, escrevemos u v.

35 Vetores Ortogonais Exemplos São exemplos de vetores ortogonais no R 2 : [ 1 0 ] e [ 0 1 ] ; e também [ 1/ 2 1/ 2 ] e [ 1/ 2 1/ 2 ]. São exemplos de vetores ortogonais dois a dois no R 3 : 1/ 2 1/ 2 0, 1/ 3 1/ 3 1/ 3 e 1/ 6 1/ 6 2/ 6.

36 Vetores Ortonormais e Matriz Ortogonal Os vetores dos exemplos anteriores são ditos ortonormais, pois: Definição Os vetores v 1, v 2,..., v n são ditos ortonormais se forem ortogonais dois a dois e se todos possuírem norma unitária. Ou seja, se v i v j, para i j, e v i = 1, para todo i, com i, j {1, 2,..., n}. Podemos formar uma matriz Q com colunas que sejam vetores ortonormais.

37 Projeções Antes, porém, de encontrarmos o que seria o melhor plano de projeção, devemos saber o que é uma projeção e como aplicá-la. Estamos interessados somente em projeções ortogonais: v v proj W v W proj W v Figura: Projeção ortogonal de v sobre W.

38 Projeções Na figura anterior, projetamos v ortogonalmente sobre o subespaço vetorial W. Lembrando que podemos falar de ortogonalidade porque definimos um produto interno.,.. Vejamos, então, como projetar ortogonalmente um vetor v R 3 sobre um subespaço W R 3 de dimensão 2, definido por uma base ortonormal {w 1, w 2 }.

39 Projeções Para encontrar a projeção ortogonal do vetor v sobre o subespaço W, com base ortonormal {w 1, w 2 }, basta fazer: proj W v = w 1, v w 1 + w 2, v w 2. Podemos estender o último resultado para projeções ortogonais sobre um subespaço W com base ortonormal {w 1, w 2,..., w r }: proj W v = w 1, v w 1 + w 2, v w w r, v w r.

40 Projetores Podemos realizar a projeção do vetor v sobre o subespaço W multiplicando uma matriz especial por v. Essa matriz é chamada de projetor. No caso anterior, com {w 1, w 2 } sendo a base ortonormal de W, o projetor é dado por: P = w 1 w T 1 + w 2 w T 2.

41 Projetores Vejamos como ficam os dados projetados no exemplo do consumo de energia../matlab/gerar projecoes A base ortonormal do plano é dada pelos vetores: w 1 = e w 2 =

42 Projetores E o projetor ortogonal é: P = Agora que sabemos projetar vetores, precisamos descobrir o plano sobre o qual serão feitas as projeções. Esse será o assunto de nossa próxima aula.

43 Bibliografia I Math is Fun Correlation. Accessado em: James E. Gentle. Matrix Algebra: Theory, Computations, and Applications in Statistics. Springer, New York, William W. Hines, Douglas C. Montgomery, David M. Goldsman, and Connie M. Borror. Probabilidade e Estatística na Engenharia. LTC, Rio de Janeiro, 4 a edition, Trad. Vera Regina Lima de Farias e Flores. Ian T. Jolliffe. Principal Component Analysis. Springer-Verlag, New York, 2 nd edition, 2010.

44 Bibliografia II Heysem Kaya, Pınar Tüfekci, and Sadık Fikret Gürgen. Local and global learning methods for predicting power of a combined gas & steam turbine. In Proceedings of the International Conference on Emerging Trends in Computer and Electronics Engineering ICETCEE 2012, pages 13 18, Gilbert Strang. Linear Algebra and Its Applications. Harcourt, Orlando, Fl, 3 edition, Lloyd N. Trefethen and David Bau, III. Numerical Linear Algebra. SIAM, Philadelphia, Pınar Tüfekci. Prediction of full load electrical power output of a base load operated combined cycle power plant using machine learning methods. International Journal of Electrical Power & Energy Systems, 60(0): , 2014.

45 PCA e Redução de Dimensionalidade Fim Estas notas estão disponíveis na página cursos/2014-2/pca