Universidade Estadual do Ceará UECE Série de Relatórios Técnicos em Ciência da Computação Num 7/27 Dezembro 27 IV Escola de Verão do MACC Thelmo Pontes de Araujo Mestrado Acadêmico em Ciência da Computação http://www.uece.br/macc/ Universidade Estadual do Ceará Av. Dr. Silas Munguba, 7. CEP: 6.74.93 Fortaleza - Ceará Brasil
Análise de Componentes Principais Aula Thelmo de Araujo IV Escola de Verão do MACC
Um Experimento Iniciemos com um experimento de reconhecimento de faces. Escolhemos o banco de imagens ORL, suportado pelos Laboratórios AT&T e pela Universidade de Cambridge. Nele há 4 imagens monocromáticas de dimensão 92 2 de 4 faces de indivíduos diferentes em posições de cabeça cada. Para compor o conjunto de treinamento, retiramos uma imagem de cada indivíduo de maneira quase aleatória: retiramos a primeira imagem dos indivíduos,, 2 e 3; a segunda imagem dos indivíduos 2, 2, 22 e 32; e assim por diante. A iluminação não varia muito, mas variam as expressões faciais, além do uso ou não de óculos (num mesmo indivíduo).
Um Experimento Ao experimento... O computador deve reconhecer cada imagem que não foi treinada, associando-a à pessoa correta. Em /uece/cursos/pca/matlab/, faça: carregar dados; q = 2; executarpca(q, mu, U, S, V)
Reconhecimento Automático da Faces Como um computador reconhece faces humanas? Uma pergunta mais difícil (acredite) seria: Como você reconhece faces humanas? Para resolver esse problema, devemos: Apresentar ao computador imagens das pessoas a serem reconhecidas. Ensinar ao computador como diferenciar pessoas (treinamento). Definir o que seriam imagens parecidas. Mas, antes precisamos saber como um computador vê uma imagem.
Imagens Digitais Figura: Imagem Lena 52 52 em níveis de cinza e ampliação de uma região de 25 25 pixels.
Imagens Digitais Um computador vê a imagem da Lena assim: Figura: Níveis de intensidade da região de 25 25 pixels da imagem original.
Imagens Digitais A primeira ideia seria usar diretamente matrizes para representar as imagens. Mas, quando duas matrizes (imagens) são parecidas? Matrizes nos remetem a uma disciplina. Qual? Isso mesmo: Álgebra Linear.
Álgebra Linear Mas do que trata a Álgebra Linear? Simplificadamente, a Álgebra Linear trata de vetores e suas combinações lineares. Para quem só os vê na Física da escola, vetores são flechas que representam grandezas caracterizadas por comprimento, direção e sentido. Mas, para nós é bem mais que isso.
Espaços Vetoriais Definição Um espaço vetorial consiste de um conjunto não vazio V, cujos elementos são chamados de vetores; 2 um corpo F de escalares; 3 uma operação, chamada adição vetorial, que associa dois vetores u e v em V ao vetor u + v em V ; 4 e uma operação, chamada multiplicação por escalar, que associa um escalar α F e um vetor u V ao vetor αu em V, que obedecem às seguintes propriedades, u, v, w V e α, β F:
Espaços Vetoriais Definição (continuação) u + v = v + u (comutativa); 2 u + (v + w) = (u + v) + w (associativa); 3 existe um (único) vetor em V, chamado de vetor nulo, tal que u + = u (elemento neutro); 4 existe um (único) vetor u em V tal que u + ( u) = (simétrico); 5 (αβ)u = α(βu) (associativa); 6 α(u + v) = αu + αv (distributiva); 7 (α + β)u = αu + βu (distributiva); 8 u = u (unidade).
Espaços Vetoriais Exemplos São exemplos de espaços vetoriais: Os vetores do R 2 sobre o corpo dos reais, com as operações (usuais) de adição vetorial: u + v = [ u u 2 ] + [ v v 2 ] = [ u + v u 2 + v 2 ], e multiplicação por escalar: αu = α [ u u 2 ] = [ αu αu 2 ].
Espaços Vetoriais Exemplos Os vetores do R n sobre o corpo dos reais, com as operações (usuais) de adição vetorial: u + v = u u 2 u n + v v 2 v n = u + v u 2 + v 2 u n + v n, e multiplicação por escalar: αu = α u u 2 u n = αu αu 2 αu n.
Combinação Linear Note que as únicas operação que definimos num espaço vetorial foram a adição vetorial e a multiplicação por escalar. Isso nos basta para definir combinação linear de vetores. Definição Seja V um espaço vetorial. Uma combinação linear dos vetores u,..., u n de V é um vetor da forma α u + α 2 u 2 + + α n u n, sendo α,..., α n escalares do corpo de V, com as operações de adição vetorial e multiplicação por escalar definidas em V.
Combinação Linear Exemplo Por exemplo, o vetor w pode ser escrito como uma combinação linear dos vetores u e v: w = 2 3 = 2 + 3 = 2u + 3v.
Vetores e Imagens Mas, o que as imagens têm a ver com vetores? Podemos tratar uma imagem M N como um vetor com MN componentes, concatenando suas colunas. Esse processo nos permite considerar imagens como vetores em um espaço vetorial, que sabemos manipular por meio das técnicas de álgebra linear. Entretanto, isso nos leva a espaços de dimensões muito elevadas, por exemplo, uma imagem 52 52 é um vetor no R 26244.
Metodologia do Experimento Voltando ao nosso experimento, a metodologia usada foi a seguinte. A matriz de dados foi composta, alinhando-se as colunas de cada imagem para formar um vetor(-coluna) com 2 92 = 34 coordenadas. Essa matriz tem dimensão 34 4 e foi normalizada para que seus elementos estejam no intervalo [, ]. Para compor o conjunto de treinamento, retiramos uma imagem de cada indivíduo de maneira quase aleatória: retiramos a primeira imagem dos indivíduos,, 2 e 3; a segunda imagem dos indivíduos 2, 2, 22 e 32; e assim por diante. Foi então composta a matriz de dados de treinamento X de dimensão 34 36.
Treinamento Conseguimos resolver nosso primeiro problema: Apresentar ao computador imagens das pessoas a serem reconhecidas. Quem diria que vetores com mais de três coordenadas seriam úteis um dia... Voltemo-nos ao nosso segundo problema: Como ensinar o computador a diferenciar pessoas.
Comprimento e Distância Qual vetor é mais parecido com o vetor v? w v u
Comprimentos e Distâncias Se observarmos as distâncias entre as pontas dos vetores, dist(w, v) dist(u, v) w v u notamos que dist(u, v) < dist(w, v).
Comprimentos e Distâncias Notemos, ainda, que as distâncias entre as pontas dos vetores são... w v u v w v u os comprimentos dos vetores diferenças, i.e., dist(u, v) = u v e dist(w, v) = w v.
Norma No R 3, com a ajuda da geometria anaĺıtica, é fácil conceber o comprimento de um vetor. No R n, isso complica e precisamos de uma definição mais geral do análogo do comprimento. Definição Uma norma em um espaço vetorial V é uma função que associa a cada vetor v V um número real não negativo v, satisfazendo, para quaisquer u, v V e qualquer escalar α, as propriedades: u, com u = se, e somente se, u = ; 2 αu = α u ; 3 u + v u + v.
Norma Euclidiana Neste minicurso, só usaremos a norma euclidiana para vetores no R n, definida por: u = u 2 + u2 2 + + u2 n. Então, por exemplo, a norma de u = [ 2 ] T é: u = () 2 + (2) 2 + ( ) 2 = 6. A distância euclidiana entre dois vetores u e v em R n é definida por: u v = (u v ) 2 + (u 2 v 2 ) 2 + + (u n v n ) 2.
Experimento Distâncias Calculemos a distância entre duas imagens de uma mesma pessoa em nosso banco de imagens: load orl data norm(i(:,) - I(:,7)) E entre duas imagens de pessoas diferentes: norm(i(:,) - I(:,7)) Como esperávamos.
Experimento Distâncias Mas... norm(i(:,) - I(:,2)) norm(i(:,) - I(:,7)) Note que a distância entre imagens de pessoas diferentes foi menor que entre duas imagens da mesma pessoa! Não podemos usar um método tão ingênuo assim... Mas, antes precisaremos de alguns conceitos de Álgebra Linear.
Subespaços Vetoriais Definição Um subconjunto não vazio U do espaço vetorial V é dito um subespaço vetorial de V se, para quaisquer u e v em U e qualquer escalar α, u + v U e 2 αu U, com a adição vetorial e a multiplicação por escalar herdadas de V.
Subespaços Vetoriais Exemplos Assim, o plano xy é um subespaço vetorial do R 3. A reta y = 2x é um subespaço vetorial do R 2, mas a reta r dada pela equação y = 2x + não é um subespaço vetorial do R 2, pois, u r, v r, mas: u + v = [ ] + [ 3 ] = [ 4 ] r.
Subespaço Gerado Definição Seja S um subconjunto de vetores de um espaço vetorial V. O subespaço vetorial gerado pelos vetores de S (ou por S) é o conjunto de todas as combinações lineares α u + α 2 u 2 + + α n u n de vetores de S. Alternativamente, dizemos que S gera o subespaço U se todo vetor u em U puder ser escrito como uma combinação linear de vetores em S. Por exemplo, os vetores u = e v = geram o plano xy, que é um subespaço do R 3.
Independência Linear Definição Dizemos que os vetores u,..., u n são linearmente independentes (abreviadamente, L.I.) se α u + + α n u n = somente quando α = α 2 = = α n =. Caso contrário, eles são linearmente dependentes (abreviadamente, L.D.). Por exemplo, tomando os vetores u = [ ] T, v = [ ] T e w = [2 3 ] T, observamos que somente se α = α 2 =. α u + α 2 v =
Independência Linear De fato, o sistema u v [ α α 2 ] = [ α α 2 ] = tem solução única α = α 2 =. Ou seja u e v são vetores L.I. De forma análoga, podemos concluir que u e w são L.I. e v e w são L.I. Mas u, v e w não são L.I., mas linearmente dependentes, pois 2u + 3v w = 2 + 3 2 3 = =. Vale notar que w pode ser escrito como uma combinação linear de u e v, ou, dito de outra maneira, w depende linearmente de u e v.
Base Definição Um conjunto não vazio S de vetores (de V ) será chamado de base do espaço vetorial V se os vetores de S forem linearmente independentes e 2 os vetores de S gerarem V. O conjunto vazio é a base do subespaço trivial span{}. Exemplo: A base mais simples do R n é a base canônica, formada pelos n vetores da forma e =, e 2 =,..., e n =.
Base Exemplo O vetor v = [2 3] T do plano, por exemplo, é a seguinte combinação linear dos vetores da base canônica do R 2 : v = [ 2 3 ] = 2 [ ] 3 [ ].
Base Ordenada Definição Diz-se que uma base B de um espaço vetorial de dimensão finita é uma base ordenada, se os elementos de B são considerados em uma ordem fixa (isto é, primeiro elemento, segundo elemento etc.). Podemos considerar a base canônica {e, e 2, e 3 } como uma base ordenada do R 3, bem como os vetores, 2 3 e 2.
Coordenadas de um Vetor Definição Seja B = {u, u 2,..., u n } uma base ordenada de um espaço vetorial V de dimensão finita. Se v = α u + α 2 u 2 + + α n u n, então os escalares α, α 2,..., α n são as coordenadas do vetor v V em relação à base ordenada B. Então, 2, 3 e são as coordenadas do vetor w = [2 3 ] T em relação à base canônica C do R 3, pois: 2 3 C = 2 C + 3 C C.
Base Ordenada Assim como 9, 6 e 5 são as coordenadas desse mesmo vetor em relação à base ordenada: B = C, 2 3 C, 2 C. De fato, 9 6 5 B = 9 C + 6 2 3 C + 5 2 C = 2 3 C.
Base Ordenada de um Subespaço Vetorial No caso do vetor v pertencente ao subespaço do R 3 com base ordenada B = 2 C, 3 3 5 C e dado por v = 2 + 3 3 5, suas coordenadas são, e, pois: v = B = 2 + 3 3 5 +,
Base Ordenada de um Subespaço Vetorial não importando o vetor escolhido para completar uma base do R 3. Então, se conhecermos uma base de uma dado subespaço vetorial, podemos representar seus vetores utilizando somente as coordenadas associadas aos vetores da base do subespaço. No exemplo anterior, podemos representar v por: v = [ ] = B 2 + 3 3 5. Isso é um tipo de compressão de dados, pois economizamos a quantidade de informação (coordenadas) a ser processada.
Bibliografia I Math is Fun Correlation. http://www.mathsisfun.com/data/correlation.html. Accessado em: 24-9-5. James E. Gentle. Matrix Algebra: Theory, Computations, and Applications in Statistics. Springer, New York, 27. William W. Hines, Douglas C. Montgomery, David M. Goldsman, and Connie M. Borror. Probabilidade e Estatística na Engenharia. LTC, Rio de Janeiro, 4 a edition, 26. Trad. Vera Regina Lima de Farias e Flores. Ian T. Jolliffe. Principal Component Analysis. Springer-Verlag, New York, 2 nd edition, 2.
Bibliografia II Heysem Kaya, Pınar Tüfekci, and Sadık Fikret Gürgen. Local and global learning methods for predicting power of a combined gas & steam turbine. In Proceedings of the International Conference on Emerging Trends in Computer and Electronics Engineering ICETCEE 22, pages 3 8, 22. Gilbert Strang. Linear Algebra and Its Applications. Harcourt, Orlando, Fl, 3 edition, 998. Lloyd N. Trefethen and David Bau, III. Numerical Linear Algebra. SIAM, Philadelphia, 997. Pınar Tüfekci. Prediction of full load electrical power output of a base load operated combined cycle power plant using machine learning methods. International Journal of Electrical Power & Energy Systems, 6():26 4, 24.
PCA e Redução de Dimensionalidade Fim Estas notas estão disponíveis na página http://sites.google.com/site/thelmodearaujo/ cursos/24-2/pca