Análs d dados ndustras Escola Poltécnca Dpartamnto d Engnhara Químca Robrto Guardan 014 ANÁLISE DE COMPONENES PRINCIPAIS 3.1. Introdução Componnts prncpas são combnaçõs lnars das varávs orgnas d procsso, obtdas a partr da matrz d covarânca ou d corrlação dos dados. Essas novas varávs são ndpndnts ntr s capazs d dscrvr o comportamnto d um dado sstma multvarado. écncas basadas m análs d componnts prncpas (srá usada a abrvatura PCA: prncpal componnt analyss ) são utlzadas vsando dos objtvos prncpas: a) Rdução da dmnsão d modlos do sstma, obtda com a rdução do númro d varávs consdradas. Em sstmas complxos com grand númro d varávs, ssa rdução é mportant, porqu possblta o dsnvolvmnto d modlos mas smpls, com mnor númro d varávs, para smulação análs do sstma. Para tanto, os rsultados da PCA são utlzados para slconar um subconjunto d m varávs (com m < p) capaz d dscrvr a maor part da varabldad dos dados d procsso.
b) Dtcção d corrlaçõs ntr varávs, ou grupos d varávs, mplíctas nos dados. A dtcção basa-s na strutura mplícta da matrz d covarâncas, para dntfcação ntrprtação das rlaçõs ntr grupos d varávs. Essas análss normalmnt vsam dntfcar procssos mplíctos na strutura dos dados, não vdnts a partr do xam ncal das corrlaçõs ntr pars d varávs. Para facltar a comprnsão do concto nvolvndo componnts prncpas, é aprsntada a sgur uma dscrção gométrca, com um xmplo smpls, basado m Sharma (1996). Na sgunda part do txto é aprsntada a formulação matmátca da técnca sua aplcação. 3.. Intrprtação gométrca dos componnts prncpas O sgnfcado algumas mplcaçõs da técnca d PCA podm sr mas faclmnt comprnddos com uma ntrprtação gométrca dos componnts, assocando-os a projçõs das varávs orgnas. Para o caso d duas varávs, é possívl vsualzar ssas projçõs, como no xmplo sgunt, o qual é basado m Sharma (1996). Na abla 3.1 há 1 obsrvaçõs d duas varávs, x 1 x. A tabla aprsnta os valors orgnas, méda varânca das varávs, bm como os valors das varávs cntradas na méda. A varânca total do sstma quval à soma: s s1 s = 3,091 + 1,091 = 44,18 As varávs x 1 x rprsntam, rspctvamnt, 5,3% 47,7% da varânca total do sstma. Portanto, sua mportânca para a varabldad total dos dados é aproxmadamnt gual. As matrzs d quadrados produtos cruzados, covarânca d corrlação são, rspctvamnt: 54 181 3,091 16,455 1,000 0,746 SSCP Cov 181 3 R 16,455 1,091 0,746 1,000
3 abla 3.1. Exmplo d dados bvarados: varávs orgnas cntradas na méda. x 1 X 1 x X Obsrvação Orgnal Cntrada na méda Orgnal Cntrada na méda 1 16 8 8 5 1 4 10 7 3 13 5 6 3 4 11 3-1 5 10 8 5 6 9 1-1 -4 7 8 0 4 1 8 7-1 6 3 9 5-3 -3-6 10 3-5 -1-4 11-6 -3-6 1 0-8 0-3 méda 8 0 3 0 varânca 3,091 3,091 1,091 1,091 Obsrva-s qu os dados são corrlaconados postvamnt, com cofcnt d corrlação r 1 = r 1 = 0,746. Os valors dssas duas varávs cntradas na méda podm sr rprsntados grafcamnt m um plano, como mostra a Fgura 3.1. Assm, qualqur ponto no gráfco é rprsntado plas coordnadas nos xos X 1 X. No caso d havr p varávs, sus valors sram pontos no spaço d dmnsão p. É possívl fazr uma mudança nssa bas ortogonal, fazndo-s uma rotação dos xos X 1 X m um ângulo, obtndo-s uma nova bas ortogonal, rprsntada plos novos xos d coordnadas 1, conform mostrado na Fgura 3.1.
4 10 y X 0-10 0 10 1-10 X 1 y 1 Fgura 3.1. Rprsntação gráfca das varávs cntradas na méda, da abla 3.1, d um novo sstma d xos ortogonas, 1, dslocados m rlação a X 1 X d um ângulo. Como rsultado dssa mudança d bas, pod-s dmonstrar qu uma obsrvação qualqur, d coordnadas [X 1,, X,I ] no gráfco, pod sr rprsntado nas novas coordnadas 1 da sgunt forma: X1, cos X, sn (3.1) 1, X1, sn X, cos (3.), Dpndndo do ângulo d rotação dos xos (), pod-s alnhar um dos xos (no caso, 1 ) mas ou mnos m rlação à drção d maor varação dos valors d X 1 X, o qu corrspond à maor varânca dos dados. Por xmplo, para gual a 10 o, os valors das varávs na nova bas as rspctvas varâncas são aprsntadas na abla 3.. Obsrva-s qu as duas novas varávs, obtdas por combnaçõs lnars das varávs orgnas sgundo as Equaçõs 3.1 3., também têm méda gual a zro. No ntanto, mbora a varânca total das novas varávs prmança a msma (pos o sstma é o msmo) a fração da varânca total rprsntada por cada uma dlas mudou: a varânca contda m 1 passa a rprsntar 64,9 % a contda m, 35,1 % da varânca total. Isto é consqüênca da nova orntação dos xos: 1 stá mas alnhado com a drção d maor varânca dos dados.
5 abla 3.. Efto da mudança d bas: rotação m = 10 o. Obsrvação X 1 X 1 1 8 5 8,747 3,535 4 7 5,155 6,199 3 5 3 5,445,086 4 3-1,781-1,506 5 5,838 4,577 6 1-4 0,90-4,113 7 0 1 0,174 0,985 8-1 3-0,464 3,18 9-3 -6-3,996-5,388 10-5 -4-5,619-3,071 11-6 -6-6,951-4,867 1-8 -3-8,399-1,565 man 0 0 0 0 varanc 3,091 1,091 8,659 15,53 Pod-s fazr um gráfco da fração da varânca total rprsntada pla nova varávl 1 m função do ângulo d rotação, conform mostrado na Fgura 3.. O valor máxmo da curva ocorr para gual a 43,6 o, com a varânca d 1 gual a 38,576 (87,3% do total d 44,18). Para ss valor, as Equaçõs 3.1 3. fcam: 1, 0,78X 1, 0, 685X, (3.3), 0,685X 1, 0, 78X, (3.4)
6 Fração da varânca total rprsntada por 1 0.9 0.8 0.7 0.6 0.5 0.4 0 0 40 60 80 100 Ângulo d rotação Fgura 3.. Fração da varânca total rprsntada por 1 m função d. As varâncas rprsntadas por 1 são, rspctvamnt, 38,576 (87,3 % do total) 5,606 (1,7 % do total). As novas matrzs SSCP, Cov R, basadas nas novas varávs 1, são: 44,334 0 38,576 0 1,000 0 SSCP Cov 0 61,666 R 0 5,606 0 1,000 Nas novas matrzs, a covarânca ntr 1 val zro, rfltndo o fato d qu as novas varávs são ortogonas (ndpndnts ntr s). A varânca total prmanc a msma das varávs orgnas. No ntanto, a nova varávl 1 rprsnta quas 90 % da varânca total a outra varávl ncorpora o rstant da varânca total dos dados xprmntas. Assm, a nova varávl 1 pod sr usada para rprsntar as duas varávs orgnas, com a vantagm d qu s rduz a dmnsão do problma d para 1. A dsvantagm é qu crca d 13% das nformaçõs contdas nos dados orgnas é confundda, ou prdda, quando s usa apnas 1 para rprsntar o sstma. O xmplo dado pod sr xtrapolado para p varávs. A análs d componnts prncpas é usada com frqüênca na rdução d dmnsão m sstmas multvarados, vsando concntrar m um pquno conjunto d novas varávs, ortogonas, a maor part da varânca do sstma.
7 3.3. Formulação matmátca da técnca d PCA A obtnção d componnts prncpas consst m s obtrm os psos w kj, k j varando d 1 a p, para o sgunt sstma d p quaçõs: 1 1 w11x1 w1 X... w p X p w1x1 w X... w p X p p... w X w X... w p1 1 p pp p (3.5) X m qu: 1 a p são os componnts prncpas, ordnados m ordm dcrscnt da sua partcpação na varânca dos dados; w kj são os psos da varávl j sobr o componnt k ( componnt loadngs ); Os psos são stmados d modo qu as sgunts rstrçõs sjam atnddas: 1) O prmro componnt, 1, abrang a máxma fração da varânca total do sstma; o sgundo componnt,, abrang a máxma fração do rstant da varânca total do sstma não abrangdo plo prmro componnt; assm sucssvamnt, obtndo-s uma sqüênca d componnts, 1 a p, m ordm dcrscnt d mportânca (o númro máxmo d componnts é gual a p). ) w k1 wk... wkp 1, k = 1, p. Esta condção, qu sgnfca qu os p vtors são normalzados, é arbtrára, mas é adotada para vtar qu os valors numércos dos psos aftm a varânca rprsntada por um dado componnt m rlação aos dmas. 3) Ortogonaldad: w k1. w j1 wk. w j... wkp. w jp 0, k j. O objtvo dos algortmos d cálculo d componnts prncpas é obtr w kj, rsptando as rstrçõs 1 a 3. Para o vtor X das p varávs X j, cntradas na méda, a matrz d covarânca Cov é rprsntada plo valor sprado do produto dos vtors: Cov. E X X (3.6)
Sja o vtor d psos d um componnt, qualqur, rprsntado por: w w, 1 w,..., wp (3.7) 8 Conform mostra a Eq. 3.5, xstm p vtors como ss, cada componnt pod sr rprsntado por: w.x (3.8) Portanto, para cada uma das n obsrvaçõs há um valor corrspondnt d cada componnt. A varânca do componnt é calculada plo valor sprado do produto quadrátco dss componnt para todas as obsrvaçõs, ou sja: s. Ew X.X w w Cov. w E (3.9) A obtnção dos componnts prncpas a partr d um conjunto d dados com n obsrvaçõs d p varávs, cuja matrz d covarâncas é Cov, mplca rsolvr o sgunt sstma para cada componnt k, com k varando d 1 a p: Obtr os vtors w k, tas qu a varânca d k, k Sujta à rstrção: w w 1 (rstrção ) k k w Cov. w, sja máxma, Atndndo à condção d ortogonaldad: w w 0 para k (rstrção 3). A solução consst, portanto, m um problma d otmzação, com a varânca como função objtvo a sr maxmzada. Uma das técncas d solução consst no uso d multplcadors d Lagrang para ncorporar as rstrçõs à função objtvo. Para o caso d um componnt qualqur, com vtor d cofcnts w, sja F a função a sr maxmzada, dfnda por: k F w Cov. w w w 1 (3.10) k m qu a rstrção d vtor d psos normalzado stá ncorporada m F no sgundo trmo, qu é multplcado plo multplcador d Lagrang,. O vtor das drvadas parcas d F m rlação ao vtor d psos é: F Cov. w w w Fazndo-s ss vtor gual a zro, obtém-s: (vtor p x 1) (3.11) Cov. w w (3.1)
9 qu é um problma caractrístco d autovalors autovtors. Assm, a solução não trval (para w 0) da Equação 3.1 nvolv a obtnção dos p autovalors k, k = 1,,, p, da matrz d covarânca dos corrspondnts autovtors, os quas corrspondm aos p vtors d psos w k, para k = 1,,, p. Por xmplo, sja (, w) k um par d autovalor autovtor da matrz d covarâncas. Então, da Eq. 3.1:. Iw 0 Cov (3.13) Como fo mposta a rstrção d qu os autovtors são normalzados, ntão: w. w 1 (3.14) Pré-multplcando-s a Eq. 3.13 por w obtém-s: w Cov. Iw 0 (3.15) ou: w Cov. w. w w. (3.16) Combnando-s as Eqs. 3.9, 3.14 3.16, obtém-s:. Ew X.X w w Cov. w s E. (3.17) Ou sja, a varânca do componnt é gual ao autovalor corrspondnt da matrz d covarâncas. A matrz d covarâncas é postva dfnda, o qu mplca qu sus autovalors são postvos. Assm, para a obtnção dos componnts prncpas m ordm dcrscnt d mportânca quanto à varabldad dos dados, ordnam-s os autovalors da matrz Cov m ordm dcrscnt, d modo qu:... 0 (3.18) 1 p calculam-s os corrspondnts autovtors, qu são os psos dos componnts prncpas, m ordm dcrscnt d mportânca do ponto d vsta da varânca abrangda. Assm, o vtor d psos do prmro componnt, w 1, é o autovtor corrspondnt ao maor autovalor, 1, da matrz d covarâncas, Cov. S todos os autovalors da matrz d
10 covarâncas form dstntos, ntão os autovtors são ortogonas, o qu satsfaz à rstrção 3. Assm, obtêm-s os pars (, w) k, k = 1,,, p, qu são as varâncas os rspctvos cofcnts dos p componnts prncpas k, k = 1,,, p. A soma dos p autovalors corrspond à varânca total do sstma. Pod ocorrr, m stuaçõs raras, d havr gualdad ntr dos ou mas dos autovalors. Nsss casos, mbora os autovtors d possam sr ortogonas, ls não são úncos, xgndo a dfnção d sus valors por algum crtéro arbtráro. No ntanto, ssa stuação normalmnt não ocorr m stuaçõs ras, com grands bass d dados. Outra stuação qu pod ocorrr, mas comum, é havr um ou mas autovalors guas a zro. al stuação ndca qu há dpndênca lnar ntr lmntos da matrz d dados, x, causado por rdundânca d varávs ou obsrvaçõs. Matmatcamnt, tal fato ndca qu o rank da matrz Cov é mnor qu p. Nsss casos, a bas d dados dv sr modfcada rorganzada para aplcação da técnca. 3.4. Análs basada na matrz d covarâncas ou d corrlação. As matrzs Cov R são rlaconadas ntr s forncm bascamnt nformaçõs sobr o grau d assocação lnar ntr varávs. No ntanto, uma vz qu a matrz d corrlação é obtda a partr das varávs padronzadas, prd-s nformação sobr a varânca m troca da nformação sobr a corrlação ntr as varávs. Com sso, os lmntos das matrzs Cov R são dfrnts, fazndo com qu os autovalors autovtors sjam, também, dfrnts, o qu altra os rsultados da análs. A scolha ntr uma outra matrz para ralzar a PCA dpnd normalmnt da naturza valors numércos dos dados. Nos casos m qu s trabalha com varávs cujos valors numércos são muto dfrnts ntr s (por xmplo, vazõs da ordm d mlhars d ltros por hora fraçõs molars), os rsultados da análs são aftados pla ampltud dos valors. Nsss casos, é mlhor utlzar a matrz d corrlação dos dados, pos sso faz com qu a análs consdr as varávs padronzadas, ou sja, lvando m consdração a ampltud m múltplos d dsvo padrão d cada varávl cntrada na méda. 3.5. Intrprtação d rsultados Como vsto, a técnca d PCA consst na obtnção d um conjunto d p combnaçõs lnars, ou componnts, das p varávs orgnas, combnaçõs ssas ordnadas m ordm dcrscnt da varânca rprsntada por cada componnt. A orntação dssas combnaçõs lnars d modo a absorvrm, cada uma, a máxma varânca dsponívl mplca obtr os p autovalors corrspondnts autovtors da matrz
11 d covarânca, ou da matrz d corrlação. Uma vz qu a técnca d PCA dstna-s a rduzr a dmnsão d sstmas com mutas varávs dtctar corrlaçõs ntr las, o tratamnto dos rsultados da análs vsa tornar vdnts as vntuas corrlaçõs a mportânca rlatva dos componnts obtdos das varávs orgnas. Na ntrprtação dos rsultados, objtva-s a slção d um subconjunto d m componnts ou varávs (m < p), o qu nvolv normalmnt um ou mas crtéros, qu varam conform a aplcação. Crtéros para slção d um subconjunto d componnts prncpas Nos casos m qu o objtvo é a slção d m componnts prncpas, na maora dos casos o objtvo é a utlzação do conjunto d m componnts m modlos matmátcos dos sstmas m qustão. É comum ocorrrm casos m qu m<< p, como, por xmplo, m análss d spctros, m qu as varávs podm sr a absorbânca d radação m um dado comprmnto d onda comprmntos d onda próxmos são, m gral, corrlaconados. Assm, os modlos são construídos d forma a corrlaconar a concntração d spécs químcas d ntrss com um grupo d m componnts prncpas, muto mnor qu as p varávs orgnas, o qu rprsnta uma grand vantagm, pos sstmas d mdção d spctros com alta rsolução normalmnt opram com cntnas ou mlhars d comprmntos d onda, ou sja, grands valors d p. Assm, os cálculos d concntração basados nsss modlos nvolvm duas tapas: 1) a partr dos valors das p varávs orgnas, calcular os valors dos m componnts ( componnt scors ); ) calcular as varávs d saída do modlo a partr dos m componnts. Os crtéros mas comumnt adotados para slconar os m prmros componnts a srm utlzados para dscrvr um dado sstma multvarado são: a) valor d cort para o autovalor corrspondnt a cada componnt, ou varânca rprsntada por cada componnt. Est crtéro é adquado quando a ánáls é basada na matrz d corrlação, R. A justfcatva para sta rgra é qu, s as varávs ncluídas no studo são ndpndnts, todas têm corrlação zro varânca ndvdual gual a 1, na matrz d corrlação. Dss modo, um componnt cuja varânca sja mnor qu 1 rprsnta mnos do qu uma varávl orgnal ndvdual não prcsa sr consdrado. O crtéro, portanto, é: Slconar k s k 1, para k = 1,, p. Na prátca, é ntrssant consdrar uma tolrânca no valor d cort, slconando componnt cujas varâncas sjam um pouco mnors qu 1, para lvar m consdração varaçõs rros m mddas. Por xmplo, Jollff (1986), basado m smulaçõs, sugr o valor d cort gual a 0,7.
1 b) fração acumulada da varânca total do sstma, rprsntada plos prmros componnts, d 1 a m. Est crtéro consst m s stablcr um valor mínmo actávl da fração da varânca total rprsntada plos m prmros componnts. Normalmnt adotam-s valors d crca d 80 a 90%. Assm, o crtéro é: m k k 1 Frac. m p, para m = 1,, p (3.19) o procsso é ntrrompdo quando Frac. m fração mínma adotada. k 1 k c) vsualzação por mo d gráfcos d dstrbução. Gráfcos do tpo scr plot são úts para vsualzação da mportânca dos componnts são usados para dcsão quanto ao númro d componnts a srm utlzados para dscrvr um sstma multvarado. Na Fgura 3.3 é mostrado um xmplo d gráfco do autovalor d cada componnt m função d sua ordm, ou sja, a varânca xplcada por cada componnt, na ordm d mportânca. A msma nformação pod sr rprsntada na forma da fração da varânca total xplcada plos componnts ordnados (também mostrada na Fg. 3.3). A slção do númro m d componnts prncpas a srm consdrados m um dado studo basa-s na nclnação do gráfco: a partr d um crto númro, a curva passa a tr nclnação pratcamnt constant pquna. O númro m dos prmros componnts a srm slconados no studo corrspond à rgão d maor nclnação da curva (à squrda), ants do ponto m qu há altração vsívl na nclnação. Gráfcos como o mostrado na Fg. 3.3 são mportants por possbltarm vsualzar a dstrbução da varânca ntr os componnts. Nos casos m qu o gráfco tm forma smlar ao mostrado na fgura, é possívl vsualzar qu os prmros 3 a 4 componnts são rsponsávs pla maor part da varânca qu o rstant da varânca stá dstrbuído ntr os dmas componnts. No ntanto, há casos m qu não é possívl concntrar a maor part da varânca nos prmros componnts, ocorrndo uma quda gradual na curva do gráfco, ndcando qu a varânca do sstma stá dstrbuída ntr os componnts. as stuaçõs ocorrm nos casos m qu não há corrlação clara ntr varávs, ou grupos d varávs. Nsss casos, não há ganhos sgnfcatvos m substtur as varávs orgnas por componnts prncpas.
13 5 1 Varânca 4 3 0.8 0.6 0.4 Fração xplcada da varânca 1 0. 0 0 0 1 3 4 5 6 7 8 9 10 Componnt N. Fgura 3. Exmplo d um scr plot. Crtéros para slção d um subconjunto d varávs A substtução das varávs orgnas por suas combnaçõs lnars, na forma d componnts prncpas, mutas vzs não é dsjada. Isto ocorr nos casos m qu as varávs são d naturza dfrnt, como m procssos químcos, m qu varávs rprsntando vazão, tmpratura, prssão, composção, nívl outras são combnadas nos componnts prncpas. Nsss casos, o uso d componnts prncpas sgnfca a prda do sgnfcado físco das varávs nvolvdas no procsso. Então, a rdução da dmnsão do sstma nvolv a slção d um subconjunto d m varávs, as quas são as mas mportants, com bas na sua contrbução para a varânca dos dados. Em um dtrmnado componnt, algumas varávs podm contrbur postva ou ngatvamnt, sndo ssa contrbução d maor ou mnor ntnsdad. A contrbução d cada varávl pod sr vrfcada a partr dos cofcnts das varávs nos componnts prncpas ( componnt loadngs ). Assm, a slção das m varávs mas mportants no sstma nvolv, prmramnt, a obtnção dos componnts prncpas. Uma vz obtdos os componnts prncpas, a mportânca d algumas varávs m rlação a outras pod sr avalada a partr dos valors absolutos d sus cofcnts m cada um dos componnts prncpas, lvando-s m consdração a mportânca rlatva dsts.
O procdmnto para slção consst m, para cada componnt k slconado 14 ntr os m prmros, k = 1,, m, slconar a varávl j para a qual w kj sja máxmo, dsd qu ssa vaávl não tnha sdo slconada ants (para valors mnors d k). Assm, comçando no prmro componnt (k = 1), a varávl cujo cofcnt tm maor valor absoluto é aqula mas mportant do sstma, quanto à contrbução para a varânca. Essa varávl dv, ntão, sr slconada para partcpar d modlos. Em gral há outras varávs m um msmo componnt cujos cofcnts têm valors absolutos próxmos. Isso ndca qu ssas varávs são corrlaconadas ntr s. Portanto, com a slção daqula com maor cofcnt ssas outras corrlaconadas passam a sr rprsntadas. O procdmnto é rptdo para k =,, m. No fnal do procsso, havrá um conjunto d m varávs qu rprsntam, m cada componnt, a maor contrbução para a varânca do sstma. Exmplo Ralzar a PCA d um sstma com 3 varávs alatóras, x 1, x x 3, com a sgunt matrz d covarâncas: 1 0 Cov 5 0 0 0 Os autovalors autovtors (normalzados) dssa matrz são: 1 = 5,83; w 1 = [0,383; -0,94; 0] =,00; w = [0; -0; 1] 3 = 0,17; w 3 = [0,94; 0,383; 0] Assm, a varânca total, qu é gual à soma dos lmntos da dagonal prncpal da matrz d covarâncas, quval também à soma dos 3 autovalors, ou sja, 8. Os componnts prncpas são: 1,383x1 0, 94 x 3 0 x 3,94x1 0, 383 0 x Esss três componnts são ortogonas, ou sja, consttum varávs ndpndnts no sstma. No prmro componnt, qu abrang 7,9% da varânca total (= 5,83/8), a varávl qu aprsnta maor pso (m módulo) é x. Essa é, portanto, a prncpal varávl qu afta a varânca total do sstma. O sgundo componnt,
15 rsponsávl por 5% da varânca total (= /8), é composto pla própra varávl x 3, o qu é cornt, pos na matrz d covarânca obsrva-s qu ssa varávl não é corrlaconada com as dmas. O trcro componnt, qu rprsnta apnas crca d % da varânca total (= 0,17/8), pod sr dsprzado, pos a prda d nformaçõs é pquna. Assm, o sstma pod sr dscrto com o uso dos componnts prncpas, ou das varávs x x 3, m vz das três varávs orgnas. Pod-s usar o msmo procdmnto com a matrz d corrlação, No ntanto, os rsultados normalmnt são dfrnts quando os valors numércos das varávs são dfrnts.