Métodos de Agrupamento e Componentes Principais: Teoria e Aplicações

Transcrição

1 Métodos de Agruamento e Comonentes Prncas: Teora e Alcações Danele Barroca Marra Alves Enuce Menezes de Souza Faculdade de Cêncas e Tecnologa - UNESP 96-9, Presdente Prudente, SP E-mal: danbarroca@yahoo.com.br, enuce@yahoo.com.br. INTRODUÇÃO Em geral, nformações sobre mutas varáves são coletadas em dversas áreas, tas como: Saúde, Segurança Públca e Cêncas Socas. A análse de uma grande quantdade de dados relaconados com mutas varáves sera uma tarefa muto dfícl sem o conhecmento da Análse Multvarada, a qual está relaconada com métodos estatístcos ara descrever e analsar dados multvarados. Dos conjuntos de dados referentes à Saúde e Segurança Públca foram esqusados e dos métodos de Análse Multvarada, agruamento e comonentes rncas, foram utlzados. Concetos teórcos e análses são contemlados nesse artgo.. CLUSTERING - AGRUPAMENTO Dversos rocedmentos são utlzados ara entender a natureza comlexa das relações multvaradas. Agruar os dados levando em consderação suas característcas é uma técnca nteressante. Agruamentos odem rover meos ara acessar a dmensonaldade, ndentfcar erros grosseros e sugerr hóteses nteressantes relatvas às relações das varáves []. O método denomnado clusterng ou agruamento é uma técnca que tem como base relações de smlardade (assocação) ou dstâncas entre as varáves. O objetvo básco da análse através de cluster é descobrr o agruamento natural das varáves [], e dessa forma reduzr nformação []... Meddas de Quando se objetva roduzr estruturas de gruos smles a artr de um conjunto de dados comlexos é necessáro medr a smlardade. Consderações mortantes a esse reseto ncluem a natureza das varáves (dscreta, contínua e bnára), as escalas de medção (nomnal, ordnal, or ntervalo e roorção), dentre outros tócos []. Assm, quando as varáves são agruadas, a sua roxmdade é ndcada or algum to de assocação. Para dados que têm roredades métrcas, uma medda baseada na dstânca ode ser usada. Mas ara dados que têm comonentes qualtatvas, ode-se ntroduzr uma varável bnára ([] e []). No que concerne à medda de dstânca, dversos tos odem ser utlzados. Dado x = [ x,x, K,x n ] e y = [ y, y, K, y n ], a dstânca Eucldana entre essas duas varáves -dmensonas é dada or: d( x, y) = ( x y) ( x y). Já a dstânca estatístca entre as mesmas varáves é dada or: d( x, y) = ( x y) A( x y), sendo A o nverso da matrz que contém as varâncas e covarâncas. Um outro to de dstânca é a de Mnkowsk, m m d( x, y) = x y. = Outros tos de meddas odem ser encontrados em [], [] e [3]. Quando os tens não odem ser reresentados or varáves -dmensonas, as meddas de smlardade são obtdas atrbundo os valores (ausênca do atrbuto) ou (resença do atrbuto), utlzando ortanto uma varável bnára. Aós obtenção dos valores ou é necessáro medr a assocação dos atrbutos. Pode-se smlesmente contar o número de resostas guas, (,) ou (,), e dvdr elo número total de atrbutos. Assm, o caso (,) tem o mesmo eso do caso (,). Entretanto, mutas vezes o caso (,) é uma ndcação mas forte da smlardade. Portanto, város métodos de assocação odem ser usados. Em [] e [] tas métodos são aresentados.

2 .. Métodos de Agruamento Desde que o cálculo arorado das meddas de smlardade (ou dstânca) já tenha sdo realzado, deve-se seleconar um método adequado de agruamento. Os métodos de agruamento mas oulares são denomnados métodos herárqucos e não herárqucos ([], [] e [3]). Nos métodos herárqucos são realzadas sucessvas junções ou dvsões nos dados. Além dsso, a alocação de um objeto em um gruo não ode ser alterada, ou seja, quando um objeto se junta a um gruo ele não ode mas ser removdo ou undo com objetos ertencentes a um outro gruo. Já nos agruamentos não herárqucos, os objetos odem ser realocados se as característcas ncas forem de fato nacuradas. Além dsso, nesse método, geralmente assume-se que o número fnal de gruos é conhecdo e esecfcado ncalmente []. Nesse trabalho são utlzados dos métodos de agruamento herárqucos: método de lgação smles e comleto. Os demas métodos de agruamento herárquco e os métodos não herárqucos são aresentados em [], [] e [3]. Para utlzar tanto o método de lgação smles como comleta, 4 assos devem ser segudos em um conjunto de n objetos []: o asso - comece com n gruos, cada gruo contendo um únco elemento e uma matrz smétrca (n n) de dstâncas D = {d k }; o asso - Procure na matrz de dstâncas o ar de gruos mas róxmos (mas smlares). Seja d UV a dstânca entre os gruos mas smlares U e V; 3 o asso - Junte os gruos U e V, formando (UV). Atualze a matrz de dstânca da segunte forma: a) elmne as lnhas e colunas corresondentes a U e V; b) adcone uma lnha e coluna ara acrescentar a dstânca (UV) dos gruos remanescentes; 4 o asso - Reta os assos e 3 (n-) vezes (todos os objetos ertencerão a um únco gruo quando o algortmo termnar). Regstre a dentdade dos gruos que estão undos e os níves (dstâncas) em que os agruamentos (junções) ocorreram. Os resultados desses métodos odem ser mostrados de forma gráfca em um dendograma.... Método de Lgação Smles O método de lgação smles, também denomnado método do vznho mas róxmo, utlza a dstânca mínma ou smlardade maor ara realzar o agruamento. Incalmente, encontra-se a menor dstânca D = {d k } e agrua-se os objetos corresondentes (U e V) ara formar o gruo (UV). No asso 3 do algortmo, as dstâncas entre (UV) e qualquer outro gruo W são calculadas or []: d = mn d, d. ( UV ) W { UW VW }... Método de Lgação Comleta O agruamento or lgação comleta ou vznho mas afastado é exatamente o oosto do método de lgação smles. Nesse caso, os elementos são agruados consderando a dstânca máxma (ou smlardade mínma) []. O algortmo é ncado encontrando a menor dstânca D = {d k } e agruando os objetos corresondentes (U e V) ara formar o gruo (UV). No asso 3 do algortmo, as dstâncas entre (UV) e qualquer outro gruo W são calculadas or []: d = max d, d. ( UV ) W { UW VW } 3. COMPONENTES PRINCIPAIS A análse de comonentes rncas transforma um conjunto de varáves em um conjunto menor de combnações lneares que reresentam a varânca do conjunto total. Esta análse ermte reduzr os dados e facltar a nterretação dos mesmos []. Consderando que a varável - dmensonal X = [X,..., X ] tem matrz de covarânca (ou matrz de correlação ρ) com autovalores λ... λ, sejam as combnações lneares dadas or []: Y = w X = w X + w X w X M Y = w X = w X + w X w X O dendograma lustra as junções ou dvsões realzadas em dferentes níves do método de agruamento.

3 As varâncas e covarâncas são dadas or: Var(Y ) = w w, =, K, Cov(Y,Y k) = w wk,,k =, K, Os comonentes rncas são as combnações lneares não correlaconadas Y,...,Y cujas varâncas são as maores ossíves.. O rmero comonente rncal é a combnação lnear w X com a maor varânca. A varânca Var(Y ) Var( w X ) ode ser alterada multlcando w or alguma constante. Mas, ara que a varânca não seja alterada, é nteressante que os vetores de coefcentes tenham comrmento untáro, ou seja, w w =. O segundo comonente rncal é a combnação lnear w X que maxmza a varânca Var(Y ) = Var( w X ) sujeto as condções w w = e Cov(Y Y, ) = Cov( w,w ) =. Assm, o -ésmo comonente rncal é a combnação lnear w X que maxmza a varânca Var(Y ) = Var( w X ) sujeto as condções w w = e Cov(Y,Y k) = Cov( w,wk ) =, ara k < []. Uma manera rátca de construr os comonentes rncas é utlzar os ares de autovalores e autovetores (λ,e ),..., (λ,e ) assocados a (ou matrz de correlação ρ) []: Y = e X = e x e x,,,..., e = σ + K + σ = Var K = ( X ) = λ + + λ = Var ( Y ). = Consequentemente, a roorção da varânca total devdo ao k-ésmo comonente rncal é gual a λ ( λ + K+ ) 4. APLICAÇÕES k λ. Nessa seção são aresentadas duas alcações relaconadas com a Saúde e Segurança Públca. 4.. Saúde Nesta alcação foram utlzados dados de saúde regstrados ela vglânca edemológca no muncío de Presdente Prudente (estado de SP) de // a 3/7/4. Os dados foram fornecdos ela Secretara Muncal de Saúde de Presdente Prudente. As doenças esqusadas foram: dengue (A), esqustossomose (B), menngte (C), heatte (D), sífls congênta (E), letosrose (F), tracoma (G), coqueluche (H), leshmanose tegumentar amercana (I) e acdentes com anmas eçonhentos (J) Agruamento Como os tens esqusados não odem ser reresentados or meddas, estes foram comarados com base na resença () ou ausênca () de certas característcas, ntroduzndo uma varável bnára. As característcas seleconadas são: x É uma doença nfeccosa; x A doença é causada or vírus; x 3 A doença é causada or bactéras; x 4 A doença é causada or rotozoáros; x 5 A doença é causada or verme arasta; x 6 A transmssão ocorre or mosqutos; x 7 Possu uma vacna de revenção; x 8 É uma doença edêmca; x 9 É uma doença endêmca; x É transmtda or contato humano; x Pode levar a morte; x Tem tratamento esecífco; x 3 É dssemnada nas fezes; x 4 Pode ser evtada com conscentzação santára. A tabela relacona cada doença com suas resectvas característcas utlzando varáves bnáras. Tabela Característcas das doenças esqusadas x x x3 x4 x5 x6 x7 x8 x9 x x x x3 x4 A B C D E F G H I J As dstâncas entre as doenças lstadas na tabela são mostradas na tabela. Tabela Dstâncas entre as doenças esqusadas A B C D E F G H I J A B C D E F G H I J

4 A artr dos dados de dstânca entre as doenças lustrados na tabela, foram utlzados os métodos de lgação smles e comleta. A fgura lustra o dendograma da lgação smles obtdo elo software MINITAB. 38,5 58,83 gruos, ou seja, onde cortar o dendograma. Um método utlzado está relaconado com a avalação do coefcente de fusão, sto é, o valor numérco (dstânca ou semelhança) ara o qual város casos se unem ara formar um gruo. Quando a dvsão de um novo gruo não ntroduz alterações sgnfcatvas no coefcente de fusão, ode-se tomar essa artção como sendo ótma. A fgura 3 lustra o coefcente de fusão ara a lgação smles e comleta. 79,4, Esq. Deng. Les. He. Men. Sf. Coq. Trac. Le. Ac. Observações Fgura Dendograma da lgação smles Observando a fgura ode-se verfcar que as observações foram agruadas de acordo com a dstânca mínma, sto é, com o maor grau de smlardade (no mínmo 38,5%). Isto ode ser confrmado elo rmero gruo formado: sífls e coqueluche. Isso já era eserado, os na matrz de dstâncas essa duas doenças aresentavam o menor valor (dstânca ), confrmando o alto grau de smlardade. Em contraartda, a fgura lustra o dendograma da lgação comleta., 33,33 66,67, Deng. Lesh. Le. Ac. Esq. Men. Trac. Observações Fgura Dendograma da lgação comleta Observando a fgura ode-se verfcar que as observações foram agruadas de acordo com a dstânca máxma, sto é, de acordo com o menor grau de smlardade (no mínmo %). Isto ode ser verfcado elo fato de que a Esqustossomose só fo agruada com a Menngte e Tracoma no últmo agruamento, o que era de se eserar observando a matrz de dstâncas. Deos de realzar uma análse dos dendogramas, uma dúvda que ermanece dz reseto à escolha adequada do número de Sf. Coq. He. Dstânca lgação smles lgação comleta Gruos Fgura 3 Coefcente de fusão Para analsar a fgura 3 é necessáro verfcar a artr de qual gruo a curva torna-se quase aralela a um dos exos (nesse caso ao exo horzontal), os quando sso ocorre tem-se um número ótmo de gruos ara determnado conjunto de dados. Para a lgação comleta o coefcente de fusão traz alterações mas sgnfcatvas até o tercero gruo, ortanto o número de gruos escolhdos odera ser 5. Já ara a lgação smles essa análse é um ouco mas comlexa, talvez nesse caso a escolha ótma fosse Comonentes Prncas Fo realzada a análse de comonentes rncas ara verfcar a correlação das doenças esqusadas no decorrer de 5 anos. A tabela 3 traz todas as varáves e seus resectvos números de casos no decorrer desses 5 anos. Tabela 3 Número de casos das doenças esqusadas Varáves Número de casos (Doenças) 3 4 A B C D E 5 4 F G 36 H 5 I J 4

5 Para alcar comonentes rncas é necessáro utlzar a matrz de covarânca ou de correlação. A matrz de covarânca é dada or: 734, 886, 69, , , 37,44 838,778 59,489 = 69, ,778 86,944 93,78 359,333 59,489 93,78 49,989 46,556 43, 8, 49,556 46,556 43, 8, 49,556 39,889 Observando a matrz ode-se erceber que as varâncas são muto grandes. Assm, se essa matrz for utlzada no método de comonentes rncas ode-se chegar a resultados errôneos. Portanto, ara que sso não aconteça, os dados foram adronzados, e fo utlzada a matrz de correlação, a qual é dada or:,,883,59,597,645,883,,55,63,588 ρ =.,59,55,,943,96,597,63,943,,976,645,588,96,976, Observando a matrz de correlação ode-se erceber que a maor correlação ocorre entre 3 e 4 (correlação de,976). Já a menor correlação ocorre entre e (correlação de,55). Esses resultados odem ser confrmados analsando os dados da tabela 3. Os comonentes rncas obtdos no MINITAB são: Y = -,43x -,43x -,46x 3 -,475x 4 -,478x 5 Y =,554x +,598x -,383x 3 -,34x 4 -,3x 5 Y 3 =,646x -,59x +,49x 3 -,4x 4 +,98x 5 Y 4 =,64x -,3x -,759x 3 +,64x 4 +,53x 5 Y 5 = -,79x +,76x +,53x 3 -,67x 4 +,66x 5 Note que o rmero comonente rncal exlca uma roorção de λ 5 =, % (tabela 4) da varânca oulaconal total. Já as duas rmeras comonentes rncas exlcam ( λ + λ ) 5 =, 96 96% da varânca oulaconal total. Além dsso, ode-se verfcar, analsando a tabela 4, que o tercero, quarto e qunto comonentes rncas trazem uma contrbução de aenas,9%,,9% e,% resectvamente. O rmero comonente rncal é (aroxmadamente) uma soma de esos guas, os todas as varáves têm ratcamente o mesmo eso. Já a segunda comonente rncal contrasta os anos de e. com os anos de, 3 e 4. Além dsso, ode-se erceber que os anos de 3 e 4 têm ratcamente a mesma mortânca ara esse comonente rncal (o que era eserado os a correlação entre essas duas varáves é muto alta). A baxa correlação entre os anos de e também ode ser verfcada nessa comonente, vsto que essas duas varáves se contrastam. O tercero, quarto e qunto comonentes rncas não são fáces de ser nterretados e coletvamente reresentam a varação esecífca de cada ano. De qualquer forma, eles não exlcam muto da varação total. Tabela 4 Autovalores da matrz de correlação calculada no MINITAB corresondentes as varáves λ 3,95,85,4,4,5 Portanto, uma dúvda que ermanece dz reseto ao número de comonentes rncas que se deve utlzar. Se o número de comonentes rncas for muto equeno ode haver uma redução exagerada da dmensonaldade e muta nformação ode ser erdda. Se for grande, ode não atender aos objetvos de redução. Na lteratura exstem város crtéros que auxlam na tomada de decsão. De acordo com o crtéro de Kaser, no caso onde se utlza a matrz de correlação, deve-se manter a análse ara os autovalores maores que um (Tabela 4). Assm, nessa alcação aenas um comonente rncal sera necessáro (tabela 4). Além de outros métodos, exste também o Scree Plot. Nesse método os autovalores são reresentados através de um gráfco, a sugestão é fazer o corte quando a varação assa a ser equena. A fgura 4 lustra o gráfco. Autovalores Número de comonentes Fgura 4 Scree Plot Scree Plot Observando a fgura 4 ode-se erceber que a varação assa a ser menor deos do segundo comonente rncal. Mas, essa varação assa a ser realmente

6 equena deos do tercero comonente rncal. Portanto, três comonentes rncas seram sufcentes. 4.. Segurança As análses de agruamento e comonentes rncas também foram alcadas em dados de Segurança Públca de Presdente Prudente e Regão, totalzando muncíos. As observações utlzadas foram coletadas mensalmente durante 3 anos:, e 3. Tas dados foram obtdos no Centro de Assnalação Crmnal da Delegaca Secconal de Presdente Prudente Agruamento Os crmes regstrados nos dstrtos olcas foram classfcados em varáves: c - Furtos smles e qualfcado; c - Roubo; c 3 - Furto e roubo de veículos; c 4 - Lesões cororas dolosas; c 5 - Homcídos dolosos consumados; c 6 - Armas de fogo areenddas; c 7 - Lesões cororas culosas em acdentes de trânsto; c 8 - Homcído culoso em acdente de trânsto; c 9 - Estelonato e fraudes dversas; c - Atos nfraconas. A artr da quantdade de crmes ocorrdos em cada varável foram calculadas as dstâncas entre as varáves utlzando os métodos de lgação smles e lgação comleta no software MINITAB. A fgura 5 lustra o dendograma da lgação smles. 94,6 96,4 gç furtos e roubos, lesões cororas culosas em acdentes de trânsto, estelonato e fraudes dversas (varáves c, c, c 3, c 7 e c 9 ) aresentam uma maor smlardade entre s. Posterormente, homcídos dolosos consumados e armas de fogo (varáves c 5 e c 9 ), são agruados com 97,7% de smlardade, os, geralmente, os homcídos são realzados utlzando armas de fogo. Com quase o mesmo grau de smlardade (97,6%), as varáves relaconadas com o lesões cororas dolosas e atos nfraconas (varáves c 4 e c ) são agruadas. Este resultado também é bastante coerente, os, os atos nfraconas realzados or menores de 8 anos, geralmente, envolvem lesões cororas. Além dsso, é mortante notar que a smlardade destas duas varáves com homcído e armas (varáves c 5 e c 9 ) é menor, os, o número de menores de 8 anos que ortam armas ou cometem homcídos também é bem menor. A fgura 6 aresenta o dendrograma de smlardade utlzando a lgação comleta ara as varáves utlzadas. 89,9 9,73 96,36, C C C7 C3 gç C9 C8 Varáves Fgura 6 Dendrograma utlzando lgação comleta Comarando os resultados obtdos nas lgações smles e comleta, verfca-se que os mesmos são bem smlares. Para realzar a escolha adequada do número de gruos, o coefcente de fusão fo lotado na fgura 7. C5 C6 C4 C 98,, C C C7 C9 C3 C5 Varáves Fgura 5 Dendrograma utlzando lgação smles Na lgação smles as varáves são agruadas de acordo com o maor grau de smlardade entre elas. Verfca-se, a artr da fgura 5, que as varáves relaconadas com C6 C8 C4 C Dstânca,3,5,,5,,5 lgação smles lgação comleta Gruos Fgura 7 Coefcente de fusão Verfca-se que ara a lgação smles o coefcente de fusão traz alterações mas

7 sgnfcatvas até o tercero gruo. Já ara a lgação comleta, o número de gruos a ser escolhdo deve ser Comonentes Prncas Nesta seção são aresentadas as análses de comonentes rncas realzadas utlzando a matrz de correlação de todos os dados dsoníves, nclusve as ocorrêncas contra mulheres e cranças de cada uma das varáves, as quas são regstradas na DDM (Delegaca da Mulher) e não nos dstrtos olcas. Devdo ao fato da grande quantdade de varáves e combnações lneares ossíves, otou-se or analsar rmeramente os autovalores (Tabela 5) ara verfcar o número sufcente de comonentes rncas. Tabela 5 Autovalores da matrz de correlação calculada no MINITAB corresondentes as varáves λ 9,4,3,,4,,,8,, Pelo crtéro de Kaser, devera ser utlzado aenas o rmero comonente rncal, os, aenas o rmero autovalor (Tabela 5) é maor do que, já que a matrz de correlação é utlzada. Por outro lado, observando os autovalores reresentados no Scree Plot (fgura 8), ercebe-se que deos do tercero comonente rncal ratcamente não exste dferença entre os autovalores, ndcando o uso de 3 comonentes rncas. Autovalores Sc ee o de C C Número de Comonentes Fgura 8 Scree Plot Em relação à orcentagem exlcada elos comonentes rncas, os três rmeros comonentes exlcam 97,8% da varânca total amostral. Conseqüentemente, a varação amostral está muto bem sumarzada elos 3 comonentes e a redução nos dados de mutas observações em varáves ara 3 comonentes rncas é sgnfcatva. Assm, os autovetores resectvos aos três autovalores são utlzados ara determnar os três comonentes rncas: 8 9 Y = -,33x -,33x -,3x 3 -,9x 4 -,3x 5 -,3x 6 -,37x 7 -,3x 8 -,3x 9 -,3x Y = -,x -,x -,8x 3 +,68x 4 +,9x 5 +,9x 6 -,38x 7 -,5x 8 -,3x 9 +,43x Y 3 =,x +,x -,x 3 -,5x 4 +,76x 5 +,39x 6 -,x 7 -,5x 8 -,4x 9 -,3x O rmero comonente é (aroxmadamente) uma méda artmétca dos tos de crmes. O segundo comonente arece ser domnado elas as varáves 4 e, ou seja, lesões cororas dolosas e atos nfraconas, as quas são bastante correlaconadas. No tercero comonente, a varável 5 relatva aos homcídos dolosos consumados se sobressa. Além dsso, este comonente contrasta os atos nfraconas com as armas de fogo, ou seja, ndca que os atos nfraconas são nversamente roorconas ao número de armas de fogo areenddas. 5. CONSIDERAÇÕES FINAIS Neste artgo foram aresentados asectos teórcos e rátcos ara analsar uma grande quantdade de dados. Trata-se de métodos mortantes ara reduzr os dados e facltar a nterretação dos mesmos. A artr das alcações realzadas ôde-se conclur que a Análse Multvarada, em esecal os métodos de agruamento e comonentes rncas, são muto mortantes na análse de dados de dferentes áreas. AGRADECIMENTOS As duas autoras agradecem a FAPESP elo auxílo fnancero restado medante bolsa de doutorado (Processos: 3/77- e 3/77-3) REFERÊNCIAS [] W. R. Dllon; M. Goldsten, Multvarate Analyss Methods and Alcatons, John Wley & Sons, Estados Undos, 984. [] R. A. Johnson; D. W. Wchern, Aled Multvarate Statstcal Analyss, Prentce Hall, New Jersey,. [3] K. V. Marda; J. T. Kent; J. M. Bbby, Multvarate Analyss, Academc Press, San Dego, 979.