SCC5895 Análise de Agrupamento de Dados

Transcrição

1 S5895 Análse de Agrupamento de Dados Algortmos Herárqucos: Parte II Prof. Eduardo Raul Hruschka PPG-M / IM / USP

2 rédtos Parte do materal a segur consste de adaptações e extensões dos orgnas: Elaborados por Eduardo R. Hruschka e Rcardo J. G. B. ampello de (Tan et al., 2006) de E. Keogh (SBBD 2003) Algumas fguras foram gentlmente ceddas por Lucas Vendramn 2

3 Agenda ontnuação de Algortmos Herárqucos Average Lnkage (UPGMA) Varantes: WPGMA, UPGM, WPGM Método de Ward Esquema de Lance-Wllams Métodos Monótonos e Não Monótonos Métodos Dvsvos Heurístca de MacNaughton-Smth (DIANA) Bsectng k-means Sngle Lnkage va Árvores Geradoras Mínmas em Grafos omplexdade omputaconal 3

4 Relembrando Agrupamento Herárquco... Bottom-Up (métodos aglomeratvos): - Incar colocando cada objeto em um cluster - Encontrar o melhor par de clusters para unr - Unr o par de clusters escolhdo - Repetr até que todos os objetos estejam reundos em um só cluster Top-Down (métodos dvsvos): - Incar com todos objetos em um únco cluster - Sub-dvdr o cluster em dos novos clusters - Aplcar o algortmo recursvamente em ambos, até que cada objeto forme um cluster por s só Keogh, E. A Gentle Introducton to Machne Learnng and Data Mnng for the Database ommunty, SBBD 2003, Manaus. 4

5 How to Defne Inter-luster (Ds)Smlarty p1 p2 p3 p4 p5... (Ds)Smlarty? p1 p2 MIN (aula anteror) MAX (aula anteror) Group Average Dstance Between entrods Other methods Ward s p3 p4 p5... Proxmty Matrx Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

6 How to Defne Inter-luster (Ds)Smlarty p1 p2 p3 p4 p5... p1 p2 p3 p4 MIN MAX Group Average Dstance Between entrods Other methods Ward s p5... Proxmty Matrx Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

7 Average Lnkage ou Group Average Dstânca entre clusters é dada pela dstânca méda entre cada par de objetos (um de cada cluster) Também conhecdo como UPGMA : Unweghted Par Group Method usng Arthmetc averages unweghted cada par de objetos possu a mesma mportânca Fgura por Lucas Vendramn 7

8 luster Smlarty: Group Average Proxmty of two clusters s the average of parwse proxmty between ponts n the two clusters. pluster p luster proxmty(p,p j j proxmty(luster, luster j) luster luster Need to use average connectvty for scalablty snce total proxmty favors large clusters I1 I2 I3 I4 I5 I I I I I Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº Exercíco: Gerar a herarqua. j j )

9 Herarchcal lusterng: Group Average Exercíco: atrbua valores de dstânca entre os pontos ao lado, que sejam condzentes com a fgura, e monte o dendrograma. Nested lusters Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

10 Herarchcal lusterng: Group Average Group Average represents a compromse between Sngle and omplete Lnk Strengths Less susceptble to nose and outlers Lmtatons Based towards globular clusters Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

11 omo omparar os lusters? Sngle x omplete x Average: Sngle Lnkage: apaz de detectar clusters de formas complexas No entanto, muto sensível a ruído nos dados (e.g. pontes ) Fgura por Lucas Vendramn Fgura por Lucas Vendramn 11

12 omo omparar os lusters? Sngle x omplete x Average: omplete Lnkage: Reduz sensbldade a ruído (e.g. pontes entre clusters) No entanto: aumenta rsco de separar clusters grandes perde capacdade de detecção de formas complexas Average Lnkage: favorece clusters globulares Também favorece clusters bem comportados (globulares) Mas é muto menos sensível (mas robusto) a ruído e outlers. 12

13 Atualzação da Matrz de Proxmdades Para fns de atualzação da matrz de (ds)smlardade em average lnkage, o cálculo da (ds)smlardade entre um novo cluster (dado pela unão de outros dos) e os demas deve consderar o no. de objetos em cada cluster envolvdo já que average lnkage calcula uma méda. Especfcamente, sendo o número de objetos em um cluster e d(, j ) a (ds)smlardade entre dos clusters e j, é smples mostrar que (vde Lance-Wllams / exercícos): d j k, d, d, j k j k j j k k 13

14 Obtenha o dendrograma completo de execução do método average lnkage (UPGMA) sobre a matrz de dstâncas abaxo Mostre passo a passo a matrz atualzada (va fórmula do slde anteror) Apresente também a cophenetc matrx correspondente Exercíco: D 1

15 Varante de Average Lnkage Método WPGMA: Weghted Par Group Method usng Arthmetc averages d, j k d, d, Méda artmétca smples das (ds)smlardades entre os grupos não leva em conta as cardnaldades (no. objetos) dos grupos Mesma mportânca aos grupos, ndependente dos tamanhos equvale a dar maor mportânca (peso) às (ds)smlardades envolvendo os objetos do grupo de menor tamanho ( j ou k ) reduz o peso dos objetos do grupo de maor tamanho j 2 k 15

16 21 Método de Ward (1963) Método baseado na mnmzação do rtéro de Erro Quadrátco (varâncas ntra-grupos) a cada nova partção: onde d = Eucldana e x é o centróde do -ésmo cluster: k j j d J 1 2, x x x x x x 1

17 Método de Ward Dssmlardade entre cada par de grupos e j defnda como a varação no crtéro J da partção corrente se esses grupos forem undos para formar a partção segunte na sucessão herárquca unr os 2 grupos mas smlares sgnfca mnmzar o crescmento das varâncas ntra-grupos a cada nível da herarqua Vde fórmula de atualzação no esquema Lance-Wllams... 22

18 Lmtações: Método de Ward Assm como Average Lnkage, tende a gerar clusters globulares Fórmula de atualzação só possu nterpretação para dados descrtos por atrbutos numércos e dstânca Eucldana Vantagens: Smlar a Average Lnkage em robustez a ruído e outlers Análogo herárquco do k-means (mesma função objetvo) pode ser usado para ncalzar k-means Jan & Dubes (1988): Several of the comparatve studes dscussed n Secton conclude that Ward s method, also called the mnmum varance method, outperforms other herarchcal clusterng methods 23

19 Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº Herarchcal lusterng: omparson Group Average Ward s Method MIN MAX

20 Vnculação Smples (Sngle Lnkage) Vnculação Méda (Average Lnkage) Vnculação de Ward Keogh, E. A Gentle Introducton to Machne Learnng and Data Mnng for the Database ommunty, SBBD 2003, Manaus. 25

21 26 Esquema de Lance-Wllams (1967) Formulação Parametrzada que abrange todos os métodos vstos anterormente onde sgnfca valor absoluto Algortmo aglomeratvo unfcado atualzação confgurável da matrz de proxmdades k j k j k k j j k j d d d d d d,,,,,,

22 Esquema de Lance-Wllams (1967) Sngle- Lnkage omplete -Lnkage j k 1/2 1/2 0 1/2 1/2 1/2 0 1/2 UPGMA N j / (N j + N k ) N k / (N j + N k ) 0 0 WPGMA 1/2 1/2 0 0 UPGM N j / (N j + N k ) N k / (N j + N k ) (N j N k ) / (N j + N k ) 2 0 WPGM 1/2 1/2 1/4 0 Ward s (N j +N ) / (N j +N k +N ) (N k +N ) / (N j +N k +N ) N / (N j +N k +N ) 0 NOTAS: N, N j e N k são as quantdades de objetos nos grupos, j e k, respectvamente Métodos de centródes (UPGM e WPGM) subsumem dst. Eucldana ao quadrado 27

23 Herarchcal lusterng: Tme and Space requrements O(N 2 ) space snce t uses the proxmty matrx N s the number of ponts O(N 3 ) tme n many cases There are N steps and, at each step, the proxmty matrx must be updated and searched omplexty can be reduced for some approaches Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

24 Métodos Dvsvos Incam com um únco cluster, que é sub-dvddo em 2 Recursvamente sub-dvde cada um dos 2 clusters Até que cada objeto consttua um sngleton Em geral, são menos usados que os aglomeratvos É mas smples unr 2 clusters do que dvdr... número de modos para dvdr N objetos em 2 clusters é (2 N-1 1). Por exemplo, para N=50 exstem 5.63x10 14 maneras de se obter dos clusters! Questão: omo dvdr um cluster? 33

25 Heurístca de MacNaughton-Smth et al. (1964): Para um dado cluster, escolher o objeto mas dstante dos demas Este formará o novo cluster Para cada objeto, calculam-se as dstâncas médas deste aos objetos do cluster orgnal e aos objetos do novo cluster O objeto mas próxmo do novo cluster e mas dstante do cluster orgnal é transferdo para o novo cluster ; repete-se o processo Exemplo (Evertt et al., 2001): D

26 Para este exemplo, objeto 1 é o mas dstante (novo cluster A) Demas objetos permanecem no cluster prncpal (cluster B) lusters obtdos: A={1} e B={2,3,4,5,6,7} Sejam D A e D B as dstâncas médas de um objeto de B em relação aos objetos de A e B, respectvamente: Mas próxmos de A do que de B Objetos B D A D B D B -D A , ,4 16, ,8-15, ,4-12, ,0-19, ,2-19,8 Objeto escolhdo para mudar de cluster Desta forma, obtemos os clusters {1,3} e {2,4,5,6,7} Repetndo o processo temos... 35

27 Objetos B D A D B D B -D A 2 8,5 29,5 12,0 4 25,5 13,2-12,3 5 25,5 15,0-10,5 6 34,5 16,0-18,5 7 39,0 18,7-20,3 Mudar para A Novos clusters: {1,3,2} e {4,5,6,7}. Próxmo passo: todos (D B -D A ) negatvos; Pode-se então repetr o processo em cada cluster acma, separadamente... 36

28 Heurístca de MacNaughton-Smth Exercíco: Aplcar o algortmo herárquco dvsvo com heurístca de MacNaughton-Smth et al. na segunte base de dados: D

29 Bsectng K-means Bsectng K-means algorthm Varant of K-means that can produce a parttonal or a herarchcal clusterng SSE dx j x x j 2, Sum of Squared Errors (para o grupo ) Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

30 Bsectng K-means Example Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

31 Bsectng K-Means Note que fazendo K = N (no. total de objetos) no passo 8 do algortmo, obtemos uma herarqua completa No passo 3, a seleção do grupo a ser b-secconado pode ser feta de dferentes maneras Utlza-se algum crtéro de avalação de qualdade dos grupos, para eleger o por. Por exemplo: Dâmetro máxmo (sensível a outlers) SSE normalzado pelo no. de objetos do grupo (mas robusto) rtéros de avalação de grupos ndvduas que consderam os objetos nos demas grupos (veremos posterormente no curso) 40

32 Bsectng K-Means omplexdade omputaconal k-means roda em O(Nkn) *, mas, como k = 2, tem-se O(Nn) Assummos por smplcdade que no_of_teratons = 1 no passo 4 Por aso: cada dvsão separa apenas 1 objeto dos demas O( Nn + (N-1)n + (N-2)n n) O(N 2 n) Melhor aso: cada dvsão separa o grupo de forma balanceada Árvore bnára com log 2 N níves, cada um somando N objetos O(n N log 2 N) * Assumndo dstânca com complexdade lnear no no. de atrbutos 41

33 Bsectng K-Means Um problema deste algortmo é que as dvsões va execução de k-means (dscutdo posterormente no curso) com k = 2 grupos podem quebrar grupos naturas Essas quebras não poderão ser corrgdas. Exemplo: Fgura por André Fontana 42 Fgura por André Fontana

34 Bsectng K-Means Nota: se queremos uma partção com k grupos: ao nvés da herarqua podemos refnar a solução obtda com k grupos executando o própro k-means com k = k No exemplo anteror: refnar a solução com 10 grupos executando k-means com k = 10 protótpos ncas guas aos fnas obtdos va bsectng k-means vde fguras a segur 43

35 Bsectng K-means Example Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

36 Bsectng K-Means Example 45

37 MST: Dvsve Sngle-Lnkage lusterng Buld MST (Mnmum Spannng Tree) for the proxmty graph Start wth a tree that conssts of any pont In successve steps, look for the closest par of ponts (p, q) such that one pont (p) s n the current tree but the other (q) s not Add q to the tree and put an edge between p and q Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

38 MST: Dvsve Sngle-Lnkage lusterng Use MST for constructng herarchy of clusters Tan,Stenbach, Kumar Introducton to Data Mnng 4/18/2004 nº

39 Sngle-Lnkage va MSTs O método para construção de Árvores Geradoras Mínmas (MSTs) descrto anterormente é chamado de Algortmo de Prm Outro método smlar que também pode ser utlzado é o Algortmo de Kruskal omece com cada objeto sendo uma MST Forme uma nova MST conectando as duas MSTs mas próxmas através da menor aresta entre elas Repta até que se tenha uma únca MST 50

40 Sngle-Lnkage va MSTs Observe a relação dreta entre o algortmo de Kruskal para MSTs e o algortmo sngle-lnkage De fato, o procedmento dvsvo subsequente à construção da MST é desnecessáro nesse caso MSTs parcas correspondem a grupos Aresta mínma entre duas MSTs undas a cada passo corresponde à dstânca entre dos grupos undos Armazenando as MSTs parcas e as arestas de lgação, obtemos o sngle-lnkage aglomeratvo torna mas evdente a relação entre sngle-lnkage e MSTs

41 Sumáro dos Métodos Herárqucos No. de lusters: não necesstam especfcar o número de clusters a pror, mas de qualquer forma é necessáro seleconar a posteror... Procedmento Guloso: não se pode reparar o que fo feto num passo anteror não necessaramente leva à solução ótma Escalabldade: complexdade de tempo (N 2 ); N = no. de objetos Interpretabldade: Produz uma herarqua, que é aqulo desejado em mutas aplcações (e.g. taxonoma), e permte análse de outlers álculo Relaconal: Não demandam matrz de dados orgnal 53

42 Letura Sugerda Seções 3.1 e 3.2 de (Jan & Dubes, 1988) 54

43 Referêncas Jan, A. K. and Dubes, R.., Algorthms for lusterng Data, Prentce Hall, 1988 Evertt, B. S., Landau, S., and Leese, M., luster Analyss, Arnold, 4 th Edton, 2001 Tan, P.-N., Stenbach, M., and Kumar, V., Introducton to Data Mnng, Addson-Wesley, 2006 Gan, G., Ma,., and Wu, J., Data lusterng: Theory, Algorthms and Applcatons, ASA SIAM, 2007 Gordon, A. D., Herarchcal lassfcaton, Em Arabe et al. (Eds.), lusterng and lassfcaton, World Scentfc,