Clustering Using REpresentatives: An Efficient Clustering Algorithm for Large Databases

Transcrição

1 Clustering Using REpresentatives: An Efficient Clustering Algorithm for Large Databases Bilzã Marques de Araújo SCC Análise de Agrupamento de Dados Seminário 09 de Dezembro de 2010 Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 1 / 31

2 Conteúdo 1 Introdução 2 CURE 3 Melhorias - Large Scale Databases 4 Resultados Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 2 / 31

3 Principais Referências Guha, S., Rastogi, R., & Shim, K. (1998). Cure: an efficient clustering algorithm for large databases. In Proceedings of the 1998 ACM SIGMOD international conference on Management of data, SIGMOD 98 (pp ). New York, NY, USA: ACM. Guha, S., Rastogi, R., & Shim, K. (2001). Cure: an efficient clustering algorithm for large databases. Information Systems, 26, Theodoridis, S. & Koutroumbas, K. (2009). Pattern Recognition, (pp ). Academic Press, 4th edition. Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 3 / 31

4 1 Introdução 2 CURE 3 Melhorias - Large Scale Databases 4 Resultados Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 4 / 31

5 Introdução Problema de clustering: Dado um conjunto de objetos, agrupar os objetos em clusters tal que cada objetos em um cluster seja mais similares aos demais objetos no mesmo cluster que a objetos em outros clusters. Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 5 / 31

6 Representantes Quando unem grupos, algoritmos aglomerativos utilizam representantes : centroides, medoides: d mean todos os objetos do grupo: d min, d max, d ave Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 6 / 31

7 Deficiências abordagens clássicas Abordagens clássicas favorecem clusters esféricos e tamanhos similares ou são frágeis na presença de outliers Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 7 / 31

8 1 Introdução 2 CURE 3 Melhorias - Large Scale Databases 4 Resultados Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 8 / 31

9 Clustering Using REpresentatives Técnica de Agrupamento de Dados Hierárquica Cada grupo é representado por min(c, C i ) pontos que descrevem a forma* do grupo Dois grupos, C 1 e C 2, são unidos se C i, C j d cure (C 1, C 2 ) == min(d cure (C i, C j )) d cure (C i, C j ) é a menor distancia entre representantes de C i e C j Os grupos são unidos até que sejam obtidos k grupos Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 9 / 31

10 c objetos bem distribuídos + + Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 10 / 31

11 c objetos bem distribuídos Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 10 / 31

12 c objetos bem distribuídos Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 11 / 31

13 c objetos bem distribuídos Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 11 / 31

14 c representantes Cada representante é encolhidos sentido ao centroide em α p = p + α(x p) + + Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 12 / 31

15 c representantes Cada representante é encolhidos sentido ao centroide em α p = p + α(x p) + + Dois grupos são unidos de acordo com os representantes Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 12 / 31

16 Algoritmo Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 13 / 31

17 Algoritmo Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 13 / 31

18 1 Introdução 2 CURE 3 Melhorias - Large Scale Databases 4 Resultados Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 14 / 31

19 Melhorias - Large Scale Databases Bases de dados com centenas de milhares de objetos Limitações de memória Inviabilidade Computacional O(n 2 log n) Base de dados Amostragem sobre os dados Particionamento das amostras Agrupamento parcial cada partição Elimina outliers Agrupa grupos parciais Rotulação dados no disco Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 15 / 31

20 Amostragem Amostra suficientemente grande preserva características dos grupos e elimina outliers De acordo com Chernoff bounds, para clusters bem definidos (densos intra e esparso inter): s min = ξkρ + kρ log( 1 δ ) + kρ (log( 1 δ ))2 + 2ξ log( 1 δ ) Não depende do número de objetos n, mas sim do número de clusters bem definidos, k Com grupos de densidades variadas é necessário assumir k de acordo com regiões densas Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 16 / 31

21 Particionamento Particionamento da amostra Agrupamento hierárquico até n pq Permite melhor tratamento de outliers* Reduz ainda mais custo computacional a 2 + b 2 < (a + b) 2 Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 17 / 31

22 Remoção de outliers Modelo ainda susceptível a outliers Amostragem e parâmetro α podem não eliminar todo efeito de Uma vez que outliers tendem a ser agrupados no final da hierarquia Grupos com poucos objetos são removidos da amostra ao final de cada partição quando atinge o número de grupos k Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 18 / 31

23 Rotulação em disco Objetos em disco são rotulados de acordo com os representantes de grupos Cada objeto é atribuído ao grupo do representante mais próximo Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 19 / 31

24 1 Introdução 2 CURE 3 Melhorias - Large Scale Databases 4 Resultados Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 20 / 31

25 Comparação com BIRCH e MST n = , s = 2500, c = 10, α = 0.3, p = 1 Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 21 / 31

26 Comparação com BIRCH e MST n = , s = 2500, c = 10, α = 0.3, p = 1 Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 22 / 31

27 Comparação com BIRCH e MST n = , s = 3000, c = 100, α = 0.15, p = 1 Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 23 / 31

28 Fator de encolhimento α n = , s = 2500, c = 10, p = 1, α = [0.1, 0.9] Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 24 / 31

29 Fator de encolhimento α n = , s = 2500, c = 10, p = 1, α = [0.1, 0.9] Quando α = 0 similar ao MST, quando α = 1, similar ao BIRCH Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 24 / 31

30 Número de representantes, c n = , s = 2500, α = 0.3, p = 1, c = [1, 100] Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 25 / 31

31 Número de representantes, c n = , s = 2500, α = 0.3, p = 1, c = [1, 100] Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 25 / 31

32 Tamanho da amostra de representantes, s n = , α = 0.3, c = 10, p = 1, s = [500, 5000] Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 26 / 31

33 Número de partições, p n = , α = 0.3, c = 10, s = 2500, p = [1, 100], Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 27 / 31

34 Performance comparado ao BIRCH Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 28 / 31

35 Performance Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 29 / 31

36 Obrigado pela atenção! Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 30 / 31

37 Bibliografia I Guha, S., Rastogi, R., & Shim, K. (1998). Cure: an efficient clustering algorithm for large databases. In Proceedings of the 1998 ACM SIGMOD international conference on Management of data, SIGMOD 98 (pp ). New York, NY, USA: ACM. Guha, S., Rastogi, R., & Shim, K. (2001). Cure: an efficient clustering algorithm for large databases. Information Systems, 26, Theodoridis, S. & Koutroumbas, K. (2009). Pattern Recognition, (pp ). Academic Press, 4th edition. Bilzã Araújo (SCC AAD) Clustering Using REpresentatives: CURE 31 / 31