Sumário. RObust Clustering using links ROCK. Thiago F. Covões. Motivação. Motivação. Links. Market basket analys. Motivação

Transcrição

1 Sumário RObust Clustering using links ROCK Thiago F. Covões Motivação Links Função de qualidade Algoritmo Vantagens/Desvantagens SCC5895Análise de Agrupamento de Dados 1 2 Motivação Atributos categóricos/nominais/discretos Caso específico: booleanos Market basket analys sis <Leite, Manteiga, Pão> <Leite, Bolacha, Suco> Motivação Porque um novo algoritmo? Algoritmos baseados em distância euclidiana não são interessantess Medida de similaridad de: Coeficiente de Jaccard Grupos com sobreposição de items 3 4

2 Motivação Motivação Exemplo: T 1 = {Pão, Refrigerante, Sal Grosso}; T 2 = {Pão, Refrigerante, Fralda}; T 3 = {Pão, Cerveja, Pican nha}; T 4 = {Sal Grosso, Picanha, Farofa}; T 5 = {Sal Grosso, Picanha, Maminha}; T 6 = {Refrigerante, Fralda, Hipoglós}; T 7 = {Fralda, Hipóglos, Lenço Umedecido}; T 8 = {Hipoglós, Lenço Umedecido, Papinha}; Single Complete 5 6 Vizinhos Como distinguir entree grupos quando há forte sobreposição? Considerar os vizinho os em comum entre dois objetos Definindo θ O coeficiente de Jaccard pode assumir um número finito de valores: Min( T 1, T 2 ) +1 Vizinhos No exemplo: Todas as transações têm 3 items Valores possíveis: 0/6 1/5 2/4 3/3 7 8

3 Exemplo: Vizinhos de T 1 θ=0,2 (1/5) T 1 = {Pão, Refrigerante, Sal Grosso}; T 2 = {Pão, Refrigerante, Fralda}; T 3 = {Pão, Cerveja, Pican nha}; T 4 = {Sal Grosso, Picanha, Farofa}; T 5 = {Sal Grosso, Picanha, Maminha}; T 6 = {Refrigerante, Fralda, Hipoglós}; T 7 = {Fralda, Hipóglos, Lenço Umedecido}; T 8 = {Hipoglós, Lenço Umedecido, Papinha}; Exemplo: Vizinhos de T 1 θ=0,2 (1/5) T 1 = {Pão, Refrigerante, Sal Grosso}; T 2 = {Pão, Refrigerante, Fralda}; T 3 = {Pão Pão, Cerveja, Pican nha}; T 4 = {Sal Grosso, Picanha, Farofa}; T 5 = {Sal Grosso, Picanha, Maminha}; T 6 = {Refrigerante Refrigerante, Fralda, Hipoglós}; T 7 = {Fralda, Hipóglos, Lenço Umedecido}; T 8 = {Hipoglós, Lenço Umedecido, Papinha}; 9 10 Exemplo: Vizinhos de T 1 θ=0,5 (2/4) T 1 = {Pão, Refrigerante, Sal Grosso}; T 2 = {Pão, Refrigerante, Fralda}; T 3 = {Pão, Cerveja, Pican nha}; T 4 = {Sal Grosso, Picanha, Farofa}; T 5 = {Sal Grosso, Picanha, Maminha}; T 6 = {Refrigerante, Fralda, Hipoglós}; T 7 = {Fralda, Hipóglos, Lenço Umedecido}; T 8 = {Hipoglós, Lenço Umedecido, Papinha}; Links link(t i,t ) j é o número de vizinhos comuns a T i e T j Grafo de vizinhos: Número de caminhos de tamanho 2 distintos 11 12

4 Exemplo: link(t 1,T 2 ) ; θ=0,2 T 1 = {Pão, Refrigerante, Sal Grosso}; T 2 = {Pão, Refrigerante, Fralda}; T 3 = {Pão, Cerveja, Pican nha}; T 4 = {Sal Grosso, Picanha, Farofa}; T 5 = {Sal Grosso, Picanha, Maminha}; T 6 = {Refrigerante, Fralda, Hipoglós}; T 7 = {Fralda, Hipóglos, Lenço Umedecido}; T 8 = {Hipoglós, Lenço Umedecido, Papinha}; ROCK Algoritmo hierárquico Aglomerativo Utiliza links no lugar das proximidades Como definir qual par de grupos deve ser unido? Links Cruzados Função de qualidade Número de links cruzados entre dois grupos Grupos maiores dominam Necessário normalizar 15 16

5 Função de qualidade Função de qualidade Número esperado de links em um grupo Assumindo que existe uma função f(θ) tal que o número de vizinhos de cada objeto do grupo C i é aproximadamente n f(θ) i n i 1+2f(θ) (n i + n j ) ) 1+2f(θ) n j 1+2f(θ) n i é o número de objetos no grupo C i Cada objeto contribui n i Portanto, o esperado são n 1+2f(θ) i links i 2f(θ) links Função de qualidade Função de qualidade Qualidade da união dos grupos C i e C j Como definir f(θ)? Para este tipo de base de dados, uma possível função é: θ=1 f(θ)=0 n 0 i = 1 θ=0 f(θ)=1 n i1 = n i 19 20

6 Algoritmo Três etapas principais Cálculo dos links Cálculo dos Links Seja A NxN uma matriz de adjacências onde a ij =1 se T i e T j são vizinhos e 0 caso contrário Inicialização de estruturas auxiliares Basta calcular L NxN =A AA Inicialização de estrutura auxiliar Inicialização de estrutura auxiliar Cada objeto inicia em um grupo Para cada grupo é gerada uma lista local Uma entrada para cada grupo que possue pelo menos um link cruzad do O valor da qualidade da união para cada grupo 23 No exemplo (com θ=0,2): link(t 1,T 2 )=2 C 1 Lista local do grupo C C

7 Inicialização de estrutura auxiliar Inicialização de estrutura auxiliar Após a inicialização das N listas locais Inicializase uma lista global, com o valor da melhor união possível para cada grupo No exemplo (com θ=0,2): Lista global C C Lista local de C 1 C Seja: C u = Grupo com maior valor na lista global C v = Grupo com maior valor na lista local de C u Une C u e C v formando C w Substituir entradas referentes a C u e C v em listas locais por C w Número de links entree um grupo e C w é a soma do número de links de C i a C u e C v Uma nova lista local paraa C w é criada Lista global é atualizada No exemplo (com θ=0,2): C u = C 1 = { T 1 }; C v = C 3 = { T 3 } C w = C 1 C 3 = { T 1, T 3 } Grupos que tem C u ou C v em sua lista local: {,,,,, } Vamos considerar a atualização em relação ao grupo 27 28

8 Lista local de Lista global C 1 C {1,3} 0.43 C C Lista global 0.57 Lista local de Próxima iteração C u = = { T 2 }; C v = = { T 8 } C w = = { T 2, T 8 } Grupos que tem C u ou C v em sua lista local: {,,,, } Vamos considerar a atualização em relação ao grupo 31 32

9 Lista local de Lista global C 0.32 {1,3} } 0.57 C 0.32 {1,3} 0.57 C {2,8} {2,8} C {2,8} Resultado Continuando o algoritmo, é obtida a seguinte hierarquia Custo computacional Cálculo dos links O(N 2,37 ) Criação das listas locais usando heaps O(N 2 ) Criação da lista global usando heap O(N) Laço de união dos grupos O(N 2 logn) 35 36

10 (Des)Vantagens Considera informação de vizinhança no agrupamento de objetos Robusto em relação a outliers, já que eles vão ter poucos links, pouco afetam o agrupamento Se o número de grupos for subestimado, o algoritmo para antes Quando não há links entre grupos Pode não obter uma hierarquia completa Referências Guha, S.; Rastogi, R.; Shim, K.; ROCK: a robust clustering algorithm for categorical attributes, In 15th International Conference on Data Engineering, Como definir θ e f(θ)? 37 38