Clustering (k-means, SOM e hierárquicos)

Transcrição

1 Clustering (k-means, SOM e hierárquicos) André Tavares da Silva andre.silva@udesc.br (Capítulo 10 de Duda e Hart)

2 Clustering Introdução e tipos Roteiro Agrupamentos hierárquicos AGNES, DIANA e Dendogram K-means (k-médias) Modelo Mistura de Gaussianas e EM SOM (Self-Organizing Maps)

3 Clustering Nos casos onde não são conhecidos os rótulos das classes ou mesmo a quantidade de classes, algoritmos de agrupamento (clustering) são utilizados para classificação. Clustering: Dado um conjunto de objetos, colocar os mesmos em grupos baseados na similaridade entre eles Usado para encontrar padrões inesperados nos dados É um problema inerentemente não definido claramente

4 Clustering Como agrupar esses elementos?

5 Possibilidades: Família Simpson Empregados da Escola Feminino Masculino

6 Tipos de clustering Algoritmos de Particionamento: separam um espaço de acordo com algum critério (k-means, SOM,...). Algoritmos hierárquicos: Além da partição espacial, também podem conter subgrupos, ou seja, alguns grupos podem ainda ser subdivididos (multidão pessoa mão dedos...).

7 Agrupamento hierárquico Usam matriz de distância como critério de agrupamento. Necessita de um critério de parada para sair da recursão.

8 Agrupamento hierárquico AGNES (Agglomerative Nesting) Inicialmente cada objeto é um cluster (folha da árvore); Os nós são agrupados pela menor distância (similaridade) recursivamente; Os critérios de parada definidos pelo usuário são: distância mínima, distância máxima, distância média e distância central. No topo da árvore (raiz), todos os elementos estarão em um mesmo cluster.

9 Agrupamento hierárquico DIANA (Divisive Analysis) Inverso do AGNES Inicia com a raiz contendo todos os objetos; recursivamente divide os agrupamentos; Os nós folhas conterão apenas um objeto

10 Agrupamento hierárquico Dendrogram Os objetos (dados,imagens,...) são decompostos em vários níveis de particionamento (árvores de clusters), chamados de dendrograma. Um agrupamento é obtido cortando o dendrogram em um nível preestabelecido Em seguida, os componentes ligados formam um novo aglomerado. Muito usado na Biologia Computacional (ver imagem hominidae ).

11 Algoritmo k-means 1. Decidir um valor para k. 2. Inicializa os k centros de clusters (protótipos) aleatoriamente (ou algum critério predefinido). 3. Decidir a classe (rótulo) dos objetos em Z de acordo com o protótipo mais próximo. 4. Estimar novamente a posição dos protótipos pelo centro do agrupamento, assumindo que a classificação está correta. 5. Enquanto os objetos mudarem de rótulo, volta ao passo 3.

12 Exemplo do algoritmo k-means

13 Considerações sobre k-means Relativamente eficiente O(tkn), onde n é o número de objetos em Z, k é o número de clusters e t é o número de iterações. Frequentemente cai em um mínimo local. Métodos como simulated annealing e algoritmos genéticos são usados para encontrar um mínimo melhor (melhor agrupamento).

14 Considerações sobre k-means Aplicado somente a dados numéricos. Sensível a dados ruidosos e outliers. Não adequado para descobrir agrupamentos em formas não convexas (distribuições não esféricas). É preciso definir o valor de k a priori.

15 Considerações sobre k-means Aplicado somente a dados numéricos. Sensível a dados ruidosos e outliers. Não adequado para descobrir agrupamentos em formas não convexas (distribuições não esféricas). É preciso definir o valor de k a priori. Testar diferentes valores de k e testar qual gera maior separabilidade entre classes e/ou maior compactabilidade interclasses.

16 Considerações sobre k-means Aplicado somente a dados numéricos. Sensível a dados ruidosos e outliers. Não adequado para descobrir agrupamentos em formas não convexas (distribuições não esféricas). É preciso definir o valor de k a priori.

17 Modelo de Misturas Caso o modelo seja conhecido, assume-se que os dados sejam gerados usando o seguinte procedimento: 1. Pegar um dos k componentes de acordo com P(Z k ). Este procedimento seleciona uma classe rotulada Z k. 2. Gerar uma nuvem de pontos pela amostragem de p(x Z k ).

18 Modelo de Misturas Resulta na distribuição de probabilidade de um ponto p(x): K p( x)= k =1 P (Z k ) p( x Z k ) onde p(x Z k ) é qualquer distribuição (gaussiana, poisson, exponencial,...).

19 Modelo Mistura de Gaussianas (MMG) O modelo mais comum de modelo de mistura é o de gaussianas MMG. Modelo do cluster: distribuição normal (média, covariância). Assume-se que as medidas sejam iguais para todos os clusters. Probabilidade máxima: média é a de todas as amostras.

20 Modelo Mistura de Gaussianas (MMG) Mas: quais pontos pertencem a uma mesma amostra? para estimar a probabilidade é preciso de um modelo (problema do ovo e da galinha). para resolver o problema, podemos usar o algoritmo EM (Expectation Maximization), que é capaz de encontrar um ótimo local da função de máxima verossimilhança de uma mistura de Gaussianas.

21 Algoritmo EM O EM possui duas etapas iterativas: Expectation Step: Nessa etapa ele calcula a probabilidade de cada ponto pertencer a cada Gaussiana. Além disso, é calculada uma nova estimativa da função de verossimilhança utilizando a equação: P( d w k i c k ) i w k Pr( d N i Pr( d c k i ) c k ) j w j Pr( d i c j )

22 Algoritmo EM Maximation step: Nessa etapa, as componentes da mistura são maximizadas (estimativa dos parâmetros do modelo) k m 1 d P( di ck ) m 1 P( d c ) i i k i j

23

24

25 Iteração 1 Ponto médio dos clusters são estimados aleatoriamente

26 Iteração 2

27 Iteração 5

28 Iteração 25

29 Considerações sobre EM Parâmetro k é definido a priori. Converge para um mínimo local. k-means é um caso especial (hiperesferas em vez de hiperelipsóides).

30 SOM (Self-Organizing Maps - Mapas Auto-Organizáves) Assim como k-means, o número de clusters deve ser definido a priori; Diferente do k-means, no SOM há uma ordenação topológica dos clusters.

31 SOM Definir número de clusters: 6

32 SOM Posicionar uma grade com seis nós

33 SOM P Um padrão P é selecionado aleatoriamente

34 SOM P NP O nó N P mais próximo a P é selecionado

35 SOM P NP A posição do nó N P é ajustada

36 SOM Q NQ O padrão Q é selecionado aleatoriamente

37 SOM Q NQ A posição do nó N Q é ajustada

38 SOM Repetir até que o critério de parada seja satisfeito

39 Considerações sobre SOM Número k de clusters é definido a priori Não-determinístico inicializações aleatórias dos pesos Define a ordenação topológica dos aglomerados Resultado depende de muitos parâmetros: inicializações de pesos, taxa de aprendizado, taxa de vizinha, número de iterações...

40 Outros modelos Uso de Análise de Componentes Principais Agrupamento dinâmico Variação do k-means (k-medoids,...) Algoritmo de agrupamento baseado em árvore geradadora mínima (minimal Spanning trees) Self-Organizing Tree algorithm Mapas de Kohonen Nearest Neighbor Clustering (não confundir com Knn)