Agrupamento de dados. Critério 1: grupos são concentrações de dados k-means Critério 2: grupos são conjuntos de elementos próximos entre si espectral

Transcrição

1 Agrupamento de dados Critério 1: grupos são concentrações de dados k-means Critério 2: grupos são conjuntos de elementos próximos entre si espectral

2 Dados e grafos Se temos dados x i, i 0... n, criamos grafo com arestas ponderadas de similaridades Objetivo: particionar grafo tal que arestas em um grupo tem pesos altos e arestas entre grupos tem pesos baixos

3 Criação de grafos de similaridades W ij = exp x i x j 2 σ 2 i e j indicam vértices, x i, x j indica vetores de dados, W indica matriz de similaridades σ controla tamanho da vizinhança

4 Cenário simplificado: corte de um grafo em 2 grupos Problema do corte mínimo: min-cut Obter sub-grafos A e B tal que o corte é mínimo: cut(a, B) = Costuma isolar vértices i A,j B w ij Figura: Fonte: Aarti Singh (2010) e Shi & Malik (2000)

5 Particionamento em 2 grupos com corte normalizado Corte entre A e B de ser mínimo e tamanho de A e B devem ser similares ( 1 Ncut(A, B) = cut(a, B) vol(a) + 1 ) vol(b) onde vol(a) = i A d i e o grau de i é d i = n j=1 w ij Spectral clustering é uma relaxação deste problema

6 Laplaciano de um grafo D é a matriz de grau dos vértices com d i na diagonal principal W é a matriz de adjacências ponderadas L = D W é o Laplaciano do grafo: grau(v i ) se i = j L i,j = w ij se i j e v i adjacente a v j 0 caso contrário

7 Corte normalizado e Laplaciano de um grafo Corte normalizado: Ncut(A, B) = cut(a, B) ( 1 Seja f = [f 1 f 2... f n ] T com f i = { 1 vol(a) 1 vol(b) vol(a) + 1 vol(b) se i A se i B )

8 Reescrita no formato de álgebra de matrizes 2f T Lf = ij w ij(f i f j ) 2 = ( ) 2 i A,j B w 1 ij vol(a) + 1 vol(b) f T Df = j d if 2 i 1 vol(a) + 1 vol(b) Ncut(A, B) = 2 ft Lf f T Df = i A d i vol(a) 2 + j B d j vol(b) 2 = Então, o objetivo do corte normalizado é min ft Lf f T Df

9 Prova que f T Lf = ij w ij(f i f j ) 2 Seja f = [f 1 f 2... f n ] T com f i = Da definição de L temos f T Lf = f T Df f T Wf = n i=1 d ifi 2 n i,j=1 f if j w ij = 1 2 ( n i=1 d if 2 i = 1 2 n i,j=1 w ij(f i f j ) 2 { 1 vol(a) 1 vol(b) 2 n i,j=1 f if j w ij + n j=1 d jf 2 j se i A se i B )

10 Relaxação do corte normalizado O problema de corte torna-se encontrar f: min Ncut(A, B) = min ft Lf f T Df s.a. ft D1 = 0 Usando o teorema do quociente de Rayleigh, e relaxar para f R n a solução é o auto-vetor com o segundo menor auto-valor de: Lf = λdf Obter grupos ao separar f entre positivos e negativos Comentários: Para auto-vetor v e auto-valor λ da matriz A: Av = λv Se f é auto-vetor com auto-valor 0, então Lf = 0 f T Lf = 0 n Então 0 = i,j=1 w ij(f i f j ) 2 Se vi e v j são conectados então f i = f j Se grafo tem somente um componente conectado então somente um auto-vetor constante 1 tem auto-valor 0

11 Xing 2001 (DOI: /bioinformatics/17.suppl 1.S306)

12 Xing 2001 (DOI: /bioinformatics/17.suppl 1.S306)

13 Como particionar em k grupos? Receber matriz de similaridades W e k e computar laplaciano L Computar k auto-vetores f 1,..., f k com menores auto-valores associados Montar matriz F R n k Interpretar colunas de F como novos pontos de dados F i R k f 1 f 2 f 3 Z 1 f 11 f 12 f Z n f n1 f n2 f n3 Agrupar pontos Z i usando k-means

14 Como funciona Se grafo é conectado, então eigenvector 1 é constante Outros autovetores podem ser usados para separar grupos

15 Como funciona Dados são projetados em um espaço fácil de separar os grupos

16 Escolha de número de grupos k Como escolher número de grupos k Usar o k que é a maior diferença entre auto-valores consecutivos k = λ k λ k 1

17 Outras questões Escolha de medida de similaridade: kernel Escolha de parâmetros do kernel: gaussiana σ Modo de agrupamento De dois em dois Usando k-médias Dificuldade computacional para obter auto-vetores Equivalência a k-médias com kernel apropriado (Dhillon et al., 2007)

18 Algoritmo para computar auto-vetores Queremos encontrar k autovetores f de L Exemplo de algoritmo Usar algoritmo de Lanczos para transformar L (matriz positiva-definida) em uma matriz tri-diagonal Autovalores λi estarão na diagonal de Autovetores para cada λi serão solução de ( λ i I)v = 0

19 Algoritmo de Lanczos Calcula-se auto-vetor da matrix A Elementos na diagonal são α i e fora da diagonal são β j m 1.5k, se queremos k auto-vetores Usar métodos para garantir estabilidade v 0 0 v 1 vetor aleatório com norma 1 β 1 0 for j = 1,..., m 1 do w j Av j α j w j v j w j w j α j v j β j v j 1 β j+1 w j v j+1 w j β j+1 end for w m Av m α m w m v m

20 Equivalência entre clustering spectral e kernel k-means kernel k-means = weighted graph clustering (Dhillon et al, 2007) Ideia da prova: kernel k-means pode ser escrito como maximização do traço de uma matriz baseado nas similaridade entre instâncias agrupamento espectral também pode ser escrito no mesmo tipo de maximização do traço

21 Kernel k-means Kernel K(x i, x j ) = φ(x i ) φ(x j ) As k-médias estão no espaço de características φ: µ φ i A função objetivo será µ φ i = 1 n i min C SSE(C) = x j C i φ(x j ) k i=1 x j C i φ(x j ) µ φ i 2 Objetivo somente em termos do Kernel K(, ) n k 1 SSE(C) = K(x j, x j ) n i j=1 i=1 x a C i x b C i K(x a, x b )

22 Atribuição de pontos a grupos Para calcular a distância à média Após expandir φ(x j ) µ φ i 2 = φ(x j ) 2 2φ(x j ) T µ φ i + µ φ i 2 φ(x j ) µ φ i 2 = K(x i, x j ) 2 n i x a C i K(x a, x j )+ 1 n 2 i x a C i x b C i K(x a, x b ) Usar somente os dois últimos termos para encontrar a média mais próxima

23

24 Expectation-maximization soft clustering Cada cluster é gerado por uma gaussiana { } 1 f i (x) = f (x µ i, Σ i ) = exp (x µ i) T Σ 1 i (x µ i ) (2π) d 2 Σ i Onde: fi (x) é a distribuição de probabilidades do cluster i µi R d é a média do cluster i Σi é a matriz de correlações do cluster i Cada x X tem função probabilidade f (x) = k f i (x)p(c i ) = i=1 k f (x µ i, Σ i )P(C i ) i=1

25 Expectation-maximization soft clustering Objetivo: encontrar parâmetros θ = {µ i, Σ i, P(C i ),...} Supondo que pontos x j D são n amostras independentes de X a verossimilhança é definida como: P(D θ) = n f (x j ) Para encontrar θ, buscamos pela máxima log-verossimilhança: j=1 θ = arg max{log P(D θ)} θ onde ( n k ) log P(D θ) = log f (x j µ i, Σ i )P(C i ) j=1 i=1

26 Maximização da verossimilhança - passo expectation Assumindo θ atual correto, atualizamos P(C i x j ) Usando o teorema de Bayes P(C i x j ) P(C i e x j ) P(x j ) = P(x j C i )P(C i ) k a=1 P(x j C a )P(C a ) Sendo que P(x j C i ) pode ser aproximado por 2ɛ f (x j µ i, Σ i ) = 2ɛ f i (x j ) para um ɛ > 0 pequeno P(C i x j ) é o peso de x j para grupo C i

27 Maximização da verossimilhança - passo maximization Usar pesos P(C i x j ) para reestimar parâmetros θ: µ i 1 n n j=1 x j P(C i x j ) Σ i correlação entre cada par de dimensões de P(C i x j ) x j Se tem poucos dados em comparação ao número de dimensões assumir que dimensões não são correlacionadas P(x j C i ) proporção entre soma de pesos para C i e soma total de pesos

28

29

30

31

32 k-means é um tipo de soft clustering EM { { 1 se Ci = arg min P(x j C i ) = Ca xj µ a 2} 0 caso contrário Como em EM temos P(C i x j ) = P(x j C i )P(C i ) k a=1 P(x j C a )P(C a ) Para k-means temos { 1 se xj C P(C i x j ) = i, i.e. se C i = arg min Ca { x j µ a 2 } 0 caso contrário

33 Referências Xing et al. (DOI: /bioinformatics/17.suppl 1.S306) Apresentação de Aarti Singh (2010) A Tutorial on Spectral Clustering, U. Luxburg (2007) Slides de Eric Xing, M. Hein e U. V. Luxburg DemoSpectralClustering.htm pspectralclustering/pspectralclustering.htm http: // Weighted Graph Cuts without Eigenvectors vectors: A Multilevel Approach, Dhillon et al. (2007)