Clusterização ou Agrupamento de Dados

Transcrição

1 Resumo da Aula Clusterzação ou Agrupamento de Dados Stanley R. M. Olvera Clusterzação ou análse de agrupamentos: Concetos báscos e aplcações. Tpos de dados em clusterzação. Avalando a qualdade de clusters gerados. Smlardade entre objetos. Métodos de Clusterzação: Partconamento; Herárquco; Baseado em densdade. Outros. O que é análse de agrupamentos? Cluster: uma coleção de objetos Smlares aos objetos do mesmo cluster Dssmlares aos objetos de outros clusters Clusterzação Agrupamento de conjuntos de dados em clusters. Clusterzação é uma classfcação não supervsonada: sem classes predefndas. O que não é Clusterzação? Classfcação supervsonada Possu atrbuto meta com nformação (classes). Segmentação Smples Dvsão de estudantes em dferentes grupos, regstrados em ordem alfabétca, pelo últmo nome. Resultados de uma Consulta O agrupamento é o resultado de uma especfcação eterna. Partconamento de um Grafo Os agrupamento pode ter snerga ou relevânca, mas as áreas não são dêntcas.

2 A noção de um cluster pode ser ambígua Aplcações geras de clusterzação Quantos clusters? Dos Clusters Ses Clusters Quatro Clusters Reconhecmento de padrões. Análse de dados espacas: Cração de mapas temátcos em GIS por meo de agrupamento de característcas espacas Agrupamento de pacentes c/ mesmos sntomas Marketng e busness: segmentação de mercado Web: Classfcação de documentos. Análse de Weblog para descobrr grupos de padrões de acessos smlares. Outros eemplos de aplcações O que é uma boa clusterzação? Marketng: dentfca grupos dstntos de clentes útl para desenvolver programas de marketng. Uso da terra: Identfca áreas usadas com o mesmo propósto em um DB com observações da terra. Seguro: Identfca grupos de clentes que fazem comuncação de snstro com alta freqüênca. Planejamento (cdade): Identfca grupos de casas de acordo com o tpo, valor e localzação geográfca. Uma boa clusterzação sempre produz clusters com: Alta smlardade nas classes (grupos). Baa smlardade entre as classes (grupos). A qualdade dos resultados depende do(a): Medda de smlardade usada. Método e sua mplementação. A qualdade do método de clusterzação é também medda pela sua habldade de descobrr alguns ou todos os padrões esconddos.

3 Clusterzação: Requstos em Mneração Escalabldade. Habldade para ldar com dferentes tpos de atrbutos. Habldade para ldar com dados dnâmcos. Descoberta de clusters com dferentes formatos (shapes). Necessdade mínma de conhecmento do domíno para determnar parâmetros de entrada (nput). Habldade de trabalhar com ruídos e outlers. Insensbldade com relação número de regstros de entrada. Alta dmensonaldade. Incorporação de restrções defndas por usuáros. Interpretabldade e usabldade. Tpos de dados em clusterzação Matrz de dados Matrz de dstâncas n d(,) d(,) : d( n,) f f nf d(,) : d( n,) : p p np Tpos de dados em clusterzação Varáves numércas: Podem ser reas ou nteras. E: temperatura, lattude, longtude, altura, peso, etc. Varáves bnáras: Possuem somente dos estados: ou. Varáves nomnas: Generalzação de varáves bnáras. E: Cores (azul, amarelo, verde, vermelho, etc). Varáves composta de város tpos (mstura) Avalando a qualdade de clusters A smlardade entre dos objetos e j é epressa em termos de dstânca: d(, j). Para cada tpo de varável, este uma função para cálculo de dstânca. Este uma função de qualdade que mede a efcáca de um cluster. Pesos podem ser assocados com dferentes varáves dependendo da aplcação. É dfícl defnr smlardade ou efcáca de um cluster? A resposta é tpcamente subjetva.

4 Normalzação de varáves numércas Normalzação varáves com mesmo peso. Mn-Ma para um atrbuto f: S = f f ( novomaf novomnf ) + novomnf f Z-score mn ma mn f z f Desvo absoluto médo s = ( f n m + m f f f f m f = f σ f + + m f nf f ) Eercíco Usando o software Weka:. Seleconar o dataset rs ;. Normalzar atrbutos usando Mn-ma;. Normalzar atrbutos usando Z-score;. Seleconar o dataset segment-challenge e aplcar Mn-Ma e Z-score para normalzar os seus atrbutos. Onde: n m = ( f f f nf ). Smlardade entre varáves numércas Dstâncas são geralmente usadas para medr a smlardade ou dssmlardade entre objetos. Eemplos ncluem: a dstânca de Mnkowsk: q q q d (, j) = q ( ) p p j onde = (,,, p ) e j = ( j, j,, jp ) são dos objetos p-dmensonal e q é um ntero postvo Quando q =, d é a dstânca de Manhattan d(, j) = + j p p j + + j j j Smlardade entre varáves numércas Quando q =, d é a dstânca Eucldana: d(, j) = ( + j j Propredades: d(,j) d(,) = d(,j) = d(j,) d(,j) d(,k) + d(k,j) + + ) p j p Qual é a dstânca Eucldana e de Manhattan para os pontos: A=(,) e B=(,)?

5 Eercíco. Dados os pontos P = (-,, -); Q = (-,, -); R = (, -, ); S = (,, ), pede-se: a) O centróde dos pontos P, Q, R, S. b) As dstâncas Eucldana e de Manhattan entre os pontos PQ, RS e QS. Smlardade entre varáves bnáras Tabela de contngênca para varáves bnáras: Objeto j sum a b a+ b Objeto c d c+ d sum a+ c b+ d p Smlardade nvarante - varável smétrca (e: seo): d (, j) = b+ c a + b+ c+ d Coefcente de Jaccard - varável assmétrca: d (, j) = b c a+ b+ c Smlardade entre varáves bnáras Eemplo: Nome Seo Febre Tosse Test- Test- Test- Test- Jack M Y N P N N N Mary F Y N P N P N Jm M Y P N N N N Seo é um atrbuto smétrco. Os demas atrbutos são assmétrcos. Suponha que os valores Y e P representam, e o valor N representa + d ( Jack, Mary ) = = d ( Jack, Jm ) = = d (Jm,( Mary), =?) = =. + + Smlardade para varáves nomnas Uma generalzação da varável bnára é que ela pode ter mas de estados (E: vermelho, amarelo, azul, verde). Método : Smple matchng m: número de matches, p: número total de varáves d(, j)= p p m Método : uso de um grande número de varáves bnáras Cra-se uma varável bnára para cada um dos M estados nomnas.

6 Varáves ntervalares Permtem não apenas ordenar em postos os tens que estão sendo meddos, mas também quantfcar e comparar o tamanho das dferenças entre eles. Eemplo: temperatura medda em graus Celsus consttu uma varável ntervalar. Pode-se dzer que a temperatura de ºC é maor do que C e que um aumento de ºC para ºC é duas vezes maor do que um aumento de ºC para ºC. Smlardade para varáves ordnas Uma varável ordnal pode ser dscreta ou contínua. A ordem é mportante (Eemplo: ranqueamento). Podem ser tratadas como varáves ntervalares. Substtur f pela sua posção no rank. Mapear o domíno de cada varável no ntervalo [, ] substtundo o -th objeto na f-th varável: z f = r M Computar a smlardade usando métodos para varáves ntervalares. f f r f {,, M } f Smlardade para varáves de razão Varável de razão: uma medda postva sobre uma escala não lnear. Aproma-se da escala eponencal, como por eemplo: Ae Bt ou Ae -Bt Eemplos de varáves (escalas) de razão são: dade, saláro, preço, volume de vendas, dstâncas. Métodos: Tratá-las como varáves ntervalares não é uma boa escolha! (por que? a escala do ntervalo pode ser dstorcdo). Aplcar a transformação logarítmca: y f = log( f ) Tratá-las como dados ordnas contínuos e tratar seus posconamentos ranks como ntervalares. Smlardade para varáves mstas Um dataset pode conter város tpos de varáves: Bnára smétrca, bnára assmétrca, nomnal, ordnal, ntervalar e e escala de razão. Pode-se usar uma fórmula ponderada para combnar seus efetos: Σ d (, j ) = Se f é bnára ou nomnal: d j (f) = Se f = jf, ou d j (f) = caso contráro. Se f é ntervalar: usar a dstânca normalzada. Se f é ordnal ou escala de razão: ( f ) ( f ) = j j p ( f ) δ f = j Computar os posconamentos (ranks) r f e tratar z f como ntervalares: p f Σ δ d z f = r f M f

7 Eercíco Usando o software Weka:. Seleconar o dataset contact-lenses ;. Converter os atrbutos de nomnal para bnáro;. Seleconar o dataset soybean e converter seus atrbutos de nomnal para bnáro. Métodos de clusterzação Partconamento: Constró váras partções e as avala usando algum crtéro. Herárquco: Cra uma decomposção herárquca dos objetos usando algum crtéro. Baseado em densdade: Fundamenta-se em funções de conectvdade e de densdade. Outros métodos: Ver capítulo do lvro: Data Mnng: Concepts and Technques Autores: Jawe Han e Mchelne Kamber. Métodos baseados em partconamento Partconamento: Segmenta um banco de dados D de n objetos em um conjunto de k clusters. Objetvo: Encontrar uma partção de k clusters que otmza o crtéro de partconamento escolhdo. Função Objetvo: mnmzar a soma dos quadrados das dstâncas, tal que: Onde: E E é a soma dos quadrados dos erros para todos os objetos no dataset; p é o ponto no espaço representando um dado objeto; m é o centróde do cluster C. k = Σ= Σ p C ( p m ) Métodos baseados em partconamento Dado um valor de k, encontrar k clusters que otmza um crtéro de partconamento escolhdo: Ótmo Global: eaustvamente enumera todas as partções; Prncpas heurístcas: algortmos k-means e k-medods. k-means (MacQueen ): Cada cluster é representado pelo centro (centróde) do cluster. k-medods ou PAM (Partton Around Medods) (Kaufman & Rousseeuw ): Cada cluster é representado por um dos objetos no cluster.

8 K-means: algortmo K-means: eemplo Input: k, D Output: K centródes e os objetos de cada cluster Passo :Seleconar arbtraramente k objetos como os clusters ncas. Passo : Calcular os centródes dos k clusters da posção atual. Passo : Assocar cada objeto ao cluster (centróde) mas perto (maor smlardade). Passo : Retornar ao Passo e parar quando não houver mas mudanças sgnfcatvas entre os objetos. () () () () K-means: eemplo K-means: eemplo Regstros são assocados a Centro de Clusters através de um processo teratvo. PASSO : Seleção arbtrára de K pontos para serem os Centros de Cluster

9 K-means: eemplo K-means: eemplo PASSO : Assocar cada regstro ao Centro de Cluster mas prómo. Escolha Incal de Centros de Cluster K-means: eemplo K-means: eemplo Atenção a esse Regstro PASSO : Calcular os novos Centros de Cluster Méda das coordenadas de todos os pontos assocados a cada Centro de Cluster. Assocação de cada Regstro aos Centros de Cluster

10 K-means: eemplo K-means: eemplo PASSO : Assocar cada regstro aos novos Centros de Cluster. Novos Centros de Cluster após a. Iteração K-means: eemplo K-means: eemplo PROCESSO ITERATIVO Passos, e são repetdos até que não ocorra mas mudanças no conjunto de regstros que compõem cada Cluster. Assocações de Regstros aos Novos Centros de Cluster

11 K-means: pontos postvos Relatvamente efcente (escalável). Compledade: O(tkn), onde n é o número de objetos; k é o número de clusters; t é o número de terações; Normalmente: k, t << n. Frequentemente termna em um ótmo local. O ótmo global pode ser achado usando técncas, tas como algortmos genétcos. K-means: pontos negatvos Aplcável somente quando a méda é defnda nefcente para atrbutos nomnas? (versão orgnal). Necessdade de especfcar k, o número de clusters, a pror. Inefcente para ldar com ruídos e outlers. Inadequado para descobrr clusters com formato nãoconveo. Sensível a outlers, pos todos os pontos (objetos) são agrupados mpacta centródes dos clusters. Varações do Método K-means EM Epectaton Mamzaton Algumas versões do K-means dferem em: Seleção dos pontos ncas. Cálculo da smlardade entre os pontos. Estratégas para calcular os centródes dos clusters. EM (Epectatva-Mamzação) estende o paradgma usado no K-means. Para atrbutos nomnas: K-modes (Huang ) Substtu as médas dos clusters por modas. Usa meddas de smlardade para atrbutos nomnas. Usa um método baseado em frequêncas para atualzar as modas dos clusters. Algortmo de aprendzado por mamzação de esperança (EM). Aplcado em aprendzado não supervsonado agrupamento e mstura de densdades. Objetvo: estmar o número de populações (clusters) na amostra. Cada cluster representa uma dst. de probabldade. Idéa geral: EM é aplcado em stuações onde se deseja estmar um conjunto de parâmetros que descreve uma dstrbução de probabldade. Ou seja, estma a méda amostral e sua varânca. EM é uma etensão do algortmo k-means. Assoca cada objeto a um cluster de acordo com um peso (prob. dstrbução), representando sua probabldade de membresa. Novas médas são computadas com base em meddas ponderadas.

12 EM Epectaton Mamzaton Idéa Geral: Começa com uma estmatva ncal de um vetor de parâmetros. Iteratvamente reavala (pondera) os objetos com relação à mstura dstrbuções produzda pelo vetor de parâmetros. Os objetos reavalados (novos pesos) são usados para atualzar a estmatva dos parâmetros. A cada objeto é assocada uma probabldade de pertencer a um cluster. Algortmo converge rapdamente, mas pode não atngr um ótmo global. O Algortmo EM Incalmente, k objetos são seleconados aleatoramente para representar os centróde dos clusters. Iteratvamente refna os clusters em dos passos: Passo E (Epectaton): assoca cada objeto ao cluster C com a segunte probabldade: P ( C ) = p( C ) = k k p( C ) p( C p( ) Onde p( /C k )= N(m k, E k ( )) segue uma dstrbução normal (Gaussana) de probabldade com méda m k e valor esperado E k. k k ) O Algortmo EM Passo M (Mamzaton): usa as probabldades estmadas no passo anteror para re-estmar (refnar) os parâmetros do modelo: m k = n n k = p( C j ) j p( C ) Os Passos E e M fazem parte de um processo teratvo, em que as novas probabldades, calculadas na fase M, serão utlzadas para realzar a nferênca na fase E. O Passo M é a mamzação da função de verossmlhança das dstrbuções de probabldade. Eercíco Usando o software Weka:. Seleconar um dataset com varáves numércas.. Normalzar atrbutos (Z-score).. Eplorar o algortmo k-means: a) Qual é o número de clusters pré-defndo pelo algortmo? b) Mude a semente (seed) para o k-means e observe o comportamento do algortmo.. Seleconar um dataset com varáves nomnas e repetr os eercícos, e.. Como os algortmos EM e k-means poderam ser usados conjuntamente.

13 Métodos Herárqucos MÉTODOS DIVISIVOS Todos Regstros Um Grande Cluster. Este Grande Cluster é dvddo em dos ou mas Clusters menores. Até que cada Cluster tenha somente regstros semelhantes. A cada passo, alguma medda de valor do conjunto de Cluster é realzada até chegar ao melhor conjunto de Clusters. MÉTODOS AGLOMERATIVOS Cada regstro é um Cluster A cada passo, combna-se Clusters com alguma característca comum até que se chegue a um Grande Cluster. Métodos Herárqucos Usa a matrz de dstâncas como crtéro de segmentação. Esse método não ege o número de clusters k como nput, mas precsa de uma condção para termnar. Step Step Step Step Step a b c d e a b d e c d e a b c d e Step Step Step Step Step aglomeratvo (AGNES) dvsvo (DIANA) AGNES (Agglomeratve Nestng) AGNES (Agglomeratve Nestng) Referênca: Lvro [Kaufmann & Rousseeuw ()] Implementado em pacotes de análse estatístcas (E: Splus). Usa o método Sngle-Lnk e matrz de dssmlardade (dstâncas). Faz o merge dos nós que têm a menor dssmlardade. Clusters são formados usando-se a estratéga bottom-up. Eventualmente todos os nós pertencem ao mesmo cluster. AGLOMERATIVO.... objetos

14 Eemplo de Dendograma: AGNES Decompõe objetos em város níves de partconamento annhados (árvore de clusters), conhecda como dendograma. Uma clusterzação dos objetos é obtda partconando-se o dendograma em um nível desejado. Cada componente conectado forma um cluster. DIANA (Dvsve Analyss) Referênca: Lvro [Kaufmann and Rousseeuw ()] Implementado em pacotes de análse estatstcos (E: Splus). Procedmento: o nverso de AGNES. Eventualmente cada nó forma um cluster. Mas sobre métodos herárqucos Pontos Fracos: Os algortmos não são escaláves. Compledade: O(n ), onde n é o número de objetos. Uma vez que os clusters são formados, eles não podem ser mudados (não este undo ). Pontos Fortes: Pode ser ntegrado com métodos não herárqucos. BIRCH (): usa CF-tree com sumáros dos objetos e ajusta a qualdade dos sub-clusters. CURE (): produz clusters (com dferentes formas e tamanhos) de alta qualdade na estênca de outlers CHAMELEON (): utlza modelagem dnâmca. Método baseado em densdade DBSCAN é um algortmo baseado em densdade. Densdade = número de pontos dentro de um rao específco (Eps) Um core pont tem um número mínmo de pontos especfcados pelo usuáro (MnPts) dentro do rao (Eps). Um border pont fca localzado na vznhança de um core pont. Um nose pont é qualquer ponto que não se classfca como core pont nem como border pont.

15 DBSCAN Idéa Geral Idéa: Um cluster é defndo como um conjunto mámo de pontos densamente conectados. Encontra clusters com formatos (shape) arbtráros em bancos de dados espacas, contendo ruídos (outlers). O Algortmo DBSCAN Arbtraramente, selecona um ponto p. Identfca todos os pontos densamente conectados a p com relação aos parâmetros Eps e MnPts. Border Core Outler Eps = cm MnPts = Se p é um core pont, um cluster é formado. Se p é um border pont e não há pontos densamente conectados a p, DBSCAN vsta o prómo ponto do conjunto de dados. Contnua o processo até que todos os pontos do conjunto de dados tenham sdo analsados. DBSCAN: Core, Border e Nose Ponts Quando DBSCAN funcona bem? Pontos Orgnas Clusters Pontos Orgnas Eps =, MnPts = Tpos de pontos: core, border e nose Na presença de ruídos (Nose) Na geração de clusters com dferentes formatos e tamanhos.

16 Quando DBSCAN não funcona bem? Valdação de Clusters Pontos Orgnas Varação na densdade dos pontos Dados com alta dmensonaldade. (MnPts=, Eps=.). (MnPts=, Eps=.) Em classfcação supervsonada, este uma grande varedade de meddas para avalar quão bom um modelo é: Acuráca, precsão, cobertura, kappa etc. Para análse de clusters, como avalar a qualdade dos clusters gerados? Em geral, os clusters são avalados por especalstas de forma subjetva. Então, por que precsamos avalar clusters? Para evtar encontrar padrões com ruídos. Para comparar algortmos de clusterzação. Para comparar clusters gerados por mas de um algortmo. Clusters encontrados dados aleatóros Pontos Aleatóros K-means y y y y DBSCAN Complete Lnk Meddas Internas: Coesão e Separação Coesão: Mede a promdade dos objetos de um cluster. Eemplo: Soma do Erro Quadrátco (SEQ). Separação: Mede como um cluster é dstnto ou bem separado dos outros. Eemplo: Erro Quadrátco Coesão é medda pela SEQ nterna (dentro de um cluster). WSS= ( m ) C Separação é medda pela soma de quadrados entre clusters. BSS = C ( m Onde C é o tamanho (cardnaldade) do cluster. m )

17 Meddas Internas: Coesão e Separação Eemplo: SEQ BSS + WSS = constante m m m Meddas Internas: Coesão e Separação Um grafo de promdade também pode ser usado para coesão e separação. Coesão é a soma dos pesos de todos os lnks dentro de um cluster. Separação é a soma de todos os pesos entre os nós de um cluster e nós fora do cluster. K= cluster: WSS= ( ) + ( ) + ( ) + ( ) = BSS= ( ) Total= + = = K= clusters: WSS= (.) + (.) + (.) + (.) = BSS= (.) + (. ) Total = + = = coesão separação Meddas Eternas: Entropy e Purty Eercíco Usando o software Weka:. Seleconar o dataset cpu.. Normalzar atrbutos (Z-score).. Eecute o algortmo DBScan sem ajustar os parâmetros. Qual fo o resultado encontrado?. Eplorar os parâmetros epslon e mmponts do algortmo DBScan. Analsar os resultados encontrados.. Indque uma vantagem do algortmo DBScan em relação ao k-means.