Análise de Agrupamentos (Clusters) Marcelo Lauretto

Transcrição

1 Anáse de Agrupamentos (Custers) Marceo Lauretto

2 Introdução Anáse de Agrupamentos (Custer Anayss) é um conunto de técncas com o obetvo prncpa de dentfcar obetos/entdades com característcas smares. Obetvo: Formação de grupos/casses de obetos com ata homogenedade nterna (ntra-custer) e ata heterogenedade eterna (nter-custers). Em Integênca Artfca é comumente consderada como como uma abordagem de Aprendzado Não-supervsonado: Novos casos são atrbuídos ao custer mas prómo

3 Y Novo caso é atrbuído ao custer mas prómo X

4 Agumas áreas de apcação Pscooga: Cassfcação de pessoas de acordo com seus perfs de personadade Booga: Cassfcação de espéces Medcna: Cassfcação de sub-tpos de doenças (dabetes câncer etc) Admnstração/Marketng Segmentação de centes de acordo com perfs de consumo

5 Métodos cásscos para agrupamentos Base dos métodos cásscos: Medda de smardade / dssmardade Agortmos de Agrupamento Defnção do número de custers

6 Meddas de dssmardade Dstânca Eucdana: [ 2... p ]' d( 2 ) p ( 2 ) 2 [ ]' [ ] / Dstânca cty-bock ou Manhattan: d( p 2) 2 Essas meddas são sensíves à dferença de escaas entre varáves dstntas: E: IDH (0 a 00) e PIB (R$ bhões)

7 Dstânca de Mahaanobs: [ ]' S [ / 2 d( 2) 2 2] onde S é matrz de covarânca da amostra Dstânca padronzada: atenua o efeto da dferença de escaas ( 2 22 ) ( 2 )

8 Coefcente de correação near: ) )( ( ) ( ) ( s s n p s p p p p

9 Agortmos de agrupamento Prncípo: Formação de custers buscando-se: mamzar dferenças entre custers mnmzar varações ntra-custers Varação entre custers Varação ntra custers

10 Herárqucos Agomeratvos Dvsvos Casses de métodos Não-herárqucos K-medas (K-means) Baseados em msturas de dstrbuções

11 Métodos agomeratvos. O processo começa com n custers cada um contendo uma observação. 2. A cada teração o par de custers mas prómos entre s são combnados e passam a consttur um novo custer. 3. O agortmo pára quando há apenas um custer contendo todas as observações.

12 Métodos agomeratvos mas comuns:. Método de gação smpes (Snge nkage): Medda de smardade entre dos custers é defnda pea menor dstânca de quaquer ponto do º custer para quaquer ponto do 2º custer. 2. Método de gação competa (Compete nkage): Medda de smardade entre dos custers é defnda pea maor dstânca de quaquer ponto do º custer para quaquer ponto do 2º custer.

13 3. Método da méda das dstâncas (Average nkage): Medda de smardade entre dos custers é defnda pea méda das dstâncas de todos os pontos do º custer em reação aos pontos do 2º custer. 4. Método do centróde (Centrod method): Medda de smardade entre dos custers é defnda pea dstânca entre os pontos médos do º e 2º custers.

14 gação smpes gação competa méda das dstâncas centróde

15 5. Método de Ward (Ward s method): Também denomnado método da mínma varânca. Medda de dstânca entre dos custers é a soma das dstâncas ao quadrado entre os dos custers: p n k k n k k n k p k n k p k n k n k k p k n n n n SS SS SS C C d n n SS n SS ) ( ) ( k : vaor para a varáve p na observação pertencente ao custer SS : soma dos erros quadrados dentro do custer SST : soma tota dos erros quadrados (agrupando os custers e

16 Método de Ward SS SS 2 SS 2 d( C C ) SS ( SS SS )

17 Varáves: PIB per capta % popuação trabahando na agrcutura Países: B (Begum) DK (Denmark) D (Germany) GR (Greece) E (Span) F (France) IRL (Ireand) I (Itay) L (Luemburg) NL (Netherands) P (Portuga) UK (U.Kngdom)

18

19 Método não-herárquco: k-médas. Prmeramente escohem-se k centródes chamados de sementes ou protótpos para se ncazar o processo de partção; 2. Cada eemento do conunto de dados é comparado com cada centróde nca através da dstânca deseada (usuamente Eucdana). O eemento é aocado ao custer de menor dstânca 3. Após apcar o passo 2 para todos os n eementos amostras atuaza-se os vaores dos centródes de todos os grupos formados e repete-se o passo 2 consderando os centródes desses novos grupos. 4. Os passos 2 e 3 são repetdos até que nenhum dos eementos amostras sea reaocado.

20 Crtéros para defnção das sementes ncas:. Métodos agomeratvos Utza-se um método agomeratvo para obter os k agrupamentos ncas; em seguda cacuam-se os pontos médos nesses k agrupamentos. 2. Escoha aeatóra k eementos amostras são sorteados para formar as sementes ncas. P. E. função kmeans do R usa essa opção como defaut. Forma mas robusta: roda-se o agortmo competo m vezes (cada qua com k sementes ncas) ao fna escohe-se o agrupamento com o menor erro quadrado (menor soma dos quadrados das dstâncas entre os centródes e os respectvos pontos pertencentes ao custer correspondente) 3. Escoha dos k vaores mas dscrepantes

21 Um crtéro para defnção de k: Teste dferentes vaores de k medndo o decréscmo na dstânca méda dos pontos aos seus respectvos centrodes à medda em que k aumenta A dstânca méda ca rapdamente até o vaor adequado de k; a partr daí se atera pouco.

22 Um crtéro para defnção de k: Eempo: Fonte: J. Leskovec A. Raaraman. Custerng Agorthms. Stanford Unversty.

23 Métodos baseados em msturas de dstrbuções de probabdade Assume-se que os dados provêm de uma ou mas casses Assume-se que cada casse possu uma dstrbução de probabdade (p. e. Norma mutvarada) com parâmetros desconhecdos Dado um número k de casses os parâmetros das casses são austados através de métodos de máma verossmhança ou máma densdade a posteror Cada ponto (da amostra ou novo) é desgnado à casse com maor densdade de probabdade. A quantdade de casses é usuamente defnda através de meddas de reguardade (AIC BIC etc) ou através de testes de hpóteses Na nguagem R: pacote mcust

24 Eempo: Data set Irs vrgnca Varáves: comprmento da sépaa e comprmento da pétaa 49 espécmes observados Probema: uma ou duas subpopuações? custer 2 custers