Análise de Agrupamento (Cluster analysis)

Transcrição

1 Análise de Agrupamento (Cluster analysis) Anderson Rodrigo da Silva 1

2 Exemplos de aplicações de análise de agrupamento Pesquisas de mercado Agrupamento de cidades-teste Bancos de germoplasma Caracterização Estudos de divergência ou diversidade genética Biologia Agrupamento de espécies ou unidades de conservação Educação Agrupamento de escolas, professores, alunos...

3 Exemplo 1: cães pré-históricos da Tailândia Escavações na Tailândia produziram ossos caninos cobrindo um período em torno de 00 a.c. até o presente. Entretanto, a origem desses cães é incerta. Para tentar esclarecer, medidas de espécimes disponíveis foram tomadas: Grupo LM AMAPM CPM LPM CPTM CPQM cão moderno chacal dourado lobo chinês lobo indiano cuon dingo cao pre-historico LM: largura da mandíbula, AMAPM: Altura da mandíbula abaixo do primeiro molar, CPM: comprimento do primeiro molar, LMP: largura do primeiro molar, CPTM: comprimento do primeiro ao terceiro molar, CPQM: comprimento do primeiro ao quarto molar 0:10 Cluster analysis

4 Medidas de distâncias multivariadas Tipos de dados: valores de p variáveis tomados em n objetos ( matriz X ). As medidas devem ser escolhidas de acordo com os tipos de variáveis. Quantitativas: euclidiana, euclidiana média, Mahalanobis, Manhattan, etc. Padrão binário: coeficiente de Jaccard, coeficiente de Roger, etc. Padrão multicategórico: coeficiente de coincidência simples, dissimilaridade de Cole-Rodgers Para os tipos, simultaneamente: coeficiente de Gower (1971) É recomendável que se faça uma padronização das variáveis de modo que estas sejam igualmente importantes na determinação das distâncias.

5 Exemplo 1: cães pré-históricos da Tailândia Matriz de distâncias euclidianas (1) c_md () chc_ () lb_c () lb_n () uon (6) ing (7) c_p (1) c_md 0 () chc_ 6 0 () lb_c 19 0 () lb_n () Uon (6) Ing (7) c_p :0 Cluster analysis

6 Tipos de métodos de agrupamento Hierárquicos aglomerativos Vizinho mais próximo (ligação simples) Vizinho mais distante (ligação completa) UPGMA (ligação média) Não hierárquicos Algoritmo K-médias Tocher, Tocher modificado 6

7 Resumo dos passos: Métodos hierárquicos 1) Cada indivíduo constitui um cluster de tamanho 1 n clusters. ) Em cada estágio do algoritmo pares de entidades são combinados e constituem um novo conglomerado. ) Propriedade de hierarquia: cada novo conglomerado é um agrupamento de conglomerados antes formados. ) Construção do dendrograma ou árvore da história do agrupamento. 7

8 X Método do vizinho mais próximo 1 X1 8

9 X Método do vizinho mais distante 1 X1 9

10 X Método da ligação média (UPGMA) 1 X1 10

11 Exemplo (p.11, Manly 00) Tabela Matriz de distâncias entre cinco objetos. Objeto Objeto (Sim.) Fonte: Manly,

12 Método Vizinho mais próximo Vizinho mais distante Ligação média d d d ij,k ij,k ij,k Função objetivo mín(d máx(d ik média(d ik ik,d,d,d jk jk jk ) ) ) 1

13 1 1 1 Distância Distância Distância Dendrogramas Vizinho mais próximo Vizinho mais distante Ligação média Di hclust (*, "single") Di hclust (*, "complete") Di hclust (*, "average") 1

14 Critérios para encontrar o número de grupos 1) Comportamento dos níveis de fusão ) Nível de similaridade ) Alguns critérios objetivos: R², Pseudo F, Pseudo T², Mojena (1977), etc. 1

15 1 Distância Correlação cofenética Distâncias originais Distâncias cofenéticas 1 Cor = Vizinho mais próximo Di hclust (*, "single") 1

16 Exercícios 1) Construa um dendrograma pelo método do vizinho mais distante a partir da matriz de distancias euclideanas dos dados de medidas das mandíbulas de cães; Determine grupos de cães; Avalie a qualidade do agrupamento ) No R, construa a matriz de distancias multivariadas dos dados proteinas.txt (do site, Encontre grupos de países semelhantes em relação a fonte proteica base da alimentação. 1:9 Cluster analysis 16

17 Exemplo ACP vs AG Matriz de dados (simulados) padronizados de 10 objetos e variáveis. x1 x x x [1,] [,] [,] [,] [,] [6,] [7,] [8,] [9,] [10,]

18 Exemplo ACP vs AG Matriz de distâncias euclidianas entre 10 objetos

19 Distância 9 Comp. (1%) Exemplo ACP vs AG Vizinho mais distante matd hclust (*, "complete") Comp.1 (%) 19

20 Algoritmo k-médias Não hierárquico Processo iterativo Resumo dos passos: 1) Escolhe-se partição. k centróides para iniciar o processo de ) Cada um dos n objetos é comparado com cada centróide, em geral usando a distância euclidiana. O elemento é alocado ao grupo cuja distância é a menor. ) Recalcula-se os valores dos centróides para os novos grupos e repete-se o passo. ) Os passos e são repetidos até que nenhuma realocação seja necessária. 0

21 Para análises no R Pacote: stats Funções: hclust, cophenetic Argumentos hclust(d, method = single",...) cophenetic(x) 1