ESTATÍSTICA MULTIVARIADA 2º SEMESTRE 2010 / 11. EXERCÍCIOS PRÁTICOS - CADERNO 7 Análise de Clusters

Transcrição

1 ESTATÍSTICA MULTIVARIADA 2º SEMESTRE 2010 / 11 EXERCÍCIOS PRÁTICOS - CADERNO 7 Análise de Clusters

2 7.1 (A1) Considere a seguinte matriz de distâncias : Determine os clusters para estes 4 objectos assumindo: a) Um modelo hierárquico "single linkage". b) Um modelo hierárquico "complete linkage". c) Um modelo hierárquico "average linkage". d) Desenhe os dendrogramas e compare os resultados dos três modelos (T) Considere agora a matriz de distâncias: Repita as alíneas a) a d) do exercício anterior (A1) Uma amostra para as cotações das acções de 5 empresas transaccionadas na NYSE permitiu calcular a seguinte matriz de correlações entre as cotações dos títulos (arredondadas a 2 casas decimais): Allied Chemical Du Pont Union Carbide Exxon Texaco Allied Chemical 1 Du Pont.58 1 Union Carbide Exxon Texaco Usando as correlações como medida de semelhança entre os títulos construa os clusters das acções usando os modelos de "single linkage" e "complete linkage"

3 7.4. (A1) Para quatro indivíduos (A D) foram medidas as variáveis X 1 e X 2 obtendo-se: Indiv. X 1 X 2 A 5 4 B 1-2 C -1 1 D 3 1 Use o algoritmo das K-médias para dividir os indivíduos em K=2 grupos. a) Comece com os grupos (AB) e (CD). b) Repita começando com os grupos (AC) e (BD) (A2) O quadro seguinte apresenta dados sobre 43 marcas comerciais de cereais de pequeno almoço para os quais se mediram 9 variáveis (dispõe destes dados no ficheiro CEREAIS.SAV) X 1 - Fabricante X 2 - teor de calorias X 3 - " proteínas X 4 - " gordura X 5 - " sódio X 6 - " fibras X 7 - " hidratos de carbono X 8 - " açúcar X 9 - " potássi0 Utilize o SPSS para a) Calcular a distância euclideana entre cada par de marcas de cereais. b) Utilizando essas distâncias agrupar as marcas de cereais usando os métodos de "single linkage" e "complete linkage". Compare os dendrogramas. c) Utilize os algoritmo das K-médias para agrupar as marcas de cereais. Use K=2, 3 e 4 e compare os resultados

4 Marca X 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 ACCheerios G Cheerios G CocoaPuffs G CountChocula G GoldenGrahams G HoneyNutCheerios G Kix G LuckyCharms G MultiGrainCheerios G OatmealRaisinCrisp G RaisinNutBran G TotalCornFlakes G TotalRaisinBran G TotalWholeGrain G Trix G Cheaties G WheatiesHoneyGold G AllBran K AppleJacks K CornFlakes K CornPops K CracklinOatBran K Crispix K FrootLoops K FrostedFlakes K FrostedMiniWheats K FruitfulBran K JustRightCrunchyNuggets K MueslixCrispyBlend K NutNHoneyCrunch K NutriGrainAlmondRaisin K NutriGrainWheat K Product19 K RaisinBran K RiceKrispies K Smacks K SpecialK K CapNCrunch Q HoneyGrahamOhs Q Life Q PuffedRice Q PuffedWheat Q QuakerOatmeal Q

5 7.6. (A2) (do teste de frequência de 24.JUN.2000) Um colega seu está apostado em fazer o trabalho de Estatística Multivariada a partir dos dados disponíveis numa base com a caracterização dos hotéis portugueses (aliás, já sua conhecida!). Como simpatizou muito com as técnicas de Análise de Clusters, decidiu-se por aplicá-las por forma a agrupar os hotéis mais semelhantes. Para ensaiar a utilização da técnica, começou por construir um quadro com apenas cinco hotéis e dez variáveis binárias que assinalam a presença (1) ou ausência (0) de algumas facilidades: nome cidade snack restaura conferen cofrquar piscina ginásio cabeleir ténis garagem 1 Hotel do Elevador Hotel Ofir Hotel Horus Hotel Vermar GaiaHotel Como aprendeu que uma análise de clusters começa sempre pelo cálculo de uma matriz de dissemelhanças (ou distâncias) entre as observações consideradas, o seu colega decidiu calcular uma. Como é estudioso sabe que, porque as variáveis são binárias, não deve usar os conceitos de distância mais habitualmente usados e porque gosta de inovar, propõe a utilização da medida de dissemelhança de Lance e Williams (também conhecida por coeficiente não métrico de Bray-Curtis) dada por (b+c)/(2a+b+c), onde a representa o número de atributos presentes em ambos os casos e b e c representam o os números de atributos presentes num dos casos e ausentes no outro. a) Compare este conceito com os apresentados na aula para variáveis binárias, diga entre que valores pode variar, qual o significado dos extremos e que argumentos podem justificar a sua adopção. b) Usando o SPSS o seu colega obteve a seguinte matriz de dissemelhanças: Proximity Matrix Binary Lance-and-Williams Nonmetric Measure 1:Hotel do Elev ador 2:Hotel Ofir 3:Hotel Horus 4:Hotel Vermar 5:GaiaHotel 1:Hotel do Elev ador :Hotel Ofir :Hotel Horus :Hotel Vermar :GaiaHotel This is a dissimilarity matrix A partir desta matriz construa o dendograma para uma aglomeração hierárquica simples (nearest neighbor)

6 7.7. (A2) (usando os dados do teste de freq. de 27.JAN.2004) O ficheiro Ex7-7.xls apresenta os dados do consumo médio de proteínas em diversos tipos de alimentos para 25 países europeus (São dados de 1973 citados em Manly, 1994). Os valores são consumos médios diários em gr. por pessoa e as variáveis referem-se a nove grupos de alimentos: redmeat - carnes vermelhas; whitemea - carnes brancas; eggs - ovos; milk - leite; fish - peixe; cereals - cereias; starchyf - féculas (batata e outras) pulsenut - leguminosas e oleaginosas; fruveget - frutas e vegetais. Pretende-se agora agrupar os países com hábitos alimentares semelhantes (no que toca a quantidades e fontes de proteínas) recorrendo à Análise de Clusters. a) Faz sentido a utilização desta técnica? b) Proponha um conceito de distância e um método de agregação e use o SPSS para constituir os grupos (T) (do teste de frequência de 6.JAN.2006) Um colega seu está a experimentar a utilização da Análise de Clusters. Trabalhando com o conjunto de dados no Quadro 7.8.1, obteve o output do SPSS para a utilização dum método hierárquico de clustering que consta abaixo. Indivíduo X 1 X 2 X 3 X 4 X 5 A B C D E F Quadro a) Diga, justificando, qual o método hierárquico utilizado. b) Complete o aglomeration schedule e acrescente ao dendrograma uma escala para as distâncias apropriada ao problema. c) Como ficam divididas as observações se decidir formar dois clusters? Trata-se duma solução possível no caso de utilizar o algoritmo das K-médias (com k=2)? OUTPUT:

7 Proximity Matrix Squared Euclidean Distance Case ,00 15,50 13, ,25 9, ,50,00 16,75 18,75 4,75 22, ,25 16,75,00 10,00 13,00 18, ,75 10,00,00 12,50 17, ,25 4,75 13,00 12,50,00 11,75 6 9,00 22,50 18,25 17,75 11,75,00 This is a dissimilarity matrix Agglomeration Schedule Cluster Combined Stage Cluster First Appears Stage Cluster 1 Cluster 2 Coefficients Cluster 1 Cluster 2 Next Stage , , , * * * H I E R A R C H I C A L C L U S T E R A N A L Y S I S * * * Dendrogram using... Rescaled Distance Cluster Combine C A S E Label Num

8 7.9. (Do exame de 26.JUN.2007) No Quadro tem as notas de três testes e da prova final numa disciplina da nossa Universidade. Utilizou-se esta informação para fazer uma análise de clusters dos alunos considerando, primeiro a "block distance" (isto é distância de Minkovski com m=1) e depois a distância euclideana. Os resultados obtidos para o método hierárquico com ligações médias apresentam-se no Output a) Compare os resultados, referindo-se especialmente aos objectivos do clustering no que toca à variabilidade intra e inter clusters. (Seja sucinto na resposta.) b) Repare agora que, nesta análise, os trabalhos (que são de grupo) têm um peso tão grande que quase se podem identificar os grupos de trabalho nos dendogramas. Um seu colega sugeriu então que se padronizassem as variáveis. Outro sugeriu que se fizesse o clustering com base na nota de fim de semestre. Que comentários lhe merecem estas sugestões? c) Eu preferi construir uma nova variável, que é a média aritmética das notas dos três trabalhos. Fiz então o clustering usando esta média e a nota do teste de frequência. O resultado desta minha análise apresenta-se no Output Que comentários lhe suscita?

9 Quadro Aluno T1 T2 T3 F 1 16,0 14,0 16,0 12,6 2 16,0 17,0 19,0 7,5 3 15,0 14,0 15,0 11,0 4 16,0 17,0 19,0 13,0 5 16,0 17,0 15,0 14,3 6 16,0 17,0 19,0 12,8 7 16,0 17,0 15,0 8,3 8 16,0 17,0 19,0 11,8 9 16,0 17,0 15,0 13, ,0 17,0 15,0 6, ,0 14,0 15,0 8, ,0 14,0 16,0 12, ,0 16,0 15,5 9, ,0 16,0 15,5 9, ,0 16,0 15,5 13, ,0 14,0 16,0 5, ,0 14,0 16,0 13, ,0 17,0 19,0 11, ,0 16,0 15,5 8, ,0 14,0 16,0 11, ,0 14,0 15,0 12, ,0 17,0 17,0 12, ,0 17,0 18,0 15, ,0 17,0 17,0 18, ,0 17,0 18,0 16, ,0 17,0 18,0 9, ,0 14,0 15,0 11, ,0 17,0 18,0 11, ,0 14,0 15,0 9, ,0 14,0 15,0 11, ,0 17,0 17,0 12, ,0 14,0 15,0 8,5 Quadro

10 Clustering c/ "block distance" Output (1/4) Stage Agglomeration Schedule Stage Cluster First Cluster Combined Appears Coefficients Cluster 1 Cluster 2 Cluster 2 Cluster 1 Next Stage E

11 Output (2/4) * * * * * * H I E R A R C H I C A L C L U S T E R A N A L Y S I S * * * * * * Dendrogram using Average Linkage (Between Groups) Rescaled Distance Cluster Combine C A S E Label Num I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I

12 Output (3/4) Clustering c/ distância euclideana Agglomeration Schedule Cluster Combined Stage Cluster First Appears Stage Cluster 1 Cluster 2 Coefficients Cluster 2 Cluster 1 Next Stage E

13 Output (4/4) * * * * * * H I E R A R C H I C A L C L U S T E R A N A L Y S I S * * * * * * Dendrogram using Average Linkage (Between Groups) Rescaled Distance Cluster Combine C A S E Label Num I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I

14 Output (1/2) Stage Agglomeration Schedule Stage Cluster First Cluster Combined Appears Coefficients Cluster 1 Cluster 2 Cluster 2 Cluster 1 Next Stage E

15 Output (2/2) * * * * * * H I E R A R C H I C A L C L U S T E R A N A L Y S I S * * * * * * Dendrogram using Average Linkage (Between Groups) Rescaled Distance Cluster Combine C A S E Label Num I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I