Técnicas Estatísticas de Agrupamento

Transcrição

1 Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo Disciplina: EAD 351 Técnicas Estatísticas de Agrupamento

2 Avisos

3 Prova 1 21 de Setembro Trabalho Entrega até 24 de novembro Atividade em dupla Prova 2 Unificada 30 de novembro Pesos das Avaliações Prova 1 30 % ; Prova 2 50 % ; Exercícios 10 % ; Trabalhos 10 % 3

4 Trabalho As duplas devem obter uma base de dados com pelo menos 4 variáveis e 20 elementos. A entrega será feita por envio do trabalho até as 23:00 hs do dia 24 de novembro para um o estat.turma2@gmail.com. Deverá ser enviada a base de dados em Excel e o trabalho em Word.

5 Faltas As faltas serão abonadas somente com atestado médico do HU. O atestado será aceito desde que entregue ao professor até 7 dias após o retorno às aulas. 5

6 Turma 1 15h20 17h00 Turma 2-13h30 15h10 Horário das Aulas Para a entrada na aula será considerada uma tolerância de 15 minutos. Após a tolerância não será permitida a entrada. 6

7 Programa da Disciplina

8 Programa da Disciplina Introdução Revisão análise exploratória de dados Análise de Cluster Análise Fatorial

9 Análise de Cluster

10 Introdução

11 O que significa fazer um agrupamento?

12 Por que fazer agrupamento? Atender melhor as necessidades dos clientes / consumidores; Lançar produtos de acordo com a necessidade dos clientes / consumidores; Redução de custo; Controle de estoque; Controle de logística;

13 Análise estratégica para tomada de decisão Definição do Problema Análise Exploratória da Base de Dados Padronização das Variáveis Análise de Cluster Tomada de Decisão Empresarial

14 Objetivo

15 O objetivo da análise de cluster é agrupar as observações em grupos de tal forma que dentro de cada grupo as observações são semelhantes e distintas entre os grupos. Dentro de cada grupo a variabilidade deve ser mínima e a variabilidade entre os grupos deve ser máxima. GRUPO 1 GRUPO 2 GRUPO 3

16 Exemplos

17 Exemplos Agrupar países de acordo com as variáveis sócio demográficas.

18 Exemplos Agrupar municípios dentro de um país por meio de variáveis como: distribuição de renda, pib, população, importações, exportações dentre outras.

19 Exemplos Agrupar pessoas segundo hábitos alimentares semelhantes.

20 Exemplos Agrupar alimentos de acordo com as calorias.

21 Exemplos Agrupar clientes de acordo com o hábito de consumo. Alguns clientes adquirem mais produtos eletrônicos, outros adquirem cosméticos, viagem etc.

22 Métodos de Agrupamento

23 Métodos de Agrupamentos Método Hierárquico Método das K médias

24 Análise Exploratória de Dados

25 Tipos de Variáveis Qualitativas Ordinal (Nível de escolaridade) Nominal (Sexo) Quantitativas Discreta (Número de cursos de aperfeiçoamento realizados nos últimos 3 anos) Contínua (Salário anual) 25

26 Distribuição Simétrica Quantidade de cursos de aperfeiçoamento % 35,0 30,0 25,0 20,0 15,0 10,0 5,0 0, Dias de Uso do Cheque Especial 26

27 Distribuição Assimétrica à Direita Quantidade de cursos de aperfeiçoamento 35,0 30,0 25,0 % 20,0 15,0 10,0 5,0 0, Dias de Uso do Cheque Especial 27

28 Distribuição Assimétrica à Esquerda Quantidade de cursos de aperfeiçoamento 35,0 30,0 25,0 % 20,0 15,0 10,0 5,0 0, Dias de Uso do Cheque Especial 28

29 Distribuições 29

30 Resumo dos Dados Tabela de Freqüência Salário Anual Amostra Salário Anual 1 R$ ,00 2 R$ ,70 3 R$ ,30 4 R$ , R$ ,00 Salário anual Freqüência Freqüência Absoluta Relativa ,00 a ,99 2 0, ,00 a , , ,00 a , , ,00 a , , ,00 a , , ,00 a , , ,00 a , , ,00 a , , ,00 a ,99 6 0,012 Total

31 Resumo dos Dados Histograma Distribuição de Probabilidade do Salário Anual 31

32 Medidas de Posição Média Aritmética Moda Mediana Quartil Medidas de Dispersão Variância Desvio Padrão Amplitude Coeficiente de Variação 32

33 Medidas de Posição

34 Média Aritmética

35 A média aritmética é obtida a partir da soma das observações dividindo-se pelo total de observações. A média aritmética será denotada por X

36 Exemplo Considere os salários anuais dos quatro analistas apresentados na tabela A média aritmética para o salário dos analistas é dada por: X

37 Moda

38 Moda É a realização mais freqüente do conjunto de valores observados Valor Freqüência

39 Mediana

40 Mediana É a realização que ocupa a posição central da série de observações arranjadas na ordem ascendente (classificação do menor valor para o maior). n ímpar ,3 31,0 31,1 31,2 31,3 31,4 31,8 32,5 33,8 Quando o n for par a mediana é a média aritméticas das observações centrais. n par ,3 31,0 31,1 31,2 31,3 31,4 31,8 32,5 35,8 37,0 Mediana = (31,3 + 31,4)/2 =31,35 40

41 Quartis

42 Primeiro quartil ( Q1 ) Percentil 25 % - valor da amostra tal que 25 % das observações são menores do que ele; Segundo quartil ( Q2 ) Percentil 50 % - valor da amostra tal que 50 % das observações são menores do que ele (mediana); Terceiro quartil ( Q3 ) Percentil 75 % - valor da amostra tal que 75 % das observações são menores do que ele; 42

43 Box-plot

44 Como saber se em sua base de dados existe alguma observação muito diferente das demais?

45 As observações muito diferente das demais são denominadas ponto fora da curva ou OUTLIER

46 O Gráfico apresentado é denominado Box-plot. O objetivo do Box-plot é deteminar se existe na base de dados alguma observação muito diferentes das demais (OUTLIER). 46

47 O primeiro quartil (Q1), segundo quartil (Q2) e terceiro quartil (Q3) são apresentados no Box-plot. Q1 Q3 Q2 47

48 A fronteira inferior é dada por: Q1-1,5(Q3-Q1) A fronteira superior é dada por: Q3 + 1,5(Q3-Q1) Fronteira inferior Fronteira superior 48

49 O valor mínimo do conjunto de observações e valor máximo do conjunto de observações são destacados no Box-plot. mínimo máximo 49

50 Quando o valor mínimo for superior a fronteira inferior e o valor máximo for inferior a fornteira supeior não existe OUTLIER, ou seja, não existe nenhuma observação fora do padrão. mínimo máximo 50

51 Quando o valor mínimo for inferior a fronteira inferior existe OUTLIER, ou seja, existe uma ou mais observações fora do padrão. Todas as observações inferiores a fronteira inferior são denominadas outlier. 51

52 Quando o valor máximo for superior a fronteira superior existe OUTLIER, ou seja, existe uma ou mais observações fora do padrão. Todas as observações superiores a fronteira superior são denominadas outlier. 52

53 O Box-plot contém as fronteiras que aparecem pontilhadas e deve-se ter atenção ao mínimo, máximo, primeiro quartil (Q1), segundo quartil (Q2) e terceiro quartil (Q3). Q1-1,5(Q3-Q1) Q1 Q3 Q3+1,5(Q3-Q1) Q mínimo máximo 53

54 Medidas de Dispersão

55 Desvio

56 O desvio é a distância de cada observação à média. 56

57 Variância Amostral e Desvio Padrão Amostral

58 A variância amostral, denotada por S 2, é obtida por meio da soma dos desvios elevados ao quadrado dividindo-se pelo total de observações menos um. A variância amostral é dada por: S 2 (2000) 2 (0) 2 ( 2000) 3 2 (0) ,66 58

59 Como a variância amostral está na unidade ao quadrado, para retornar a unidade original deve-se obter a raiz quadrada da variância amostral. O desvio padrão amostral, denotado por S, é a raiz quadrada da variância amostral. S ,

60 Coeficiente de Variação

61 O Coeficiente de Variação é uma medida de dispersão relativa. O Coeficiente de Variação é obtido por meio da divisão do desvio padrão pela média multiplicando-se por 100. Desvio Padrão CV = x 100 Média 61

62 Exemplo Considere os salários anuais de quatro analistas e de quatro gerentes apresentados na tabela. O coeficiente de variação é obtido por meio da divisão do desvio padrão pela média multiplicando-se por 100. CV = Desvio Padrão x 100 Média Analista Gerente Média Desvio Padrão Coef. de Variação 3,3 16,3 62

63 Como o coeficiente de variação para o grupo de gerentes é maior do que o coeficiente de variação do grupo de analistas há evidência de que a variabilidade de salários no grupo de gerentes é maior do que a variabilidade no grupo de analistas. Analista Gerente Média Desvio Padrão Coef. de Variação 3,3 16,3 63

64 O grupo com o maior Coeficiente de Variação é considerado o grupo com maior variabilidade. Média Desvio Padrão Coeficiente de Variação Maior Variabilidade Menor Variabilidade 64

65 Padronização de variável

66 Para padronizar uma variável deve-se subtrar da variável original o valor da média e dividir o resultado pelo desvio padrão. A variável padronizada é denominada Z. Z (X S X) X: variável aleatória com média e desvio padrão S X Z: variável aleatória padronizada com média 0 e variância 1. 66

67 Exercício 1 Considere um executivo realizou uma pesquisa de preço para a compra de um computador. Com base nos preços obtidos com 5 fornecedores calcule as medidas descritivas. Qual foi o valor médio? Qual foi o valor mediano? Preço R$ 5.800,00 R$ 6.300,00 R$ 5.900,00 R$ 5.400,00 R$ 6.200,00 Obtenha o desvio padrão amostral. Obtenha o coeficiente de variação.

68 Medidas de Similaridade e Dissimilaridade

69 Na análise de cluster as observações são agrupadas de acordo com medidas de similaridade ou dissimilaridade. Existem várias formas de medir similaridade ou dissimilaridade depende do critério a ser considerado.

70 A leoa é mais parecida com a gata ou com a cadela?

71 Para determinar se a leoa é mais parecida com a gata ou com a cadela é necessário definir um critério de similaridade. Considere como critério de similaridade o porte do animal. Neste caso a leoa será mais parecida com a cadela.

72 Considere agora como critério de similaridade o formato da orelha. Neste caso a leoa será mais parecida com a gata.

73 Medidas de Similaridade: Quanto maior for a medida de similaridade maior será a semelhança entre os elementos. O coeficiente de correlação linear de Pearson é uma medida de similaridade. Medidas de Dissimilaridade: Quanto maior for a medida de dissimilaridade menor será a semelhança entre os elementos. A distância euclidiana e a distância euclidiana ao quadrado são medidas de dissimilaridade.

74 Exemplo 1 Banco de Dados: dados1.xls

75 Considere o exemplo de uma analista de gestão de pessoas que deseja agrupar os candidatos em três grupos considerando duas variáveis: o tempo de formação do candidato e o tempo que o candidato permaneceu na empresa anterior. A Tabela apresenta os valores das variáveis para os cinco candidatos.

76 Tempo na empresa anterior O Gráfico de dispersão apresenta os valores das variáveis para os cinco candidatos. Candidato 4 Candidato 3 Candidato 1 Candidato 5 Candidato 2 Tempo de formação

77 Tempo na empresa anterior Como a analista de gestão de pessoas deseja agrupar os candidatos em três grupos considerando duas variáveis o gráfico apresenta uma sugestão de agrupamento. Os candidatos foram agrupados de acordo com um critério. Candidato 4 Grupo 2 Candidato 3 Candidato 1 Grupo1 Candidato 2 Grupo 3 Candidato 5 Tempo de formação

78 Tempo na empresa anterior O grupo 1 é formado por candidatos com pouco tempo de formação e pouco tempo na empresa anterior. O grupo 2 é formado por candidatos com tempo de formação superior a 7 anos e com tempo na empresa anterior superior a 11 anos. O grupo 3 é formado por um candidato com 12 anos de formação e 2 anos na empresa anterior. Candidato 4 Grupo 2 Candidato 3 Candidato 1 Grupo1 Candidato 2 Grupo 3 Candidato 5 Tempo de formação

79 Tempo na empresa anterior Um critério de dissimilaridade que pode ser considerado para agrupar observações é a distância Euclidiana. A distância Euclidiana entre os candidatos 2 e 4 é dada pela reta vermelha. Candidato 4 Candidato 3 Candidato 1 Candidato 5 Candidato 2 Tempo de formação

80 A distância Euclidiana ao Quadrado entre os candidatos 2 e 4 é dada por: D A distância Euclidiana entre os candidatos 2 e 4 é obtida por meio da raiz quadrada positiva da distância Euclidiana ao Quadrado. D

81 Tempo na empresa anterior A distância Euclidiana entre os candidatos 1 e 2 é dada pela reta vermelha. Candidato 4 Candidato 3 Candidato 1 Candidato 5 Candidato 2 Tempo de formação

82 A distância Euclidiana ao Quadrado entre os candidatos 1 e 2 é dada por: D A distância Euclidiana entre os candidatos 1 e 2 é obtida por meio da raiz quadrada positiva da distância Euclidiana ao Quadrado. D 5 2,23

83 A matriz de distância Euclidiana ao Quadrado é uma matriz simétrica. As distâncias Euclidianas ao Quadrado, entre todos os elementos, localizadas acima da diagonal principal são apresentadas na matriz.

84 A distância Euclidiana é obtida por meio da raiz quadrada da distância Euclidiana ao quadrado. A matriz de distância Euclidiana é uma matriz simétrica. As distâncias Euclidianas, entre todos os elementos, localizadas acima da diagonal principal são apresentadas na matriz.

85 EXERCÍCIO Obter a matriz de distância Euclidiana para as variáveis padronizadas. 2 Quais os dois lanches mais parecidos?

86 EXERCÍCIO Obter a matriz de distância Euclidiana para as variáveis padronizadas. 2 Quais os dois lanches mais parecidos?

87 EXERCÍCIO Obter a matriz de distância Euclidiana para as variáveis padronizadas. 2 Quais os dois lanches mais parecidos?

88 Técnicas de Agrupamento Vizinho mais Próximo (Nearest Neighbor )

89 Para a realização dos agrupamentos considerando como técnica de agrupamento o vizinho mais próximo pode-se partir da matriz de distância Euclidiana entre todos os candidatos.

90 Passo 1 Nesse passo deve-se agrupa-se as observações com as menores distâncias. Como as observações 1 e 2 possuem as menores distâncias elas serão agrupadas no passo 1. Calcula-se a distância entre as observações 1 e 2 e as demais observações. Distância entre 1 e 3 = 14,14 Distância entre 2 e 3 = 12,04 A menor distância é 12,04. Distância entre 1 e 4 = 15,23 Distância entre 2 e 4 = 13,0 A menor distância é 13,0. Distância entre 1 e 5 = 10,0 Distância entre 2 e 5 = 9,22 A menor distância é 9,22. 90

91 Passo 1 Elabora-se uma nova matriz de distância com as observações 1 e 2 grupadas.

92 Passo 2 Nesse passo deve-se agrupa-se as observações com as menores distâncias. Como as observações 3 e 4 possuem as menores distâncias elas serão agrupadas no passo 2. Calcula-se a distância entre as observações 3 e 4 e as demais observações. Distância entre 3 e (1+2) = 12,04 Distância entre 4 e (1+2) = 13,00 A menor distância é 12,04. Distância entre 3 e 5 = 10,00 Distância entre 4 e 5 = 14,56 A menor distância é 10,00 92

93 Passo 2 Elabora-se uma nova matriz de distância com as observações 3 e 4 grupadas.

94 Passo 3 Nesse passo deve-se agrupa-se as observações com as menores distâncias. Como as observações (1+2) e 5 possuem as menores distâncias elas serão agrupadas no passo 3. Calcula-se a distância entre as observações (1+2) e 5 e as demais observações. Distância entre (1+2) e (3+4)= 12,04 Distância entre 5 e (3+4) = 10,00 A menor distância é 10,00.

95 Passo 3 Elabora-se a matriz de distância final.

96 Técnicas de Agrupamento Vizinho mais Próximo (Nearest Neighbor ) Dendograma

97 O dendograma é um gráfico que tem como objetivo representar graficamente os passos realizados em um agrupamento feito por um método hierárquico. Com base na análise do dendograma é possível determinar o número de grupos para o conjunto de observações.

98 Distância Euclidiana Este é o Dendograma gerado a partir dos agrupamentos realizados nos passos de 1 a 3. Dendrograma 10,00 9,220 5,657 2,

99 O elemento 1 foi agrupado ao elemento 2 na distância 2,236. Distância Euclidiana O elemento 3 foi agrupado ao elemento 4 na distância 5,657. O grupo (1+2) foi agrupado ao elemento 5 na distância 9,220. O grupo (1+2+5) foi agrupado ao grupo (3+4) na distância 10,00. 10,00 9,220 Dendrograma 5,657 2,

100 Distância Euclidiana Por meio do dendograma pode-se sugerir o número de grupos a serem considerados. Em geral, observa-se quando o próximo agrupamento é realizado em uma distância muito superior ao agrupamento anterior. 10,00 9,220 Dendrograma 5,657 2,

101 Os elementos 1 e 2 foram agrupados a uma distância de 2,236, os elementos 3 e 4 foram agrupados a uma distância de 5,657. O próximo agrupamento ocorreu na distância 9,220. Como distância entre 9,220 e 5,657 é grande pode-se sugerir separar os grupos em uma distância superior a 5,657 e inferior a 9,220. A linha vermelha representa a separação. Distância Euclidiana 10,00 9,220 Dendrograma 5,657 2,236 Profa. Dra. 1 Alessandra 2 5 de Ávila 3 Montini 4

102 Distância Euclidiana Considerando a linha vermelha como a separação dos grupos nota-se que os elementos 1 e 2 formam um grupo, o elemento 5 forma um grupo e os elementos 3 e 4 formam um grupo. 10,00 9,220 Dendrograma 5,657 2,

103 Distância Euclidiana Caso o objetivo do problema seja separar os elementos em 2 grupos pode-se considerar a linha vermelha como a separação. Nota-se que os elementos 1, 2 e 5 formam um grupo e os elementos 3 e 4 formam o outro grupo. 10,00 9,220 Dendrograma 5,657 2,

104 EXERCÍCIO 5 Obter o dendograma considerando o método do vizinho mais próximo e matriz de distância Euclidiana para as variáveis padronizadas.

105 EXERCÍCIO 6 Obter o dendograma considerando o método do vizinho mais próximo e matriz de distância Euclidiana para as variáveis padronizadas.

106 EXERCÍCIO Obter o dendograma considerando o método do vizinho mais próximo e matriz de distância Euclidiana para as variáveis padronizadas.

107 Técnicas de Agrupamento Vizinho mais Distante (Furthest neighbor )

108 Para a realização dos agrupamentos considerando como técnica de agrupamento o vizinho mais distante deve-se partir da matriz de distância Euclidiana entre todos os candidatos.

109 Passo 1 Nesse passo deve-se agrupa-se as observações com as menores distâncias. Como as observações 1 e 2 possuem as menores distâncias elas serão agrupadas no passo 1. Calcula-se a distância entre as observações 1 e 2 e as demais observações. Distância entre 1 e 3 = 14,14 Distância entre 2 e 3 = 12,04 A maior distância é 14,14. Distância entre 1 e 4 = 15,23 Distância entre 2 e 4 = 13,0 A maior distância é 15,23. Distância entre 1 e 5 = 10,0 Distância entre 2 e 5 = 9,22 A maior distância é 10,

110 Passo 1 Elabora-se uma nova matriz de distância com as observações 1 e 2 grupadas ,14 15,23 10,00 3 5,66 10, ,56 5

111 Passo 2 Nesse passo deve-se agrupa-se as observações com as menores distâncias. Como as observações 3 e 4 possuem as menores distâncias elas serão agrupadas no passo ,14 15,23 10,00 3 5,66 10, ,56 5 Calcula-se a distância entre as observações 3 e 4 e as demais observações. Distância entre 3 e (1+2) = 14,14 Distância entre 4 e (1+2) = 15,23 A maior distância é 15,23. Distância entre 3 e 5 = 10,00 Distância entre 4 e 5 = 14,56 A maior distância é 14,56 111

112 Passo 2 Elabora-se uma nova matriz de distância com as observações 3 e 4 grupadas.

113 Passo 3 Nesse passo deve-se agrupa-se as observações com as menores distâncias. Como as observações (1+2) e 5 possuem as menores distâncias elas serão agrupadas no passo 3. Calcula-se a distância entre as observações (1+2) e 5 e as demais observações. Distância entre (1+2) e (3+4)= 15,23 Distância entre 5 e (3+4) = 14,56 A maior distância é 15,23.

114 Passo 3 Elabora-se a matriz de distância final.

115 Técnicas de Agrupamento Vizinho mais Distante (Furthest neighbor ) Dendograma

116 Distância Euclidiana Este é o Dendograma gerado a partir dos agrupamentos realizados nos passos de 1 a 3. 15,23 Dendrograma Dendrograma 10,00 5,66 2,24 Profa. Dra. 1 Alessandra 2 de 5 Ávila Montini 3 4

117 Considerando a linha vermelha como a separação dos grupos notase que os elementos 1 e 2 formam um grupo, o elemento 5 forma um grupo e os elementos 3 e 4 formam um grupo. Distância Euclidiana 15,23 Dendrograma Dendrograma 10,00 5,66 2,24 Profa. Dra. 1 Alessandra 2 de 5 Ávila Montini 3 4

118 EXERCÍCIO Obter o dendograma considerando o método do vizinho mais próximo e matriz de distância Euclidiana para as variáveis padronizadas. Considerando 3 grupos calcule a média para as variáveis originais em cada grupo e caracterize os grupos.

119 Grupo 1 Grupo 2 Grupo 3 Média - Valor Energético Média - Carboidratos Lanches Caracterização dos grupos :

120 EXERCÍCIO Obter o dendograma considerando o método do vizinho mais próximo e matriz de distância Euclidiana para as variáveis padronizadas. Considerando 3 grupos calcule a média para as variáveis originais em cada grupo e caracterize os grupos.

121 Caracterização dos grupos :

122 EXERCÍCIO Obter o dendograma considerando o método do vizinho mais próximo e matriz de distância Euclidiana para as variáveis padronizadas. Considerando 3 grupos calcule a média para as variáveis originais em cada grupo e caracterize os grupos.

123 Caracterização dos grupos :

124 Técnicas de Agrupamento Método da Centróide (Centroid clustering)

125 Exemplo 2

126 Dada a matriz de distância agrupe os elementos por meio do método da centróide e construa o dendograma ,24 14,14 15,23 10, ,04 13,00 9,22 3 5,66 10, ,

127 Como a menor distância é entre os elementos 1 e 2 eles serão agrupados no passo ,24 14,14 15,23 10, ,04 13,00 9,22 3 5,66 10, ,

128 Passo 1 Os elementos 1e 2 eles serão agrupados no passo1. Os elementos que serão agrupados são denominados p e q A novo grupo (p+q) é denominado t ,24 14,14 15,23 10, ,04 13,00 9,22 3 5,66 10, ,56 5 Neste caso p = 1, q = 2 e t = (1+2)

129 Os elementos que serão agrupados são denominados p e q A novo grupo (p+q) é denominado t. A distância entre o novo grupo t e o elemento/grupo r é dada por S t,r N p N p N q S p,r N p N q N q S q,r N 2 p, q N N p p * N q q S Em que, Np é o número de observações no grupo p, Nq é o número de observações no grupo q, Sp,r é a distância entre p e r, Sq,r é a distância entre q e r, Sp,q é a distância entre p e q.

130 Cálculo da distância do grupo 1+2 para o elemento 3

131 ,24 14,14 15,23 10, ,04 13,00 9,22 3 5,66 10, ,56 5 p = 1 e q=2 t = (1+2) r = 3 S t,r N p N p N q S p,r N p N q N q S q,r N 2 p, q N N p p * N q q S S N N * N ( 1 2),3 S1,3 S2,3 S 2 1,2 N1 N2 N1 N2 N1 N2 N 1 1 1*1 ( 1 2),3 S1,3 S2,3 S1,2 0,5*14,14 0,5*12,04 (0,25)*2,24 12,

132 Cálculo da distância do grupo 1+2 para o elemento 4

133 ,24 14,14 15,23 10, ,04 13,00 9,22 3 5,66 10, ,56 5 p = 1 e q=2 t = (1+2) r = 4 S t,r N p N p N q S p,r N p N q N q S q,r N 2 p, q N N p p * N q q S S N N * N ( 1 2),4 S1,4 S2,4 S 2 1,2 N1 N2 N1 N2 N1 N2 N 1 1 1*1 ( 1 2),4 S1,4 S2,4 S1, 0,5*15,23 0,5*13,00 (0,25)*2,24 13, S 2

134 Cálculo da distância do grupo 1+2 para o elemento

135 ,24 14,14 15,23 10, ,04 13,00 9,22 3 5,66 10, ,56 5 p = 1 e q=2 t = (1+2) r = 5 S t,r N p N p N q S p,r N p N q N q S q,r N 2 p, q N N p p * N q q S S N N * N ( 1 2),5 S1,5 S2,5 S 2 1,2 N1 N2 N1 N2 N1 N2 N 1 1 1*1 ( 1 2),5 S1,5 S2,5 S1, 0,5*10,00 0,5*9,22 (0,25)*2, S 2 9,05

136 Matriz de distância após agrupar os elementos 1 e ,53 13,56 9,05 3 5,66 10, ,56 5

137 Passo 2 Os elementos 3 e 4 eles serão agrupados no passo ,53 13,56 9,05 3 5,66 10, ,56 5

138 Cálculo da distância do grupo 3+4 para o grupo (1+2)

139 ,53 13,56 9,05 3 5,66 10, ,56 5 p = 3 e q=4 t = (3+4) r = (1+2) S t,r N p N p N q S p,r N p N q N q S q,r N 2 p, q N N p p * N q q S S N * N ( 3 4),(1 2) S3,(1 2) S4,(1 2) S 2 3,4 N3 N4 N3 N4 N3 N4 N N 1 1 1*1 ( 3 4),(1 2) S3,(1 2) S4,(1 2) S3, 0,5*12,53 0,5*13,56 (0,25)*5,66 11, S 4

140 Cálculo da distância do grupo 3+4 para o elemento

141 ,53 13,56 9,05 3 5,66 10, ,56 5 S t,r N p N p N q S p,r N p N q N p = 3 e q=4 t = (3+4) q r = 5 S q,r N 2 p, q N N p p * N q q S S N N * N ( 3 4),5 S3,5 S4,5 S 2 3,4 N3 N4 N3 N4 N3 N4 N 1 1 1*1 ( 3 4),5 S3,5 S4,5 S3, 0,5*10,00 0,5*14,56 (0,25)*5,66 10, S 4

142 Matriz de distância após agrupar os elementos 3 e ,63 9, ,86 5

143 Passo 3 Os elementos (1+2) e 5 eles serão agrupados no passo ,63 9, ,86 5

144 Cálculo da distância do grupo (1+2)+5 para o grupo (3+4)

145 ,63 9, ,86 5 p = (1+2) e q=5 t = (1 + 2) + (5) r = (3+4) S t,r N p N p N q S p,r N p N q N q S q,r N 2 p, q N N p p * N q q S S N (1 2) 5 (1 2) 5 ( 1 2) 5,(3 4) S(1 2),(3 4) S5,(3 4) S N(1 2) N5 N(1 2) N5 (1 2) 5 N N * N 2 (1 2), 5 N N 2 1 2*1 ( 1 2) 5,(3 4) 11,63 10,87 9, S 2 9,36

146 Matriz de distância final ,23 3+4

147 Técnicas de Agrupamento Método da Centróide (Centroid clustering) Dendograma

148 Distância Euclidiana Este é o Dendograma gerado a partir dos agrupamentos realizados nos passos de 1 a 3. 15,23 Dendrograma Dendrograma 9,05 5,66 2,24 Profa. Dra. 1 Alessandra 2 de 5 Ávila Montini 3 4

149 Considerando a linha vermelha como a separação dos grupos nota-se que os elementos 1 e 2 formam um grupo, o elemento 5 forma um grupo e os elementos 3 e 4 formam um grupo. Distância Euclidiana 15,23 Dendrograma Dendrograma 9,05 5,66 2,24 Profa. Dra. 1 Alessandra 2 de 5 Ávila Montini 3 4

150 Exercício Pokémon

151 HP (hit points) Representam a quantidade de vida, ou saúde do Pokémon e a quantidade de dano que ele consegue levar antes de ser liquidado. Quanto maior o HP, mais vida o Pokémon terá e, portanto, mais difícil será liquidá-lo. Attack (Ataque) Determina a quantidade de dano que um Pokémon pode infligir no outro usando um movimento de ataque físico. Quanto maior o ataque, mais dano o Pokémon pode infligir em seu adversário. Defense (Defesa) Mostra a capacidade do Pokémon se defender quando recebe um ataque físico. Quanto maior a Defense (defesa), menor dano ele receberá quanto atacado fisicamente.

152 Pokemon HP Attack Defense HP Attack Defense Chansey ,50-1,47-1,33 Snorlax ,39 0,42 0,00 Dragonite ,46 0,85 0,66 Rhydon ,29 0,78 1,22 Pikachu ,15-0,57-0,55 Média 128,2 86,8 65 Desvio Padrão 81,32 55,53 45,14

153

154

155

156

157 Exercício 1

158 Considere o exemplo de um diretor que deseja agrupar seus vendedores de acordo com as vendas diárias realizadas no estado de São Paulo e no estado do Rio de Janeiro. A Tabela apresenta os valores das variáveis para os cinco vendedores para um dia de venda. Vendedor Venda SP Venda RJ

159 a - Obtenha os elementos que estão acima da diagonal principal da matriz de distância Euclidiana dos vendedores. Responder com 3 casas decimais

160 b - Obtenha todas as matrizes de agrupamentos e faça o dendograma.

161 Exercício 2

162 Considere o exemplo de um diretor que deseja agrupar seus vendedores de acordo com as vendas diárias realizadas no estado de São Paulo e no estado do Rio de Janeiro. A Tabela apresenta os valores das variáveis para os cinco vendedores para um dia de venda. Vendedor Venda SP Venda RJ

163 a - Obtenha os elementos que estão acima da diagonal principal da matriz de distância Euclidiana dos vendedores. Responder com 3 casas decimais

164 b - Obtenha todas as matrizes de agrupamentos e faça o dendograma.

165 Exercício 3

166 Considere o exemplo de um diretor que deseja agrupar seus vendedores de acordo com as vendas diárias realizadas no estado de São Paulo e no estado do Rio de Janeiro. A Tabela apresenta os valores das variáveis para os cinco vendedores para um dia de venda.

167 a - Obtenha os elementos que estão acima da diagonal principal da matriz de distância Euclidiana dos vendedores. Responder com 3 casas decimais

168 b - Obtenha todas as matrizes de agrupamentos e faça o dendograma.

169 Aplicação no PASW Statistics

170 Exemplo 3

171 Considere o exemplo de uma analista de gestão de pessoas que deseja agrupar os candidatos em três grupos considerando duas variáveis: o tempo de formação do candidato e o tempo que o candidato permaneceu na empresa anterior. A Tabela apresenta os valores das variáveis para os cinco candidatos.

172 Neste exemplo será utilizado o software PASW Statistics versão 18.

173 Importar a Base de Dados

174 Para importar um arquivo clicar em File, localizar o arquivo no computador e clicar em open.

175 Caso a primeira linha do arquivo a ser importado tiver o nome das variáveis deixar a opção que está marcada selecionada e clicar em OK.

176 O PASW Statistics importou de forma adequada a a base de dados.

177 Clicar em Variable View para verificar o tipo de cada variável.

178 A variável candidato é uma string e não uma variável numérica. Para trocar o tipo de variável clicar em TYPE, selecionar o tipo desejado e clicar em OK.

179 Agora a variável candidato é uma string.

180 Cluster Hierárquico

181 Selecionar Analyze, Classify e Hierarchical Cluster

182 Selecionar as variáveis que deverão ser utilizadas para formar os grupos e selecionar a variável Label.

183 As variáveis que deverão ser utilizadas para formar os grupos e a variável Label foram selecionadas.

184 No menu Statistics, Fazer estas seleções :

185 No menu Plots. Fazer estas seleções :

186 No menu Method, Selecionar um dos métodos de agrupamento

187 Neste exemplo selecionar o vizinho mais próximo (Nearest Neighbor )

188 No menu Method, Selecionar uma das medidas

189 Neste exemplo selecionar a Distância Euclidiana

190 Após a seleção das opções clicar em ok

191 O PASW Statistics gera um output com todos os resultados.

192 Número de elementos da base de dados e a matriz com as distâncias Euclidianas.

193 O PASW Statistics mostra quais os elementos que foram agrupados e em que distância. No estágio 1, o elemento 1 foi agrupado ao elemento 2 na distância 2,236. No estágio 2, o elemento 3 foi agrupado ao elemento 4 na distância 5,657. No estágio 3, o grupo (1+2) foi agrupado ao elemento 5 na distância 9,220. No estágio 4, o grupo (1+2+5) foi agrupado ao grupo (3+4) na distância 10,00.

194 O PASW Statistics gera o dendograma. Neste dendograma o PASW Statistics não apresenta no eixo vertical as distâncias euclidianas originais. O PASW Statistics faz uma mudança de escala. Dendrograma

195 Exemplo 4 Banco de Dados: MCDONALDS.xls

196 Neste exemplo pretende-se agrupar os lanches do Mcdonalds de acordo com as variáveis apresentadas.

197 Método Hierárquico

198 As variáveis que deverão ser utilizadas no cluster foram selecionadas e a variável Label foi selecionada.

199 No menu Statistics, Fazer estas seleções :

200 No menu Plots, Fazer estas seleções :

201 Método Hierárquico Vizinho mais próximo (Nearest neighbor)

202 Selecionar: Cluster Method: Vizinho mais próximo (Nearest neighbor) Measure : Distância Euclidiana (Euclidian distance) Transform Values: Z scores (transforma cada variável e considera as variáveis padronizadas).

203 A variável padronizada é denominada Z. Z (X S X) X X: variável aleatória com média e desvio padrão S Z: variável aleatória padronizada com média 0 e variância 1.

204 Dendrograma

205 Método Hierárquico Vizinho mais distante (Furthest neighbor)

206 Selecionar: Cluster Method: Vizinho mais distante (Furthest neighbor) Measure : Distância Euclidiana (Euclidian distance) Transform Values: Z scores (transforma cada variável e considera as variáveis padronizadas

207 Dendrograma

208 Método Hierárquico Centróide

209 Selecionar: Cluster Method: Centróide (Centroid clustering) Measure : Distância Euclidiana (Euclidian distance) Transform Values: Z scores (transforma cada variável e considera as variáveis padronizadas

210 Dendrograma

211 Como pode ser observado os dendogramas gerados pelos métodos vizinho mais próximo, vizinho mais distante e centróide são diferentes. Para exemplificar os agrupamentos considere o método do vizinho mais distante.

212 Dendrograma

213 Exercício 1 base de dados: MCdonalds1.xls

214 Considerando as variáveis padronizadas, o método da centróide e a matriz de distância Euclidiana, faça o dendograma. Obtenha 5 grupos com a base de dados: MCdonalds1.xls 1 Quais os lanches estão em cada grupo. Responder com o numero do lanche e não com o nome. Considerar a formação da esquerda para a direita: Grupo 1: Grupo 2: Grupo 3: Grupo 4: Grupo 5:

215 Exercício 2 base de dados: POKEMON1.xls

216 Todas as variáveis devem estar como : ESCALA.

217 Considerando as variáveis padronizadas, o método do vizinho mais distante e a matriz de distância Euclidiana, faça o dendograma. Obtenha 4 grupos com a base de dados: POKEMON1.xls. Considerar a formação da esquerda para a direita: 1 Complete a tabela abaixo e caracterize os grupos.

218 Método das k médias

219 No método das K médias é necessário definir, a priori, o número de grupos (clusters). 219

220 Padronização da Base de Dados

221 Antes de iniciar o método das K médias deve-se padronizar as variáveis. Para padronizar as variáveis, selecionar Analyze, Descriptive Statistics e Descriptives.

222 Selecionar todas as variáveis que serão utilizadas para realizar o agrupamento

223 O PASW Statistics gera colunas novas com as variáveis padronizadas.

224 Método das K médias

225 Para fazer os agrupamentos pelo método das k médias, selecionar Analyze, Classify e K-Means Cluster.

226 As variáveis padronizadas que deverão ser utilizadas no cluster foram selecionadas, a variável Label foi selecionada e foi determinado o número de grupos desejados (neste exemplo 3 grupos). 226

227 Na opção Iterate, Colocar 100 iterações.

228 Na opção Save, Fazer esta seleção.

229 Na opção options, Fazer estas seleções.

230 O PASW Statistics gera um output com todos os resultados.

231 Método das K médias Análise de Variância

232 O PASW Statistics gera um output com todos os resultados. Esta tabela gerada faz uma comparação das médias das variáveis entre os grupos.

233 Teste F para comparação de médias H 0 : as médias da variável são iguais para todos os grupos; H 1 : as médias da variável são diferentes em pelo menos um grupo; A variável Zscore:Valor energético é a variável Valor energético padronizada (com média zero e desvio padrão 1). A hipótese testa se a média dessa variável para o grupo 1 é igual a média dessa variável para o grupo 2 e é igual a média dessa variável para o grupo 3.

234 Teste F para comparação de médias Considere o teste F feito para a variável: Zscore:Valor energético A estatística do teste possui distribuição F com 2 e 22 graus de liberdade.

235 Teste F para comparação de médias O valor da estatística do teste é 86,075. A área a direita da estatística do teste é denominada nível descritivo (Sig). Distribuição F Nível descritivo 86,075

236 Teste F para comparação de médias H 0 : as médias da variável são iguais para todos os grupos; H 1 : as médias da variável são diferentes em pelo menos um grupo; Regra de decisão: Quando o Sig (Nível descritivo do teste) for menor do que α (0,10) rejeitamos H 0, ou seja, há evidência de que as médias da variável são diferentes em pelo menos um grupo

237 Como o Sig associado `a variável Zscore: Fibra Alimentar é maior do que 0,10 há evidência de que as médias dessa variável são iguais para todos os grupos. Desta forma esta variável não é importante para a formação dos grupos. Como o Sig associado as demais variáveis são inferiores a 0,10 as demais variáveis são importantes.

238 Ajusta-se novamente a análise de cluster pelo método das k médias sem a variável Zscore: Fibra Alimentar. Como o Sig associado as variáveis são inferiores a 0,10 todas essas variáveis são importantes.

239 Método das K médias Número de Observações nos Grupos

240 O PASW Statistics gera um output com o número de observações em cada grupo. Agora é necessário caracterizar os grupos.

241 O PASW Statistics coloca na base de dados o grupo relacionado a cada elemento. Esta nova variável é denominada:

242 Análise Exploratória dos Grupos Box-plot

243 Para obter o Box-plot de cada um dos grupos para cada variável deve-se selecionar Graphs, Legacy Dialogs e Box-plot.

244 Fazer esta seleção.

245 Selecionar a variável, colocar a variável grupo em category Axis e colocar a variável com o nome dos lanches em label.

246 Box-plot da variável Valor Energéticos para cada um dos grupos.

247 Análise Exploratória dos Grupos Split File

248 Para obter um análise para cada grupo deve-se partir o banco de dados por grupo. Selecionar Data e Split File.

249 Selecionar Organize output by groups e colocar a variável grupo.

250 Análise Exploratória dos Grupos Medidas Descritivas

251 Para obter as estatísticas descritivas selecionar Analyze, Descriptive Statistics e Descriptives. cv

252 Selecionar as variáveis originais.

253 Selecionar as medidas descritivas desejadas.

254 O PASW Statistics gera uma tabela com as medidas descritivas selecionadas para cada grupo.

255 Análise Exploratória dos Grupos Caracterização dos Grupos

256 Com base nas medidas descritivas geradas no PASW Statistics pode-se obter a seguinte tabela com as médias das variáveis para cada grupo. Adicionalmente pode-se obter uma tabela similar para cada medida descritiva. Variável Grupo 1 Grupo 2 Grupo 3 Valor Energético 408,24 855,67 567,40 Ferro 2,76 5,33 8,88 Colesterol 44,41 129,33 77,40 Calcio 113,35 257,00 216,20 Proteínas 23,35 48,67 29,20 Carboidratos 39,53 52,67 40,80 Gorduras Saturadas 5,08 22,00 13,80 GordurasTrans 0,28 1,70 1,00 Sódio 1073, , ,00 GordurasTotais 17,30 50,00 32,00 OBS: a cor vermelho representa o grupo de maior média para a variável, a cor cinza representa o grupo com a segunda maior média para a variável e a cor verde representa Profa. o Dra. grupo Alessandra de menor de média Ávila para Montini a variável.

257 Nota-se que o grupo 1 apresenta as menores médias para todas as variáveis. O grupo 2 apresenta as maiores médias para todas as variáveis (exceto para o ferro). O grupo 3 apresenta valores médios intermediários (próximos do grupo 2) para as variáveis e maior valor médio para a variável ferro. Variável Grupo 1 Grupo 2 Grupo 3 Valor Energético 408,24 855,67 567,40 Ferro 2,76 5,33 8,88 Colesterol 44,41 129,33 77,40 Calcio 113,35 257,00 216,20 Proteínas 23,35 48,67 29,20 Carboidratos 39,53 52,67 40,80 Gorduras Saturadas 5,08 22,00 13,80 GordurasTrans 0,28 1,70 1,00 Sódio 1073, , ,00 GordurasTotais 17,30 50,00 32,00

258 Grupo 1 - apresenta as menores médias para todas as variáveis. Chicken Club Crispy Chicken Club Grill Chicken Bacon Crispy Chicken Classic Crispy McChicken Chicken Lemon Crispy Chicken Classic Grill Chicken Bacon Grill Chicken Lemon Grill McFish Wrap Crispy Maionese Wrap Grill Maionese Wrap Crispy Lemon McChicken Jr Cheeseburger Wrap Grill Lemon Hamburger

259 Grupo 2 Colesterol médio e sódio médio muito maior que os demais grupos. Grupo 2

260 Grupo 3 maior valor médio para a variável ferro

261 Exercício 1

262 1- PADRONIZAR AS VARIÁVEIS

263

264 VARIÁVEIS PADRONIZADAS

265 Obter 8 grupos pelo método das K médias

266 1. Obter um Box plot para cada variável original considerando os 8 grupos. 2. Completar a tabela abaixo com as médias e caracterizar os 8 grupos.

267 3. Completar a tabela abaixo com o valor mínimo e caracterizar os 8 grupos. 4. Completar a tabela abaixo com o valor máximo e caracterizar os 8 grupos.

268 Exercício 2

269 Considere o dendograma realizado por meio da técnica de agrupamento do vizinho mais distante e considere a matriz de distância Euclidiana. Suponha que o objetivo seja separar os lanches em três grupos.

270 Considere o agrupamento em três grupos e considere o grupo do lanche Quarteirão. Obtenha a média, o desvio padrão e o coeficiente de variação para a variável valor energético para os lanches do grupo do lanche Quarteirão. ValorEnergético Carboidratos Proteínas Angus Deluxe Angus Bacon Big Tasty CBO Mcnifico Bacon Chicken Club Crispy Quarterão Chicken Club Grill Chicken Bacon Crispy Cheddar McMelt Big Mac a) Média: ; b) Desvio padrão: ; c) Coeficiente de Variação ;

271 Exercício 3

272 Considere um colecionador de motos que deseja agrupar as motos de acordo com algumas variáveis. A tabela apresenta a ANOVA. Marque as variáveis que você acha adequado utilizar na análise de clusters considerando o método das k médias. Considerar α = 0,10. ( ) Cilindrada ( ) Potencia ( ) Torque ( ) Cambio ( ) Velocidade ( ) Aceleração Cluster Error Mean Square Df Mean Square df F Sig. Cilindrada , , ,640,003 Potencia 11173, , ,154,000 Torque 63, , ,863,003 Cambio 8, , ,400,133 velocidade 9842, , ,552,008 aceleracao 36, , ,514,122