Les-0773: ESTATÍSTICA APLICADA III ANÁLISE DE AGRUPAMENTO. Junho de 2017

Transcrição

1 Les-0773: ESTATÍSTICA APLICADA III ANÁLISE DE AGRUPAMENTO AULA 4 02/06/17 Prof a Lilian M. Lima Cunha Junho de 2017 DEFINIÇÃO Análise de conglomerados (Cluster Analysis) é uma das técnicas de análise multivariada que visa reunir objetos, baseando-se nas características dos mesmos. Classifica objetos (ex. respondentes, produtos, etc), segundo aquilo que cada elemento tem de similar em relação a outros pertencentes a determinado grupo, considerando um critério de seleção pré-determinado. Between-cluster variation Within-cluster variation O grupo resultante dessa classificação deverá exibir: - Alto grau de homogeneidade interna. - Alto grau de heterogeneidade externa. 1

2 OBJETIVOS - Deseja-se reduzir o número de objetos, agrupando-os em clusters. - Deseja-se formular hipóteses sobre a natureza dos dados ou examinar hipóteses já estabelecidas. Agrupamento de objetos em classes com base em: 1) Similaridades entre os objetos 2) Inter-relações entre os objetos Sejam n objetos com p características (medidas, atributos): Como agrupar os n objetos de acordo com as p características em k grupos? 2

3 18 objetos ou indivíduos Em diferentes partições conforme método de partição usado Dados originais Dois clusters Quatro clusters Seis clusters Técnicas de Agrupamento 2) 1) Medidas de similaridade e dissimilaridade - Medida de correlação - Medida de associação - Medidas de distância (coeficiente de parecença) Métodos Hierárquicos (reunião de pares semelhantes) Métodos Não-Hierárquicos ou de Partição (divisões sucessivas do grupo inicial) - Média das distâncias (MMD) - Centróide - Ward - Simple Linkage (vizinho + próximo) - Complete Linkage (vizinho + distante) - Average Linkage K-Médias 3

4 ETAPAS DA ANÁLISE DE AGRUPAMENTO (AA) 1) Definição dos objetivos, critérios, escolha de variáveis e objetos (definição do problema). 2) Obtenção dos dados. 3) Tratamento dos dados. 4) Escolha de critérios de similaridade ou dissimilaridade (parecença). 5) Adoção e execução de um algoritmo para AA. 6) Apresentação de resultados. 1) Definição dos objetivos, critérios, escolha de variáveis e objetos (definição do problema). Problema: histórico de crescimento da massa corpórea das pessoas Peso e altura como 2 indicadores próximos da característica de interesse Agrupar indivíduos da população alvo conforme peso e altura Fixação dos critérios de homogeneidade Tipo de homogeneidade dependo dos objetivos a serem alcançados 4

5 ETAPAS DA ANÁLISE DE AGRUPAMENTO (AA) 1) Definição dos objetivos, critérios, escolha de variáveis e objetos (definição do problema). 2) Obtenção dos dados. 3) Tratamento dos dados. 4) Escolha de critérios de similaridade ou dissimilaridade (parecença). 5) Adoção e execução de um algoritmo para AA. 6) Apresentação de resultados. 2) Obtenção dos dados Individuo Altura (cm) Peso (kg) A B C D E F Matriz de dados que é a base de análise 5

6 2) Obtenção dos dados Matriz de dados brutos = Usualmente: agrupar objetos semelhantes segundo suas características (variáveis) Também é possível agrupar variáveis segundo os valores obtidos pelos objetos ETAPAS DA ANÁLISE DE AGRUPAMENTO (AA) 1) Definição dos objetivos, critérios, escolha de variáveis e objetos (definição do problema). 2) Obtenção dos dados. 3) Tratamento dos dados. 4) Escolha de critérios de similaridade ou dissimilaridade (parecença). 5) Adoção e execução de um algoritmo para AA. 6) Apresentação de resultados. 6

7 3) Tratamento dos dados Padronização dos dados (peso e altura) PADRONIZADOS Individuo Altura (cm) Peso (kg) Altura (cm) Peso (kg) A ,10 1,31 B ,33 0,75 C ,44 0,05 D ,90-0,93 E ,10 0,19 F ,21-1,35 Media 172,83 69,67 0,00 0,00 Desvio padrao 6,49 7,15 1,00 1,00 = = = = â ETAPAS DA ANÁLISE DE AGRUPAMENTO (AA) 1) Definição dos objetivos, critérios, escolha de variáveis e objetos (definição do problema). 2) Obtenção dos dados. 3) Tratamento dos dados. 4) Escolha de critérios de similaridade ou dissimilaridade (parecença). 5) Adoção e execução de um algoritmo para AA. 6) Apresentação de resultados. 7

8 4) Escolha de critérios de similaridade ou dissimilaridade (parecença). 1,1 0,6 B A A esta mais próximo de B ou C? B esta mais próximo de C ou A? 0,1-0,4 C E -0,9 D F DADOS PADRONIZADOS 4) Escolha de critérios de similaridade ou dissimilaridade (parecença). Obter a matriz de parecença D (proximidade) a partir da matriz de dados padronizados Há vários critérios: *Similaridade (ex coeficiente de correlação momento-produto de Pearson) e; *Dissimilaridade ( Critério da Distância Euclideana, Critério da Distância Euclideana Média e Critério da Distância de Mahalanobis) 8

9 Medida de correlação Medidas de similaridade INDIVÍDUO ALTURA (cm) PESO (kg) IDADE (anos) A B C D E F transposta A B C D E F A B C D E F A 1, B 0,997 1, C 0,972 0,987 1, D 0,991 0,998 0,994 1, E 0,892 0,924 0,974 0,944 1,000 correlação F 0,982 0,994 0,999 0,999 0,961 1,000 Coeficientes de correlação entre 2 colunas Correlação Similaridade Medidas de similaridade Medida de Associação * Comparar objetos com características mensuradas em termos não métricos ou qualitativos (nominais ou ordinais). * Pode avaliar o grau de concordância ou correspondência entre um par de respondentes. 9

10 Medidas de dissimilaridade é o valor da varável para o objeto i é o valor da varável para o objeto j Distância Euclidiana p variáveis X 1, X 2,..., X p ** Distância entre dois pontos Se soubermos as coordenadas de dois pontos no plano cartesiano (ponto A e B), é possível determinar a sua distância, utilizando o teorema de Pitágoras 10

11 Distância Euclidiana: usada no exemplo Para obter a matriz de parecença (D), utiliza-se os dados padronizados. A matriz será: Distância Euclidiana: usada no exemplo A B C D E F, = ) 11

12 Distância Euclidiana: usada no exemplo, = ( ) +( ) Altura Peso, = (,, ) +(, 0,75 0,75) =,, = (, (, )) +(, 0,05 0,05) =, 9, = (, (, )) +(, 0,05 0,05) =, Distância Euclidiana: usada no exemplo Para obter a matriz de parecença (D), utiliza-se os dados padronizados. A matriz será: 12

13 Distância Euclidiana media, = peso ( ) ( ) altura ETAPAS DA ANÁLISE DE AGRUPAMENTO (AA) 1) Definição dos objetivos, critérios, escolha de variáveis e objetos (definição do problema). 2) Obtenção dos dados. 3) Tratamento dos dados. 4) Escolha de critérios de similaridade ou dissimilaridade (parecença). 5) Adoção e execução de um algoritmo para AA. 6) Apresentação de resultados. 13

14 5) Adoção e execução de um algoritmo para AA. A escolha de um determinado algoritmo de agrupamento exige o conhecimento de suas propriedades aliados aos objetivos da pesquisa Usaremos para o exemplo dado o METODO DA MÉDIA DAS DISTANCIAS (M.M.D.) É um processo hierárquico cada passo diminui uma dimensão da matriz de parecença Técnicas de Agrupamento Medidas de similaridade e dissimilaridade - Medida de correlação - Medida de associação - Medidas de distância (coeficiente de parecença) Métodos Hierárquicos (reunião de pares semelhantes) Métodos Não-Hierárquicos ou de Partição (divisões sucessivas do grupo inicial) - Média das distâncias (MMD) - Centróide - Ward - Simple Linkage (vizinho + próximo) - Complete Linkage (vizinho + distante) - Average Linkage K-Médias 14

15 Métodos Hierárquicos Método das Médias das Distâncias (MMD) 1) A B C D E B 0, C 1,41 0, D 2,12 1,47 0, E 0,79 0,67 1,09 1,62 -- F 2,49 1,84 1,13 0,37 1,96 2) A B C E B 0, C 1,41 0, E 0,79 0,67 1,09 -- DF 2,30 1,66 0,95 1,79 Métodos Hierárquicos Método das Médias das Distâncias 1) A B C D E B 0, C 1,41 0, D 2,12 1,47 0, E 0,79 0,67 1,09 1,62 -- F 2,49 1,84 1,13 0,37 1,96 2) A B C E B 0, C 1,41 0, E 0,79 0,67 1,09 -- DF 2,30 1,66 0,95 1,79 15

16 Métodos Hierárquicos Método das Médias das Distâncias 2) A B C E B 0, C 1,41 0, E 0,79 0,67 1,09 -- DF 2,30 1,66 0,95 1,79 d(a,df) = (d(a,d) + d (A,F)) / 2 = (2,12+2,49)/2 = 2,30 d(b,df) = (d(b,d) + d (B,F)) / 2 = (1,41+1,84)/2 = 1,66 d(c,df) = (d(c,d) + d (C,F)) / 2 = )0,77+ 1,11)/2 = 0,95 d(e,df) = (d(e,d) + d (E,F)) / 2 = (1,62+1,96)/2 = 1,79 Métodos Hierárquicos Método das Médias das Distâncias 3) C E DF E 1, DF 0,95 1,79 -- AB 1,08 0,73 1,98 4) 5) C DF DF 0,95 -- ABE 1,08 1,98 CDF ABE 1,64 2 grupos com nível de parecença de 1,64 16

17 Métodos Hierárquicos Método das Médias das Distâncias RESUMO do MMD PASSO JUNÇÃO NIVEL 1 D,F 0,37 2 A,B 0,67 3 AB,E 0,73 4 C,DF 0,95 5 ABE, CDF 1,64-2 grupos de pessoas: ABE e CDF - O dendrograma é uma representação gráfica dos resultados do cluster hierárquico NIVEL DENDROGRAMA 1,64 0,95 0,73 0,67 0,37 A B E C D F 17

18 NIVEL DENDROGRAMA PODERIA TAMBEM REPRESENTAR NESSA ORDEM! 1,64 0,95 0,73 0,67 0,37 A B C D E F 2 1 B A D C F E -1-2 CLUSTER1: A,B,E CLUSTER2: C,D,F 18

19 DENDROGRAMA Métodos Hierárquicos (reunião de pares semelhantes) Na árvore cada passo da agregação é representado como a fusão ( junção ) de 2 ramos da árvore num só. Os ramos representam os clusters em cada passo do processo O valor do nível em cada junção é a distância entre os grupos reunidos. DENDROGRAMA Métodos Hierárquicos (reunião de pares semelhantes) Os resultados do estágio anterior são sempre incluídos dentro dos resultados dos estágios seguintes, de forma similar a uma árvore. Devido aos grupos serem formados somente pela união de grupos já existentes, qualquer membro de um grupo pode seguir o curso de seus outros membros em uma linha contínua até o seu início, na qualidade de uma observação individual. A representação desse processo é feita por meio de um gráfico em forma de árvore (Dendrograma) 19

20 CONSIDERAÇÕES FINAIS - Eliminar outliers - Problemas com representatividade amostral - Multicolinearidade CONSIDERAÇÕES FINAIS -Afirmativas empíricas nem sempre tem respaldo teórico; -A maioria das técnicas de agrupamento começam com calculo da matriz de similaridade ou dissimilaridade, tambem conhecida como matriz proximidade ou parecença; -Limitação dessa técnica: determinação da medida de proximidade mais conveniente, uma vez que técnicas baseadas em diferentes medidas de proximidade nem sempre levam aos mesmos resultados; 20

21 CONSIDERAÇÕES FINAIS - Interessante processar os dados usando varias técnicas e comparar resultados - cluster se associa a outras técnicas multivariada: para reduzir o numero de variáveis, por exemplo, utiliza-se analise fatorial. Exemplo2 Agrupar indivíduos conforme renda e idade, usando como medida de distancia (distancia euclidiana media) e método de partição MMD (método da media das distancias) 21

22 EXEMPLO 2 padronizados Individuo Renda Idade Zrenda Zidade A 9,6 28 0,26-0,86 B 8,4 31 0,04-0,44 C 2,4 42-1,02 1,10 D 18,2 38 1,79 0,54 E 3,9 25-0,76-1,28 F 6,4 41-0,31 0,96 media 8,15 34,17 0,00 0,00 desvio 5,61 7,14 1,00 1,00 Distancia Euclidiana Media, = renda ( ) ( ) idade Numero de variaveis 22

23 MATRIZ DE PARECENÇA Distancia Euclideana media A B C D E F A 0 B 0, C 1, , D 1, , , E 0, , , , F 1, , , , ,

24 ABE CF D ABE 0 CF d(abe,cf) 0 D d(abe,d) d(cf,d) 0 24

25 ABECF D ABECF 0 D d(abecf,d) 0 ABECF D ABECF 0 D 1, PARA O DENDROGRAMA... Juncao Nivel A,B 0,33 C,F 0,51 AB,E 0,79 ABE,CF 1,44 ABECF,D 1,73 25

26 ENTREGAR Agrupar indivíduos conforme peso e idade, usando como medida de distancia (distancia euclidiana media) e método de partição MMD (método da media das distancias) Individuo Peso Idade A B C D E F RESPOSTAS padronizados Individuo Peso Idade Zpeso Zidade A ,31 1,07 B ,75 0,66 C ,05-1,00 D ,93 0,03 E ,19-1,41 F ,35 0,66 media 69,67 24,83 0,00 0,00 desvio 7,15 4,83 1,00 1,00 MATRIZ PARECENCA (distancia euclideana reduzida - media) A B C D E F A 0 B 0, C 1, , D 1, ,2659 1, E 1, , , , F 1, , , , ,

27 REFERENCIAS BIBLIOGRÁFICAS Bussab,W., Miazaki, E. e Andrade, D.F. Introdução à análise de agrupamentos. Associação Brasileira de Estatística. ABE 9 Simpósio Nacional de Probabilidade e Estatística São Paulo julho de HAIR, Joseph; BLACK, William C.; BABIN, Barry B.; ANDERSON, Rolph E.; TATHAM, Ronaldo L.; Análise Multivariada de Dados. Análise de Agrupamentos - Cap ed. Porto Alegre: Bookman, * (material no xerox da economia AULA 4) 27