MÉTODOS MULTIVARIADOS. Rodrigo A. Scarpel

Transcrição

1 MÉTODOS MULTIVARIADOS Rodrigo A. Scarpel

2 INTRODUÇÃO Semana Conteúdo Introdução aos métodos multivariados 1 Análise de componentes principais 2 Aplicações de análise de componentes principais 3 Princípios de análise fatorial exploratória 4 Análise fatorial exploratória e aplicações 5 Métodos de visualização de dados e escalonamento multidimensional 6 Análise de agrupamentos: métodos hierárquicos 7 Análise de agrupamentos: métodos não-hierarquicos 8 Prova Análise de agrupamentos: método da mistura (baseados em densidade). 9 Métodos avançados de formação de agrupamentos. Introdução aos modelos de classificação Métodos de detecção de iterações 11 Classificadores lineares e análise discriminante paramétrica 12 Regressão Logística 13 FERIADO (11/6) Métodos de classificação baseados em programação matemática 14 Support Vector Machine Métodos de avaliação da performance de modelos de classificação 15 Mistura de especialistas 16 Prova

3 APRESENTAÇÃO Métodos de geração de agrupamentos: São métodos utilizados no agrupamento de observações (produtos, consumidores,...) maximizando a similaridade dentro do agrupamento e a dissimilaridade entre agrupamentos. Exemplos: O analista financeiro gostaria de segmentar as empresas analisadas de acordo com os fatores (que impactam na saúde financeira) identificados. O fabricante de bens de consumo, após mapear a estrutura de mercado e determinar os fatores que diferenciam os produtos, gostaria de segmentar os produtos ofertados. Análise de agrupamentos

4 GERAÇÃO DE AGRUPAMENTOS Objetivos: agrupar observações (linhas de uma base de dados, indivíduos em uma população,...) para descobrir estruturas nos dados. Os métodos de geração de agrupamentos são fundamentalmente uma coleção de métodos de exploração de dados, sendo utilizados para verificar se existem agrupamentos naturais. Os métodos de geração de agrupamentos podem ser divididos em: Iteration Aglomerativos Partitivos

5 Os métodos hierárquicos de geração de agrupamentos são enquadrados como aglomerativos e comumente utilizados para sumarizar estruturas em bases de dados. Os agrupamentos são gerados a partir de uma matriz de dissimilaridades. Os agrupamentos gerados são representados em uma estrutura, na forma de árvore, denominada dendograma que mostra como as observações foram aglomeradas. Os métodos hierárquicos mais utilizados são: Ligação simples (método do vizinho mais próximo) Ligação completa (método do vizinho mais distante) Ligação média Centróide Ward

6 MEDIDAS DE DISSIMILARIDADE Propriedades de uma medida de dissimilaridade: 1. d(x,y) 0 2. Simetria: d(x,y) = d(y,x) 3. Se d(x,y) 0 então x y 4. Se x = y, então d(x,y) = 0 Propriedades de uma medida de distância: 1. Todas as propriedades de uma medida de dissimilaridade 2. Desigualdade triangular: d(x,y) d(x,z) + d(y,z)

7 A medida de dissimilaridade mais utilizada em geração de agrupamentos é a distância Euclidiana. A distância Euclidiana entre dois vetores, x e w, é: D D x, w x, w ( x, w) = x w = ( x w ) = d = i= 1 (( x w) '( x w) ) 1/ 2 = ( x' x + w' w 2x' w) 1/ 2 d i i 2 Educação (anos) Renda: R$8.000,00 Educação: 15 anos Renda: R$3.000,00 Educação: 6 anos d ij = = = p k= 1 ( x ik x jk 2 ) 2 ( 8 3) + (15 6) =,296 2 Renda (R$ mil)

8 Ilustração dos métodos: 25 Educação (anos) d S S 6 = (30 25) + (19 20) = = 26 Matriz de dissimilaridades Renda (R$ mil) Observ Renda Educação S1 5 5 S2 6 6 S S S S S1 S2 S3 S4 S5 S6 S S S S S S

9 Método da ligação simples (vizinho mais próximo) : Cluster K D KL D KL = min i C K min j C L d ( x i, x j ) Cluster L CLUSTER Observ Renda Educação 1 S S S S S S Educação (anos) Renda (R$ mil) S1 S2 S3 S4 S5 S6 S S S S S S S1&S2 S3&S4 S5 S6 S1&S S3&S S S

10 Método da ligação simples (vizinho mais próximo) : S1&S2 S3&S4 S5 S6 S1&S S3&S S S S1&S2 S3&S4 S5&S6 S1&S S3&S S5&S S1&S2 S3&S4&S5&S6 S1&S S3&S4&S5&S Educação (anos) Distance 15, Renda (R$ mil) DENDOGRAMA,51 5,25 0, O bse rvations

11 NÚMERO IDEAL DE AGRUPAMENTOS: Há diversas abordagens para determinar o número ideal de agrupamentos: 1. Arbitrar o número (valor conhecido, razões práticas). 2. Escolher o número que resulte nos agrupamentos de mais fácil interpretação. 3. Distância entre os agrupamentos: MÉTODOS HIERÁRQUICOS Distance 15,76,51 5,25 0,00 DENDOGRAMA 145 1/2 6 1/ Observations Média = (2 1/ /2 ) / 5 = 6,05 Diferenças: 26 1/2-2 1/2 = 3,68 6 1/2-26 1/2 = 5,19 2 1/2 2 1/2 26 1/ /2-6 1/2 = 1,75

12 Método da ligação completa (vizinho mais distante) : D KL = max i C K max j C L d ( x i, x j ) Cluster K D KL 25 Cluster L 20 CLUSTER Observ Renda Educação 1 S S S S S S Educação (anos) Renda (R$ mil) S1 S2 S3 S4 S5 S6 S S S S S S S1&S2 S3&S4 S5 S6 S1&S S3&S S S

13 Método da ligação completa (vizinho mais distante) : S1&S2 S3&S4 S5 S6 S1&S S3&S S S S1&S2 S3&S4 S5&S6 S1&S S3&S S5&S S1&S2&S3&S4 S5&S6 S1&S2&S3&S S5&S Educação (anos) Renda (R$ mil)

14 Método da ligação média: Cluster K d(x i,x j ) L i C K j C L ( x x ) D 1 KL = d i n n, K j 25 Cluster L CLUSTER Observ Renda Educação 1 S S S S S S Educação (anos) Renda (R$ mil) S1 S2 S3 S4 S5 S6 S S S S S S S1&S2 S3&S4 S5 S6 S1&S S3&S S S

15 Método da ligação média: S1&S2 S3&S4 S5 S6 S1&S S3&S S S S1&S2 S3&S4 S5&S6 S1&S S3&S S5&S S1&S2 S3&S4&S5&S6 S1&S S3&S4&S5&S Educação (anos) Renda (R$ mil) S1 S2 S3 S4 S5 S6 S S S S S S

16 Método do centróide: MÉTODOS HIERÁRQUICOS Cluster K X Cluster L D KL X D KL = x K x L 2 Educação (anos) Renda (R$ mil) S1 S2 S3 S4 S5 S6 S S S S S S S1&S2 S3&S4 S5 S6 S1&S ,5 782,5 S3&S ,5 230,5 S5 590,5 120, S6 782,5 230, CLUSTER Observ Renda Educação 1 S S S S S S CLUSTER Observ Renda Educação 1 S1&S2 5,5 5,5 2 S3&S4 15,5 14,5 3 S S

17 Método do centróide: MÉTODOS HIERÁRQUICOS S1&S2 S3&S4 S5 S6 S1&S ,5 782,5 S3&S ,5 230,5 S5 590,5 120, S6 782,5 230, CLUSTER Observ Renda Educação 1 S1&S2 5,5 5,5 2 S3&S4 15,5 14,5 3 S5&S6 27,5 19,5 Educação (anos) Renda (R$ mil) S1&S2 S3&S4 S5&S6 S1&S S3&S S5&S CLUSTER Observ Renda Educação 1 S1&S2 5,5 5,5 2 S3&S4&S5&S6 21,5 17 Educação (anos) Renda (R$ mil)

18 Método do centróide: MÉTODOS HIERÁRQUICOS S1&S2 S3&S4 S5&S6 S1&S S3&S S5&S CLUSTER Observ Renda Educação 1 S1&S2 5,5 5,5 2 S3&S4&S5&S6 21,5 17 Educação (anos) Renda (R$ mil) S1&S2 S3&S4&S5&S6 S1&S ,25 S3&S4&S5&S6 388,25 0 Distance 15,76,51 DENDOGRAMA 5,25 0, Observations

19 Método de Ward: MÉTODOS HIERÁRQUICOS Por esse método os agrupamentos são formados pela maximização da homogeneidade dentros dos grupos. Para o cálculo da homogeneidade utiliza-se a média de quadrados: ANOVA ANOVA D KL = x K 1 n K + x L 1 n L 2 CLUSTERS MEMBROS DOS CLUSTERS POSSÍVEIS QM 1 S1, S2 S3 S4 S5 S6 0,5 2 S1, S3 S2 S4 S5 S6 45,25 3 S1, S4 S2 S3 S5 S6 55,25 4 S1, S5 S2 S3 S4 S6 156,25 5 S1, S6 S2 S3 S4 S5 205,25 6 S2, S3 S1 S4 S5 S6 36,25 7 S2, S4 S1 S3 S5 S6 45,25 8 S2, S5 S1 S3 S4 S6 139,25 9 S2, S6 S1 S3 S4 S5 186,25 S3, S4 S1 S2 S5 S6 0,5 11 S3, S5 S1 S2 S4 S6 34,0 12 S3, S6 S1 S2 S4 S5 62,5 13 S4, S5 S1 S2 S3 S6 26,5 14 S4, S6 S1 S2 S3 S5 53,0 15 S5, S6 S1 S2 S3 S4 6,5 ((5-5,5) 2 +(6-5,5) 2 + (5-5,5) 2 +(6-5,5) 2 )/2 CLUSTER Observ Renda Educação 1 S S S S S S

20 Método de Ward: CLUSTERS MEMBROS DOS CLUSTERS POSSÍVEIS QM 1 S1, S2,S3 S4 S5 S6 54,7 2 S1, S2,S4 S3 S5 S6 67,335 3 S1, S2,S5 S3 S4 S6 197,335 4 S1, S2,S6 S3 S4 S5 261,335 5 S1, S2 S3,S4 S5 S6 1,0 6 S1, S2 S3,S5 S4 S6 34,5 7 S1, S2 S3,S6 S4 S5 63,0 8 S1, S2 S4,S5 S3 S6 27,0 9 S1, S2 S4,S6 S3 S5 53,5 S1, S2 S5,S6 S3 S4 7,0... CLUSTERS MEMBROS DOS CLUSTERS POSSÍVEIS 1 QM 1 S1, S2,S3,S4,S5,S6 58,5

21 NÚMERO IDEAL DE AGRUPAMENTOS: Para o método Ward, além das abordagens anteriores, utiliza-se: 1. R 2 = 1 (SQW / SQT), em que SQW é a soma de quadrados within-cluster, SQT é a soma de quadrados total SQT = n T * Height T SQW = n 1 *Height 1 + n 2 *Height 2 + n 3 *Height 3

22 Procedimentos para criação dos agrupamentos: DADOS REDUÇÃO DE DIMENSÃO: PCA, FATORIAL GERAÇÃO DOS AGRUPAMENTOS BIPLOT CLASSIFICADOR ANÁLISE DOS RESULTADOS Quantos agrupamentos Descrição MDS

23 AGRUPAMENTO DE VARIÁVEIS: os métodos de geração de agrupamentos também podem ser utilizados para agrupar variáveis. Padrão: Alternativa: empregar agrupamentos de variáveis. Medidas de dissimilaridade: dissimilaridade(x,y) = 1 - correlação(x,y) dissimilaridade(x,y) = arccos( correlação(x,y) )

24 Para casa: Leitura do artigo: Hierarchical grouping to optimize an objective function (J. H. Ward)