Mestrado Profissional em Administração. Disciplina: Análise Multivariada Professor: Hedibert Freitas Lopes 1º trimestre de 2015

Tamanho: px

Começar a partir da página:

Download "Mestrado Profissional em Administração. Disciplina: Análise Multivariada Professor: Hedibert Freitas Lopes 1º trimestre de 2015"

Márcio Antas de Andrade
5 Há anos
Visualizações:

1 Mestrado Profissional em Administração Disciplina: Análise Multivariada Professor: Hedibert Freitas Lopes 1º trimestre de 2015

2 Análise Discriminante MANLY, Cap. 8 HAIR et al., Cap. 5 2

3 Objetivos o Construir uma regra de discriminação dos grupos (Análise Discriminante) Pergunta: As variáveis observadas realmente são capazes de diferenciar as populações? o Construir uma regra para classificar novas observações em uma das populações (Análise Classificatória) 3

4 Exemplo 1 Para a concessão de crédito, um gerente coleta dados cadastrais de seus clientes Os dados coletados são úteis para diferenciar um mau pagador de um bom pagador? Quão úteis? Com base nos dados de um cliente, é possível prever se ele será um bom ou mau pagador? 4

5 Exemplo 2 Uma seguradora precisa decidir se vale a pena fazer o seguro para o veículo de determinado perfil de cliente. É possível identificar se o veículo de determinado perfil de cliente será roubado durante a vigência de sua apólice? Como identifico esses clientes? É possível prever a taxa de sucesso? É possível criar um tipo de escoragem para auxiliar na decisão? 5

6 Separação e classificação para duas populações 6

7 Variáveis observadas: X=(X 1, X 2,, X p ) T População 1 População 2 Diferem? 7

Ideia o Transformar as observações multivariadas (X) em observações univariadas (y), de tal forma que as observações univariadas derivadas das populações 1 e 2 estejam

8 Ideia o Transformar as observações multivariadas (X) em observações univariadas (y), de tal forma que as observações univariadas derivadas das populações 1 e 2 estejam mais separadas quanto possível. o Formar uma combinação linear das variáveis originais observadas de maneira que as populações 1 e 2 fiquem o mais separadas possível. 8

9 Exemplo Uma empresa que fabrica maquinário agrícola deseja orientar o setor de vendas a respeito do público alvo de seus produtos, especificamente da sua linha de tratores. Para isso, você tem acesso aos dados do arquivo Trator.xls. 9

Exemplo População de interesse: agricultores de determinada região Objetivo: identificar, com base no rendimento anual (X 1, em milhares de reais) e no

10 Exemplo População de interesse: agricultores de determinada região Objetivo: identificar, com base no rendimento anual (X 1, em milhares de reais) e no tamanho do lote (X 2, em hectares), prováveis compradores de trator. Amostra: 12 proprietários de trator (grupo 1) e 12 não proprietários (grupo 0) - Y. 10

11 Diagrama de dispersão 11

12 Diagrama de dispersão 120 SIM 100 Rendimento NÃO Tamanho do Lote 12

13 Diagrama de dispersão SIM Rendimento Y: eixo de projeção 40 NÃO Tamanho do Lote 13

14 Função discriminante de Fisher Pop1 Pop Função discriminante de Fisher: Y = b T X Y 14

15 Função discriminante Y = b T X: função discriminante Se X pertence à Pop1 então E(Y) = b T 1 = 1Y Se X pertence à Pop2 então E(Y) = b T 2 = 2Y Var(Y) = b T b - para as duas populações. Importante: a normalidade, apesar de desejável, não é assumida. A homocedasticidade é necessária. 15

16 Função discriminante Pop1 Pop Quanto maior a diferença, melhor é a discriminação das populações 16

17 Pop1 Pop2 Pop1 Pop A discriminação será boa quando: Pop1 Pop2 as médias forem distantes as variâncias forem pequenas

18 Como estimar b? Selecionar a combinação linear que maximiza a distância entre 1Y e 2Y relativa à variabilidade de Y. Maximizar a função objetivo: Δ = ω 1 ω 2 Var( Y ) = b T ( µ b µ 1 2 T Σb ) 18

19 Parâmetros desconhecidos Maximizar a função objetivo: Δ = S = b T (n 1 ( b x 1 T 1) Sb n S 1 x n ) (n ) S 2 Solução: b = S -1 (X 1 -X 2 ) 19

Exemplo - Consumidores de trator 120 100 80 60

20 Exemplo - Consumidores de trator GRUPO RENDA NC C LOTE 20

21 Para o exemplo: Médias: RENDA LOTE Sim Não S RENDA LOTE RENDA LOTE

22 Função discriminante Sim Não b = Sim-Não RENDA 0,43 0,33 0,10 LOTE 5,47 4,68 0,79 Função discriminante: Y = 0,10Renda+0,79Lote 22

23 Análise Classificatória Como utilizar Y para prever a população a qual um determinado caso pertence? Y > c = População 1 Y < c = População 2 Como encontrar c? 23

24 Diagrama de dispersão SIM Rendimento Y: eixo de projeção 40 NÃO Tamanho do Lote 24

25 Pop2 Pop1 Pop1 Pop c Indivíduos da Pop1 classificados na Pop2 Indivíduos da Pop2 classificados na Pop1 25

26 Pop2 Pop1 Pop1 Pop c Indivíduos da Pop1 classificados na Pop2 Indivíduos da Pop2 classificados na Pop1 26

27 Análise Classificatória Suposição: homocedasticidade. Sejam e Y = b T 1 X1 Y = b T 2 X2 Como classificar um indivíduo com vetor x 0? Valor da função discriminante de Fisher para o indivíduo: y 0 = b T x 0 27

28 Análise Classificatória O indivíduo deve ser classificado na população 1 se y 0 Y 1 y 0 Y 2 b T ( ) T( ) x X b x X

29 Regras de classificação Isso equivale a utilizar a seguinte regra: se y 0 > c classifico em Pop 1. c Y + Y =, se n n 1 = 2 Pop2 Pop1 Pop1 Pop c 29

30 Regras de classificação Regra para tamanhos amostrais diferentes c n Y + n Y =, se n 1 n 2 n + n

31 Função discriminante Sim Não b = Sim-Não RENDA 0,43 0,33 0,10 LOTE 5,47 4,68 0,79 n 1 = n 2 = 12, então Y = 0,10 Renda + 0,79 Lote Y 1 = b T X1 = Y 2 = b T X2 =19, 64 Y1 + Y2 c = = Regra de classificação: se Y 0 > c então consumidor 31

32 Função discriminante 32

33 Tabela de classificação 33

34 Custos de erros de População verdadeira classificação População Prevista Pop1 Pop2 Pop1 0 c(2/1) Pop2 c(1/2) 0 c(2/1): custo ao se classificar um indivíduo da população 1 na população 2 c(1/2): custo ao se classificar um indivíduo da população 2 na população 1 34

35 Probabilidades de Classificação População População Prevista verdadeira Pop1 Pop2 Pop1 P(1,1) P(2,1) Pop2 P(1,2) P(2,2) P(i,j) = probabilidade de um indivíduo ser classificado na população i e ser da população j. p i = probabilidade de um indivíduo ser da população i (também conhecida como probabilidade a priori) 35

36 ECM: Custo esperado de classificação errada ECM = c(2/1) P(2,1) + c(1/2) P(1,2) = = c(2/1) P(2/1) p 1 + c(1/2) P(1/2) p 2. Objetivo: obter uma regra de classificação que minimize o ECM. 36

37 37 ( ) ( ) ( ) ( ) ( ) p p c(2/1) c(1/2) k ln(k) Y Y 2 1 ln(k) 2 1 ln(k) 2 1 = > + > + > + x b x b x b x b x x S x x x S x x T 2 T 1 T T T T 2 1 Regra 2 de classificação Se X seguir uma distribuição normal multivariada e as matrizes de covariâncias forem as mesmas para as duas populações, então x 0 deve ser classificado em Pop1 se:

38 Regra 2 de classificação Simplificando temos que x 0 deve ser classificado em Pop 1 se: y b T x > c + ln(k) = 0 = o m 38

39 Regra 2 de classificação k = c(1/2) c(2/1) p p 2 1 Se p 1 = p 2 e c(1/2) > c(2/1), ou seja é mais custoso classificar um indivíduo do grupo 2 no grupo 1 do que o inverso, então k > 1 e portanto o ponto de corte será superior a c (ponto médio das médias dos grupos). Conclusão: tendemos a classificar mais pessoas no grupo 2 do que no grupo 1. 39

40 Ilustrando: p 1 =p 2 e c(1/2) > c(2/1) k = c(1/2) c(2/1) p p 2 1 Pop2 Pop1 Pop1 Pop m Indivíduos da Pop1 classificados na Pop2 Erro mais barato c Indivíduos da Pop2 classificados na Pop1 Erro mais caro 40

41 k = Regra 2 de classificação c(1/2) c(2/1) p p 2 1 Se p 2 > p 1 e c(1/2) = c(2/1), há mais pessoas no grupo 2 do que no 1. Então a regra faz com que k > 1 e portanto o ponto de corte será superior a c (ponto médio das médias dos grupos), corrigindo a distorção. 41

42 Validação da Análise Tabela de classificação correta. Método deixar-um-de-fora (leave-one-out). 42

43 Violações das suposições Normalidade multivariada vícios nos testes e nas taxas de classificação errada variáveis contínuas (Dillon, p. 381) - taxa geral de classificação correta não é muito afetada, mas as taxas por população podem ser. Efeito é menor se as variáveis preditoras forem limitadas superior e inferiormente. 43

44 Violações das suposições Matrizes de covariância desiguais vícios nos testes de hipóteses (pag 379 e 380 do Dillon) vícios na classificação erro maior se os tamanhos amostrais forem pequenos. 44

45 Análise Discriminante g - grupos 45

46 Exemplo No exemplo do trator, adicionar o grupo Consumidor de outra marca. Grupos Consumidor Não é consumidor Consumidor de outra marca 46

47 Diagrama de dispersão Rendimento Consumidores 40 Consumidor de outra marca Não 20 Sim Tamanho do Lote 47

48 Diagrama de dispersão Rendimento Consumidores 40 Consumidor de outra marca Não 20 Sim Tamanho do Lote 48

49 Funções discriminantes Havendo g grupos, o número de funções discriminantes será g-1. Construção: baseia-se na MANOVA 49

Documentos relacionados

Mestrado Profissional em Administração. Disciplina: Análise Multivariada Professor: Hedibert Freitas Lopes 1º trimestre de 2015

Mestrado Profissional em Administração Disciplina: Análise Multivariada Professor: Hedibert Freitas Lopes º trimestre de 05 Inferência Multivariada MANOVA MANLY, Cap. 4 HAIR et al., Cap. 6 Exemplo Uma