Modelos de Regressão Múltipla - Parte I

Transcrição

1 Modelos de Regressão Múltipla - Parte I Erica Castilho Rodrigues 4 de Outubro de 2016

2 2

3 3 Introdução

4 4 Quando há apenas uma variável explicativa X, temos um problema de regressão linear simples onde ǫ i iid N(0,σ 2 ). Y i = β 0 +β 1 X i +ǫ i Quando há pelo menos duas variáveis explicativas X 1, X 2,..., X p temos um problema de regressão linear múltipla: Y i = β 0 +β 1 X i +β 2 X i + +β p X i +ǫ i onde ǫ i iid N(0,σ 2 ).

5 5 Estudamos a influência ou explicação conjunta das variáveis X na variável Y. A interpretação de β 0 muda?

6 5 Estudamos a influência ou explicação conjunta das variáveis X na variável Y. A interpretação de β 0 muda? Não. Qual a interpretação?

7 5 Estudamos a influência ou explicação conjunta das variáveis X na variável Y. A interpretação de β 0 muda? Não. Qual a interpretação? β 0 é o valor esperado de Y quando todas variáveis são iguais a zero. Se alguma das variáveis não puder assumir valor zero, β 0 perde essa interpretação. Mesmo assim ele deve continuar na equação.

8 6 A interpretação dos coeficientes β 1,β 2,...,β p é feita separadamente para cada variável, mantendo as demais fixas. Por exemplo, se p = 2. β 1 representa a variação esperada em Y quando X 1 aumenta em uma unidade e X 2 é mantida fixa. Qual interpretação do β 2?

9 6 A interpretação dos coeficientes β 1,β 2,...,β p é feita separadamente para cada variável, mantendo as demais fixas. Por exemplo, se p = 2. β 1 representa a variação esperada em Y quando X 1 aumenta em uma unidade e X 2 é mantida fixa. Qual interpretação do β 2? β 2 representa a variação esperada em Y quando X 2 aumenta em uma unidade e X 1 é mantida fixa.

10 7 Exemplo Fonte:CRISP- Informativo no 1, dez/2001, pg. 12. Deseja-se analisar incidência de roubos nas unidades de planejamento de Belo Horizonte. Quais variáveis podem explicar?

11 7 Exemplo Fonte:CRISP- Informativo no 1, dez/2001, pg. 12. Deseja-se analisar incidência de roubos nas unidades de planejamento de Belo Horizonte. Quais variáveis podem explicar? Renda, porcentagem de área comercial, índice de proteção social. Variável Resposta: Y =logaritmo do número de roubos nasunidades de planejamento. Precisamos da transformação pois a variável Y é uma contagem, logo não segue distribuição normal.

12 8 Exemplo (continuação) As variáveis explicativas são as seguintes: X 1 = { renda média do chefe da família (dólares)} X 2 = { porcentagem de área comercial } X 3 = { Índice de Proteção Social } O modelo ajustado é o seguinte ln(roubo) = (renda)+0.244(% de comércio) 0.529(IPS)

13 9 Exemplo (continuação) Vamos interpretar os parâmetros do modelo. Nesse caso β 0 não tem sentido prático. Como a variável resposta está na escala logarítimica, a interpretação modificia um pouco. Vejamos qual interpretação de β 1. Quais variáveis mantemos fixas?

14 9 Exemplo (continuação) Vamos interpretar os parâmetros do modelo. Nesse caso β 0 não tem sentido prático. Como a variável resposta está na escala logarítimica, a interpretação modificia um pouco. Vejamos qual interpretação de β 1. Quais variáveis mantemos fixas? % de área comercial e IPS.

15 10 Exemplo (continuação) Suponha que a renda média do chefe de família aumenta em 1 dólar. Qual aumento esperado no ln(roubo)?

16 10 Exemplo (continuação) Suponha que a renda média do chefe de família aumenta em 1 dólar. Qual aumento esperado no ln(roubo)? 0, E se a renda aumenta em 100 dólares?

17 10 Exemplo (continuação) Suponha que a renda média do chefe de família aumenta em 1 dólar. Qual aumento esperado no ln(roubo)? 0, E se a renda aumenta em 100 dólares? 0,086 ln(roubo) = (renda)+0.244(% de comércio) 0.529(IPS) ln(roubo ) = (renda+100)+0.244(% de comércio) 0.529(IPS) ln(roubo ) ln(roubo) =

18 10 Exemplo (continuação) Suponha que a renda média do chefe de família aumenta em 1 dólar. Qual aumento esperado no ln(roubo)? 0, E se a renda aumenta em 100 dólares? 0,086 ln(roubo) = (renda)+0.244(% de comércio) 0.529(IPS) ln(roubo ) = (renda+100)+0.244(% de comércio) 0.529(IPS) ln(roubo ) ln(roubo) = (renda+ 100) (renda) =

19 10 Exemplo (continuação) Suponha que a renda média do chefe de família aumenta em 1 dólar. Qual aumento esperado no ln(roubo)? 0, E se a renda aumenta em 100 dólares? 0,086 ln(roubo) = (renda)+0.244(% de comércio) 0.529(IPS) ln(roubo ) = (renda+100)+0.244(% de comércio) 0.529(IPS) ln(roubo ) ln(roubo) = (renda+ 100) (renda) ou seja = (100) = ln(roubo ) = ln(roubo)+0.086

20 11 Exemplo (continuação) Vamos tirar o logaritmo dos dois lados da equação ln(roubo ) = ln(roubo) ficamos com

21 11 Exemplo (continuação) Vamos tirar o logaritmo dos dois lados da equação ln(roubo ) = ln(roubo) ficamos com roubo = exp{ln(roubo)+0.086} =

22 Exemplo (continuação) Vamos tirar o logaritmo dos dois lados da equação ficamos com ln(roubo ) = ln(roubo) roubo = exp{ln(roubo)+0.086} = roubo(exp{0.086}) como exp{0.086} = então roubo = (roubo). Qual a variação percentual no número de roubos quando a renda aumeenta em 100 dólares e as demais variáveis são mantidas fixas?

23 11 Exemplo (continuação) Vamos tirar o logaritmo dos dois lados da equação ficamos com ln(roubo ) = ln(roubo) roubo = exp{ln(roubo)+0.086} = roubo(exp{0.086}) como exp{0.086} = então roubo = (roubo). Qual a variação percentual no número de roubos quando a renda aumeenta em 100 dólares e as demais variáveis são mantidas fixas? O roubo aumenta em 8.98%.

24 12 Exemplo (continuação) Qual interperetação de β 2? Matemos fixas quais variáveis?

25 12 Exemplo (continuação) Qual interperetação de β 2? Matemos fixas quais variáveis? Renda e IPS. Suponha que a porcentagem de área comercial aumenta em uma unidade (um ponto percentual). Qual aumento esperado no ln(roubo)?

26 12 Exemplo (continuação) Qual interperetação de β 2? Matemos fixas quais variáveis? Renda e IPS. Suponha que a porcentagem de área comercial aumenta em uma unidade (um ponto percentual). Qual aumento esperado no ln(roubo)?0.244 O que isso significa?

27 12 Exemplo (continuação) Qual interperetação de β 2? Matemos fixas quais variáveis? Renda e IPS. Suponha que a porcentagem de área comercial aumenta em uma unidade (um ponto percentual). Qual aumento esperado no ln(roubo)?0.244 O que isso significa? roubo = (exp{0.244})roubo como (exp{0.244}) = temos que roubo = 1.276roubo

28 13 Exemplo (continuação) O que isso significa?

29 13 Exemplo (continuação) O que isso significa? Espera-se um aumento de 27.6% no número de roubos quando a ocupação compercial aumenta em um ponto percentual e as demais variáveis são mantidas fixas Vejamos a intrepretação de β 3. Qual variação esperada no ln(roubo)?

30 13 Exemplo (continuação) O que isso significa? Espera-se um aumento de 27.6% no número de roubos quando a ocupação compercial aumenta em um ponto percentual e as demais variáveis são mantidas fixas Vejamos a intrepretação de β 3. Qual variação esperada no ln(roubo)? O que isso significa?

31 13 Exemplo (continuação) O que isso significa? Espera-se um aumento de 27.6% no número de roubos quando a ocupação compercial aumenta em um ponto percentual e as demais variáveis são mantidas fixas Vejamos a intrepretação de β 3. Qual variação esperada no ln(roubo)? O que isso significa? roubo = (exp{ 0.529})roubo como (exp{ 0.529}) = temos que roubo = 0.948roubo

32 14 Exemplo (continuação) O que isso significa?

33 14 Exemplo (continuação) O que isso significa? Espera-se uma redução de 5.2% no número de roubos quando o IPS aumenta em uma unidade e as demais variáveis são mantidas fixas Observe que uma redução de 5.2% equivale a multiplicar po

34 15

35 16 Podemos escrever o modelo de regressão linear simples de forma matricial. A solução obtida pode ser usada para qualquer modelo de regressão linear. Pode ser usada para um modelo de Regressão Linear Múltipla Y i = β 0 +β 1 X i +β 2 X i + +β p X i +ǫ i onde ǫ i iid N(0,σ 2 ).

36 17 O modelo de Regressão Linear Simples é dado por ou seja Y i = β 0 +β 1 X i +ǫ i para i = 1, 2,...,n Y 1 = β 0 +β 1 X 1 +ǫ 1 Y 2 = β 0 +β 1 X 2 +ǫ 2. Y n = β 0 +β 1 X n +ǫ n

37 18 Como podemos reescrever esse sistema usando matrizes? (fazer no quadro)

38 18 Como podemos reescrever esse sistema usando matrizes? (fazer no quadro) Y 1 β 0 β 1 X 1 ǫ 1 Y 2. = β 0. + β 1 X 2. + ǫ 2. Y n β 1 X n ǫ n β 0 Y 1 1 X 1 ǫ 1 Y 2. = β β X ǫ 2. Y n 1 X n ǫ n

39 19 onde Y 1 1 X 1 Y 2 1 X 2 [ ] β0 =.. β 1 }{{} Y n 1 X n }{{}}{{} β Y X Y = Xβ +ǫ ǫ 1 ǫ 2 +. ǫ n }{{} ǫ Y : vetor n 1 de observações da variável resposta X: matriz n 2 de observações da variável explicativa β: vetor 2 1 de parâmetros ǫ: vetor n 1 dos erros

40 20 Vejamos como ficam os estimadores de mínimos quadrados. Queremos minimizar a soma dos quadrados dos resíduos SQE = i (Y i Ŷi) 2 = i e 2 i Podemos reescrever da seguinte maneira onde SQE = i e 1 ei 2 = [ ] e 2 ǫ 1 e 2... e n. = e e e n e 1 Y 1 Ŷ1 e 2 e =. = Y 2 Ŷ2. = Y Xβ e n Y n Ŷn

41 21 Temos então que (fazer no quadro) SQE = e e = (Y Xβ) (Y Xβ)

42 21 Temos então que (fazer no quadro) SQE = e e = (Y Xβ) (Y Xβ) = (Y (Xβ) )(Y Xβ) = (Y β X )(Y Xβ) = Y Y β X Y Y Xβ +β X Xβ observe que como β tem dimensão 2 1 e X tem dimensão n 2 então β X Y = β 1 2 X 2 n Y n 1 = ( β X ) 1 n Y n 1 = ( β X Y ) 1 1 Portanto β X Y é um escalar e β X Y = ( β X Y ) = Y Xβ

43 22 Então a SQE fica SQE = Y Y β X Y Y Xβ +β X Xβ = Y Y Y Xβ Y Xβ +β X Xβ = Y Y 2Y Xβ +β X Xβ

44 23 Queremos encontrar o vetor β que minimiza a SQE. Vamos derivar SQE em relação a β. Vamos usar os seguintes resultados b Ax x = ( b A ) se A é simétrica Temos que x Ax x = 2Ax Y Xβ β = ( Y X ) = X Y β X Xβ β = 2X Xβ

45 24 Portanto SQE β = Y Y 2Y Xβ +β X Xβ β Igualando a derivada a zero ficamos com implica que 2X Y+2X Xβ = 0 X Xβ = X Y = 2X Y+2X Xβ. se X X for inversível, podemos multiplicar por (X X) 1 dos dois lados ( X X ) 1 X Xβ = ( X X ) 1 X Y.

46 25 Concluímos asssim que o estimador de mínimos quadrados de β é dado por ˆβ = ( X X ) 1 X Y. Esse resultado é válido para p variáveis explicativas. No caso da regressão linear simples o vetor β é 2 1. No caso genérico com p variáveis β é (p + 1) 1. Aparece p+1 por causa do β 0.

47 26 Vamos mostrar que para o caso da regressão linear simples os resultados coincidem com aqueles obtidos anteriormente. A Regressão Linear Simples é um caso particular da Regressão Linear Múltipla. Vamos relembrar alguns resultados sobre matrizes. Seja M uma matriz 2 2 [ ] a b M = c d

48 27 A inversa de M é dada por

49 A inversa de M é dada por [ ] 1 M 1 a b = = 1 [ ] d b c d D c a onde D = det(m) = ad bc.

50 28 A matriz X X é dada por [ ] 1 X 1 [ X 2 n = X 1 X 2... X n i.1 X X i n temos que observer que n i = n i det(xx ) = n i (X i X) 2 = n X 2 i 2n( i ( i X 2 i X 2 i X i )/n( i ( i 2X i X i ) 2 i X i i X i 2 X i + X 2 ) X i )+n 2( i X i) 2 n 2 ] = n i X 2 i ( i X i ) 2

51 29 E portanto det(x X) = n i (X i X) 2 Como temos que ( X X ) 1 = 1 [ X n X = i X i n i (X i X) 2 i X i i X i 2 [ ] i X i 2 i X i i X ] i n

52 30 Temos ainda que [ ] X Y 2 Y = X 1 X 2... X n. = Y n Y 1 [ n i=1 Y ] i n i=1 X iy i Portanto ˆβ = ( X X ) 1 X Y [ 1 = n i X i 2 i X ][ n i i (X i X) 2 i X i=1 Y ] i i n n i=1 X iy i

53 31 = [ 1 n i X 2 i i Y i i X i i (X i X) 2 i X i i X iy i i Y i + n i X iy i ] Vamos verificar o primeiro termo do vetor i X i 2 i Y i i X i i X iy i n i (X i X) 2 somando e subtraindo nx 2 i Y i = i X i 2 i Y i nx 2 i Y i + nx 2 i Y i i X i i X iy i n i (X i X) 2 i Y i( i X i 2 nx 2 )+n ( i X i) 2 n i Y 2 i i X i i X iy i n i (X i X) 2

54 32 Como ficamos com = i X 2 i nx 2 = i ( i Y i i (X i X) 2 n i (X i X) + i X i 2 já vimos que = Y X X i Y i i ( i X i i X i i Y i n (X i X) 2 i X i i Y i n ) i X iy i n i (X i X) 2 i Y i n + ) i X iy i i (X i X) 2 = i (X i X)(Y i Y)

55 33 Portanto ficamos com mas Y X ˆβ 1 = i (X i X)(Y i Y) i (X i X) 2 i (X i X)(Y i Y) i (X i X) 2 Mostramos assim que o primeiro elemento do vetor ˆβ = (X X) 1 X Y é dado por Y X ˆβ 1 que é justamente a expressão que tínhamos para o ˆβ 0 no caso da Regressão Linear Simples.

56 34 Vejamosa agora como fica o segundo elemento de [ 1 ˆβ = n i X 2 i i Y i i X i i (X i X) 2 i X i i X iy i i Y i + n i X iy i ]. Temos que já vimos que X i Y i i i X i i Y i + n i X iy i n i (X i X) 2 n( i X i iy i X ) i i Y i n = n i (X i X) 2 i X i i Y i n = i (X i X)(Y i Y)

57 35 Ficamos então com n i (X i X)(Y i Y) n i i (X = (X i X)(Y i Y) i X) 2 i (X i X) 2 que é a expressão que encontramos para ˆβ 1 anteriormente. Motrasmo assim que ˆβ = ( X X ) 1 X Y = ] [ˆβ0 ˆβ 1 Portanto as expressões obtidas para o caso genérico condizem com aquelas que foram obtidas para o modelo de Regressão Linear Simples.

58 36

59 37 As somas de quadrados também podem ser escritas em forma matricial. A Soma de Quadrados Totais pode ser escrita como SQT = i (Y i Y) 2 = i Y 2 i ny 2 mas i i = [ ] Y 2 Y 1 Y 2... Y n. = Y Y Y n Y 2 portanto a SQT pode ser escrita como SQT = Y Y ny 2 Y 1

60 38 A Soma de Quadrados da Regressão pode ser escrita como SQR = i (Ŷi Y) 2 = i Ŷ 2 i 2Y i Ŷ i + ny 2 mas sabemos que e i = i i (Ŷi Y i ) = 0 i Ŷ i = i Y i logo SQR = i Ŷ 2 i 2Y i Ŷ i +ny 2 = i Ŷ i 2Y i Y i +ny 2 = i Ŷ 2 i 2nY + ny 2 = i Ŷ 2 i ny 2.

61 39 Temos ainda que mas e podemos escrever ainda i Ŷ 2 i = Ŷ Ŷ Ŷ = Xˆβ Ŷ = ˆβ X Ŷ = Xˆβ substituindo ˆβ = (X X) 1 X Y ficamos com Ŷ = X ( X X ) 1 X Y

62 40 Substituindo em i Ŷ = X ( X X ) 1 X Y e Ŷ = ˆβ X i Ŷ 2 i = Ŷ Ŷ ficamos com Ŷi 2 = ˆβ X X ( X X ) 1 X Y = ˆβ X Y. Portanto SQR = i Ŷ 2 i ny 2 = ˆβ X Y ny 2.

63 41 A Soma de Quadrados do Resíduo é dada por SQE = SQT SQR. Mas vimos que SQT = Y Y ny 2 SQR = ˆβ X Y ny 2. Logo SQE = Y Y ny 2 (ˆβ X Y ny 2) = Y Y ˆβ X Y.

64 42 A tabela ANOVA pode ser escrita matricialmente da seguinte forma Fonte de Graus de Soma de Variação Liberdade Quadrados Regressão 1 ˆβ X Y ny 2 Resíduo n 2 Y Y ˆβ X Y Total n 1 Y Y ny 2 Tabela: Tabela ANOVA

65 43 Vejamos agora como fica a variância e covariância de ˆβ em notação matricial. Vimos que Var(ˆβ 0 ) = σ2 i X i 2 n i (X i X) 2 Var(ˆβ 1 ) = σ 2 i (X i X) 2

66 Temos ainda que já vimos que além disso portanto Cov(ˆβ 0, ˆβ 1 ) = Cov(Y ˆβ 1 X, ˆβ 1 ) = Cov(Y, ˆβ 1 )+Cov( ˆβ 1 X, ˆβ 1 ) = Cov(Y, ˆβ 1 ) XCov(ˆβ 1, ˆβ 1 ) Cov(Y, ˆβ 1 ) = 0 Cov(ˆβ 1, ˆβ 1 ) = Var(ˆβ 1 ) = σ 2 i (X i X) 2 Cov(ˆβ 0, ˆβ 1 ) = Cov(Y, ˆβ 1 ) XCov(ˆβ 1, ˆβ 1 ) = 0 X σ 2 i (X i X) 2 = X σ2 i (X i X) 2. 44

67 45 A matriz de variâncias e covariâncias do vetor (ˆβ 0, ˆβ 1 ) é dada por Var ] [ˆβ 0 = ˆβ 1 [ Var(ˆβ 0 ) ] Cov(ˆβ 0, ˆβ 1 ) Cov(ˆβ 1, ˆβ 0 ) Var(ˆβ 1 ) σ 2 i X i 2 n i (X i X) 2 σ X 2 σ X 2 = i (X i X) 2 σ 2 i (X i X) 2 i (X i X) 2 [ σ 2 i X i 2 n X i (X i X) 2 X 1 ]

68 46 Vamos agora chegar nesse mesmo resultado, porém usando a notação matricial do vetor (ˆβ 0, ˆβ 1 ). Vimos que ˆβ = ( X X ) 1 X Y = Vamos usar o seguinte resultado ] [ˆβ0 ˆβ 1 Var(AY) = AVar(Y)A onde A é uma matriz de constantes e Y é um vetor aleatório. Observe que esse resultdo é o caso geral de Var(aY) = a 2 Var(Y).

69 47 Vimos que ˆβ = ( X X ) 1 X Y e (X X) 1 X é uma matriz de constantes. Logo Var(ˆβ) = Var( ( X X ) 1 X Y) [ (X = X ) ] 1 X (X Var(Y)[ X ) ] 1 X. Mas sabemos que os Y i s são i.i.d. com variância constante σ 2 Portanto a matriz de variâncias e covariâncias do vetor Y é dada por σ Var(Y) = 0 σ = σ = σ 2 I n σ

70 48 E portanto [ (X Var(ˆβ) = X ) ] 1 X (X Var(Y)[ X ) ] 1 X [ (X = X ) ] [ 1 X (X σ 2 I n X ) ] 1 X = σ 2[ ( X X ) ][ 1 ( X X X ) ] 1 X = σ 2( X X ) 1 X X ( X X ) 1 = σ 2( X X ) 1.

71 49 Já vimos que ( X X ) 1 = 1 n i (X i X) 2 1 = i (X i X) 2 = 1 i (X i X) 2 [ [ i X i 2 n i X i n [ i X i 2 n i X i 2 i X i n n n i X ] i n ] i X i ] X X 1

72 50 Portanto = Var(ˆβ) = σ 2( X X ) 1 σ 2 i (X i X) 2 [ i X i 2 n ] X X 1 que foi exatamente o mesmo resultado que obtivemos para o caso da Regressão Linear Simples. Observe que o resultado Var(ˆβ) = σ 2 (X X) 1 vale para um número genérico que variáveis. Estamos mostrando aqui que para o caso particular p = 1 o resultado coincide com o que obtivemos anteriormente.