Introdução a Regressão Linear

Transcrição

1 Introdução a Regressão Linear 1 Duas pedras fundamentais em econometria: 1) Modelo de Regressão Linear 2) OLS método de estimação: Mínimos Quadrados Ordinários técnica algébrica / estatística

2 Modelo de Regressão Linear 2 Exemplo: N observações de indivíduos: como os salários dos indivíduos nesta amostra estão relacionados com outras variáveis observadas. i = 1...N y: salário k -1: variáveis : x 2 x k y i : salário do indivíduo i x ik : variável k do indivíduo i

3 Modelo de Regressão Linear 3 Qual combinação linear de x 2 x k e uma constante é a melhor aproximação de y? 1... k parâmetros constantes 1 2 x 2... k x k Para o indivíduo i : 1 2 x i2... k x ik y i [ 1 2 x i2... k x ik ] diferença entre o valor observado y i e sua aproximação linear

4 Modelo de Regressão Linear 4 Forma Matricial valores de x para o indivíduo i no vetor x i : x i = 1 x i2 x i3 x ik ' coeficientes em um vetor de dimensão k: = 1, 2,..., k '

5 Modelo de Regressão Linear 5 Forma Matricial y i 1 x i2 x i3... x ik 1 2 k = y i [ 1 2 x i2... k x ik] y i x i' (pode ser escrito desta forma)

6 O Método de Estimação - MQO 6 O Modelo de RL: y i x i' (1) Devemos escolher que torne (1) o menor possível. Método MQO Método MQO: Escolho de tal forma que a soma do quadrado das diferenças de (1) seja a menor possível. Min N S i=1 y i x i ' 2

7 O Método de Estimação - MQO 7 Problema de Minimização k condições de 1ª ordem: CPO : S = 0 N 2 i=1 x i y i x i' = 0 N 2 i=1 x i y i x i x i' = 0 N i=1 x i x i ' N = i=1 x i y i N = i=1 x i y i N i=1 x i x i ' 1 equações normais Sistema com k parâmetros desconhecidos

8 O Método de Estimação - MQO 8 Solução A solução será única se multicolinearidade). N i=1 x i x i ' é uma matriz simétrica invertível (inexistência de Solução para o problema de minimização: N b = i=1 x i x i ' 1 N i=1 x i y i Logo, a combinação linear de x i que minimiza a distância de y i é: y i = x i ' b valor predito de y i Melhor aproximação linear

9 O Método de Estimação - MQO 9 Decomposição de y i y i = y i e i, onde e i é o resíduo (valor observado menos valor predito) N S b = i=1 e i 2 valor mínimo da função objetivo S soma do quadrado dos resíduos

10 O Método de Estimação - MQO 10 Propriedades Algébricas N 1) i=1 x i e i = 0 e = e 1... e N ' vetor de resíduos ortogonal a cada vetor das observações de x N Se x i contém uma constante, i=1 e i = 0 2) y = x ' b

11 O Método de Estimação - MQO 11 Reta da regressão: resíduos e valores preditos

12 12 Introdução a Regressão Linear Resolução do Problema de Minimização na Forma Matricial...Relembrando o Modelo de RL: y = y i y N y y y y x x x x x x x x x n K K n n nk K n = = β β β ε ε ε

13 Introdução a Regressão Linear 13 Solução OLS b = X ' X 1 X ' y N X ' X = i=1 x i x i ' S = y X ' y X = y ' y X ' y X ' X y ' X = y ' y ' X ' y ' X ' X y ' X

14 Introdução a Regressão Linear 14 S = y ' y y ' X ' X ' y ' X ' X S = y' X ' X ' y ' X ' X x ' y x ' y = X ' y.2 X ' Xb X ' X b = 0 = 2 X ' y 2 X ' X b = 0 X ' y = X ' X b b = X ' X 1 X ' y

15 Introdução a Regressão Linear 15 CPO X ' e = 0 X ' y Xb =0 y = Xb e P X y y = X X ' X 1 X ' y=xb e

16 Introdução a Regressão Linear 16 Decomposição de y: y = Xb e e = y X X ' X 1 X ' y e = I X X ' X 1 X ' y M X

17 Introdução a Regressão Linear 17 P X X X ' X 1 X ' matriz projetora, projeta o vetor y no espaço coluna de X. M X complemento ortogonal, tudo do vetor y que não é projetado no espaço da coluna X.

18 Introdução a Regressão Linear 18 Projeção Ortogonal

19 Introdução a Regressão Linear 19 Propriedades de Px e Mx 1) Px = Px ' [ X X ' X 1 X ' ] = X X ' X 1 X ' 2) Px Px = Px 3) Px Mx = 0 Px [ I Px] = 0 Px Px Px = 0 4) Posto Mx = n k Posto Px = k

20 O Método de Estimação - MQO 20 Teorema 1 y R n, S R n é um subespaço linear, então é solução de Min y 2 sss y S e existe (único). S (Única solução)

21 O Método de Estimação - MQO 21 Min y 2 col X X ' y = 0 b = arg min y X 2 ortogonal a S (espaço gerado pelas colunas de X ) = Xb não necessariamente b é único (pode haver multicolinearidade)

22 O Método de Estimação - MQO 22 X ' y Xb = 0 X ' y X ' Xb = 0 X ' y = X ' Xb Se X ' X é não singular X ' X 1 X ' y = X ' X 1 X ' X b b = X ' X 1 X ' y = X X ' X 1 X ' P X y ' Obs: Posto X = Posto X ' X = k

23 Teorema Frisch-Waugh-Lovell (FWL) 23 Na regressão linear múltipla do vetor y em dois conjuntos de variáveis, X 1 e X 2, o subvetor b 2 é o conjunto de coeficientes obtidos quando os resíduos da regressão de y em X 1 são regredidos no conjunto de resíduos obtidos quando cada coluna de X 2 é regredida em X 1.

24 Teorema Frisch-Waugh-Lovell (FWL) 24 Regressão em 2 passos 1) Regrido y em X 1 : M X1 y são os resíduos 2) Regrido X 2 em X 1 : M X1 X 2 são os resíduos M X1 y = M X1 X 2 2 Tudo de y que não foi explicado por X 1 mas pode ser explicado por X 2. Tudo de X 2 que não está sendo explicado por X 1. O Teorema FWL diz que será igual a b 2.

25 Teorema Frisch-Waugh-Lovell (FWL) 25 Regressão Particionada y=x =X 1 1 X 2 2 X β

26 Teorema Frisch-Waugh-Lovell (FWL) 26 Temos que calcular a inversa de uma matriz particionada

27 Teorema Frisch-Waugh-Lovell (FWL) 27 É um conjunto de coeficientes da regressão de Y em X1 menos um fator de correção Regressão de y em X1

28 Teorema Frisch-Waugh-Lovell (FWL) 28 Para achar o b2:

29 Teorema Frisch-Waugh-Lovell (FWL) 29 Idéia por trás do Teorema 1) Quando X 1 é ortogonal a X 2 : Se X 1 X 2 : regrido y em X 1 e X 2 ; P X y acho P X y; X 2 b 2 Projeto P X y em X 1 e acho 1 X 1 b 1 X 1 1 que é igual a b 1. 2) Quando X 1 não é ortogonal a X 2 : Quando X 1 não é ortogonal a X 2, a projeção P X y em X 1 determina X 2 b 2 P X y X um coeficiente menor que b 1. X 1 b 1