Capíulo 4 Propriedades dos Esimadores de Mínimos Quadrados
Hipóeses do Modelo de Regressão Linear Simples RS1. y x e 1 RS. Ee ( ) 0 E( y ) 1 x RS3. RS4. var( e) var( y) cov( e, e ) cov( y, y ) 0 i j i j RS5. x não é aleaória e assume pelo menos dois valores RS6. e N ~ (0, ) y N x ~ [( 1 ), ] (opcional)
4.1 Os Esimadores de Mínimos Quadrados como Variáveis Aleaórias O esimador de mínimos quadrados b do parâmero de inclinação, baseado em uma amosra de T observações, é b T x y x y T x x O esimador de mínimos quadrados b 1 do parâmero inercepo 1 é b y b x 1 y y / T e x x / T (3.3.8a) (3.3.8b) Quando as fórmulas de b 1 e b, são omadas para serem uilizadas como regras, qualquer que seja a amosra de dados exraída, enão b 1 e b são variáveis aleaórias. Nesse conexo, nós chamamos b 1 e b de esimadores de mínimos quadrados. Quando os valores reais da amosra, números, são subsiuídos nas fórmulas, nós obemos números que são valores das variáveis aleaórias. Nesse conexo, nós chamamos b 1 e b de esimaivas de mínimos quadrados.
4. As Propriedades Amosrais dos Esimadores de Mínimos Quadrados 4..1 Os Valores Esperados de b 1 e b Nós começamos reescrevendo a fórmula da equação 3.3.8a na seguine fórmula que é mais conveniene para propósios eóricos, b w e (4..1) onde w é um consae (não aleaória) dada por w x x ( x x) O valor esperado de uma soma é a soma dos valores esperados (ver Seção.5.1): (4..) E( b ) E w e E( ) E( w e ) w E( e ) [como E( e ) 0] (4..3)
4..1a O Conexo da Amosragem Repeida A Tabela 4.1 coném as esimaivas de mínimos quadrados do modelo de despesa com alimenação exraídas de 10 amosras aleaórias de amanho T=40 da mesma população. Tabela 4.1 Esimaivas de Mínimos Quadrados de 10 amosras aleaórias de amanho T=40 N 1 3 4 5 6 7 8 9 10 b 1 51,1314 61,045 40,788 80,1396 31,0110 54,3099 69,6749 71,1541 18,890 36,1433 b 0,144 0,186 0,1417 0,0886 0,1669 0,1086 0,1003 0,1009 0,1758 0,166
4..1b Dedução da Equação 4..1 ( x x) x x x T x 1 x x T x T x T x T x T x x T x (4..4a) ( x x) x T x x x x x T x Para a obenção desse resulado, nós levamos em consideração que x x / T enão x (4..4b) T x x ( x x)( y y) x y Tx y x y T (4..5) y
b, na forma de desvios em relação à média, é: b ( x x)( y y) ( x x) Lembre-se que ( x x) 0 (4..6) (4..7) Enão, a fórmula para b se orna b ( x x)( y y) ( x x) y y ( x x) ( x x) ( x x) ( x x) y ( x x) y ( x x) ( x x) onde w é a consane dada na equação 4... w y (4..8)
Para ober a equação 4..1, subsiua y por e simplifique: y x e 1 b w y w ( x e ) 1 w w x w e 1 (4..9a) w 0, isso elimina o ermo 1w wx 1 enão wx e (4..9a) se orna a equação 4..1. b w e (4..9b)
O ermo w w 1 ( x x) 0 wx Para mosrar que 1, porque ( x x) ( x x) ( x x) 0 usando ( x x) 0 nós novamene uilizamos ( x x) 0. Oura expressão para ( x x) ( x x) ( x x)( x x) é ( x x) x x ( x x) ( x x) x Conseqüenemene, wx ( x x) x ( x x) x 1 ( x x) ( x x) x
4.. A Variância e Covariância de b 1 e b var( b ) E[ b E( b )] Se as hipóeses do modelo de regressão RS1-RS5 são correas (RS6 não é necessária), enão as variâncias e covariância de b 1 e b são: var( b ) x 1 T ( x x) var( b ) ( x x) (4..10) cov( b, b ) x 1 ( x x)
Vamos considerar os faores que afeam as variâncias e covariância na equação 4..10. 1. A variância do ermo de erro aleaório,, aparece em cada uma das expressões.. A soma dos quadrados dos valores de x em relação à média amosral, ( x x), aparece em cada uma das variâncias e na covariância. 3. Quano maior for o amanho da amosra T, menores serão as variâncias e a covariância dos esimadores de mínimos quadrados; quano maior a amosra de dados, melhor é. 4. O ermo x aparece na var(b 1 ). 5. A média amosral dos valores de x aparecem na cov(b 1,b ).
Dedução da variância de b : O pono de parida é a equação 4..1. var( b ) var w e var w e [como = w var( e) = w ( x x) é uma consane] [usando cov( e, e ) 0] [usando var( e ) ] i j (4..11) O úlimo passo se baseia no fao de que w ( x x) 1 ( x ) ( x x) x (4..1)
4..3 Esimadores Lineares O esimador de mínimos quadrados b é uma soma ponderada das observações de y, b w y Esimadores como b são chamados de esimadores lineares por serem combinações lineares de uma variável aleaória observável. 4.3 O Teorema de Gauss-Markov O Teorema de Gauss-Markov: Saisfazendo as hipóeses RS1-RS5 do modelo de regressão linear, os esimadores b 1 e b êm a menor variância de odos os esimadores lineares e não endenciosos de 1 e. Eles são os melhores esimadores lineares não endenciosos (he Bes Linear Unbiased Esimaors BLUE) de 1 e
1. Os esimadores b 1 e b são melhores quando comparados com esimadores similares, aqueles que são lineares e não endenciosos. O Teorema não diz que b 1 e b são os melhores de odos possíveis esimadores. Os esimadores b 1 e b são os melhores denro de sua classe porque eles possuem a menor variância. 3. Para o Teorema de Gauss-Markov ser válido, as hipóeses (RS1-RS5) devem ser saisfeias. Se qualquer uma das hipóeses de 1-5 não forem saisfeias, enão b 1 e b não são os melhores esimadores lineares não endenciosos de 1 e. 4. O Teorema de Gauss-Markov não depende da hipóese de normalidade 5. No modelo de regressão linear simples, se nós queremos uilizar um esimador linear e não endencioso, enão nós não precisamos efeuar novas procuras. 6. O Teorema de Gauss-Markov é aplicado aos esimadores de mínimos quadrados. Ele não se aplica às esimaivas exraídas de uma amosra individual.
4.4 Disribuição de Probabilidade dos Esimadores de Mínimos Quadrados Se nós assumirmos a hipóese de normalidade, hipóese RS6 sobre o ermo de erro, enão os esimadores de mínimos quadrados são normalmene disribuídos. b 1 ~ N 1, T ( x x) x b ~ N, ( x x) (4.4.1) Se as hipóeses RS1-RS5 forem manidas e se o amanho da amosra T for suficienemene grande, enão os esimadores de mínimos quadrados êm uma disribuição que se aproxima das disribuições normais mosradas na equação 4.4.1
4.5 Esimação da Variância do Termo de Erro A variância da variável aleaória e é var( e ) E[ e E( e )] E( e ) (4.5.1) se a hipóese E(e ) = 0 for correa. Como a esperança é um valor médio, nós podemos esimar pela média dos erros ao quadrado, e ˆ (4.5.) T Lembre-se que os erros aleaórios são e y x 1
Os resíduos de mínimos quadrados são obidos pela subsiuição dos parâmeros desconhecidos pelos seus esimadores de mínimos quadrados, e y b b x ˆ 1 ˆ e ˆ (4.5.3) T Exise uma modificação simples que produz um esimador não endencioso: ˆ e (4.5.4) ˆ T ( ˆ ) (4.5.5) E
4.5.1 Esimação das Variâncias e Covariâncias dos Esimadores de Mínimos Quadrados Subsiua a variância do erro desconhecida na equação 4..10 pelo seu esimador. Obêm-se: x var( ˆ b ˆ ˆ 1), ep( b1 ) var( b1 ) T ( x x) ˆ var( ˆ b ), ep( b ) var( ˆ b ) ( x x) cov( ˆ b, b ) ˆ x 1 ( x x) (4.6.6)
4.6. As Variâncias e Covariâncias Esimadas para o Exemplo da Despesa com Alimenação Tabela 4.1 Resíduos de Mínimos Quadrados para os Dados das Despesas com Alimenação y ŷ b1b x eˆ y yˆ 5,5 58,3 81,79 119,90 73,9045 84,7834 95,90 100,744 1,6545 6,4634 13,500 19,1576 15,80 10,7181 3,0819 eˆ 54311,3315 ˆ 149,456 T 38
var( ˆ b ) ˆ 1 T ( x x) 10063 149,456 490,100 40(153463) x ep( b) var( ˆ b) 490,100,1387 1 1 x x ˆ 149,456 var( ˆ b ) 0,000936 ( ) 153463 ep( b ) var( ˆ b ) 0,000936 0,0305 cov( ˆ b, b 1 ) ˆ x ( x x) 698 149,456 0,6510 153463
4.5.3 Exemplos de Saídas do Compuador Dependen Variable: DESP.ALIM Mehod: Leas Squares Sample: 1 40 Included Observaions: 40 Variable Coefficien Sd. Error -Saisic Prob. C 40.76756.13865 1.841465 0.0734 INCOME 0.1889 0.030539 4.00777 0.000 R-squared 0.317118 Mean dependen var 130.3130 Adjused R-squared 0.99148 S.D. dependen var 45.15857 S.E. of regressioon 37.80536 Akaike info crierion 10.15149 Sum squared resid 54311.33 Schwarz crierion 10.3593 Log likelihood -01.097 F-saisic 17.64653 Durbin-Wason sa.370373 Prob(F-saisic) 0.000155 Tabela 4.3 Saída da Regressão do EViews ˆ e 54311,3315 ˆ 149,456 T 38 ˆ 149,456 37,80536
4.7 O Previsor de Mínimos Quadrados Nós queremos prever o valor da variável dependene y 0, dado um valor da variável explanaória x 0, o qual é dado por y x e 0 1 0 0 (4.7.1) onde e 0 é um erro aleaório. Esse erro aleaório em média E(e 0 )=0 e variância var(e 0 )=. Nós ambém assumimos que cov(e 0, e )=0. O previsor de mínimos quadrados de y 0 é ŷ0 b1 b x0 (4.7.)
o erro de previsão é f yˆ y b b x ( x e ) 0 0 1 0 1 0 0 ( b ) ( b ) x e 1 1 0 0 O valor esperado de f é: E( f ) E( y y ) E( b ) E( b ) x E( e ) ˆ0 0 1 1 0 0 (4.7.3) 0 0 0 0 Pode ser demonsrado que 1 ( x x) var( f ) var( yˆ y ) 1 0 0 0 T ( x x) (4.7.4) (4.7.5) A variância do erro de previsão é esimada pela subsiuição de pelo seu esimador ˆ, 1 ( x0 x) var( ˆ f ) ˆ 1 T ( x x) (4.7.6) A raiz quadrada da variância esimada é o erro padrão da previsão, var ˆ f ep f (4.7.7)
4.7.1 Previsão no Modelo da Despesa com Alimenação A despesa semanal previsa com alimenação para um domicílio com renda semanal de x 0 = $750 é yˆ b b x 40,7676 0,183(750) 136,98 0 1 0 A variância esimada do erro de previsão é var( ˆ f ) 1 1 ( x x) 0 ˆ T ( x x) 1 (750 698) 149,456 1 1467,4986 40 153463 O erro padrão de previsão é enão ep( f) var( ˆ f) 1467,4986 38,3079