Capítulo 4. Propriedades dos Estimadores de Mínimos Quadrados

Transcrição

1 Capíulo 4 Propriedades dos Esimadores de Mínimos Quadrados

2 Hipóeses do Modelo de Regressão Linear Simples RS1. y x e 1 RS. Ee ( ) 0 E( y ) 1 x RS3. RS4. var( e) var( y) cov( e, e ) cov( y, y ) 0 i j i j RS5. x não é aleaória e assume pelo menos dois valores RS6. e N ~ (0, ) y N x ~ [( 1 ), ] (opcional)

3 4.1 Os Esimadores de Mínimos Quadrados como Variáveis Aleaórias O esimador de mínimos quadrados b do parâmero de inclinação, baseado em uma amosra de T observações, é b T x y x y T x x O esimador de mínimos quadrados b 1 do parâmero inercepo 1 é b y b x 1 y y / T e x x / T (3.3.8a) (3.3.8b) Quando as fórmulas de b 1 e b, são omadas para serem uilizadas como regras, qualquer que seja a amosra de dados exraída, enão b 1 e b são variáveis aleaórias. Nesse conexo, nós chamamos b 1 e b de esimadores de mínimos quadrados. Quando os valores reais da amosra, números, são subsiuídos nas fórmulas, nós obemos números que são valores das variáveis aleaórias. Nesse conexo, nós chamamos b 1 e b de esimaivas de mínimos quadrados.

4 4. As Propriedades Amosrais dos Esimadores de Mínimos Quadrados 4..1 Os Valores Esperados de b 1 e b Nós começamos reescrevendo a fórmula da equação 3.3.8a na seguine fórmula que é mais conveniene para propósios eóricos, b w e (4..1) onde w é um consae (não aleaória) dada por w x x ( x x) O valor esperado de uma soma é a soma dos valores esperados (ver Seção.5.1): (4..) E( b ) E w e E( ) E( w e ) w E( e ) [como E( e ) 0] (4..3)

5 4..1a O Conexo da Amosragem Repeida A Tabela 4.1 coném as esimaivas de mínimos quadrados do modelo de despesa com alimenação exraídas de 10 amosras aleaórias de amanho T=40 da mesma população. Tabela 4.1 Esimaivas de Mínimos Quadrados de 10 amosras aleaórias de amanho T=40 N b 1 51, ,045 40,788 80, , , , , ,890 36,1433 b 0,144 0,186 0,1417 0,0886 0,1669 0,1086 0,1003 0,1009 0,1758 0,166

6 4..1b Dedução da Equação 4..1 ( x x) x x x T x 1 x x T x T x T x T x T x x T x (4..4a) ( x x) x T x x x x x T x Para a obenção desse resulado, nós levamos em consideração que x x / T enão x (4..4b) T x x ( x x)( y y) x y Tx y x y T (4..5) y

7 b, na forma de desvios em relação à média, é: b ( x x)( y y) ( x x) Lembre-se que ( x x) 0 (4..6) (4..7) Enão, a fórmula para b se orna b ( x x)( y y) ( x x) y y ( x x) ( x x) ( x x) ( x x) y ( x x) y ( x x) ( x x) onde w é a consane dada na equação 4... w y (4..8)

8 Para ober a equação 4..1, subsiua y por e simplifique: y x e 1 b w y w ( x e ) 1 w w x w e 1 (4..9a) w 0, isso elimina o ermo 1w wx 1 enão wx e (4..9a) se orna a equação b w e (4..9b)

9 O ermo w w 1 ( x x) 0 wx Para mosrar que 1, porque ( x x) ( x x) ( x x) 0 usando ( x x) 0 nós novamene uilizamos ( x x) 0. Oura expressão para ( x x) ( x x) ( x x)( x x) é ( x x) x x ( x x) ( x x) x Conseqüenemene, wx ( x x) x ( x x) x 1 ( x x) ( x x) x

10 4.. A Variância e Covariância de b 1 e b var( b ) E[ b E( b )] Se as hipóeses do modelo de regressão RS1-RS5 são correas (RS6 não é necessária), enão as variâncias e covariância de b 1 e b são: var( b ) x 1 T ( x x) var( b ) ( x x) (4..10) cov( b, b ) x 1 ( x x)

11 Vamos considerar os faores que afeam as variâncias e covariância na equação A variância do ermo de erro aleaório,, aparece em cada uma das expressões.. A soma dos quadrados dos valores de x em relação à média amosral, ( x x), aparece em cada uma das variâncias e na covariância. 3. Quano maior for o amanho da amosra T, menores serão as variâncias e a covariância dos esimadores de mínimos quadrados; quano maior a amosra de dados, melhor é. 4. O ermo x aparece na var(b 1 ). 5. A média amosral dos valores de x aparecem na cov(b 1,b ).

12 Dedução da variância de b : O pono de parida é a equação var( b ) var w e var w e [como = w var( e) = w ( x x) é uma consane] [usando cov( e, e ) 0] [usando var( e ) ] i j (4..11) O úlimo passo se baseia no fao de que w ( x x) 1 ( x ) ( x x) x (4..1)

13 4..3 Esimadores Lineares O esimador de mínimos quadrados b é uma soma ponderada das observações de y, b w y Esimadores como b são chamados de esimadores lineares por serem combinações lineares de uma variável aleaória observável. 4.3 O Teorema de Gauss-Markov O Teorema de Gauss-Markov: Saisfazendo as hipóeses RS1-RS5 do modelo de regressão linear, os esimadores b 1 e b êm a menor variância de odos os esimadores lineares e não endenciosos de 1 e. Eles são os melhores esimadores lineares não endenciosos (he Bes Linear Unbiased Esimaors BLUE) de 1 e

14 1. Os esimadores b 1 e b são melhores quando comparados com esimadores similares, aqueles que são lineares e não endenciosos. O Teorema não diz que b 1 e b são os melhores de odos possíveis esimadores. Os esimadores b 1 e b são os melhores denro de sua classe porque eles possuem a menor variância. 3. Para o Teorema de Gauss-Markov ser válido, as hipóeses (RS1-RS5) devem ser saisfeias. Se qualquer uma das hipóeses de 1-5 não forem saisfeias, enão b 1 e b não são os melhores esimadores lineares não endenciosos de 1 e. 4. O Teorema de Gauss-Markov não depende da hipóese de normalidade 5. No modelo de regressão linear simples, se nós queremos uilizar um esimador linear e não endencioso, enão nós não precisamos efeuar novas procuras. 6. O Teorema de Gauss-Markov é aplicado aos esimadores de mínimos quadrados. Ele não se aplica às esimaivas exraídas de uma amosra individual.

15 4.4 Disribuição de Probabilidade dos Esimadores de Mínimos Quadrados Se nós assumirmos a hipóese de normalidade, hipóese RS6 sobre o ermo de erro, enão os esimadores de mínimos quadrados são normalmene disribuídos. b 1 ~ N 1, T ( x x) x b ~ N, ( x x) (4.4.1) Se as hipóeses RS1-RS5 forem manidas e se o amanho da amosra T for suficienemene grande, enão os esimadores de mínimos quadrados êm uma disribuição que se aproxima das disribuições normais mosradas na equação 4.4.1

16 4.5 Esimação da Variância do Termo de Erro A variância da variável aleaória e é var( e ) E[ e E( e )] E( e ) (4.5.1) se a hipóese E(e ) = 0 for correa. Como a esperança é um valor médio, nós podemos esimar pela média dos erros ao quadrado, e ˆ (4.5.) T Lembre-se que os erros aleaórios são e y x 1

17 Os resíduos de mínimos quadrados são obidos pela subsiuição dos parâmeros desconhecidos pelos seus esimadores de mínimos quadrados, e y b b x ˆ 1 ˆ e ˆ (4.5.3) T Exise uma modificação simples que produz um esimador não endencioso: ˆ e (4.5.4) ˆ T ( ˆ ) (4.5.5) E

18 4.5.1 Esimação das Variâncias e Covariâncias dos Esimadores de Mínimos Quadrados Subsiua a variância do erro desconhecida na equação pelo seu esimador. Obêm-se: x var( ˆ b ˆ ˆ 1), ep( b1 ) var( b1 ) T ( x x) ˆ var( ˆ b ), ep( b ) var( ˆ b ) ( x x) cov( ˆ b, b ) ˆ x 1 ( x x) (4.6.6)

19 4.6. As Variâncias e Covariâncias Esimadas para o Exemplo da Despesa com Alimenação Tabela 4.1 Resíduos de Mínimos Quadrados para os Dados das Despesas com Alimenação y ŷ b1b x eˆ y yˆ 5,5 58,3 81,79 119,90 73, , ,90 100,744 1,6545 6, ,500 19, ,80 10,7181 3,0819 eˆ 54311,3315 ˆ 149,456 T 38

20 var( ˆ b ) ˆ 1 T ( x x) , ,100 40(153463) x ep( b) var( ˆ b) 490,100, x x ˆ 149,456 var( ˆ b ) 0, ( ) ep( b ) var( ˆ b ) 0, ,0305 cov( ˆ b, b 1 ) ˆ x ( x x) ,456 0,

21 4.5.3 Exemplos de Saídas do Compuador Dependen Variable: DESP.ALIM Mehod: Leas Squares Sample: 1 40 Included Observaions: 40 Variable Coefficien Sd. Error -Saisic Prob. C INCOME R-squared Mean dependen var Adjused R-squared S.D. dependen var S.E. of regressioon Akaike info crierion Sum squared resid Schwarz crierion Log likelihood F-saisic Durbin-Wason sa Prob(F-saisic) Tabela 4.3 Saída da Regressão do EViews ˆ e 54311,3315 ˆ 149,456 T 38 ˆ 149,456 37,80536

22 4.7 O Previsor de Mínimos Quadrados Nós queremos prever o valor da variável dependene y 0, dado um valor da variável explanaória x 0, o qual é dado por y x e (4.7.1) onde e 0 é um erro aleaório. Esse erro aleaório em média E(e 0 )=0 e variância var(e 0 )=. Nós ambém assumimos que cov(e 0, e )=0. O previsor de mínimos quadrados de y 0 é ŷ0 b1 b x0 (4.7.)

23 o erro de previsão é f yˆ y b b x ( x e ) ( b ) ( b ) x e O valor esperado de f é: E( f ) E( y y ) E( b ) E( b ) x E( e ) ˆ (4.7.3) Pode ser demonsrado que 1 ( x x) var( f ) var( yˆ y ) T ( x x) (4.7.4) (4.7.5) A variância do erro de previsão é esimada pela subsiuição de pelo seu esimador ˆ, 1 ( x0 x) var( ˆ f ) ˆ 1 T ( x x) (4.7.6) A raiz quadrada da variância esimada é o erro padrão da previsão, var ˆ f ep f (4.7.7)

24 4.7.1 Previsão no Modelo da Despesa com Alimenação A despesa semanal previsa com alimenação para um domicílio com renda semanal de x 0 = $750 é yˆ b b x 40,7676 0,183(750) 136, A variância esimada do erro de previsão é var( ˆ f ) 1 1 ( x x) 0 ˆ T ( x x) 1 ( ) 149, , O erro padrão de previsão é enão ep( f) var( ˆ f) 1467, ,3079

25

26

27

28

29