Análise de Regressão Linear Simples III

Transcrição

1 Análise de Regressão Linear Simples III Aula 03 Gujarati e Porter Capítulos 4 e 5 Wooldridge Seção.5

2 Suposições, Propriedades e Teste t

3 Suposições e Propriedades RLS.1 O modelo de regressão é linear nos parâmetros No modelo populacional, a variável resposta y está relacionada ao regressor x e ao erro como y = x 1 + em que 0 parâmetro de intercepto populacional (constante); 1 parâmetro de inclinação populacional (constante); erro aleatório não observável.

4 Suposições e Propriedades RLS. Amostragem Aleatória Temos uma amostra aleatória de n observações (x i, y i ), i = 1,,..., n, proveniente do modelo populacional descrito em RLS.1. RLS.3 Variação amostral no regressor Os resultados amostrais em x, ou seja, {x i, i = 1,,..., n} não são todos de mesmo valor.

5 Suposições e Propriedades RLS.4 Média Condicional Zero O termo de erro aleatório,, tem valor esperado igual a zero, dado qualquer valor do regressor. Ou seja, E( x) = 0. Teorema 1. Sob as suposições RLS.1 a RLS.4, condicional aos valores amostrais do regressor, os estimadores de MQO dos parâmetros do modelo de regressão linear simples são não-viesados, ou seja, E( β ˆ ) j β j, j = 0, 1. (Exercício:PROVE!)

6 Observação SUPOSIÇÃO FUNDAMENTAL: E(x) = 0 Ou seja, todos os fatores contidos em devem ser não correlacionados com o regressor. Além disso, deve ter sido usada a forma funcional correta. 6

7 Observação (cont.) SUPOSIÇÃO FUNDAMENTAL: (cont) Como pode falhar? Omissão de regressor relevante, correlacionado com x; Forma funcional especificada incorretamente; Erro de medida em x; Simultaneidade entre y e x; 7

8 Suposições e Propriedades RLS.5 Homocedasticidade O termo de erro aleatório tem a mesma variância dado qualquer valor do regressor. Ou seja, Var( x) =. Observação De RLS.4 e RLS.5 temos que E( x) =, o que significa que também é a expectativa incondicional de. Dessa forma, Var() = (variância do erro). 8

9 9 Teorema. Sob as suposições RLS.1 a RLS.5, condicionadas aos valores amostrais da variável explicativa, prova-se que e Variância dos Estimadores de MQO. ) ˆ ( 1 1 x n i i SST x x Var, 1 ) ˆ ( 1 0 n i x i x x n σ Var

10 Covariância entre os Estimadores de MQO Exercício Mostre que a covariância entre os estimadores para os parâmetros 0 e 1 é dada por ˆ, ˆ ˆ Var Cov x 0 1 1

11 Melhores estimadores lineares não-viesados (BLUE) Sob as suposições RLS.1 a RLS.5, os estimadores de MQO para os parâmetros 0 e 1 são os melhores dentre todos os estimadores da classe dos lineares não-viesados. Isto quer dizer que além de serem não-viesados, tais estimadores apresentam a menor variância dentre os demais estimadores não-viesados, gerando estimadores com menor erro quadrático médio dentre os lineares. Vide demonstração em Gujarati e Porter (011, p. 115)

12 Distribuição amostral de βˆ j RLS.6 Normalidade O erro populacional é independente do regressor x e é normalmente distribuído, com média zero e variância. Ou seja, ~ N(0; ) 1

13 Distribuição amostral de βˆ j Teorema 3 Sob as suposições RLS.1 a RLS.6, condicionado aos valores amostrais do regressor, βˆ j ~ N β j, Var βˆ j Observação Tais estimadores são normalmente distribuídos, pois, são combinações lineares dos y s, que são independentes e normalmente distribuídos. 13

14 Distribuição amostral de Do teorema anterior vem que, βˆ j βˆ j Var β βˆ j j ~ N 0,1 Do slide 9, vimos que as expressões das variâncias dos estimadores dos parâmetros envolvem, que é um parâmetro desconhecido. Dessa forma, deveremos procurar um estimador para tal parâmetro. Ainda, um estudo da distribuição de probabilidades da nova v.a. gerada deverá ser feito.

15 Estimação de MSR (Quadrado Médio devido aos Resíduos) ˆ MSR SSR n- em que SSR n i1 n yi-yˆ i yi βˆ o βˆ 1 xi i1 SSR perde graus de liberdade, pelas restrições impostas pelas condições de primeira ordem de MQO.

16 Estimação de Teorema 4. Sob as suposições RLS.1 a RLS.5 ˆ E( σ ) E(MSR) σ Observação ˆ MSR : é chamado de erro padrão da regressão. 16

17 Erro Padrão dos Estimadores de MQO Substituindo MSR (que é um estimador não viesado para ) nas expressões provenientes do Teorema, teremos que ˆ 1 x Var( ) σˆ, 0 n SST x e Var( ˆ ) 1 ˆ SST x. em que SST x n xi x i1 17

18 Erro Padrão dos Estimadores de MQO À raiz quadrada das duas quantidades anteriores damos o nome de erro-padrão associado ao estimador de mínimos quadrados do i-ésimo parâmetro do modelo de regressão. A notação comumente utilizada é a seguinte: 1 x ˆ ˆ σˆ e 0 n SST x ˆ ˆ 1 ˆ SST x. 18

19 Distribuição amostral de βˆ j Teorema 5. Sob as suposições RLS.1 a RLS.6, βˆ j ˆ β βˆ j j ~ t n- Vale ressaltar que a v.a. anteriormente obtida não pode ser considerada como uma estatística de teste, uma vez que depende do parâmetro j. 19

20 INFERÊNCIA

21 Teste de Hipóteses Para testar as hipóteses H 0 : j = b (em particular b = 0) H A : j b (H A : j < b ou H A : j > b), utilizaremos o fato que, sob H 0 e sob o Teorema 5, βˆ j ˆ βˆ j b ~ t (n ) 1

22 Intervalo de Confiança para j Também, do Teorema 5, não é difícil provar que: IC β βˆ t / j j n- ; ˆ ˆ j (I.C. para j com coeficiente = 1- de confiança)

23 Retornando ao Exemplo do RH a) Os formuladores do exame acreditam que a nota média seja uma variável relevante para explicar o desempenho. Assim sendo, conduza um teste de hipóteses que seja capaz de verificar a veracidade da afirmação feita pelos formuladores do exame. Para tanto, adote = 5%. b) A partir da construção de um intervalo de confiança para o parâmetro intercepto, o que podemos afirmar sobre a significância estatística do mesmo? Adote = 5%.

24 Resultados - Excel Estatística de regressão R múltiplo 0,761 R-Quadrado 0,5808 R-quadrado ajustado 0,571 Erro padrão 6,333 Observações 50 n R Coeficiente de correlação linear de Pearson ANOVA gl SQ MQ F F de significação Regressão 1 667,85 667,85 66,51 1,884E-10 Resíduo ,7 40,11 Total ,1 Coeficientes Erro padrão Stat t valor-p Inferior 95,0% Superior 95,0% Interseção 68,51 3,75 18,5 3,10574E-3 60,96 76,06 Variável X 1 1,81 0, 8,16 1,884E-10 1,36,6 ˆ ˆ 0 1 Modelo Estimado: desempenho 68,511, 81nota

25 Leitura Complementar

26 Retornando ao Exemplo do RH A partir de um teste de hipóteses adequado, verifique se o modelo de regressão proposto é significante. Adote um nível de significância de 5% ( = 0,05). 6

27 Tabela de Análise de Variâncias (ANOVA) y ˆ ˆ 0 1 x SST n y i - y i1 ŷ y SSR n y i - ŷ i i1 SSE n ŷ i - y i1 SST: soma de quadrados total SSR: soma de quadrados devido aos resíduos SSE: soma de quadrados devido à explicação (modelo de regressão)

28 Tabela de Análise de Variâncias (ANOVA) SSR, SSE e SST são v.a. e, sob certas condições, é possível provar que: 1. SSR σ ~ χ (n) ;. Se β 1 0, SSE σ ~ χ (1) ; 3. SSR e SSE são independentes.

29 Tabela de Análise de Variâncias (ANOVA) Consequências: (a) E SSR σ SSR n - MSR n E E σ σ Logo, MSR é um estimador não-viesado de ; (b) E SSE σ β 1 (x i x) Se 1 = 0, então SSE / 1 = MSE é um estimador nãoviesado de ; σ 9

30 Tabela de Análise de Variâncias (ANOVA) Consequências (cont.): (c) Se 0, 1 E(SST) E(SSR) E(SSE) (n - )σ σ (n -1)σ σ Logo, SST/(n-1) é estimador não-viesado de ; 30

31 Tabela de Análise de Variâncias (ANOVA) Consequências (cont.): (d) Se 1 F obs 0, SSE/σ 1 SSR/σ (n ) MSE MSR ~ F [1,n-] 31

32 Tabela de Análise de Variâncias (ANOVA) Os resultados descritos em (d) podem ser colocados numa tabela conhecida como ANOVA (Análise de Variâncias) em que Regressão 1 SSE MSE MSE/MSR Resíduo n- SSR MSR Total n - 1 SST ˆ MSR SSR n - MSE SSE 1

33 Teste F Devido ao item (d), para testarmos H o : 1 = 0 vs H A : 1 0 rejeitamos H o a um nível de significância se ( ) F F obs [1; n-] 33

34 Retornando ao Exemplo do RH A partir de um teste de hipóteses adequado, verifique se o modelo de regressão proposto é significante. Adote um nível de significância de 5% ( = 0,05). 34

35 Resultados - Excel Modelo Estimado: desempenho 68,511, 81nota Estatística de regressão R múltiplo 0,761 R-Quadrado 0,5808 R-quadrado ajustado 0,571 Erro padrão 6,333 Observações 50 F obs Valor-p ANOVA gl SQ MQ F F de significação Regressão 1 667,85 667,85 66,51 1,884E-10 Resíduo ,7 40,11 Total ,1 Coeficientes Erro padrão Stat t valor-p Inferior 95,0% Superior 95,0% Interseção 68,51 3,75 18,5 3,10574E-3 60,96 76,06 Variável X 1 1,81 0, 8,16 1,884E-10 1,36,6

36 i. Se não rejeitarmos a hipótese nula de que 1 = 0, estaremos admitindo que E(Y X=x) = 0, cuja representação gráfica é dada por: y Observações Finais 0 neste caso, o modelo de regressão estimado será dado por yˆ y x 36

37 Observações Finais De (i), temos que a não rejeição de H 0 fará com que adotemos o modelo ŷ y Por outro lado, a rejeição de H 0 fará com que adotemos o modelo yˆ ˆ ˆ x

38 Observações Finais ii. É importante salientar que a rejeição de H 0 não garante a adequabilidade do modelo. Por outro lado, a rejeição de H 0 pode ser interpretada como um indicativo de superioridade do modelo modelo yˆ y. yˆ ˆ ˆ x 1 0 yˆ ˆ ˆ x 1 0 em relação ao iii. Para verificarmos se o modelo adotado é adequado devemos fazer uma análise de resíduos. Desta forma, a adoção definitiva do modelo ainda a análises posteriores. yˆ ˆ ˆ x 1 0 deve estar sujeita 38