Capítulo 5 Inferência no Modelo de Regressão Simples: Estimação de Intervalos, Teste de Hipóteses e Previsão
Hipóteses do Modelo de Regressão Linear Simples RS1. y x e t 1 t t RS. RS3. RS4. RS5. RS6. Ee ( t ) 0 E( y t ) 1 var( et) var( yt) cov( e, e ) cov( y, y ) 0 x t i j i j não é variável aleatória e assume pelo menos dois valores distintos e N t ~ (0, ) t y N x x ~ [( 1 t), ] t (opcional)
Do Capítulo 4 b t 1 ~ N 1, T ( xt x) x b ~ N, ( xt x) ˆ e t ˆ T Este Capítulo introduz ferramentas adicionais da inferência estatística: estimação de intervalos, previsão, intervalos de previsão e testes de hipóteses.
5.1 Estimação de Intervalos 5.1.1 A Teoria Obtemos, de b, uma variável aleatória normal padronizada, subtraindo sua média e dividindo o resultado pelo seu desvio padrão: Z b var( b ) ~ N(0,1) (5.1.1) A variável aleatória padronizada Z é normalmente distribuída com média 0 e variância 1.
5.5.1a A Distribuição Qui-Quadrado Variáveis aleatórias com distribuição quiquadrado surgem quando elevamos ao quadrado variáveis aleatória normais, N(0,1). Se Z 1, Z,..., Z m denotam m variáveis aleatórias independentes N(0,1), então V Z1 Z Z m ~ (5.1.) ( m ) V ~ m A notação ( ) é lida como: a variável aleatória V tem uma distribuição qui-quadrado com m graus de liberdade.
E[ V ] E ( m) m (5.1.3) var[ V] var ( m) m V não deve ser negativa, v 0 A distribuição tem uma longa calda, ou é assimétrica à direita. À medida que os graus de liberdade m aumentam, a distribuição se torna mais simétrica e com o forma de um sino. À medida que m aumenta, a distribuição quiquadrado converge para (e essencialmente se torna) uma distribuição normal.
5.5.1b A distribuição de probabilidade de ˆ O termo de erro aleatório e t tem uma distribuição normal, e ~ N(0, ) Padronize a variável aleatória dividindo-a pelo seu desvio padrão, de tal forma que e / ~ N(0,1) t ( e / ) ~ t (1) Se todos os erros aleatórios são independentes, então t et e1 e et ~ ( T ) t (5.1.4) T ( ) V não tem uma distribuição porque os resíduos de mínimos quadrados não são variáveis aleatórias independentes.
e y b b x Todos resíduos T, ˆt t 1 t, dependem dos estimadores de mínimos quadrados b 1 e b. Isso pode ser mostrado pelo fato de apenas T dos resíduos de mínimos quadrados serem independentes no modelo de regressão linear simples. V ( T ) ˆ ~ ( T ) Nós não estabelecemos que a variável aleatória qui-quadrado V é estatisticamente independente dos estimadores de mínimos quadrados, mas agora afirmamos que é.
5.1.1c A Distribuição t Uma variável aleatória t (minúscula) é formada pela divisão de uma variável aleatória normal padronizada, Z~N(0,1), pela raiz quadrada de uma variável aleatória independente qui-quadrado, ~, que é dividida por seus graus de liberdade, ( m ) m. V V Se Z ~ N(0,1) e independentes, então Z t V m ~ ( m ) ~ t( m ), e se Z e V são (5.1.7) O formato da distribuição t é completamente determinada pelos graus de liberdade, m, e a distribuição é representada por t (m). A distribuição t tem um pico menos agudo e é mais dispersa do que a N(0,1).
A distribuição t é simétrica, com média E[t (m) ]=0 e variância var[t (m) ]=m/(m). À medida que os graus de liberdade m, a t (m) distribuição se aproxima de uma normal padronizada, N(0,1). 5.1.1d Um Resultado Chave t b Z ( xt x) b V ( T ) ˆ ˆ T ( x x) T t b var( ˆ b ) b ep( b ) A distribuição t escrita em função do parâmetro beta. (5.1.8)
5.1. Obtenção de Estimativas de Intervalo Se as hipótese RS1-RS6 do modelo de regressão linear simples são mantidas, então: bk k t ~ t( T ), k 1, ep( b ) k (5.1.9) Para k= t b ep( b ) ~ t ( T ) (5.1.10) Em que: ˆ var( ˆ b ) e ep( b ) var( ˆ b ) ( xt x)
Podemos encontrar valores críticos t c de uma distribuição t (m), de tal modo que P( t t ) P( t t ) c c onde é um valor de probabilidade, em geral considerado para ser =0,01 ou =0,05. Conseqüentemente, nós podemos afirmar: P( t t t ) 1 c c (5.1.11) b P[ tc tc] 1 var( b ) P[ b t ep( b ) b t ep( b )] 1 c c (5.1.7)
5.1.3 O Contexto da Amostragem Repetida Tabela 5.1 Estimativas de Mínimos Quadrados extraídas de 10 amostras aleatórias n b 1 ep(b 1 ) b ep(b ) ˆ 1 51,1314 7,460 0,144 0,0378 193,4597 61,045 4,9177 0,186 0,0344 1810,597 3 40,788 17,6670 0,1417 0,044 910,1835 4 80,1396 3,8146 0,0886 0,039 1653,834 5 31,0110,816 0,1669 0,0315 1517,5837 6 54,3099 6,9317 0,1086 0,037 115,1085 7 69,6749 19,903 0,1003 0,066 1085,131 8 71,1541 6,1807 0,1009 0,0361 1998,7880 9 18,890,434 0,1758 0,0309 1466,541 10 36,1433 3,5531 0,166 0,035 1617,7087
As estimativas dos intervalos de confiança de 95% para os parâmetros 1 e são dados na Tabela 5.. Tabela 5. Estimativas dos Intervalos extraídas de 10 amostras aleatórias. n b t b b t ep( ) c b 1 ep( ) c 1 1 1 b t ep( ) c b b t ep( ) c b 1-4,3897 106,654 0,0676 0,07 10,761 111,6479 0,0590 0,198 3 5,033 76,5531 0,093 0,1910 4 31,994 18,3498 0,01 0,1551 5-15,1706 77,196 0,103 0,306 6-0,105 108,8303 0,0334 0,1838 7 30,637 108,761 0,0464 0,154 8 18,1541 14,154 0,078 0,1741 9-6,5649 64,9 0,1131 0,384 10-11,5374 83,840 0,0968 0,84
5.1.4 Uma Ilustração Para os dados das despesas com alimentação P[ b,04ep( b ) b,04ep( b )] 0,95 (5.1.14) O valor crítico t c =,04, o qual é apropriado para = 0,05 e 38 graus de liberdade. Ele pode ser calculado com um pacote estatístico ou tabela própria. Para construir uma estimativa de intervalo para, nós utilizamos a estimativa de mínimos quadrados b = 0,183, que tem um erro padrão ep( b ) var( ˆ b ) 0,000936 0,0305 Um intervalo de confiança estimado de 95% para : b t ep( b ) 0,183,04(0,0305)= c = [0,0666;0,1900]
5. Teste de Hipótese Componentes dos Testes de Hipóteses 1. Uma hipótese nula, H 0. Uma hipótese alternativa, H 1 3. Um teste estatístico 4. Uma região de rejeição 5..1 A Hipótese Nula A hipótese nula, que é denotada por H 0 (H-zero), especifica um valor para um parâmetro. A hipótese nula pode ser escrita como, onde c é uma constante e é um importante valor no contexto de um modelo específico de regressão. H : c 0
5.. A Hipótese Alternativa Para a hipótese nula H 0 : = c, três possibilidades de hipóteses alternativas são: H 1 : c. H 1 : > c H 1 : < c. 5..3 O Teste Estatístico t b ep( b ) ~ t ( T ) (5..1) Se a hipótese nula H 0 : = c é verdadeira, então: t b c ep( b ) ~ t ( T ) (5..) Se a hipótese nula não for verdadeira, então a estatística t na equação 5.. não tem uma distribuição t com T graus de liberdade.
5..4 A Região de Rejeição O nível de significância do teste é usualmente escolhido como 0,01; 0,05 ou 0,10. A região de rejeição é determinada ao encontrar os valores críticos t c tais como P( t t ) P( t t ) / c Regra de rejeição para um teste bicaudal: Se o valor da estatística do teste cair na região de rejeição, em qualquer uma das caudas da distribuição t, então nós rejeitamos a hipótese nula e não rejeitamos a alternativa. Os valores amostrais da estatística do teste na região central de não-rejeição são compatíveis com a hipótese nula e não constituem evidência contra sua veracidade. Encontrar um valor amostral da estatística do teste na região de não-rejeição não faz da hipótese nula uma hipótese verdadeira num sentido absoluto! Se o valor da estatística do teste cair entre os valores críticos t c e t c, na região de não-rejeição, então nós não rejeitamos a hipótese nula. c
5..5 O Exemplo da Despesa com Alimentação Teste a hipótese nula que alternativa que 0,10 0,10, no modelo da despesa com alimentação. contra a Formato para o Teste de Hipóteses 1. Determine as hipóteses nula e alternativa.. Especifique a estatística do teste e sua distribuição se a hipótese nula for verdadeira. 3. Selecione e determine a região de rejeição. 4. Calcule o valor amostral da estatística do teste. 5. Faça sua conclusão.
Aplicação no exemplo da Despesa com Alimentação, 1. A hipótese nula é H 0 : =0,10. A hipótese alternativa é H 1 : 0,10. ( T ). A estatística do teste, se a hipótese nula é verdadeira. t b 0,10 ~ t ep( b ) 3. Selecionando =0,05. O valor crítico t c é,04 para a distribuição t com (T ) = 38 graus de liberdade. 4. Utilizando os dados da Tabela 3.1, a estimativa de mínimos quadrados de é b = 0,183, com erro padrão ep(b )=0,0305. O valor da estatística do teste é t 0,183 0,10 0,0305 0,93 5. Conclusão: como t=0,93 < t c =,04, nós não rejeitamos a hipótese nula.
5..6 Erros do Tipo I e Tipo II Nós tomamos a decisão correta se: A hipótese nula é falsa e nós decidimos rejeitá-la. A hipótese nula é verdadeira e nós decidimos não rejeitá-la. Nossa decisão é incorreta se: A hipótese nula é verdadeira e nós decidimos rejeitá-la (um erro do Tipo I) A hipótese nula é falsa e nós decidimos não rejeitá-la (um erro do Tipo II) Fatos sobre a probabilidade de cometer um erro do Tipo II: A probabilidade de cometer um erro do Tipo II varia inversamente ao nível de significância do teste,. Quanto mais perto estiver o valor verdadeiro do parâmetro do valor definido para ele na hipótese, maior a probabilidade de cometer um erro do Tipo II. Quanto maior o tamanho da amostra T, menor a probabilidade de ocorrência de erro do Tipo II, dado o nível de significância, que é a probabilidade de cometer erro do Tipo I.
5..7 O Valor-p do Teste de Hipótese O valor-p do teste é calculado encontrando qual é a probabilidade da distribuição t tomar um valor igual ou maior do que o valor absoluto do valor amostral da estatística do teste. Regra de rejeição para um teste bicaudal: quando o valor-p do teste de hipótese é menor do que o valor escolhido de, então o procedimento do teste leva a rejeição da hipótese nula. Se o valor-p for maior do que, nós não rejeitamos a hipótese nula. No exemplo da despesa com alimentação, o valorp para o teste de H 0 : = 0,10 contra H 1 : 0,10 é p=0,3601, no qual é a área nas caldas da distribuição t (38), onde t 0,963
5..8 Testes de Significância No modelo da despesa com alimentação uma importante hipótese nula é H 0 : = 0. A hipótese alternativa geral é H 1 : 0. Rejeitar a hipótese nula implica que existe uma relação estatisticamente significante entre y e x. 5..8a Um Teste de Significância no Modelo de Despesa com Alimentação 1. A hipótese nula é H 0 : = 0. A hipótese alternativa é H 1 : 0. ( T ). A estatística do teste é, se a hipótese nula for verdadeira. t b ep( b ) ~ t
3. Seja =0,05. O valor crítico t c é,04 para uma distribuição t com (T) = 38 graus de liberdade. 4. A estimativa de mínimos quadrados de é b = 0,183, com erro padrão ep(b )=0,0305. O valor da estatística do teste é: t 0,183 0,0305 4,0 5. Conclusão: Já que t=4,0 > t c =,04, nós rejeitamos a hipótese nula e não rejeitamos a alternativa. Assim, existe uma relação entre a renda semanal e a despesa semanal com alimentação. O valor-p para o teste de hipótese é p=0,000155, que é a área nas caudas da distribuição t (38), onde t 4,0. Já que p, nós rejeitamos a hipótese nula de que = 0 e não rejeitamos a alternativa de que 0. Assim, existe uma relação estatisticamente significante entre y e x.
Observação: Estatisticamente significante, contudo, não implica necessariamente em economicamente significante. supermercados planeja uma certa estratégia se Por exemplo, suponha que uma cadeia de. 0 Adicionalmente, suponha que uma grande amostra de dados seja coletada, do qual se obtenha a estimativa b = 0,0001, com ep(b ) = 0,00001, produzindo a estatística t = 10,0. Nós rejeitaríamos a hipótese nula de que e não rejeitaríamos a alternativa de que. Onde b = 0,0001 é estatisticamente diferente de zero. 0 0 Contudo, 0,0001 pode não ser economicamente diferente de zero e a cadeia de supermercados pode decidir pelo cancelamento da estratégia planejada.
5..8b Analisando a Saída do Computador Dependent Variable: DESP.ALIM Method: Least Squares Sample: 1 40 Included Observations: 40 Variable Coefficient Std. Error t-statistic Prob. C 40.76756.13865 1.841465 0.0734 INCOME 0.1889 0.030539 4.00777 0.000 Figura 5.7 Saída da Regressão do EViews
5..9 Uma Relação entre os Testes de Hipóteses e a Estimação de Intervalos Existe uma relação algébrica entre testes de hipóteses bicaudais e estimativas de intervalos de confiança que em alguns casos é útil. Suponha que nós estamos testando a hipótese nula contra a alternativa. H 1 : k c H 0 : k Se nós falharmos em rejeitar a hipótese nula ao nível de significância, então o valor c cairá dentro de um intervalo de (1)100% de confiança de k. Inversamente, se nós rejeitarmos a hipótese nula, então c cairá fora do intervalo de (1)100% de confiança de k. Essa relação algébrica é verdadeira porque nós falhamos em rejeitar a hipótese nula quando, ou quando t t t c k c bk c tc t ep( b ) b t ep( b ) c b t ep( b ) k c k k c k c c
5..10 Testes Unicaudais Testes unicaudais são utilizados para testar H 0 : k = c contra a hipótese alternativa H 1 : k > c, ou H 1 : k < c. Para testar H 0 : k = c contra a alternativa H 1 : k > c, nós selecionamos a região de rejeição para valores da estatística do teste t que suportem a hipótese alternativa. Nós definimos a região de rejeição para valores de t maiores do que um valor crítico t c, extraído de uma distribuição t com T graus de liberdade, tal como onde é o nível de significância do teste. P( t t c ) A regra de decisão para um teste unicaudal é, Rejeita-se H 0 : k = c e não se rejeita a alternativa H 1 : k > c se t t c. Se t < t c, então nós não rejeitamos a hipótese nula. O cálculo do valor-p está analogamente confinado a uma calda da distribuição
No exemplo da despesa com alimentação, teste H 0 : = 0 contra a alternativa H 1 : > 0. 1. A hipótese nula é H 0 : = 0. A hipótese alternativa é H 1 : > 0.. A estatística do teste é ( T ), se a ep( b hipótese nula for verdadeira. ) 3. Para o nível de significância =0,05, o valor crítico t c é 1,686 para uma distribuição t com T=38 graus de liberdade. t b ~ t 4. A estimativa de mínimos quadrados de é b = 0,183, com erro padrão ep(b ) = 0,0305. Exatamente como no teste bicaudal, o valor da estatística do teste t é t 0,183 0, 0305 4,0
5. Conclusão: Como t=4,0 > t c =1,686, nós rejeitamos a hipótese nula e aceitamos a alternativa. Assim, existe uma relação positiva entre renda semanal e despesa semanal com alimentação.
5..11 Um Comentário na Construção das Hipóteses Nula e Alternativa A hipótese nula é geralmente escrita de tal modo que se nossa teoria estiver correta, então nós a rejeitaremos. Nós estabelecemos a hipótese nula para o caso de não existir relação entre as variáveis, H 0 : = 0. Na hipótese alternativa, nós colocamos a conjuntura que nós gostaríamos de estabelecer, H 1 : > 0. É importante estabelecer as hipóteses nula e alternativa antes de conduzirmos a análise da regressão.
5.3 O Previsor de Mínimos Quadrados Nós queremos prever o valor da variável dependente y 0, dado um valor da variável explanatória x 0, o qual é dado por y0 1 x0 e (5.3.1) 0 onde e 0 é um erro aleatório. Esse erro aleatório tem média E(e 0 )=0 e variância var(e 0 )=. Nós também assumimos que cov(e 0, e t )=0. O previsor de mínimos quadrados de y 0 é ŷ b b x 0 1 0 (5.3.)
o erro de previsão é (f) f yˆ y b b x ( x e ) 0 0 1 0 1 0 0 ( b ) ( b ) x e (5.3.3) 1 1 0 0 O valor esperado de f é: E( f ) E( y y ) E( b ) E( b ) x E( e ) ˆ0 0 1 1 0 0 0 0 0 0 (5.3.4) Pode ser demonstrado que 1 ( x x) var( f ) var( yˆ y ) 1 0 0 0 T ( xt x) (5.3.5)
A variância do erro de previsão é estimada pela substituição de pelo seu estimador, ˆ 1 ( x0 x) var( ˆ f ) ˆ 1 T ( xt x) (5.3.6) A raiz quadrada da variância estimada é o erro padrão da previsão, ep f var ˆ f (5.3.7) Conseqüentemente, nós podemos construir uma variável aleatória normal padronizada como f var( f ) ~ N(0,1) (5.3.8)
Então, f var( ˆ f ) f ~ t( T ) (5.3.9) ep( f ) Se t c é um valor crítico da distribuição que P(t t c ) = /, então t( T ), tal P( t t t ) 1 (5.3.10) c c Então, yˆ0 y0 P[ tc tc] 1 ep( f ) Simplificando essa expressão, obtemos P[ yˆ t ep( f ) y yˆ t ep( f )] 1 0 c 0 0 c (5.3.11)
Um intervalo de (1-)100% de confiança, ou intervalo de previsão, para y 0 é yˆ t ep( f ) 0 c (5.3.1) Equação 5.3.5 implica que, quanto mais afastado for x 0 da média amostral, maior será a variância do erro de previsão Como a variância de previsão aumenta quanto maior é a distância de x 0 da média amostral, os limites de confiança aumentam à medida que cresce. x x 0 x x
5.3.1 Previsão no Modelo da Despesa com Alimentação A despesa semanal prevista com alimentação para um domicílio com renda semanal de x 0 = $750 é yˆ b b x 40,7676 0,183(750) 136,98 0 1 0 A variância estimada do erro de previsão é var( ˆ f ) 1 1 ( x x) 0 ˆ T ( xt x) 1 (750 698) 149, 456 1 1467, 4986 40 153463 O erro padrão de previsão é então ep( f) var( ˆ f) 1467,4986 38,3079
intervalo de 95% de confiança para y 0 é yˆ t ep( f ) 136,98, 04(38,3079) 0 c [59,44 a 14,5] Nosso intervalo de previsão sugere que um domicílio com renda semanal de $750 gastará alguma coisa entre $59,44 e $14,5 com alimentação. Um intervalo muito amplo significa que nosso ponto de previsão, $136,98, não é confiável. Nós podemos melhorá-lo, mensurando o efeito de que outros fatores, além da renda, pode ter.