Análise da Regressão múltipla: Inferência Revisão da graduação Aula 4 6 de maio de 2013
Hipóteses do modelo linear clássico (MLC) Sabemos que, dadas as hipóteses de Gauss- Markov, MQO é BLUE. Para realizarmos os testes de hipóteses clássicos, precisamos acrescentar mais uma hipótese. Vamos supor que u é independente de x 1, x 2,, x k e que u e normalmente distribuído com média zero e variância σ 2 : u ~ Normal(0,σ 2 ).
Hipóteses do MLC (cont.) y x ~ Normal(β 0 + β 1 x 1 + + β k x k, σ 2 ) Embora assumamos normalidade, nem sempre ela se verifica. Em grandes amostras, a hipótese de normalidade não é necessária.
Uma distribuição normal homocedástica com uma única variável explicativa y f(y x).. E(y x) = β 0 + β 1 x x 1 x 2 Distribuições normais
Distribuição normal amostral Sob as hipóteses do MLC, condicionando nos valores amostrais das variáveis independentes ˆ [ ( ˆ Var( )] β j ~ Normal β j, β j, o que implica ( ˆ β β ) j j ~ Normal( 0,1) sd ˆ β ˆ β j ( ) j tem distribuição normal porque é uma combinação linear dos erros (normais).
O teste t Sob as ( ˆ β β ) j hipóteses do MLC j se ( ˆ β ) j ~ t n k 1 Observe que agora a distribuição é a 2 2 porque estimamosσ por ˆ σ. Repare nos graus de liberdade: n k. t (e não a 1 normal)
O teste t (cont.) O conhecimento da distribuição amostral dos estimadores nos permite fazer testes de hipóteses. Comece com a hipótese nula. Por exemplo, H 0 : β j =0 Se aceitamos a nula, aceitamos que x j, após controlarmos pelos outros x s, não tem efeito em y.
O teste t (cont.) Primeiro precisamos obter a estatística t para ˆ β Vamos então usar a aceitamos a j : t hipótese nula, ˆ β j ˆ ( ) β se ˆ. j β estatística regra de rejeição para determinar H 0. j t e alguma se
Teste t: caso unicaudal Além de nossa, H 0, precisamos de uma hipótese alternativa, H 1, e um nível de significância. H 1 pode ser unicaudal ou bicaudal. H 1 : β j > 0 e H 1 : β j < 0 são unicaudais. H 1 : β j 0 é bicaudal. Se queremos apenas 5% de probabilidade de rejeitar H 0 caso ela seja, então dizemos que nosso nível de significância é de 5%.
Alternativa unicaudal (cont.) Escolhido um nível de significância, α, olhamos no (1 α)-ésimo percentil na distribuição t com n k 1 df e chamamos esse valor, c, de valor crítico. Rejeitamos a hipótese nula se a estatística t é maior que o valor crítico. Se a estatística t for menor que o valor crítico, então não rejeitamos a nula.
Alternativa unicaudal (cont.) y i = β 0 + β 1 x i1 + + β k x ik + u i H 0 : β j = 0 H 1 : β j > 0 Não rejeitamos (1 α) Rejeitamos α 0 c
Uni vs bicaudal Como a distribuição t é simétrica, testar H 1 : β j < 0 é direto. O valor crítico é simplesmente o negativo do anterior. Rejeitamos a nula se t < c; se t > c, então não rejeitamos a nula. Para um teste bicaudal, escolhemos um valor crítico baseado em α/2 e rejeitamos H 1 : β j 0 se o valor absoluto da estatística t for > c.
Alternativa bicaudal y i = β 0 + β 1 X i1 + + β k X ik + u i H 0 : β j = 0 H 1 : β j 0 Não rejeitamos Rejeitamos α/2 (1 α) Rejeitamos α/2 -c 0 c
Resumo de H 0 : β j = 0 A menos que seja explicitado ao contrário, estaremos considerando a alternativa bicaudal. Se rejeitamos a nula, dizemos que x j é estatisticamente significante ao nível de α% Se não rejeitamos a nula, dizemos x j é estatisticamente não significativo ao nível de α %
Testando outras hipóteses Podemos generalizar a estatística t testando H 0 : β j = a j. Neste caso, a estatística t é dada por t a = j ( ˆ β a ) = j 0 j se ( ˆ β ) no teste usual. j, onde
Intervalos de confiança Outra forma de usar os procedimentos clássicos de teste de hipóteses é construindo um intervalo de confiança utilizando o mesmo valor crítico do teste bicaudal. Um intervalo de confiança de (1 - α) % é definido por: ( ˆ ) β ˆ α β j ± c se j, onde c é o 1- percentil 2 na distribuição t. n k 1
Calculando o p-valor do teste t Uma alternativa ao procedimento clássico de teste é perguntar: qual é o menor nível de significância ao qual a nula seria rejeitada? Calcule a estatística t, e olhe em que percentil ela está na distribuição t apropriada este é o p-valor. O p-valor é a probabilidade de observarmos valores iguais ou maiores (em valor absoluto) à estatística t obtida se a nula for verdadeira.
P-valores, testes t s etc. A maioria dos pacotes calcula o p-valor, assumindo um teste bicaudal. Se se estiver interessado na alternativa Se se estiver interessado na alternativa unicaudal, basta dividir o p-valor reportado por 2.
Testando uma combinação linear Ao invés de testar se β 1 é igual a uma constante, podemos testar que ele é igual a outro parâmetro, ou seja, H 0 : β 1 = β 2. Use o mesmo procedimento para calcular a estatística t t βˆ βˆ = 1 2 se ( ) βˆ βˆ 1 2
Testando uma combinação linear (cont.) Como se Var se ( ˆ ˆ ) ( ˆ ˆ ) β1 β β β 2 = Var 1 2, então ( ˆ ˆ ) ( ˆ ) ( ˆ ) 2 ( ˆ, ˆ ) β β = Var β + Var β Cov β β ( ˆ ˆ ) ( ˆ ) β β = se β 1 1 onde s 12 2 2 {[ ] [ ( )] } 2 2 + se ˆ β 2s é um estimador 1 1 2 2 de Cov( ˆ, ˆ β β ). 1 12 2 1 2 1 2
Testando uma combinação linear (cont.) Então, precisamos de s 12. Muitos pacotes, como o Eviews, Gretl, fornecem essa estatística. Todos tem uma opção que permite fazer o teste automaticamente.
Outros exemplos Qualquer combinação linear de parâmetros pode ser testada. β 1 = 1 + β 2 β 1 = 5β 2 β 1 = -1/2β 2 ; etc
Múltiplas restrições lineares Os exemplos anteriores eram de uma única restrição linear (p.e. β 1 = 0 or β 1 = β 2 ) Mas também podemos testar conjuntamente múltiplas hipóteses sobre os parâmetros. Um exemplo é do restrição de exclusão queremos testar se um grupo de parâmetros é igual a zero.
Teste de restrição de exclusão Agora, a hipótese nula é algo do tipo H 0 : β k-q+1 = 0,..., β k = 0 A alternativa é H 1 : H 0 é falsa, ou seja, pelo menos um dos β s é diferente de zero. Não podemos apenas fazer cada teste t isoladamente, porque queremos saber se os q parâmetros são conjuntamente significativos a um certo nível é possível que nenhum seja individualmente significante a este nível.
Teste de restrição de exclusão (cont.) O teste é feito estimando o modelo restrito sem x k-q+1,,, x k, assim como o modelo irrestrito com todos os x s. Intuitivamente, queremos saber se x k-q+1,,, x k causam uma variação suficientemente grande na SSR F ( SSR ) r SSRur SSR ( n k 1) ur q r é restrito e ur irrestrito., onde
A estatística F A estatística F é sempre positiva, uma vez que a SSR do modelo restrito não pode ser menor que a do modelo irrestrito. A estatística F statistic mede o crescimento relativo na SSR quando se passa do modelo irrestrito para o modelo restrito. q = número de restrições, ou df r df ur n k 1 = df ur
A estatística F (cont.) Para decidir se o aumento na SSR é grade o suficientes para rejeitar as exclusões, precisamos conhecer a distribuição amostral de nossa estatística F. Não é de se surpreender que F ~ F q,n-k-1, onde q é o número de graus de liberdade do numerador e n k 1 é o número de graus de liberdade do denominador.
A estatística F (cont.) f(f) Não rejeita Rejeita H 0 ao nível de significância α se F > c (1 α) 0 c α Rejeita F
A estatística F em função do R 2 Podemos usar o fato de que, em qualquer regressão, SSR = SST(1 R 2 ) e substituir na fórmula: F ( ) R 2 R 2 q ur r ( ) 1 R 2 ( n k 1) ur, onde r é restrito e ur é irrestrito.
Significância da regressão Um caso especial é o teste H 0 : β 1 = β 2 = = β k = 0. Como o R 2 do modelo com apenas o intercepto será zero, a estatística F será simplesmente: F = R 2 k ( ) 1 R 2 ( n k 1)
Restrições lineares gerais A forma básica da estatística F é válida para qualquer restrição linear. Primeiro estime os modelos irrestrito e restrito. Em cada caso, anote a SSR e substitua na fórmula.
Exemplo: O modelo is votoa = β 0 + β 1 log(gastoa) + β 2 log(gastob) + β 3 prtystra + u. Agora a nula é H 0 : β 1 = 1, β 3 = 0. Substituindo a restrição: votoa = β 0 + log(gastoa) + β 2 log(gastob) + u. Agora votoa - log(gastoa) = β 0 + β 2 log(gastob) + u é o modelo restrito.
Estatística F: Resumo Da mesma forma que no teste t, o p-valor pode ser calculado olhando no percentil da distribuição F apropriada. Se apenas uma exclusão está sendo testada, então F = t 2 e o p-valor será o mesmo.