Análise de Regressão Linear Múltipla III

Transcrição

1 Análise de Regressão Linear Múltipla III Aula 6 Hei et al., 4 Capítulo 3

2 Suposições e Propriedades

3 Suposições e Propriedades MLR. O modelo de regressão é linear nos parâmetros O modelo na população pode ser escrito como y = + x + x k x k + em que,,..., k são parâmetros desconhecidos (constantes); termo de erro aleatório não observável.

4 Suposições e Propriedades MLR. Amostragem Aleatória Temos uma amostra aleatória de n observações (x i, x i,..., x ki, y i ), i =,,..., n, do modelo populacional descrito em MLR.. MLR.3 Ausência de Colinearidade Perfeita Na amostra (e, portanto, na população) nenhum regressor é constante e não há relação linear PERFEITA entre os regressores (a matriz apresenta posto completo).

5 Suposições e Propriedades MLR.4 Média Condicional Zero O valor esperado do vetor de erro aleatório,, condicionado na matriz de explicação, é igual a zero. Ou sea, E( ) =. Teorema. Sob as suposições MLR. a MLR.4, condicionado nos valores do regressores, os estimadores de MQO para os E( β ˆ ) parâmetros do modelo de regressão múltipla são nãoviesados, ou sea,, =,,,..., k. β

6 6 β ε ' ' β 'ε ' β 'ε ' β 'ε ' 'β ' ε β ' ' 'y ' β ˆ ) ( E E E E E E E E i Demonstração do Teorema β β β β E E E E ii i de Iteradas das Expectativas Lei ) ( ˆ ˆ ) (

7 Suposições e Propriedades SUPOSIÇÃO FUNDAMENTAL: E( ) =. Ou sea, todos os fatores contidos em devem ser não correlacionados com as variáveis explicativas, e deve ter sido usada a forma funcional correta. 7

8 Suposições e Propriedades SUPOSIÇÃO FUNDAMENTAL: (cont) Como pode falhar? Omissão de variável explicativa importante, correlacionada com x, x,... ou x k ; Forma funcional especificada incorretamente; Erro de medida em x, x,... ou x k ; Simultaneidade entre y e x, x,...ou x k ; 8

9 Inclusão e Exclusão de Regressores ANÁLISE DE DOIS CASOS ESPECIAIS: A) Inclusão de variável irrelevante não preudica a propriedade de ausência de viés B) Omissão de variável relevante modelo correto tem k =, mas usamos k = Resultado: ( x ) E( ) xi xi ( xi x ) 9

10 Inclusão e Exclusão de Regressores Direção do Viés Corr(x, x ) > Corr(x, x ) < > Viés Positivo Viés Negativo < Viés Negativo Viés Positivo

11 Inclusão e Exclusão de Regressores Observações viés depende tanto dos sinais quanto das magnitudes; em geral, se k >, omissão de qualquer variável relevante faz com que todos os estimadores de mínimos quadrados seam viesados; a menos que a variável omitida sea irrelevante ou nãocorrelacionada com as demais variáveis explicativas presentes no modelo, os estimadores de mínimos quadrados serão viesados.

12 MLR.5 Homocedasticidade A variância do vetor de erro aleatório, condicional na matriz de explicação, é diagonal (com todos os elementos da diagonal iguais a ). Ou sea, Suposições e Propriedades I εε' ε n E Var (matriz de variâncias e covariâncias associada ao vetor de erros)

13 Observação As suposições MLR. a MLR.5 conuntamente são conhecidas como suposições de Gauss-Markov.

14 Sob as suposições MLR. a MLR.5: ( iii) Var β ˆ Var ' 'y Var ' ' βε Var ' 'β ' 'ε Var β ' 'ε Var ' 'ε ' ' Var ε ' ' ' ' ' I ' ' 'I ' n n '

15 Observação De (iii), se então ' a a ak a a a k a a a k k kk V a r ( ˆ ) a e C o v ( ˆ i, ˆ ) a i 5

16 Variância dos Estimadores de MQO Teorema. Sob as suposições MLR. a MLR.5, condicionadas aos valores amostrais das variáveis explicativas Var ˆ ),,,..., k SQT ( R ) ( x x em que = variância do erro; SQT x = SQT do -ésimo regressor na amostra; R x = R da regressão de x contra todas as outras variáveis explicativas (incluindo um intercepto). 6

17 Componentes da Variância dos Estimadores de Mínimos Quadrados Var( ˆ ) SQT ( R x x ) Variância da v.a. u: mínimos quadrados com alta variância; alto implica num estimador de SQT x : se a -ésima variável explicativa apresentar uma variação total alta, então, a variância do i-ésimo estimador, associado à esta variável explicativa, será pequena; 7

18 Componentes da Variância dos Estimadores de Mínimos Quadrados Var( ˆ ) SQT ( R Relações lineares entre as variáveis explicativas: altos x x ) valores de R x estimadores. implicam numa alta variância para os /(R x ) conhecido como fator de inflação de variância ou, VIF, em inglês. Inclusão de variável irrelevante geralmente aumenta as variâncias dos demais estimadores de MQO 8

19 Estimação de Como estimador: em geral é desconhecida, utilizaremos o ˆ MSR SSR n-(k ) MSR (Quadrado Médio devido aos Resíduos) SSR perde k+ graus de liberdade, devido às k+ restrições impostas pelas condições de primeira ordem de MQO. 9

20 Estimação de Teorema 3. Sob as suposições de Gauss-Markov (MLR. a MLR.5), E(σˆ ) E(MSR) σ. Observação ˆ MSR : erro padrão da regressão.

21 Erro Padrão dos Estimadores de MQO Dessa forma, o erro-padrão dos estimadores de mínimos quadrados podem ser obtidos através da expressão ˆ ˆ ˆ SQT ( R x x )

22 Eficiência dos Estimadores de MQO Teorema 4. (TEOREMA DE GAUSS-MARKOV) Sob as suposições MLR. a MLR.5, ˆ, ˆ,..., ˆ k são os melhores estimadores, na classe dos lineares nãoviesados (BLUE) para,,..., k, respectivamente.

23 Eficiência dos Estimadores de MQO Restringindo a classe de estimadores não viesados a todos os estimadores lineares em y, o teorema de Gauss-Markov prova que o estimador de mínimos quadrados é o melhor (no sentido em que apresenta variância mínima) Diz-se que, sob as suposições MLR. a MLR.5, os estimadores de mínimos quadrados são BLUEs (best linear unbiased estimators) 3

24 Suposições e Propriedades MLR.6 O vetor de erro estocástico é independente dos regressores e segue uma distribuição normal multivariada, com vetor de médias igual a zero e matriz de variâncias e I n covariâncias igual a. 4

25 Suposições e Propriedades Observações ) Para aplicações de regressão com dados do tipo crosssectional, as suposições MLR. a MLR.6 são conhecidas como suposições do modelo linear clássico (suposições CLM). ) Uma maneira sucinta de resumir as suposições CLM na população é y (x, x,..., x k ) N( + x + x k x k ; ). 3) Sob as suposições CLM os estimadores de mínimos quadrados são estimadores não-viesados de variância mínima.

26 Propriedades dos Estimadores (iv) Sob as suposições clássicas do modelo de regressão linear e, também, sabendo que βˆ N k β; βˆ ' é linear em y temos que Observação: O vetor de estimadores é normalmente distribuído devido ao fato de ser formado por uma combinação linear dos elementos do vetor resposta, que são normais e independentes, uma vez que os erros assim o são.

27 Propriedades dos Estimadores Desta maneira, cada um dos componentes de seguinte distribuição βˆ, tem a em que β ; a, ˆ N β a é o -ésimo elemento da diagonal da matriz '.

28 Distribuição amostral de βˆ Teorema 4. Sob as suposições CLM (MLR. a MLR.6), condicionado nos valores amostrais das variáveis explicativas, βˆ N β ; SQT ( R ) x x 8

29 Distribuição amostral de βˆ Do teorema anterior segue que, βˆ SQT β ( R x x ) N ; Como é um parâmetro desconhecido, então será proposto um estimador para tal parâmetro. Dessa maneira, será necessário estudar a distribuição de probabilidades da nova v.a. que será gerada.