ESTATÍSTICA AVANÇADA: MODELOS NÃO LINEARES. Modulo 3: Teoria Assintótica

Transcrição

1 ESTATÍSTICA AVANÇADA: MODELOS NÃO LINEARES Modulo 3: Teoria Assitótica Gilva Guedes, Cedeplar - UFMG Melissa Piho, Estatística - UFMG Escola do Legislativo - ALMG Belo Horizote, Mias Gerais 21 de setembro de 2015

2 Sumário 1 Propriedades Assitóticas dos Estimadores 2 2 Propriedades Assitóticas Cosistêcia de um estimador Covergêcia em quadrado médio ou média quadrática O Teorema de Slutsky Covergêcia em Distribuição Cosistêcia de ˆβ Prova de Cosistêcia de ˆβ Normalidade Assitótica de ˆβ de MQO Prova da Normalidade Assitótica de ˆβ TCL variate de Lidberg-Feller Cosistêcia de s 2 e a variâcia assitótica de ˆβ Eficiêcia assitótica de ˆβ Prática de Teoria Assitótica Simulação de Mote Carlo Simples e Propriedades Assitóticas

3 1 Propriedades Assitóticas dos Estimadores Esse texto é de autoria da Profa. Sueli Moro (Departameto de Ecoomia/UFMG) e está estritamete proibida sua reproduç~ao. A maior parte das fórmulas é baseada o livro do (Greee, 2012). Algumas pequeas alteraç~oes o texto origial foram feitas para adequar liguagem e otaç~ao para o LateX. A ecoometria tem se torado cheia de assitótico (Leamer, 1988). A teoria assitótica trata do que acotece a uma estatística ou estimador quado o tamaho da amostra se tora muito grade. Essa estatística pode ser a média, variâcia, os coeficietes do modelo liear e até mesmo os testes estatísticos. Idexamos sempre em ou T para mostrar o papel do tamaho da amostra: ˆβ ou ˆβ t O quão grade precisa ser uma amostra para que o estimador mostre as suas propriedades assitóticas? Goldfeld ad Quadat (1972) mostram um exemplo em que uma amostra de tamaho 30 já é suficietemete grade. Mostram também outro exemplo em que é ecessária uma amostra de 200 observações. Segudo os autores, grades amostras são mais importates quado existe maior iteresse a variâcia do que os valores. 2

4 Como quase sempre trabalhamos com pequeas amostras (fiitas), defeder um estimador com base as suas propriedades assitóticas faria setido somete se estimadores com melhores propriedades assitóticas também tivessem melhores propriedades em amostras fiitas. E parece que é isso que acotece! 2 Propriedades Assitóticas Um estimador ão viesado é aquele cuja distribuição amostral é cetrada o verdadeiro valor do parâmetro; ou seja: E[ˆθ] = θ Essa propriedade ão depede do tamaho da amostra: um estimador ão viesado é ão viesado em pequeas e grades amostras! Mas às vezes ão é possível ecotrar um estimador que teha boas propriedades em pequeas amostras. Quado isso acotece, precisamos justificar o uso do estimador com base em suas propriedades assitóticas, ou seja, a sua distribuição em grades amostras. A distribuição de um estimador muda com o tamaho da amostra. A média da amostra, por exemplo, tem uma distribuição amostral que é cetrada a média da população: E[ X] = µ Mas a variâcia da média tora-se meor à medida que a amostra aumeta: V ar[ X] = σ2 Quais são as propriedades assitóticas que precisamos defiir para um estimador? 1. Cosistêcia: utiliza o coceito de covergêcia em probabilidade. Questão: a distribuição de ˆβ colapsa para um valor específico quado aumeta? 2. Eficiêcia assitótica: utiliza o coceito de covergêcia em distribuição e está relacioada com o coceito de distribuição assitótica. Questão: a distribuição de ˆβ se aproxima de uma forma cohecida (ex. ormal) quado aumeta? Para provar que um estimador é eficiete assitoticamete, é ecessário cohecer a distribuição assitótica desse estimador! Observação: ela precisa ser ormal! Mas o que é a distribuição assitótica de um estimador? Cosiderar a distribuição de um estimador ˆβ para amostras cada vez maiores: se as distribuições vâo se torado cada vez mais parecidas com alguma distribuição específica, esta é chamada de distribuição assitótica desse estimador! Algumas cosiderações: 3

5 1. Se a distribuição assitótica de ˆβ se cocetra em um valor k quado a amostra tede ao ifiito, diz-se que k é a probabilidade limite de ˆβ. Se lim ˆβ = β, dizemos que ˆβ é um estimador cosistete! 2. A variâcia da distribuição assitótica é chamada de variâcia assitótica. Etão, se ˆβ é cosistete e a sua variâcia assitótica é meor que a variâcia assitótica de qualquer outro estimador cosistete, ˆβ é chamado de assitoticamete eficiete! A propriedade plim ˆβ = β pode ser vista como o equivalete de ausêcia de viés em grades amostras (ateção, isso somete o setido de que se refere ao valor do parâmetro) Cosistêcia pode ser pesada como o equivalete da propriedade de miimum mea square error (míimo erro quadrático médio) que MSE pode ser defiido como: MSE = Var(ˆθ) + [Viés(ˆθ)] 2 A variâcia de um estimador assitoticamete eficiete tede a zero mais rapidamete que a variâcia de qualquer outro estimador cosistete. 2.1 Cosistêcia de um estimador Observação: mesma ituição da esperaça, o setido que se refere a valores. Para estabelecer cosistêcia, precisamos do coceito de covergêcia em probabilidade. O coceito de covergêcia em probabilidade é usado para defiir a cosistêcia de estimadores. Covergêcia em Probabilidade: A sequêcia de variáveis aleatórias z 1, z 2,..., z coverge em probabilidade para a variável aleatória z se: Diz-se, etão que: lim P rob[ z z > ɛ] = 0 ɛ > 0 T z p z Ou seja, z coverge em probabilidade para z. E que: plim(z ) = z Isso quer dizer que a probabilidade da difereça ser maior que qualquer úmero positivo, por meor que ele seja, é zero. 4

6 Uma codição suficiete (mas ão ecessária) para que ocorra a covergêcia é a covergêcia em quadrado médio ou média quadrática (mea square). É codição suficiete porque pode haver covergêcia sem que ocorra covergêcia em média quadrática. Exemplo Uma variável aleatória z toma dois valores 0 e T com probabilidades: e P (z = 0) = 1 1 T P (z = T ) = 1 T Quado T aumeta a P (z = 0) tede a 1 e a P (z = T ) tede a 0. Nesse caso, z coverge em probabilidade a 0 e, portato: e lim z T = 0 T + z T p 0 ou seja, plim(zt ) = Covergêcia em quadrado médio ou média quadrática Se z tem média µ e variâcia σ 2 tais que: e lim E[z ] = c + lim V ar[z ] = 0 + etão z coverge em média quadrática para c e plim(z ) = c A prova é obtida pelo Teorema de Chebychev. Ou seja, limite da esperaça é uma costate e limite da variâcia é zero. Para osso estimador ˆβ, teriamos: e lim E[ ˆβ ] = β + lim V ar[ ˆβ ] = 0 + Covergêcia em média quadrática implica em covergêcia em probabilidade, mas a recíproca ão é verdadeira! 5

7 Observação: Covergêcia em média quadrática: o limite da esperaça tem que ser uma costate e o limite da variâcia tem que ser zero. Exemplo de um caso em que a covergêcia em probabilidade ão implica em covergêcia em quadrado médio: Seja x = 0, T, P (x = 0) = 1 1 e P (x T = T ) = 1. Nesse caso: T ( E[x ] = ) ( ) 1 + T = 1 T T e mas a probabilidade limite é zero, porque: lim E[x ] = 1 + x p 0 ou seja, plim(x ) = 0 Coclusão: O limite da esperaça é 1 e a plim é 0. O limite da variâcia também ão é zero: ) E(x 2 ) = (0) ( (T ) 2 1 = T T T V ar(x ) = E[x E(x )] 2 V ar(x ) = E[x 1] 2 = E[x 2 ] 2E[x ] + (1) 2 (1) V ar(x ) = T = T 1 Coclusão: A variável z coverge em probabilidade, mas ão coverge em quadrado médio, porque a média coverge para uma costate, mas a variâcia ão coverge para zero. Felizmete, isso é raro de acotecer. Normalmete, covergêcia em probabilidade implica em covergêcia em quadrado médio. O coceito de covergêcia em probabilidade é usado para defiir a cosistêcia de estimadores: Covergêcia Para ode vai? plim Cosistêcia Vai para ode eu quero que vá e a variâcia se aproxima de zero? plim ˆβ = β? Etão, um estimador será cosistete se plim ˆβ = β e sua variâcia se aproxima de zero quado aumeta. 6

8 Cosistêcia da média de uma amostra A média de uma amostra é um estimador cosistete para a média da população. Isto porque: E[ x] = µ e Assim, e 2.3 O Teorema de Slutsky V ar[ x] = σ2 lim var( x) = 0 + lim E[ x] = µ + É uma cosequêcia iteressate da cosistêcia. É uma das razões que possibilita usar a teoria assitótica. Isso porque a álgebra associada ao cálculo das esperaças, que é ecessária para ecotrar as propriedades em amostras fiitas, ás vezes é muito difícil, pode ser até impossível, e o limite tudo fica mais fácil! Teorema de Slutsky: Para uma fução cotíua de x, g(x ), plimg(x ) = g[plim(x )] Observação: g(x ) precisa ser uma fução cotíua. cotíua é a fução avaliada a plim. Isto é: a plim de uma fução Isso ão é verdade para a esperaça matemática, pois o valor esperado de uma fução ão-liear de uma estatística ão é uma fução ão-liear do valor esperado daquela estatística. Exemplo Seja g uma fução quadrática de um estimador g(b) = b 2, etão: E[b 2 ] = V ar(b) + [E(b)] 2 Lembre-se que V ar(x) = E(x 2 ) [E(x)] 2 E(x 2 ) = V ar(x) + [E(x)] 2 Sabemos que E[b 2 ] [E(b)] 2. Mas o limite V ar(b) tede a zero e, portato: e lim + E[b2 ] = [E(b)] 2 plim[b 2 ] = plim[e(b)] 2 O Teorema de Slutsky é utilizado em várias situações como, por exemplo, em plim da multiplicação de fuções, plim da soma de fuções, etc. 7

9 2.4 Covergêcia em Distribuição Covergêcia em distribuição é a forma mais fraca de covergêcia. O Teorema Cetral do Limite é um teorema sobre covergêcia em distribuição. Covergêcia em probabilidade ão é a mesma coisa que covergêcia em distribuição. Vejamos a difereça: Covergêcia em probabilidade: diz que a variável aleatória coverge para um valor cohecido (o parâmetro a população). Covergêcia em distribuição: diz que as variáveis se comportam da mesma maeira, ou seja, tem a mesma distribuição, mas ão têm ecessariamete os mesmos parâmetros. É importate para a distribuição limite e para a distribuição assitótica. Observação: Covergêcia em distribuição é a forma de covergêcia mais fraca (weak covergece) e ão implica ehum outro tipo de covergêcia. Mas todos os outros tipos de covergêcia implicam em covergêcia em distribuição, como a covergêcia em probabilidade. 3 Cosistêcia de ˆβ Para que ˆβ seja um estimador cosistete de β é preciso que plim ˆβ = β (o viés e a variâcia se aproximem de 0)! Observação: Lembre-se que ˆβ é uma variável aleatória em amostras repetidas. Se ˆβ covergir em probabilidade para uma costate, ou seja, a média a população, e se a sua variâcia covergir para zero, teremos covergêcia em mea square, e a probabilidade limite de ˆβ é β. Isso porque covergêcia em mea square implica em covergêcia em probabilidade. Etão, para ode coverge ˆβ = (X T X) 1 X T y? A partir de agora fazemos toda a aálise idexada em, ou seja, o tamaho da amostra agora é importate, porque desejamos saber as propriedades do estimador quado aumeta. Quado dividimos por temos médias e queremos saber se essas médias de amostras covergem para médias a população. 8

10 3.1 Prova de Cosistêcia de ˆβ O método dos Míimos Quadrados Ordiários busca miimizar a soma dos quadrados dos erros, utilizado como base as equações ormais: (β) = ɛ T ɛ = (Y Xβ) T (Y Xβ) S(β) = Y T Y β T X T Y Y T Xβ + β T X T Xβ S(β) = Y T Y 2β T X T Y + β T X T Xβ (2) S(β) β = 2X T Y + 2X T Xβ As equações ormais são obtidas como: S(β)/β = 0 S(β) β = 2X T Y + 2X T Xβ = 0 (3) X T Xβ = X T Y Como: S(β) β = 2X T Y + 2X T Xβ = 0 β = (X T X) 1X T Y (4) 2S(β) β β = 2XT X Assim, X T X é uma matriz positiva e defiida. O estimador MQO de β é: ˆβ = (X T X) 1 X T y Substituido y = Xβ + ɛ, temos: β = (X T X) 1 X T (Xβ + ɛ) ˆβ = (X T X) 1 (X T X)β + (X T X) 1 Xɛ (5) ˆβ = β + (X T X) 1 Xɛ Multiplicado e dividido a parte destacada de ˆβ por teremos: [ ] (X plim(x T X) 1 T X) 1 X T ɛ Xɛ = plim 9

11 Utilizado o Teorema de Slutsky: temos: [ (X T X) 1 plim plim(g(x)) = g(plim(x)) ] X T ɛ = plim (XT X) 1 plim XT ɛ Dividir a equação acima por faz setido porque agora + e também porque X T X é uma matriz de somas de produtos e os elemetos de sua diagoal são somas de quadrados. Se existe um itercepto, o elemeto superior à direita da matriz X T X será igual a. Etão, quado +, algumas dessas somas tedem a ficar muito grades. Por isso, ão faz setido achar plim(x T X). Quado olhamos a plim( XT X) estamos olhado para os valores médios de X T X, e esses são fiitos quado aumeta. Pressuposto: X T X lim + = Q em que Q é uma matriz fiita, positiva defiida e ão-sigular. somatório de produtos e dos somatórios de quadrados de variáveis. É uma média do Isso implica que quado aumeta os elemetos de X T X ão aumetam a uma taxa maior do que. Mas quado essa expressão se tora ifiita (o caso da equação de tedêcia) a sua iversa se tora 0. Vamos mostrar que: σ 2 (X T X) 1 = var(β) vai se aproximado de zero quado aumeta, ou seja: lim σ2 (X T X) 1 = var(β) = 0 X A expressão lim T X + = Q também implica que quado aumeta, os elemetos de X T X são liearmete idepedetes o limite, uma vez que ela é ão-sigular, admitido iversa. Vejamos um exemplo de violação dessa hipótese. Equação de tedêcia: X T X = [ y = β 1 + β 2 + ɛ T T (T + 1) Veja que a equação viola o pressuposto, pois ( ) X T X lim = T + T T (T +1) 2 T (T +1)(2T +1) 6 [ esta matriz ão é fiita, ou seja, explode o ifiito. Outra equação que viola o pressuposto é: y t = β 1 + β 2 λ t + ɛ t 10 ] ]

12 em que: λ < 1 Nesse caso, que é uma matriz sigular. lim T + ( ) X T X = T [ ] Felizmete, a matriz X T X satisfaz as codições de Greader, que são mais fracas e suficietes para a cositêcia dos ˆβ. Codiç~oes de Greader (Greee, 2012): G1 - Para cada colua de X, x k, se d 2 k = xt k x k, et~ao lim + d 2 k = +. Portato, x k ~ao degeera a uma sequ^ecia de zeros. As somas dos quadrados cotiuar~ao a crescer a medida em que o tamaho da amostra aumeta. Nehuma variável degeerará para uma sequ^ecia de zeros. G2 - lim + x 2 ik /d2 k = 0 para todo i = 1,...,. Essa codiç~ao implica que ehuma observaç~ao idividual domiará x T k x k, e a medida em que +, observaç~oes idividuais se torar~ao meos importates. G3 - Seja R a matriz de correlaç~ao amostral das coluas da matriz X, excluido o termo costate caso haja um. Et~ao, lim + R = C, uma matriz positiva defiida. Essa codiç~ao implica que a codiç~ao de posto completo sempre será atigida. Já assumimos que X tem posto completo em uma amostra fiita, et~ao esse pressuposto assegura que a codiç~ao uca será violada. Até agora provamos que X T X lim + ou que pelo meos X T X satisfaz as codições de Greader. Portato, temos agora que: = Q ( ) 1 ) plim ˆβ X = β + plim T X X plim( T ɛ ( ) plim ˆβ = β + Q 1 X plim T ɛ (6) ( ) X Agora precisamos fazer a prova assitótica de plim T ɛ. Fazedo: X T ɛ = 1 x i ɛ i = 1 i=1 w i = w i=1 Assim, teremos: plim ˆβ = β + Q 1 plim w 11

13 Supodo que X seja ão-estocástico (e portato, ão-correlacioado com o erro), temos: Média de w E[ w] = 1 Variâcia de w E[w i ] = 1 i=1 E[x i, ɛ i ] = 1 i=1 [ V ar( w) = E[ w w T ] = E x i E(ɛ i ) = 1 XT E[ɛ] = 0 i=1 ] X T ɛ ɛ T X V ar( w) = 1 XT E(ɛɛ T X) X = 1 σ2 XT X = σ2 X T X (7) Tomado o limite: lim var( w) = lim + ( σ 2 + ) X T X = 0Q = 0 Etão, uma vez que a média de w é zero (uma costate) e sua variâcia coverge para zero, w coverge em média quadrática para zero. Assim: e plim( w) = 0 ( ) 1 plim XT ɛ = 0 Observação: Lembre-se que isso é a prova da cosistêcia de ˆβ e que estamos usado covergêcia em probabilidade. Etão: ˆβ = β + (X T X) 1 X T ɛ plimˆβ = β + Q 1 plim XT ɛ plimˆβ = β + Q 1 0 (8) plimˆβ = β Coclusão: ˆβ é um estimador cosistete o modelo de Regressão Clássico. 3.2 Normalidade Assitótica de ˆβ de MQO Nessa sessão pergutamos qual é a distribuição assitótica de ˆβ. Vimos que em uma amostra fiita ão precisamos de ormalidade dos erros em dos ˆβ para provar a eficiêcia dos ˆβ de MQO (a prova é obtida utilizado Gauss-Markov). 12

14 Mas vimos também que só podemos afirmar que ˆβ tem uma distribuição ormal quado ɛ tem uma distribuição ormal. Ou seja, somete podemos iferir sobre a distribuição de ˆβ quado os erros são ormais. Agora, para derivar a distribuição assitótica de ˆβ precisamos assumir a matriz X idepedete dos erros (ou seja, exogeeidade). Usamos o Teorema Cetral do Limite e ão precisamos de ormalidade em amostra fiita. Distribuições assitóticas: são também caracterizadas por suas médias e variâcias como as distribuições fiitas. Temos etão a média assitótica e a variâcia assitótica: ˆβ = E[ ˆβ] = β A média assitótica é igual à esperaça assitótica que é dada por plim ˆβ = β. No caso dos estimadores, como o limite temos uma costate β, a variâcia é zero! Etão a distribuição assitótica ão é a distribuição o limite, porque o limite é uma distribuição degeerada! Observação: No limite ão há distribuição, é um pico! Etão a distribuição assitótica é a distribuição da jorada fial, ates de colapsar para um poto. A distribuição de um determiado estimador é diferete (ou pode ser), à medida que o tamaho da amostra aumeta. Pode diferir ão somete a média e variâcia, mas também a forma matemática (lembrar que a biomial é assitoticamete uma ormal). A essêcia do Teorema Cetral do Limite pode ser resumida como: Quado o tamaho da amostra aumeta a distribuição da média amostral aproxima-se da ormal. Diz-se etão que a ormal é a distribuição assitótica da média amostral. Quado estamos iteressados em saber se os mometos da amostra covergem para os mometos da população, a Lei dos Grades Números (LGN) os dá essa resposta. Veja que há uma difereçã etre a LGN e o TCL: LGN: mometos média, variâcia, etc. TCL: distribuição 3.3 Prova da Normalidade Assitótica de ˆβ Para derivar a distribuição de ˆβ, ão precisamos que os erros sejam ormais. No etato, precisaremos de duas codições: Teorema Cetral do Limite (TCL) assumir que X é uma matriz de variáveis idepedetes dos erros 13

15 Observação: Fazemos a prova utilizado uma fução de ˆβ, ao ivés de ˆβ diretamete, porque se ˆβ coverge para β - que é uma costate - o limite ão há distribuição, apeas um pico. Lembre-se que: ˆβ = β + XT X 1 X T ɛ ˆβ β = XT X 1 X T ɛ (9) Multiplicado ambos os lados por, obtemos: [ ] (ˆβ β) = X T X 1 X T ɛ (10) (ˆβ β) = X T X 1 X T ɛ Temos que a distribuição limite de (ˆβ β) é igual à distribuição limite do lado direito, ou seja: [( ) X T 1 ( )] X X T ɛ plim ( ) 1 X Já obtivemos a plim T X, que é Q 1 X. Mas ão temos a plim( T ɛ ), embora teha- ( ) mos a plim X T ɛ = 0. Etão, qual seria a distribuição limite de ( X T ɛ )? Veja que essa é uma distribuição que será mais leta para covergir, pois é idexada em ao ivés de : ( 1 )X T ɛ = w Lembre-se que w = XT ɛ = XT ɛ w = X T ɛ = XT ɛ = 1 X T ɛ(11) 14

16 Calculado a esperaça e a variâcia de w, temos: Média: E[ w] = E[ w] = 0 Variâcia: V ar[ w] = V ar( w) V ar[ [ ] σ w] = 2 X T X (12) V ar[ w] = σ 2 XT X Se tomarmos o limite da variâcia de w, teremos: lim V ar[ w] = lim XT X + + σ2 = σ 2 Q Resta agora aplicar uma variate do Teorema Cetral do Limite (variate de Lidberg- Feller) ao vetor w. Vejamos o TCL de Lidberg-Feller TCL variate de Lidberg-Feller Caso Uivariado Se x 1,..., x é uma amostra aleatória de uma distribuição de probabilidade com média µ e variâcia σ 2 a população: X = 1 x i Etão, i=1 ( X µ) d N[0, σ 2 ] em que ( X µ) são desvios da média da amostra em relação à média da população. A média de ( X µ) é obtida por: E[ ( X µ)] = E[ X] E[ µ] = E[ X] E[µ] E[ ( X µ)] = µ µ = 0 (13) Caso Multivariado Agora temos x 1,..., x represetado amostras de uma distribuição multivariada. Assim: ( X µ) d N[0, Q] No osso caso, temos que 1 X T ɛ = [ w E( w)] 15

17 em que: Etão: Segue-se que: [ w E( w)] d N[0, Q] 1 X T ɛ d N[0, σ 2 Q] ( (ˆβ β) = ) X T X 1 X T ɛ lim + [ [( ) ] X (ˆβ β)] = lim T X 1 X T ɛ + lim + [ (ˆβ β)] = Q 1 1 X T ɛ (14) Q 1 1 X T ɛ d N[Q 1 0, Q 1 (σ 2 Q)Q 1 ] Q 1 1 X T ɛ d N[Q 1 0, σ 2 Q 1 ] Observação: Lembre-se que o primeiro termo é a média de Q 1 1 X T ɛ: [ E Q 1 1 ] X T ɛ = Q 1 0 e o segudo termo é a variâcia de Q 1 1 X T ɛ: ( V ar Q 1 1 ) X T ɛ = Q 1 (σ 2 Q)Q 1 Etão: (ˆβ β) d N[0, σ 2 Q 1 ] Vamos agora utilizar um resultado do Greee (2012): Teorema: Se ] (ˆθ θ) d N[0, V ], etão ˆθ N [θ, 1 V, em que a primeira expressão diz que (ˆθ θ) coverge em distribuição para uma ormal com média zero e variâcia V e a seguda expressão diz que ˆθ é assitoticamete ormalmete distribuido com média 0 e variâcia 1 V. No caso do estimador MQO, se: (ˆβ β) d N[0, σ 2 Q 1 ] etão: ou ] ˆβ N [β, σ2 Q 1 ˆβ N[β, σ 2 (X T X) 1 ] Logo, a ormalidade assitótica de ˆβ ão ecessita da ormalidade dos erros! cosequêcia do Teorema Cetral do Limite! É uma 16

18 3.4 Cosistêcia de s 2 e a variâcia assitótica de ˆβ Para computar as propriedades assitóticas de ˆβ precisamos saber se o estimador da variâcia, ˆσ 2 é cosistete. Aqui só precisamos de cosistêcia! O problema é a cosistêcia do estimador de σ 2, ˆσ 2 = s 2, uma vez que Q 1 ão é problema. Será que s 2 é cosistete? s 2 = ˆɛTˆɛ k s 2 = 1 k ɛt Mɛ (15) Lembre-se que M é a matriz geradora de resíduos, obtida como se segue: ˆɛ = y Xˆβ ˆɛ = y X(X T X) 1 X T y ˆɛ = I X(X T X) 1 X T )y ˆɛ = My ˆɛ = M(Xβ + ɛ) (16) ˆɛ = MXβ + Mɛ = Mɛ ˆɛ Tˆɛ = ɛ T M T Mɛ ˆɛ Tˆɛ = ɛ T Mɛ Abrido a expressão s 2 e multiplicado, temos: s 2 = 1 k ɛt [I X(X T X) 1 X T ]ɛ s 2 = 1 k [ɛt ɛ ɛ T X(X T X) 1 X T ɛ] (17) Multiplicado por, temos: s 2 = lim + s 2 = lim + ( ) [ ɛt ɛ ɛt X X T X 1 X T ɛ ] k ( ) [ ɛt ɛ ɛt X X T X 1 X T ɛ ] k (18) 17

19 Sabe-se que coverge para 1, ɛt X k e XT ɛ Q 1. Portato, resta saber qual o limite de ɛt ɛ covergem para zero e XT X, ou seja: coverge para ɛ T ɛ lim + s2 = lim + Para chegar a este resultado, utilizamos o seguite teorema: Teorema de Kishie: A média de uma amostra aleatória de observações idepedetes e idetificamete distribuídas (i.i.d.) é um estimador cosistete da média da população. Etão, precisamos apeas assumir que os erros são i.i.d., ão precisamos assumir que eles são ormais. Neste caso, basta olharmos ɛ 2 1, ɛ 2 2,..., ɛ 2 como uma amostra aleatória i.i.d. com média a população igual σ 2. Observação: Isso é válido porque: A média de ɛ 2 i ossa amostra é dada por: E[ɛ 2 i ] = σ 2 ɛ 2 = i=1 ɛ2 i = ɛt ɛ é um estimador cosistete da média da população σ2 (pelo Te- ( ) ɛ T ɛ plim = σ 2 plim(s 2 ) = σ 2 Temos etão que ɛt ɛ orema de Kishie). Logo: Etão: Observação: ou ] ˆβ N [β, σ 2 Q 1 ˆβ N[β, σ 2 X T X 1 ] A variâcia assitótica de ˆβ é: exatamete igual à da amostra fiita. AsyV ar[ˆβ] = s 2 (X T X) 1 18

20 3.5 Eficiêcia assitótica de ˆβ Defiição: um estimador é assitoticamete eficiete quado ele é cosistete, assitoticamete ormalmete distribuído e tem uma matriz de variâcia-covariâcia assitótica que ão é maior que ehuma outra matriz de variâcia-covariâcia assitótica de um outro estimador as mesmas codições, isto é, cosistete e ormalmete assitoticamete distribuído. Já vimos que o vetor ˆβ dos MQO é cosistete, ormalmete distribuído. Além dessas propriedades assitóticas, é provado que a matriz da variâcia-covariâcia assitótica é míima. 4 Prática de Teoria Assitótica 4.1 Simulação de Mote Carlo Simples e Propriedades Assitóticas Nesse exercício trabalharemos com duas variáveis aleatórias, x e z, com mesma média e variâcias diferetes. 1. Crie erros aleatórios com distribuição ormal, com média zero e variâcia uitária. Peça as médias para as variáveis x e z e para os erros criados para diferetes úmeros de observações (por exemplo, 10, 100, 1000) e verifique que as variâcias das variâveis dimiuem à medida que aumeta o úmero de observações. 2. Crie ovas variáveis (variáveis depedetes) y como fução de x e z, de cada vez, da seguite forma: y = , 6x + ɛ e y = , 6z + ɛ. 3. Estime os modelos de regressão liear para úmeros diferetes de observações (10, 10, 1000), tato para y = f(x, ɛ) quato para y = f(z, ɛ) 4. Crie uma variável w correlacioada com os erros aleatórios, da seguite maeira: w = ɛ 5. Trasforme as variáveis x e z de modo a serem correlacioadas com os erros, da seguite maeira: wx = x + 500ɛ e wz = z + 5ɛ 6. Calcule as médias e teste as correlações etre todas as variáveis e os erros. O que se observa? 7. Estime modelos de regressão liear com os y criados e as variáveis x, z, w, wx e wz para diferetes tamahos de amostras (10, 100, 1000). Observe a covergêcia dos parâmetros para cada modelo e discuta com detalhes, segudo o que você cohece sobre a propriedade de cosistêcia do estimador dos MQO. Observações Gerais: 19

21 A covergêcia do estimador dos MQO pode ser compreedida da seguite forma: ˆβ = (X T X) 1 X Y ˆβ = (X T X) 1 X ( Xβ + ɛ) ˆβ = (X T X) 1 X X β + (X T X) 1 X T ɛ (19) ˆβ = β + (X T X) 1 X T ɛ ( ) 1 X plimˆβ = β + plim T X X T ɛ Ateção: quato maior a variabilidade a matrix X, mais rápida é a covergêcia. Para casa: crie uma variável xk muito correlacioada com os erros e repita o procedimeto. Coclua. Referêcias Goldfeld, S. M. ad R. E. Quadat (1972). Noliear methods i ecoometrics. Greee, W. H. (2012). Ecoometric Aalysis (7th ed.). Pearso Educatio Idia. Leamer, E. E. (1988). 3 thigs that bother me. Ecoomic Record 64 (4),