Modelo linear normal com erros heterocedásticos. O método de mínimos quadrados ponderados

Transcrição

1 Modelo lnear normal com erros heterocedástcos O método de mínmos quadrados ponderados

2 Varâncas homogêneas Varâncas heterogêneas y y x x Fgura 1 Ilustração da dstrbução de uma varável aleatóra y (condconal a x), normal, com varâncas homogêneas (à esquerda) e heterogêneas (à dreta).

3 Uma das pressuposções dos modelos lneares é que ( ) quasquer valores das covaráves (homocedastcdade). Var x = σ, ou seja, constante para y Nem sempre a suposção de varânca constante é atendda. Em algumas stuações, é razoável admtr que as varâncas sejam proporconas de forma que: Var ( y ) σ x =, (1) onde os ' ssão constantes de proporconaldade, conhecdas e partculares a cada observação. Na sequênca são apresentadas algumas stuações prátcas em que a suposção de gualdade de varâncas não é verfcada.

4 Stuação 1 - Suponha que as observações sejam, na verdade, médas de amostras de n observações, ou seja: y = 1 n y j n1 j = 1, para = 1,,..., n. Adconalmente, vamos consderar que, ndvdualmente, os y j ' stêm varânca constante, ou seja, ( ) = σ Var y j x j para todo j x. Nesse caso temos: Var ( y ) σ x =, para = 1,,..., n, n de tal forma que, observando a expressão apresentada em (1), = n.

5 Stuação - Suponha que a análse dos resíduos do ajuste de um modelo lnear ndque que a varânca dos erros tenha alguma relação com uma varável regressora (eventualmente, com mas de uma), como por exemplo: ( y ) x σ Var x =. j Nesse partcular caso, temos que a varânca de y aumenta lnearmente conforme o valor da varável x. Observando a expressão apresentada em (1), nesse caso temos = 1 x. j De manera semelhante, se tvéssemos: ( y x ) x σ Var = j então =. 1 x j

6 Stuação 3 - Em alguns casos, as observações estão sujetas a erros de medda, de tal forma que a varação desses erros não seja a mesma para dferentes valores das covaráves. Como exemplo, suponha que num expermento sejam usados k dferentes aparelhos, com erros 1,, k de medda de varâncas σ σ, K σ. Uma forma de ldar com a heterocedastcdade, em stuações semelhantes às lustradas, é ncorporar pesos ao processo de ajuste do modelo, obtdos com base nas constantes de proporconaldade. Questão Como (e por que) ncorporar tas pesos ao processo de modelagem?

7 Método de mínmos quadrados ponderados O estmador de mínmos quadrados: 1 ( X X) X y βˆ =, na stuação em que os erros são heterocedástcos, permanece não vcado, mas já não é efcente (não tem menor varânca). Alternatva: na obtenção dos estmadores, ncorporar pesos no ajuste do modelo, de forma a penalzar observações sujetas a maor varânca.

8 Neste caso, a soma de quadrado dos erros fcara defnda por: SQE n y = = 1 β 0 β j xj = ( y βx) ' W( y βx), j em que 0 W = M M 0 L L O 0 0 0, M n podendo ser verfcado que sso equvale à regressão de y em função de x ω (com a coluna de 1 ' s da matrz X substtuída pelos elementos ω 1, ω,..., ωn).

9 Os pesos podem ser determnados conforme descrto nas stuações lustradas anterormente (podem corresponder aos tamanhos de amostra correspondentes a cada méda, na stuação 1, ou ao nverso das varâncas dos erros de medda, na stuação 3). Alguns resultados da ncorporação de pesos ao processo de estmação: o Estmador de mínmos quadrados ponderados para os coefcentes do modelo: 1 ( X WX) X Wy βˆ =, ω o Estmador da varânca: ˆ σ = ( Y βx ˆ )' W( Y βx ˆ ) n p

10 o Matrz de varâncas e covarâncas dos estmadores: ( βˆ ) = ( X WX) 1 Var σ, que pode ser estmada por: Nota - O ésmo quadrados de β j. ( βˆ ) = ˆ ( X WX) 1 Var ˆ σ. j elemento da dagonal de Var( βˆ ) ˆ corresponde ao estmador de mínmos

11 No R: a ncorporação de pesos na no ajuste de um modelo lnear pode ser feta por meo do argumento eghts, da função lm. Em stuações em que não se dspõe de pesos aproprados para explcar a heterogenedade de varâncas, uma alternatva é estmar conjuntamente os parâmetros de regressão e as varâncas. No R, sso pode ser feto através da função gls do pacote nlme, que permte, além dsso, ajustar modelos para erros correlaconados (mínmos quadrados generalzados).

12 Exemplo Vamos utlzar o banco de dados cars, dsponível na base do R. Os dados correspondem aos resultados dos testes de frenagem de 50 automóves antgos. Duas varáves estão dsponíves: Speed: velocdade do automóvel no momento da frenagem; Dst: dstânca percorrda pelo automóvel do momento da frenagem até que ele pare completamente. O objetvo é modelar a dstânca em função da velocdade. E nós vamos ao R!