Modelos Lineares Generalizados - Estimação em Modelos Lineares Generalizados

Transcrição

1 Modelos Lineares Generalizados - Estimação em Modelos Lineares Generalizados Erica Castilho Rodrigues 23 de Maio de 207

2 Introdução 2

3 3 Vimos como encontrar o EMV usando algoritmos numéricos. Duas possibilidades: Método de Newton Raphson; Método Escore de Fisher. Iremos aplicar esses algoritmos para o caso do MLG. Em Regressão Linear o EMV tem forma fechada. Pode-se mostrar que é equivalente ao estimador de mínimos quadrados.

4 4 Já nos MGL s os estimadores dos coeficientes β não tem forma fechada. Esses estimadores serão obtidos usando os algoritmos que vimos anteriormente. Considere uma amostra aleatória Y, Y 2,..., Y n que pertence à família exponencial em sua forma canônica, ou seja, f(y i,θ i ) = exp{y i b(θ i )+c(θ i )+d(θ i )}.

5 5 Considere que o preditor linear está relacionado com a média da seguinte maneira Objetivo: estima o vetor β. E(Y i ) = µ i µ i = g(x t i β) Temos que a log-verossimilhança é dada por l(y i,θ i ) = log(f(y i,θ i )) = y i b(θ i )+c(θ i )+d(θ i ). A log-verossimilhança conjunta é dada por l(y,θ) = i l(y i,θ i ) = n (y i b(θ i )+c(θ i )+d(θ i )) i= = n n n y i b(θ i )+ c(θ i )+ d(θ i ). i= i= i=

6 6 Queremos encontrar o EMV para cada um dos β j (j=,2,...,p). Devemos então derivar a log-verossimilhança e igualar a zero. Vamos primeiro obter a função escore U j (θ) = dl(y,θ) dβ j = d i l(y i,θ i ) dβ j. Pode-se mostrar que a função escore é dada por U j (θ) = n i= [ (yi µ i ) Var(Y i ) x ij ( )] µi. η i

7 Queremos então encontrar a a solução de U j (θ) = para j =, 2,..., p. n i= [ (yi µ i ) Var(Y i ) x ij Usaremos o método Escore de Fisher. ( )] µi = 0 η i Não entraremos em detalhes sobre a construção do algoritmo.

8 8 Vamos chamar b o estimador do vetor β. Pode-se mostrar que a equação de atualização do algoritmo é dada por X T WXb (m) = X T Wz W é uma matriz diagonal n n, cuja i-ésima entrada é dada por ( ) 2 µi [W] ii = Var(Y i ) η i e z é um vetor cuja i-ésiman é dada por z i = p k= ( ) x ik b (m ) ηi k +(y i µ i ). µ i

9 9 A equação X T WXb (m) = X T Wz tem o mesmo formato das equações normais no modelo linear quando usamos Mínimos Quadrados Ponderados. A diferença é que aqui ela é resolvida iterativamente. Esse método é chamado Método de Mínimos Quadrados Ponderados Iterativo.

10 0 A maioria dos softwares utiliza esse método de estimação. Escolhem um valor inicial b (0). Utilizam esse valor para encontrar W e z. z i = [W] ii = p k= Var(Y i ) ( µi η i ) 2 ( ) x ik b (m ) ηi k +(y i µ i ). µ i

11 Utilizam z e W para atualizar b () X T WXb () = X T Wz b () é então usado para obter melhores aproximações de W e z. O algoritmo continua até que seja bem pequeno. b (m) b (m )

12 2 Exemplo: Vamos ajutar uma Regressão de Poisson. Considere uma amostra aleatória tal que Y i iid Poisson(µ i ). Y,..., Y n A Tabela a seguir apresenta os dados observados

13 3 Exemplo: (continuação) A figura a seguir mostra o gráfico de disperão entre as duas variáveis.

14 4 Exemplo: (continuação) Como a variância se comporta? Ela aumenta quando Y aumenta. Isso faz sentido no modelo Poisson? Sim pois E(Y i ) = Var(Y i ). Vamos modelar a média dessas variáveis da seguinte maneira E(Y i ) = µ i = β 0 +β x i. Precisamo somar o erro ǫ i nesse caso? Não.

15 5 Exemplo: (continuação) Então o modelo é perfeito? Não comete erro nenhum? O erro vem do fato de Y i Poisson(µ i ). Os valores observamos de Y i estarão em torno de µ i. Não serão exatamente µ i. Assim como acontece no modelo de regressão Y i N(µ i,σ 2 ). A diferença é que o modelo de regressão pode ser escrito de duas maneiras equivalentes Y i N(µ i,σ 2 ) Y i = µ i +ǫ i com ǫ i N(0,σ 2 ). Os MLG s podem ser escritos apenas do primeiro modo.

16 6 Exemplo: (continuação) Temos então que Y i Poisson(µ i ) com E(Y i ) = µ i = β 0 +β x i = x T i β onde β = [ β0 β ] [ ] x i = Qual função de ligação estamos usando aqui? Identidade µ i = g(x T i β) = x T i β = η i x

17 7 Exemplo: (continuação) Vejamos como usar o Método Escore de Fisher para estimar β. Vamos obter a matriz W. Vimos que Temos que [W] ii = Var(Y i ) ( ) 2 µi. η i Var(Y i ) = µ i = β 0 +β x i. Além disso µ i = η i µ i η i =.

18 8 Exemplo: (continuação) Portanto [W] ii = Var(Y i ) ( ) 2 µi = η i β 0 +β x i. Como não temos o valor de β 0 e β, substituimos pelos seus estimadores b 0 e b [W] ii = b 0 + b x i. Veremos agora como fica z. Vimos que p ( ) z i = x ik b (m ) ηi k +(y i µ i ). µ i Temos que k= η i = µ i η i µ i =.

19 9 Exemplo: (continuação) Portanto onde z i = p k= ( ) x ik b (m ) ηi k +(y i µ i ) µ i = b 0 + b x i +(y i b 0 b x i ) = y i b0 é estimador de β 0 ; b é estimador de β. O próximo passo é encontrar a equação para atualização do estimador b (m).

20 20 Exemplo: (continuação) Essa atualização é obtida através de X T WXb (m) = X T Wz Vejamos como fica o termo X T WX. Temos que x x 2 X =. W =. x n b 0 +b x b 0 +b x b 0 +b x n logo b [ ] 0 +b x X T... 0 W = b 0 +b x x x 3... x n b 0 +b x n

21 Exemplo: (continuação) [ X T W = b 0 +b x x x 2 b 0 +b x b 0 +b x 2 b 0 +b x 2... b 0 +b x n... x n b 0 +b x n ] então X T WX = [ = b 0 +b x x x 2 b 0 +b x b 0 +b x 2... b 0 +b x 2... b 0 +b x n x n b 0 +b x n [ n n x i i= b 0 +b x i i= b 0 +b x i n x i n xi 2 i= b 0 +b x i i= b 0 +b x i ] x x 2. x n ]

22 22 Exemplo: (continuação) Veremos agora como fica o termo X T Wz. Temos que y [ z = y 2... XT W = y n b 0 +b x x x 2 b 0 +b x b 0 +b x 2... b 0 +b x 2... b 0 +b x n x n b 0 +b x n ] Logo X T Wz = [ b 0 +b x x x 2 b 0 +b x b 0 +b x 2... b 0 +b x 2... b 0 +b x n x n b 0 +b x n ] y y 2... y n

23 23 Exemplo: (continuação) X T Wz = [ n y i i= b 0 +b x i n x i y i i= b 0 +b x i ] Portano b (m) será atualizado a partir da equação ou seja [ n i= n i= X T WXb (m) = X T Wz n x i b 0 +b x i i= b 0 +b x i x i n xi 2 b 0 +b x i i= b 0 +b x i ] b (m) = [ n y i i= b 0 +b x i n x i y i i= b 0 +b x i ]

24 24 Exemplo: (continuação) Para os dados observados temos que 2 y = z = 3... X =.. 5 Vamos escolher os seguintes valores iniciais b (0) 0 = 7 b (0) = 5. Temos que (X T WX) () = [ ]

25 25 Exemplo: (continuação) (X T Wz) () = [ ] Portanto [ ] b () = [ ] o que implica que b () = [ ] [ ] = [ ]

26 26 Exemplo: (continuação) A tabela a seguir mostra os valores de b para alguns passos do algoritmo O algoritmo parece ter convergido para os seguintes valores de b b (m) 0 = ˆβ 0 = 7.45 b (m) = ˆβ = 4.93.

27 27 Propriedades do Estimador Máxima Verossimilhança Assintoticamente não viesados lim E(ˆθ) = θ. n Consistente ˆθ P θ (ˆθ) converge em probabilidade para θ). Variância mínima: ˆθ possui variância mínima para amostras grandes. Distribuição assintótica: a distribuição de ˆθ converge para uma normal. Veremos agora as propriedades do EMV para o caso dos Modelos Lineares Generalizados.

28 28 Duas principais ferramentas para inferência estatística: intervalos de confiança e testes de hipóteses. Veremos como obtê-los no caso nos Modelos Lineares Generalizados. Intervalo de Confiança Fornece uma estimativa intervalar para o parâmetro. A amplitude do intervalo dá uma ideia da precisão dessa estimativa.

29 29 Testes de Hipóteses Podemos comparar dois modelos. Queremos identificar qual deles se ajusta melhor aos dados. Um modelo é mais simples que o outro - tem menos parâmetros. Esse modelo é chamado modelo nulo e corresponde a H 0. Deve ser um caso particular do modelo H. Se os dois modelos ajustam bem os dados: devemos escolher H0, pelo critério da parcimônia.

30 30 Para fazermos inferências sobre o parâmetro: precisamos da distribuição de probabilidade do estimador. Seja S uma estatística de interesse. Em geral, pode-se mostrar que, para tamanhos de amostra grandes S E(S) Var(S) N(0, ) (S E(S)) 2 Var(S) χ 2 () Para o caso que S é um vetor de dimensão p temos que [S E(S)] T V [S E(S)] χ 2 (p) onde Cov(S) = V.

31 3 Vamos denotar por b o estimador do vetor de parâmetros β. Pode-se mostrar que, se a amostra tem tamanho grande, E(b) = β (b β) T I(β)(b β) χ 2 (p) ou b N (β, I(β) ) onde I(β) é matriz de Informação de Fisher de β cujo termo jk é dado por [I(β)] jk = n i= x ij x ik Var(Y i ) ( ) 2 µi. η i

32 32 No caso em que β tem apenas um parâmetro temos que, para n grande b N (β, I(β) ) onde I(β) = n i= x 2 i Var(Y i ) ( ) 2 µi. No caso dos MLG s todos esses resultados só valem se a amostra é grande. η i No caso dos modelos de Regressão Linear esses resultados são exatos.

33 33 Exemplo: Vamos considerar o caso da distribuição Normal. Ele não deixa de ser um caso específico dos MLG s. Veremos que os resultados coincidem com aqueles obtidos no curso de Regressão Linear. Iremos considerar então que Y i N(µ i,σ 2 ) µ i = x T i β onde β é um vetor de parâmetros de dimensão p.

34 34 Exemplo: (continuação) Vejamos como usar o Método Escore de Fisher para estimar β. Vamos obter a matriz W. Vimos que Temos que [W] ii = Var(Y i ) ( ) 2 µi. η i Var(Y i ) = σ 2. Além disso µ i = η i µ i η i =.

35 35 Exemplo: (continuação) Portanto Além disso z i = [W] ii = p k= Var(Y i ) = σ 2. ( ) x ik b (m ) ηi k +(y i µ i ) µ i = p k= x ik b (m ) k +(y i µ i ) = y i

36 36 Exemplo: (continuação) Vimos que a equação de atualização do parâmetro é dada por X T WXb (m) = X T Wz. E temos que W = σ 2 I logo a equação fica z = y σ 2 XT Xb (m) = σ 2 XT y e portanto b = (X T X) X T y que é justamente o estimador do mínimos quadrados do modelo de regressão.

37 Exemplo: (continuação) Temos nesse caso que b N (β, I(β) ) os termos da matriz de Informação de Fisher ficam n ( ) x ij x 2 ik µi n x ij x ik [I(β)] jk = = Var(Y i ) η i σ 2. Temos então que ou seja i= I(β) = σ 2(XT X) I(β) = σ 2 (X T X) Isso significa que b N (β,σ 2 (X T X) ) i= que foi o mesmo resultado visto no curso de Regressão Linear. 37

38 38 Exercício: Verifique se a distribuição normal inversa pertence à família exponencial. Caso isso seja verdade, encontre o parâmetro canônico e a ligação canônica dessa distriuição. f(y;µ;σ 2 ) = ( ) /2 } (y µ)2 2πσ 2 y 3 exp{ 2µ 2 σ 2 y f(y i,θ i ) = exp{y i b(θ i )+c(θ i )+d(θ i )}.