Estimação no Domínio do tempo: Covariâncias e modelos ARIMA

Transcrição

1 Estimação no Domínio do tempo: Covariâncias e modelos ARIMA Airlane Pereira Alencar 8 de Março de 2019 Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

2 Índice 1 Estacionariedade e Autocovariância 2 AR(p) ARMA(p,q) Modelos ARIMA(p,d,q) 3 Referências Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

3 Estacionariedade e Autocovariância Estacionariedade Processo estocástico É uma família Z = {Z (t), t T } em que Z (t) é variável aleatória. Série Temporal É uma particular realização do processo estocástico. Fracamente estacionário ou de 2a ordem E(Z t ) = µ, t T ; E(Zt 2 ) <, t T ; Cov(Z t1, Z t2 ) = γ( t 1 t 2 ), ou seja, a covariância é função somente de t 1 t 2. Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

4 Estacionariedade e Autocovariância Propriedades da Função de Autocovariância Processos estacionários são bem caracterizados por sua média µ e sua fac. (Cramér e Leadbetter, 1967, p.80) (FAC n.neg.def.) Seja Z = {Z (t), t Z} um processo estacionário real com tempo discreto com função de autocovariância denotada como γ τ = Cov(Z t, Z t+τ ). γ 0 > 0; γ τ = γ τ ; γ τ γ 0 ; γ τ é não negativa definida no sentido que a j, a k n j=1 k=1 n a j a k γ τj τ k 0. Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

5 Estacionariedade e Autocovariância Propriedades da Função de Autocovariância γ 0 = Var(Z t ) > 0; γ τ = Cov(Z t, Z t τ ) = Cov(Z t+τ, Z t ) = γ τ ; γ τ γ 0 ; E( Z t+τ Z t ) 2 = E( Z 2 t+τ 2 Z t+τ Zt + Z 2 t ) 0 γ 0 γ τ 0 γ τ é não negativa definida no sentido que a j, a k n j=1 k=1 n a j a k γ τj τ k 0. n j=1 n k=1 a ja k γ τj τ k = n j=1 n k=1 a ja k Cov(Z τj, Z τk ) = E[ j a jz τj ] 2 0 Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

6 Estacionariedade e Autocovariância Propriedades da Função de Autocovariância Observação A função de autocorrelação do processo estocástico Z = {Z (t), t Z} é ρ τ = γ τ (γ0 ) (γ 0 ) = γ τ γ 0 ˆρ τ vai auxiliar a propormos modelos. Um exemplo de processo estocástico contínuo (tempo contínuo) é o movimento Browniano (MT p.33); A função de autocorrelação de um processo estocástico estacionário decai para 0; Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

7 Estimação Estacionariedade e Autocovariância Z = {Z (t), t Z} processo estacionário µ = Z E(Z ) = E ( 1 n ) n Z t = µ t=1 Var(Z ) = 1 n 2 Var ( n t=1 = 1 n 1 n 2 k= (n 1) Z t ) = 1 n 2 n t=1 s=1 (n k ) γ k = 1 n Para processo estacionário ( n 1 k= (n 1) ρ k 0. n Cov(Z t, Z s ) n 1 k= (n 1) 1 k n ( 1 k ) ρ k n 0 n ) ρ k é finita pois Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

8 Estimação Estacionariedade e Autocovariância O estimador da função de autocovariância (γ j ) é ˆγ j = c j = 1 T N j [(Z t Z )(Z t+j Z )], j = 0, 1,..., T 1. t=1 Poderíamos considerar: ˆγ j = 1 N j [(Z t T j Z )(Z t+j Z )], j = 0, 1,..., T 1. t=1 Esse pode ter um viés um pouco menor, mas não é função não negativa definida como é ˆγ j, logo ˆγ j deve ser utilizado (Wei). Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

9 Estimação Estacionariedade e Autocovariância Estimador da função de autocorrelação No R: acf( ). ρ j = Corr(Z t, Z t+j ) = γ j γ 0 ˆρ j = r j = ˆγ j ˆγ 0, j = 0, 1,..., T 1. Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

10 Estimação Estacionariedade e Autocovariância Distribuição Assintótica - Bartlett, 1946 a = {a(t), t Z} processo Ruído Branco Para n grande, ˆρ j tem distribuição normal com média ρ j e variância Var(ˆρ j ) = 1 n. Assim, podemos usar esse resultado para construir intervalos para verificar para cada lag j, se ρ j = 0 ou não. Cada intervalo é /n. Vide Property P1.1 p.30. e Teorema A.7 - Apêndice A de Shumway and Stoffer. Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

11 Ajuste de modelos ARIMA(p,d,q). Análise descritiva: série veio de processo estacionário? Tirar tendência e sazonalidade determinística e efeitos de outras var. X t = µ t + e t, em que e t é estacionário talvez ARMA µ t = tendencia(t) + sazon(t) + tend2(t) Exemplo: Produção industrial com mudança de tendência em 2008 e AR(4) Evitar regressão espúria. Se parece ter tendência estocástica: Diferenças Z t = X t = X t 1 X t = (1 B)X t ou Z t = 12 X t = (1 B 12 ) = X t X t 12 Se tira uma diferença e X t parece estacionária, dizemos X t I(1). Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

12 Metodologia Especificação: Definir classe de modelos. ex:arima(p,d,q) Identificação: Tirar tendências e com base na FAC e FACP propor (p,q) Estimação dos parâmetros Verificação: Análise de resíduos padronizados como RB, gaussiano Depois, inferência e previsão Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

13 AR(p) AR(p) Para Z t estacionário, Z t = Z t µ Z t = φ 1 Zt 1 + φ 2 Zt φ p Zt p + a t (1 φ 1 B... ) Z t = a t Φ(B) Z t = a t com a t RB e Φ(B) é o polinômio característico. Z t µ = φ 1 (Z t 1 µ) φ p (Z t p µ) + a t Z t = µ(1 φ 1 φ p ) + φ 1 Z t φ p Z t p + a t Z t = α + φ 1 Z t φ p Z t p + a t Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

14 AR(p) Exemplo AR(1) estacionário Vamos considerar Z t = Z t µ. Z t = α + φz t 1 + a t Z t = φ Z t 1 + a t = φ(φ Z t 2 + a t 1 ) + a t = φ 2 1 Z t 2 + φa t 1 + a t =. k 1 = φ k Z t k + φ j a t j j=0 k φ j a t j j=0 = Ψ(B)a t = (1 + φb + φ 2 B )a t Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

15 AR(p) - Momentos AR(p) Sob estacionariedade, temos E(Z t ) = α + φ 1 E(Z t 1 ) φ p E(Z t p ) µ = α + φ 1 µ +... φ p µ µ = α 1 φ 1... φ p γ 0 = Cov(φ 1 Z t φ j Z t j + a t, Z t ) = φ 1 γ φ p γ p + σ 2 a 1 = φ 1 ρ φ p ρ p + σ2 a γ 0 γ 0 = Para j > 0 σ 2 1 φ 1 ρ 1... φ p ρ p γ j = Cov(Z t, Z t j ) = Cov(φ 1 Z t φ j Z t j + a t, Z t j ) = φ 1 γ j φ p γ j p Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

16 FAC AR(p) AR(p) Dividindo pela variância γ 0 ρ j = φ 1 ρ j φ p ρ j p (1) Φ(B)ρ i = 0 (2) Correlação em (2) para j = 1,..., p, temos as Equações de Yule-Walker: ρ 1 = φ 1 + φ 2 ρ φ p ρ p 1 ρ 2 = φ 1 ρ 1 + φ φ p ρ p 2 ρ p = φ 1 ρ p 1 + φ 2 ρ p φ p Podemos estimar φ i, i = 1,..., p, µ e σ 2 pelo método dos momentos. Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

17 AR(p) Exercícios Para modelo AR(3), obter estimadores de φ i usando método dos Momentos. Encontrar as raízes do polinômio característico para AR(2) e verifique que as condições de estacionariedade equivalem a φ 2 + φ < 1, φ 2 φ < 1 e φ 2 < 1. Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

18 ARMA(p,q) ARMA(p,q) Z t = φ 1 Zt φ p Zt p + a t θ 1 a t 1... θ q a t q (1 φ 1 B φ p B) Z t = (1 θ 1 B... θ q B q )a t com a t RB Φ(B) Z t = Θ(B)a t Estacionário: se as raízes de Φ(B) = 0 estiverem fora do círculo unitário Invertível: se as raízes de Θ(B) = 0 estiverem fora FAC e FACP parece cair para zero e deve propor valores (p,q) até ter resíduo como RB Deve propor valores (p,q) até ter resíduo como RB Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

19 ARMA(p,q) Exercícios ARMA(p,q) SS(2006): ARMA(2,2): (1 0, 4B 0, 45B 2 )x t = (1 + B + 0, 25B 2 )a t Estacionário? Invertível? Pode ser reduzido a ARMA(1,1). MT(2006): X t ARMA(p x, q x ) e Y t ARMA(p y, q y ), X t e Y t são independentes e Z t = X t + Y t. Verifique que Z t ARMA(p, q) com p = p x + p y e q max(p x + q y, q x + p y ) SS(2006) Invertível MA - Identificabilidade Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

20 Modelos ARIMA(p,d,q) Modelos ARIMA(p,d,q) X t não estac. Z t = d X t estacionário Z t ARMA(p, q) Z t = Z t µ. Z t = φ 1 Zt φ p Zt p + a t θ 1 a t 1... θ q a t q (1 φ 1 B... ) Z t = (1 θ 1 B... θ q B q )a t a t RB(0, σ 2 ). Φ(B) Z t = Θ(B)a t, Estimação de ARIMA consiste na estimação do ARMA(p,q) Máxima verossimilhança: a t N(0, σ 2 a) indep. Generalizações: outras dist como a t, variância não constante, inclusão de covariáveis. Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

21 Estimação ARIMA Modelos ARIMA(p,d,q) Z t = φ 1 Zt φ p Zt p + a t θ 1 a t 1... θ q a t q E( Z t past) = φ 1 Zt φ p Zt p θ 1 a t 1... θ q a t q Var( Z t past) = σ 2 a Verossimilhança Condicional a valores iniciais de Z t s e a s (MT). N L(θ) = f θ ( Z t Z t 1,..., ) = = t=1 1 2πσ 2 a exp { { 1 exp 2πσ 2 a } n [ Z t E( Z t past)] 2 t=1 n a 2 t 2σ 2 t=1 a Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26 } 2σ 2 a

22 Estimação ARIMA Modelos ARIMA(p,d,q) Log-Verossimilhança Condicional S(η Z t, past) = l(θ) = n 2 ln(σ2 a) S(η Z t, past) n at 2 (η Z, past) t=1 2σ 2 a η = (φ, θ) em MT (poderia incluir µ ou intercepto e efeitos) Escolha dos p valores iniciais Z 0, Z 1,..., Z p+1 e q valores iniciais de a t (= E(a t ) = 0) Predizer a t fixando η (ex.7.1. MT(2018)) Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

23 Estimação ARIMA Modelos ARIMA(p,d,q) Não condicional Agora, Esperança não condicional ao passado [a t (η Z, past)] = E[(a t η, W )] Precisa de backforecasting, usando equivalência entre Φ(B)W t = Θ(B)a t Φ(F )W t = Θ(F)e t Verossimilhança exata: AR(1) em MT inclui parâmetro para média de Z 0, Z 1 Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

24 Variância dos estimadores Modelos ARIMA(p,d,q) η = (φ, θ) é k 1, k = p + q Para n grande, estimador de MV η D N k (η, V) (3) 2 S(η) S(η) η 2 η V = 2σa η k.. (4) 2 S(η) η k η k... EMV de σ 2 é σ 2 a = S( η) n Para n grande σ 2 e η são não correlacionados Ex: AR(1): var( φ) 1 φ2 n 2 S(η) η 2 n e MA(1): var( θ) 1 θ2 n Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

25 Modelos ARIMA(p,d,q) Modelo espaço de estados Os modelos ARMA podem ser escritos como modelo espaço de estados. Filtro de Kalman para predizer as variáveis latentes Arima da library(forecast) Propor prioris e estimar maximizando a dist. a posteriori Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26

26 Referências Referências All Time series analysis Morettin e Toloi Shumway and Stoffer Wei Alencar, A.P., Rocha, F.M.M. (IME-USP) Processos Estocásticos 8 de Março de / 26