Análise de séries temporais Gaussianas univariadas por meio de modelos dinâmicos lineares

Transcrição

1 Análise de séries temporais Gaussianas univariadas por meio de modelos dinâmicos lineares Vanessa Ferreira Sehaber PPGMNE, Universidade Federal do Paraná Curitiba, Brasil Paulo Justiniano Ribeiro Junior PPGMNE, Departamento de Estatística Universidade Federal do Paraná Curitiba, Brasil Resumo Este trabalho procura deixar mais evidente as ideias relacionadas a estruturação de um modelo dinâmico linear univariado na análise de séries temporais. Nessa perspectiva, o uso de independência condicional e de propriedades Markovianas de primeira ordem possibilitam a recursividade em algoritmos utilizados para fazer a inferência desses modelos, principalmente quando se pretende expandir o problema para a análise de séries temporais multivaridas. Embora a recursividade traga facilidades computacionais, o entendimento por trás dessas passagens recursivas envolvem um conhecimento de probabilidade não trivial, especialmente ao que tange o filtro de Kalman, o qual é fundamentado na atualização de informação condicional proporcionada pelo uso do teorema de Bayes. Palavras-chave Série temporal; Modelo espaço de estados; Modelo dinâmico linear; Filtro de Kalman. I. INTRODUÇÃO A modelagem matemática e estatística de processos de séries temporais é baseado nas classes de modelos dinâmicos. O termo dinâmico, relativo à mudanças em tais processos, deve-se à passagem do tempo como uma fundamental força motriz [8]. É possível verificar aplicações de modelos espaço de estados na modelagem tanto de séries univariadas como de séries multivariadas, além de possibilitar a modelagem de processos que apresentem não estacionariedade, mudanças estruturais, e padrões irregulares. Bolsista pela Capes e CNPq. O fato de os modelos espaço de estados possibilitarem grande flexibilidade na modelagem se torna uma das razões para sua extensiva aplicação em diversos problemas aplicados, como na biologia molecular e genética [2], na teoria de sistemas, ciências físicas, e engenharia [3]. Na teoria de processos estocásticos e séries temporais, a previsão sempre teve um significado importante e foi no início da década de 60 que os modelos espaço de estados se originaram na engenharia. Dentre os vários pesquisadores que estudaram esse problema, o matemático e engenheiro húngaro Rudolph Emil Kalman conseguiu formalizar o método conhecido como filtro de Kalman para auxiliar na análise de modelos dinâmicos [13]. Porém, essa abordagem passou a se tornar mais conhecida entre o meio estatístico anos mais tarde, pois a maior parte do trabalho referente ao filtro de Kalman foi publicado na literatura de engenharia. Anos depois, vários pesquisadores tiveram os modelos espaço de estados como foco de pesquisa e conseguiram acrescer mais informações e propriedades [1], [2], [4], [5], [8], [9]. De um modo geral, pode-se entender que os modelos espaço de estados consideram uma série temporal como o resultado de um sistema dinâmico perturbado por distúrbios aleatórios Além disso, eles permitem uma interpretação natural de uma série temporal como a combinação de diversos componentes (tendência, sazonalidade ou componentes regressivos). Ao mesmo tempo, eles têm uma estrutura probabilística elegante e poderosa, oferecendo uma estrutura flexível para várias aplicações. Os cálculos podem ser implementados por algoritmos recursivos. Os problemas de estimação e previsão são resolvidos recursivamente por meio da distribuição condicional das quantidades de interesse, dado uma informação acessível. Neste

2 sentido, eles são tratados naturalmente dentre de uma estrutura Bayesiana [2]. O modelo linear dinâmico é apresentado como um caso de um modelo espaço de estados geral, sendo linear e Gaussiano. Para os modelos dinâmicos lineares, a estimação e a previsão podem ser obtidos recursivamente pelo bem conhecido filtro de Kalman. II. NOTAÇÃO Uma série temporal univariada (ou multivariada) é uma sequência de variáveis aleatórias (ou vetores aleatórios) e serão denotados por (Y t : t = 1, 2,...), (Y t ) t 1 ou abrevadamente por (Y t ). Por simplicidade, pensaremos em pontos de tempo igualmente espaçados. Ao considerar uma sequência finita de observações consecutivas, usaremos a notação Y r:s para as observações entre r-ésima e s- ésima posições. A densidades de probabilidade serão genéricamente denotadas por f( ), e f(θ) pode denotar a distribuição a priori de um parâmetro desconhecido θ e f(y) a distribuição marginal de Y. III. ESTRUTURA DE DEPENDÊNCIA SIMPLES Em análise de séries temporais, um problema básico é fazer previsões sobre o valor da próxima observação, digamos Y n+1, tendo observado dados até o tempo n, ou seja, Y 1 = y 1,..., Y n = y n. Inicialmente, faz-se necessário a formulação de suposições razoáveis sobre a estrutura de dependência das séries temporais, pois, por meio da especificação da lei de probabilidade das séries temporais (Y t ), será possível conhecer a densidade conjunta f(y 1,..., y n ) para qualquer n 1. Dessa forma, previsão Bayesiana seria resolvida pelo cálculo da densidade preditiva f(y n+1 y 1:n ) = f(y 1:n+1) f(y 1:n ) A especificação da densidade f(y 1,..., y n ) é algo não trivial, e considera-se conveniente expressar a lei de probabilidade de (Y 1,..., Y n ) condicionalmente a alguma característica θ de um processo de geração de dados. A característica relevante θ pode ser de dimensão finita ou infinita, isto é, θ pode ser um vetor aleatório ou, como no caso dos modelos espaço de estados, um processo estocástico por si próprio. Geralmente, considera-se mais simples especificar a densidade condicional f(y 1:n θ) de Y 1:n dado θ, e uma densidade f(θ) para θ, para então obter f(y 1:n ) = f(y 1:n θ)f(θ) dθ. IV. INDEPENDÊNCIA CONDICIONAL A independência condicional pode ser vista como uma estrutura de depência simples. Em muitas aplicações é razoável assumir que a sequência de variáveis aleatórias Y 1,..., Y n são condicionalmente independentes e identicamente distribuídas (i.i.d.) à θ: n f(y 1:n θ) = f(y i θ). Note que Y 1, Y 2,... são apenas condicionalmente independentes, pois as observações y 1, y 2,..., y n fornecem informação sobre o valor i=1 desconhecido de θ e, através de θ, sobre os valores da observação seguinte Y t+1. Assim, Y n+1 depende, em um senso probabilístico, das observações passadas Y 1,..., Y n. A densidade preditiva neste caso pode ser calculada como f(y n+1 y 1:n ) = f(y n+1, θ y 1:n ) dθ = f(y n+1 θ, y 1:n )f(θ y 1:n ) dθ = f(y n+1 θ)f(θ y 1:n ) dθ a última igualdade seguindo da suposição de independência condicional, onde f(θ y 1:n ) é a densidade a posteriori de θ, o qual é definido condicionalmente aos dados (y 1,..., y n ). Por meio do teorema de Bayes, a densidade a posteriori f(θ y 1:n ) pode ser calculada da seguinte maneira: f(θ y 1:n ) = f(y 1:n θ)f(θ) n f(y t θ)f(θ). (1) f(y 1:n ) Observa-se que a densidade marginal f(y 1:n ) não depende de θ, tendo um papel de constante normalizadora. Por causa disso, a posteriori f(θ y 1:n ) é proporcional ao produto da função de verossimilhança e da densidade a priori. Um fato interessante é que a suposição de independência condicional permite o cálculo recursivo da densidade a posteriori. Isto significa que não é necessário manter na memória todos os dados anteriores e reprocessá-los novamente quando uma nova medida é obtida. De fato, no tempo t = n 1, a informação disponível sobre θ é descrita pela densidade condicional f(θ y 1:n 1 ) n 1 t=1 t=1 f(y t θ)f(θ), e, por causa disso, que esta densidade desempenha o papel de priori no tempo n. Uma vez que a nova observação y n torna-se disponível, calcula-se a verossimilhança, a qual é f(y n θ, y 1:n 1 ) = f(y n θ) pela suposição de indenpendência condicional, e atualiza-se a priori f(θ y 1:n 1 ) pelo teorema de Bayes, obtendo f(θ y 1:n 1, y n ) f(θ y 1:n 1 )f(y n θ) n 1 t=1 f(y t θ)f(θ)f(y n θ), a qual é (1). A estrutura recursiva da posteriori será um papel crucial para o estudo dos modelos dinâmicos lineares e do filtro de Kalman. Maiores detalhes sobre independência condicional, ver a Sessão 4.11 da referência [8]. V. MODELOS ESPAÇO DE ESTADOS Ao considerar (Y t ) t 1 uma série temporal, é uma tarefa desafiadora especificar a sua distribuição conjunta, pois, a não ser que o tempo seja irrelevante, as suposições de independência e permutabilidade são raramente justificadas. Diante disso, a dependência Markoviana é a forma mais simples de argumentar a dependência

3 entre os Y t, dado que o tempo tem um papel importante. Diz-se que (Y t ) t 1 é uma cadeia de Markov se, para qualquer t > 1, f(y t y 1:t 1 ) = f(y t y t 1 ). Isto significa que a informação sobre Y t carregada por todas as observações até o tempo t 1 é exatamente a mesma conforme a observação carregada por y t 1 sozinha. Dito de outra forma, diz-se que Y t e Y 1:t 2 são condicionalmente independentes dado Y t 1. Para uma cadeia de Markov, as distribuições conjuntas de dimensão finita podem ser escritas de forma bastante simples por t f(y 1:t ) = f(y 1 ) f(y j y j 1 ). (2) Quando essa abordagem é cabível, os modelos espaço de estados constroem uma estrutura de dependência relativamente simples de uma cadeia de Markov ao definir modelos mais complexos para as observações. Em um modelo de espaço de estados, assume-se que existe uma cadeia Markoviana não observável (θ t ), chamada de espaço de estados, e que Y t é uma medida imprecisa de θ t. Pode-se pensar (θ t ) como uma série temporal auxiliar que facilita a tarefa de especificar a distribuição de probabilidade da série temporal observável Y t. Em aplicações em engenharia, θ t usualmente descreve o estado de um sistema de observações físicas que produzem o resultado Y t [2]. Definição 5.1 (Modelo Espaço de Estados): Um modelo espaço de estados consiste de duas séries temporais, θ t e Y t, t = 0, 1, 2,..., as quais satisfazem as seguintes suposições: A1) (θ t ) é uma cadeia de Markov; A2) condicionalmente em (θ t ), os Y t são independentes e Y t depende somente de θ t. A consequência dessas suposições é que um modelo espaço de estados é completamente especificado pela distribuição inicial f(θ 0 ) e pelas densidades condicionais f(θ t θ t 1 ) e f(y t θ t ), t 1. De fato, para qualquer t > 0, t f(θ 0:t, y 1:t ) = f(θ 0 ) f(θ j θ j 1 )f(y j θ j ). (3) j=1 Por meio de (3), por condicionamento ou marginalização, alguém pode derivar qualquer outra distribuição de interesse. Por exemplo, a densidade conjunta das observações Y 1:t podem ser obtidas por integrar (3) em relação a θ j ; contudo, observa-se que neste caso a forma do produto simples é perdida. A suposição de que a informação flui por meio de um modelo espaço de estatos é representado pelo seguinte esquema: j=2 θ 0 θ 1... θ t 1 θ t θ t+1 Y 1 Y t 1 Y t Y t+1 pelo qual pode ser usado para deduzir propriedades de independência... condicional das variáveis aleatórias ocorrendo em um modelo espaço de estados. Pode-se mostrar que Y t e (θ 0:t 1, Y 1:t 1 ) são condicionalmente independentes dado θ t. A prova simplesmente consiste em observar que qualquer caminho conectando Y t com algum dos Y s anteriores, (s < t), tem que ir através de θ t ;... θ t 1 θ t θ t+1 Y t 1 ci Y t Y t+1 consequentemente, {θ t } separa {θ 0:t 1, Y 1:t 1 } e Y t. Isto segue que f(y t θ 0:t 1, y 1:t 1 ) = f(y t θ t ). De modo similar, alguém pode mostrar que θ t e (θ 0:t 2, Y 1:t 1 ) são condicionalmente independentes dado θ t 1,... θ t 1 ci θ t θ t+1 Y t 1 Y t Y t+1 o qual pode ser expresso em termos de distribuições condicionais como f(θ t θ 0:t 1, y 1:t 1 ) = f(θ t θ t 1 ). Os modelos espaço de estados nos quais os estados são variáveis aleatórias discretas são frequentemente chamados de modelos Markovianos escondidos (hidden Markov models) [2]. VI. MODELOS DINÂMICOS LINEARES A primeira importante classe dos modelos espaço de estados é dada pelos modelos espaço de estados lineares Gaussianos, também chamados de modelos dinâmicos lineares [8]. Definição 6.1 (Modelo Dinâmico Linear): O modelo dinâmico linear (MDL) é caracterizado pelo conjunto de quádruplas para cada tempo t, onde {F, G, V, W } t = {F t, G t, V t, W t } (4) a) F t é uma matriz conhecida de ordem (n r); b) G t é uma matriz conhecida de ordem (n n); c) V t é uma matriz de variância conhecida de ordem (n n); d) W t é uma matriz de variância conhecida de ordem (n n). Esta quadrupla define o modelo que relaciona Y t com o vetor de parâmetro θ t de ordem (n 1) no tempo t, e a sequência θ t no tempo, via distribuições especificadas sequencialmente Y t θ t N ( Ft ) θ t, V t (5)

4 e θ t θ t 1 N (G t θ t 1, W t ). (6) As Equações (5) e (6) são também implicitamente condicional a D t 1, o conjunto de informação disponível anterior ao tempo t. Em particular, isto inclui os valores definidos das variâncias V t e W t e as observações passadas Y t 1, Y t 2,..., assim como o conjunto de informação inicial D 0 1. Por simplicidade notacional, D t 1 não é explicitamente reconhecida na condicional de (7) e (8), mas deve ser lembrado que está sempre condicionado. Um representação alternativa de (5) e (6) é dada por Y t = Ft θ t + ν t, ν t N (0, V t ), (7) θ t = G t θ t 1 + ω t, ω t N (0, W t ). (8) Os erros sequenciais ν t e ω t são internamente e mutuamente independentes. A Equação (7) é a equação de observação do modelo, definindo a distribuição amostral para Y t condicional a quantidade θ t. Logo, dado θ t, Y t é independente de outros valores de observações e parâmetros; e no geral, dado o presente, o futuro é indenpendente do passado. Esta equação relaciona Y t à θ t via uma regressão dinâmica linear com uma estrutura de erros normal multivariada conhecida, mesmo considerando a posibilidade de que a variância observacional V t possa variar com a passagem do tempo. Para o tempo t, e) F t é a matriz de delineamento de valores conhecidos de variáveis independentes; f) θ t é o sistema ou vetor de estados; g) µ t = F t θ t é o nível ou a resposta média; h) ν t é o erro observacional. A equação (8) é a equação do sistema (também chamada de equação de evolução ou de estados), definindo a evolução no tempo do vetor de estados. A propriedade de independência condicional mostra uma evolução Markoviana de um passo. Por isso, dado θ t 1 e os valores conhecidos de G t e W t, θ t é independente de D t 1. Isto é, dado θ t 1, a distribuição de θ t é completamente determinada independentemente dos valores de Y t 1 e todos os vetores de estado e observações anteriores ao tempo t 1. O componente determinístico da evolução é a transição do estado θ t 1 para G t θ t 1, uma transformação linear simples de θ t 1. A evolução é completada com a adição de um vetor aleatório ω t. No tempo t, i) G t é a matriz de evolução, do sistema ou de estados; j) ω t é o erro do sistema ou de evolução com variância W t. j) ν t é o erro do sistema ou de evolução com variância V t. De forma ilustrativa, o mais simples modelo dinâmico é conhecido por Y t = µ + ɛ t, com ɛ t N(0, σ 2 ), o qual também é chamado de modelo estático. Na notação de DLM, θ t = µ, F t = 1, W t = 0, G t = 1 e V t = σ 2. 1 Defina D 0 como toda a informação inicial relevante disponível no tempo t = 0 que é usada para formar visões iniciais sobre o futuro. Por convenção, assume-se que os valores conhecidos das quadruplas definidas {F, G, B, W } t, para cada t, estão inclusas em D 0. Ainda, defina D t = {Y t, D t 1 }, com t 1, o conjunto de informação disponível no tempo t. Na Fig. 1, estão representados uma série temporal simulada (conhecida por passeio aleatório com ruído) com n = 100 tempos e Ft = 1, G t = 1, V t = 0, 5, W t = 0, 3 e semente = 92, e estão representados de forma ilustrativa como se espera o comportamento de um modelo dinâmico linear onde a média não é tempo-dependente e outro onde a média é tempo-dependente. Figura 1: Ajustes de um modelo onde a média não depende do tempo e de um modelo onde a média depende do tempo Definição 6.2: Para cada t, um MDL univariado pode ser definido por Eq. de observação: Y t = Ft θ t + ν t ν t N (0, V t ) Eq. do sistema: θ t = G t θ t 1 + ω t ω t N (0, W t ) Informação inicial: (θ 0 D 0 ) N (m 0, C 0 ), para alguns momentos a priori m 0 e C 0. Assume-se que as sequências de erros observacional e de evolução são internamente e mutuamente independentes, e são indenpendentes de (θ 0 D 0 ). A distribuição normal multivariada possui muitas propriedades convenientes e que simplificam muitos cálculos. Assim, em qualquer tempo, a informação existente sobre o sistema é representada e suficientemente resumida pela distribuição posteriori do corrente vetor de estados. Dessa forma, a inferência dos MDLs ocorre naturalmente ao fazer uso do Teorema de Bayes. VII. INFERÊNCIA EM UM MODELO DINÂMICO LINEAR Em um modelo espaço de estados, a inferência sobre os estados não observados ou observações futuras preditas são baseadas sobre uma parte da sequência de observações. Assim, o cálculo de distribuições condicionais auxiliam na estimação e na previsão de quantidades de interesse. Para estimação do vetor de estados, se calcula as densidades condicionais f(θ s D t ). Uma distinção pode ser feita entre problemas de filtragem (quando s = t), estado de predição (s > t) e suavização (s < t). No processo de filtragem, há a suposição de que os dados chegam sequencialmente no tempo. Em um DLM, o filtro de Kalman fornece as fórmulas para atualizar a inferência atual sobre o vetor de estados

5 conforme um dado novo se torna disponível, isto é, por passar da densidade de filtragem f(θ t D t ) para f(θ t+1 D t+1 ). Já o processo de suavização, ou análise retrospectiva, consiste, em estimar a sequência de estados nos tempos 1,..., t, dados y 1,..., y t. Em muitas aplicações, uma vez que se tem as observações sobre uma série temporal para um certo período, pode-se analisar retrospectivamente o comportamento do sistema adjacente às observações. O problema de suavização é resolvido por calcular a distribuição condicional de θ 1:t dado y 1:t. Assim como na filtragem, a suavização pode ser implementada como um algoritmo recursivo [2]. Frequentemente, a análise de previsão é a principal tarefa ao se modelar séries temporais. Ao se trabalhar com modelos espaço de estados, a estimação do estado é apenas um passo para predizer o valor de observações futuras. Em outras palavras, ao fazer a previsão um passo à frente, isto é, predizer a próxima observação Y t+1 baseada no dado y 1:t, primeiro se estima o próximo valor de θ t+1 do vetor de estados e, em seguida, baseado nesta estimativa, tem-se a previsão Y t+1. A densidade preditiva um passo à frente é definida por f(θ t+1 D t ) e é baseada na densidade preditiva f(y t+1 D t ). No caso de previsões k passos à frente, k 1, estima-se o vetor de estado θ t+k para se prever Y t+k. A predição do estado é resolvida pelo cálculo da densidade preditiva k passos à frente f(y t+k D t ) para as observações futuras no tempo t + k. Conforme o horizonte temporal t+k se torna longo, é esperado que as previsões se tornem mais incertas e essa incerteza pode ser quantificada através de uma densidade de probabilidade, chamada de densidade preditiva de (Y t+1 D t ). Em particular, a média condicional E [Y t+1 D t ] fornece um ótimo ponto de previsão um passo à frente do valor de Y t+1, minimizando a condicional do erro de predição ao quadrado esperado. Como uma função de k, E [Y t+k D t ] é usualmente chamada de função de previsão. A seguir, os processos de filtragem, suavização e previsão são apresentados formalmente com mais detalhes. VIII. FILTRAGEM Uma das vantagens dos modelos de espaço de estados é que, devido a estrutura Markoviana dos estados dinâmicos e as suposições de independência condicional para as observações, as densidade de filtragem e de previsão podem ser calculadas usando um algoritmo recursivo [2]. Proposição 8.1 (Filtragens recursivas): Para um modelo de espaço de estados definido pela Definição 5.1, seguem os itens seguintes: i) A densidade preditiva um passo à frente para os estados pode ser calculada por meio da densidade preditiva f(θ t 1 D t 1 ), de acordo com f(θ t D t 1 ) = f(θ t θ t 1 )f(θ t 1 D t 1 ) dθ t 1. ii) A densidade preditiva um passo à frente para as observações podem ser calculada por meio da densidade preditiva dos estados, conforme f(y t D t 1 ) = f(y t θ t )f(θ t D t 1 ) dθ t. iii) A densidade de filtragem pode ser calculada por meio das densidades anteriores, conforme f(θ t D t ) = f(y t θ t )f(θ t D t 1 ). f(y t D t 1 ) Prova: Sessão 2.7.1, p. 52, da referência [2]. Os MDLs são um importante caso dos modelos espaço de estados onde as recursões gerais simplicam-se consideravelmente. Neste caso, usando resultados padrões sobre a distribuição Gaussiana multivariada, é facil provar que o vetor aleatório (θ 0, θ 1,..., θ t, Y 1,..., Y t ) tem distribuição normal para qualquer t 1. Segue que as distribuições marginais e condicionais também são Gaussianas. Desde que todas as distribuições relevantes são Gaussianas, elas são completamente determinadas pelas suas médias e variâncias [15]. O filtro de Kalman, foi proposto originalmente para correção e filtragem de sinais eletrônicos. Nesse contexto, considera-se que o estado latente é o verdadeiro sinal e o que se observa é o sinal mais um ruído [10]. A solução do problema de filtragem para os DLMs é dado pelo filtro de Kalman [13], o qual será apresentado a seguir. Proposição 8.2 (Filtro de Kalman): Considere o MDL especificado pela Definição 6.2 juntamente com as suposições estabelecidas na Definição 5.1. Assim, as distribuições um passo à frente e a posteriori, para cada t, são dadas como segue: a) Posteriori no tempo t 1: Para algum média m t 1 e matriz de variância C t 1, (θ t 1 D t 1 ) N (m t 1, C t 1 ). b) Priori no tempo t: Para algum média m t 1 e matriz de variância C t 1, a distribuição preditiva um passo à frente (θ t D t 1 ) será com parâmetros (θ t D t 1 ) N (a t, R t ), a t = E [θ t D t 1 ] = G t m t 1 R t = V [θ t D t 1 ] = G t C t 1 G t + W t. c) Previsão um passo à frente: A distribuição preditiva um passo à frente (Y t D t 1 ) será com parâmetros (Y t D t 1 ) N (f t, Q t ), f t = E [Y t D t 1 ] = Ft a t q t = V [Y t D t 1 ] = Ft R t F t + V t. d) Posteriori no tempo t: A distribuição de filtragem (θ t D t ) será (θ t D t ) N (m t, C t ),

6 com parâmetros m t = E [θ t D t ] = a t + A t e t C t = V [θ t D t ] = R t A t q t A t. onde A t = R t F t qt 1 é a matriz de ganho e e t = Y t f t é o erro de previsão. Prova: Sessão 4.3, p.104, da referência [8]. Outra prova utilizando diretamente as propriedades da normal multivariada em termos de distribuições condicionais encontra-se na referência [15]. O comportamento do processo (Y t ) é fortemente influenciado pela razão das duas variâncias de erro, r = W t /V t, chamada de magnitude do signal, a qual é refletida na estrutura do mecanismo de estimação e previsão. Note que m t = A t y t + (1 A t )m t 1 é uma média ponderada de y t e m t 1 ; e A t é termo de correção da atual observação y t que satisfaz 0 < A t < 1. Para algum C 0 dado, se a magnitude do sinal r é pequena, A t é pequeno e y t recebe um peso pequeno. Em caso contrário, quando V t = 0, A t = 1 e m t = y t, isto é, a previsão um passo a frente é dado pela observação mais recente. O filtro de Kalman pode ser utilizado para calcular as estimativas de máxima verossimilhança do conjunto de parâmetros ψ t = {V t, W t, G t }. Por simplicidades, considere que o valor dos parâmetros são fixos no tempo, ou seja, ψ t = ψ. Assim, considerando (2), tem-se que a função de verossimilhança é obtida por n l(ψ; y 1:t ) = log f(y 1 D 0 ) + log f(y t D t 1 ). (9) e a otimização dessa função trará as estimativas de máxima verossimilhança de ψ. Outras formas de estimação são dadas por [8]. t=2 IX. SUAVIZAÇÃO A reconstrução retrospectiva do comportamento do sistema é obtido pelo processo de suavização. O algoritmo de reconstrução calcula as distribuições condicionais de (θ t D n ), para qualquer t < n, começando da distribuição de filtragem f(θ n D n ) e estimando no sentido contrário a história dos estados. Proposição 9.1 (Recursão de Suavização): Para um modelo espaço de estados que considera as suposições estabelecidas na Definição 5.1, valem as seguintes afirmações: i) Condicional sobre D n, a sequência de estados (θ 0,..., θ n ) tem probabilidades de transição para trás dadas por f(θ t θ t+1, D n ) = f(θ t+1 θ t )f(θ t D t ) f(θ t+1 D t ) ii) As distribuições de suavização (θ t D n ) pode ser calculadas de acordo com a seguinte recursão para trás em t, começando de f(θ n D n ): f(θt+1 θ t ) f(θ t D n ) = f(θ t D t ) f(θ t+1 D t ) f(θ t+1 D T ) dθ t+1. Prova: Sessão 2.7.4, p.60, da referência [2]. Proposição 9.2 (Suavizador de Kalman): Considere um MDL apresentado conforme a Definição 6.2. Se θ t+1 D n N (s t+1, S t+1 ), logo θ t D n N(s t, S t ), onde s t = m t + C t G t+1rt+1 1 t+1 a t+1 ) S t = C t C t G t+1rt+1 1 t+1 S t+1 )Rt+1 1 t+1c t. Prova: Sessão 2.7.4, p.61, da referência [2]. X. PREVISÃO Um vez com os dados observados, pode-se ter o interesse em se obter valores de observações futuras Y t+k ou de estados futuros θ t+k. Serão fornecidas algumas fórmulas recursivas para as médias e variâncias das distribuições condicionais dos estados e das observações em um tempo futuro t + k, condicional aos dados no tempo t. Salienta-se que, conforme k se torna maior, mais incerteza entra no sistema, as previsões terão menor precisão. Proposição 10.1 (Recursão de previsão): Para um modelo espaço de estados que considera as suposições estabelecidas na Definição 5.1, valem as seguintes afirmações, para qualquer k > 0. i) A distribuição de previsão k passos à frente dos estados é f(θ t+k D t ) = f(θ t+k θ t+k 1 )f(θ t+k 1 D t ) dθ t+k 1 ii) A distribuição de previsão k passos à frente das observações é f(y t+k D t ) = f(y t+k θ t+k )f(θ t+k D t ) dθ t+k Prova: Ver Sessão 2.8, p.70, da referência [2]. Proposição 10.2 (Previsão): Para um DLM dado pela Definição 6.2, seja a t (0) = m t e R t (0) = C t. Logo, para k 1, valem as seguintes afirmações: i) A distribuição de (θ t+k D t ) é Gaussiano, com a t (k) = E [θ t+k D t ] = G t+k a t,k 1 R t (k) = V [θ t+k D t ] = G t+k R t,k 1 G t+k + W t+k ; ii) A distribuição de Y t+k dado D t é Gaussiana, com f t (k) = E [Y t+k D t ] = F t+k a t (k) Q t (k) = V [Y t+k D t ] = F t+k R t (k)ft+k + V t. Prova: Ver Sessão 2.8, p.71, da referência [2] e Sessão 4.4, p. 107, da referência [8]. XI. O PROCESSO DE INOVAÇÃO E CHECAGEM DO MODELO Para os MDLs, pode-se calcular as previsões um passo à frente f t = E [Y t y 1:t ], e calcular o erro de previsão como

7 e t = Y t E [Y t y 1:t ] = Y t f t O erro de previsão pode ser alternativamente escrito em termos da estimação dos erros um passo à frente como segue: e t = Y t F t a t = F t θ t + ν t F t a t = F t (θ t a t ) + ν t. A sequência (e t ) t 1 de erros de previsão usufrui de algumas propriedades interessantes, as mais importantes delas estão coletadas na seguinte proposição. Proposição 11.1: Seja (e t ) t 1 ser a sequência de erros de previsão de um DLM. Então valem as seguintes propriedades: i) O valor esperado de e t é zero; ii) O vetor aleatório e t é não correlacionado com nenhuma função de Y 1,..., Y t 1 ; iii) Para qualquer s < t, e t e Y s são não correlacionados; iv) Para qualquer s < t, e t e e s são não correlacionados; v) e t é uma função linear de Y 1,..., Y t ; vi) (e t ) t 1 é um processo Gaussiano. Prova: Ver Sessão 2.9, p.73, da referência [2]. Figura 2: Modelo dinâmico linear ajustado para a série temporal simulada, com previsões e respectivos intervalos de confiança de 95% O diagnóstico do ajuste pode ser feito por meio dos gráficos dos resídos, dados na Fig. 3, pelos quais observa-se atender as condições apresentadas pela Proposição XII. ESTUDO DE CASOS Nesta sessão serão apresentados alguns exemplos de ajustes de modelos dinâmicos lineares sob auxílio do software R [12], versão 3.4.0, e do pacote dlm [2]. A. Exemplo 1 O modelo dinâmico que será ajustado à série temporal apresentada na Fig. 1, é dado por Y t = θ t + ν t, ν t N (0, V t ) (10) θ t = θ t 1 + ω t, ω t N (0, W t ) (11) (12) pelo qual assume-se que as variâncias são conhecidas. Por meio da maximização da função de verossimilhança, obtevese as seguintes estimativas ˆV t = 0, 521 e Ŵt = 0.264, com os respectivos erros padrões ep( ˆV t ) = 0, 143 e ep(ŵt) = 0, 129. Com base nessas estimativas, contruíu-se a suavização dos estados θ t, com se pode ver no gráfico da Fig. 2, o seu invervalo de confiança de 95%. Além disso, construí-se o intervalo de confiança de 95% para as observações. Utilizando o que foi apresentado sobre a previsão de observações futuras, fez-se a previsão 4 passos à frente além dos intervalos de confiança de 95% para avaliar a incerteza das previsões. Repare que o os valores previstos para Y t+k coincidem com os valores dos estados, pois o valor de Ft = 1 (Ver equações de previsão). Figura 3: a) gráfico quantil-quantil dos resíduos e b) gráfico de autocorrelação dos resíduos.

8 B. Exemplo 2 Considere o caso apresentado no Exemplo 1, porém assume-se que as variâncias dos erros não são mais conhecidas. Neste caso, a informação inicial terá outro elemento a ser condicionado, que é φ = 1/V t. Conforme a Sessão 4.5 da referência [8] e a Sessão 6.12 da referência [14], o MDL apresentado na Definição 6.2 sofre algumas alterações e o uso de metódos Markov chain Monte Carlo (MCMC) são utilizados. Os gráficos da Fig. 4 representam as marginais amostradas das médias a posteriori das variâncias dos erros dado D t. Observação que as estimativas de máxima verossimilhança para as variâncias dos erros encontradas anteriormente estão contidas nesses gráficos (linha em azul). Quando a estrutura do modelo dinâmico torna-se mais complexa, o uso de métodos MCMC é inerente ao processo de inferência dos modelos. Este é um MDL com V t = 0 e W t = RR σ 2, onde σ 2 é a variança de sequência de erros (ɛ t ). XIII. CONSIDERAÇÕES FINAIS Os modelos dinâmicos lineares possuem uma estrutura de modelagem muito ampla, das quais não seria uma tarefa difícil falar de forma breve neste trabalho. Observa-se que muito do algoritmo recursivo no processo de inferência é possível graças às propriedades de probabilidade, em especial do teorema de Bayes, ao fazer uso de prioris conjugadas, no caso Gaussianas. Os modelos dinâmicos lineares generalizados e os não-lineares compartilham muito da visão dada por um MDL, porém aumenta-se a complexidade em meio a realização das inferências, principalmente em encontrar prioris conjugadas. Porém, há muitos recursos para se explorar ainda nessa área de estudo. Particularmente, os modelos dinâmicos vêm a ser uma ferramenta bastante útil para a modelagem de modelos espaço-temporais, os quais procuram explicar fenômenos que ocorrem de forma dinâmica no espaço ao longo do tempo (epidemiologia, fenômenos climáticos, pesca, entre outros). AGRADECIMENTOS Figura 4: Marginais amostradas das médias a posteriori das variâncias dos erros C. Exemplo 3 Os modelos ARMA(p, q) são casos especiais dos modelos dinâmicos lineares [2], [8]. A definição desses modelos pode ser dada por (considere µ = 0, por conveniência): Y t = m j=1 m 1 φ j Y t j + ψ j ɛ t j + ɛ t, com m = máx {p, q + 1}, φ j = 0 para j > p e ψ j = 0 para j > q. Definindo as matrizes j=1 F = [ ], U = [1 ψ 1... ψ m 2 ψ m 1 ] G = φ φ φ m φ m Com a introdução de um vetor de dimensão m dado por θ t = (θ 1,t,..., θ m,t ), logo o modelo ARMA tem a seguinte representação em termos de um MDL: Y t = F θ t θ t+1 = Gθ t + Rɛ t Agradeço à CAPES e ao CNPq pelo auxílio financeiro dado-me enquanto bolsista. REFERÊNCIAS [1] A. C. Harvey. Forecasting structural time series models and the Kalman filter. Cambridge University Press, Cambridge, [2] G. Petris, S. Petrone e P. Campagnoli. Dynamic Linear Models with R, New York, USA: Springer, [3] H. Lütkepohl. New Introduction to Multiple Times Series Analysis. New York, USA: Springer, [4] H. Akaike. Markovian Representation of Stochastic Processes and Its Application to the Analysis of Autoregressive Moving Average Processes, Annals of the Institute of Statistical Mathematics, 26, , [5] J. Casals, A. Garcia-Hiernaux, M. Jerez, S. Sotoca, A. A. Trindade. State-Space Methods for Time Series Analysis (Theory, Applications and Software) CRC Press [6] J. A. Nelder e R. W. M. Wedderburn, Generalized Linear Models, Journal of the Royal Statistical Society, Serie A, 135, , [7] M. Aoki. State Space Modeling of Time Series, Springer-Verlag, Berlin, Germany: [8] M.West e J.Harrison. Bayesian Forecasting and Dynamic Model, 2sd ed. New York, USA: Springer, [9] P. J. Harrison e C. F. Stevens. Bayesian Forecasting (with discussion), Journal of the Royal Statistical Society. Serie B, 38, , [10] P. J. Ribieiro Jr, W. H. Bonat, E. T. Krainski e W. M. Zeviani. Métodos Computacionais em Inferência Estatística, XX Sinape - Simpósio Nacional de Probabilidade e Estatística, João Pessoa, PB, [11] P. McCullagh e J. A. Nelder. Generalized Linear Models, 2sd ed. London, England: Chapman and Hall, [12] R Core Team. R: A Language and Environment for Statistical Computing, R Foundation for Statistical Computing, Vienna, Austria, [13] R. E. Kalman. A New Approach to Linear Filtering and Prediction Problems. Transactions of the ASME, Journal of Basic Engineering, Series D, 82, 35-45, [14] R. H. Shumway e D. S. Stoffer. Time Series Analysis and Its Applications: With R Examples, ed. 4, New York: Springer, [15] R. J. Meinhold e N. D. Singpurwalla. Understanding the Kalman Filter. The American Statistician, ed. 2, 37, , 1983.