Rodolfo Santos Nunes Rodrigues

Universidade Federal de Minas Gerais - UFMG Insiuo de Ciências Exaas - ICEx Programa de Pós-Graduação em Esaísica - PPGEST Rodolfo Sanos Nunes Rodrigues Influência do número de parículas na esimação de parâmeros via máxima verossimilhança em modelos de espaço de esados Belo Horizone - MG Março de 2018

Rodolfo Sanos Nunes Rodrigues Influência do número de parículas na esimação de parâmeros via máxima verossimilhança em modelos de espaço de esados Disseração apresenada ao Deparameno de Esaísica da UFMG como requisio parcial para a obenção do íulo de Mesre em Esaísica. Orienador: Prof. Dr. Luiz Henrique Duczmal Co-orienador: Dr. Felipe Carvalho Álvares da Silva Belo Horizone - MG Março de 2018

RESUMO Modelos de espaço de esados são muio uilizados para modelar diversos problemas nas áreas de economia e biologia, por isso a realização de inferências, como, por exemplo, a esimação de parâmeros, para essa classe de modelos é imporane. Para esses casos, os algorimos da classe dos filros de parículas são capazes de resolver quesões relacionadas aos modelos não lineares e não gaussianos. Poyiadjis e al. (2011) propõe duas versões de algorimos dessa classe para a esimação de parâmeros em modelos de espaço de esados. Uma versão em complexidade compuacional linear no número de parículas e a variância da esimaiva cresce quadraicamene com o empo. A oura versão em cuso compuacional quadráico e a variância da esimaiva linear. Com base nisso, Nemeh e al. (2016) apresena uma nova versão, com a uilização de méodos de densidade de kernel e Rao-Blackwell, em que a variância da esimaiva e a complexidade compuacional são lineares. Nese rabalho, porano, analisamos a influência do número de parículas nessa úlima versão e obemos um número ideal de parículas a ser uilizado para a esimação de parâmeros em modelos de espaço de esado, como, por exemplo, auorregressivo, de volailidade esocásica e Poisson, por fim, uilizamos ainda uma versão com filro boosrap para comparar com a proposa apresenada por Nemeh e al. (2016). Palavras-chave: Modelo de Espaço de Esados, Filro de Parículas, Esimação de Parâmeros, Número de Parículas.

ABSTRACT Sae space models are widely used o model various problems in he areas of economics and biology, so inferences, such as parameer esimaion, for his class of models are imporan. For hese cases, he algorihms of class of paricle filers are able o solve quesions relaed o non-linear and non-gaussian models. Poyiadjis e al. (2011) proposes wo versions of algorihms of his class for he parameer esimaion in sae space models. One version has linear compuaional complexiy in he number of paricles and he variance of he esimaes ha increases quadraically over ime. The oher one has a quadraic compuaional cos and variance of he esimaes increases linear hrough ime. Based on his resuls, Nemeh e al. (2016) presens a new version, using he kernel densiy mehods and Rao-Blackwellisaion, in which he variance of esimaes and he compuaional complexiy are linear. Therefore, in his paper, we analyze he influence of he number of paricles in his las version and we obain an ideal number of paricles o be used for he parameer esimaion in sae space models, for example, auoregressive model, sochasic volailiy model, and Poisson model. Finally, we use a boosrap filer version o compare wih he model shown by Nemeh e al. (2016). Keywords: Sae Space Model, Paricle Filers, Parameer Esimaion, Number of Paricles.

Coneúdo 1 Inrodução 6 2 Méodos 7 2.1 Modelos de Espaço de Esados........................ 7 2.2 Filro de Parículas Auxiliar.......................... 8 2.3 Esimação de Parâmeros............................ 10 3 Resulados 15 3.1 Modelo Auorregressivo - AR......................... 16 3.2 Volailidade Esocásica - SV.......................... 20 3.3 Modelo Poisson................................. 26 4 Conclusão 31 Apêndice 34 Referências Bibliográficas 38

1 Inrodução Os modelos de espaço de esados são uma ferramena muia uilizada para modelar problemas de séries emporais em diversas áreas, como economia e biologia. Um exemplo simples dessa classe de modelos é razido por Cappé e al. (2005) sobre os modelos de capura e recapura que são usados no esudo de populações com amanhos desconhecidos. O foco é modelar o movimeno de uma população de lagaros em rês zonas espacialmene conecadas, denoadas 1, 2 e 3. Para um deerminado lagaro, a seqüência das zonas onde ele fica pode ser modelada como uma cadeia de Markov com mariz de ransição Q. Ese modelo perence aos modelos de espaço de esados, já que, em um dado momeno, a maioria dos lagaros não são observados. Para fazer a inferência na mariz Q, o experimeno de capura e recapura é execuado da seguine maneira: no momeno k = 0, um número (aleaório) de lagaros é capurado, marcado e liberado. Essa operação é repeida k vezes com k = 1,...,n. Marcando os animais recém capurados e regisrando a cada capura a posição (zona) dos animais recapurados. Porano, o modelo consise em uma série de evenos de capura e posições (condicionais em uma capura) de n+1 coores de animais marcados em empos k = 0,..., n. Para considerar as populações aberas, como os lagaros podem morrer ou deixar a região de observação para sempre, um quaro esado é geralmene adicionado às rês zonas espaciais. É denoado por, e do pono de visa da cadeia de Markov subjacene é um esado absorvene, enquano que do pono de visa dos modelos de espaço de esados esá sempre oculo. As observações podem assim ser resumidas pelas séries {Y km } 0 k n de hisórias de capura que indicam, para cada lagaro pelo menos uma vez capurado, sendo m o índice de lagaro, em que zona esava em cada uma das vezes em que foi capurado. Podemos, por exemplo, escrever {Y km } 0 k n = (0,..., 0, 1, 1, 2, 0, 2, 0, 0, 3, 0, 0, 0, 1, 0,..., 0), onde 0 significa que o lagaro não foi capurado naquele índice de empo específico. Para cada uma dessas sequências observadas em-se uma sequência parcialmene ocula correspondene {X km } 0 k n de localizações de lagaros, por exemplo {X km } 0 k n = (1,..., 2, 1, 1, 2, 2, 2, 3, 2, 3, 3, 2, 2, 1,,..., ). As razões em execuar experimenos de capura e recapura são geralmene duas: primeira, pode-se inferir sobre o amanho de oda a população com base na hisória de recapura, e, segundo, as caracerísicas da população podem ser esimadas a parir dos animais capurados, como as probabilidades de capura e movimenação. Nese rabalho esamos ineressados na esimação dos parâmeros da classe de modelos de espaço de esados, para isso emos que maximizar a verossimilhança das observações. No enano, quando os modelos de espaço de esados são não lineares e/ou não gaussianos, al verossimilhança não possui forma fechada, porano é necessário o uso de méodos compuacionais como os da classe Mone Carlo sequencial, ou filro de parículas. Essa classe de méodos nada mais é do que variações de amosragem por imporância implemenadas de maneira sequencial. No enano, no início, quando proposa, apresenava um comporameno insável que era causado pela degeneração das parículas, ermo que será explicado mais adiane. Buscando solucionar al insabilidade, Gordon e al. (1993) propõem o filro de parículas conhecido como filro boosrap, em que foi inroduzido um passo inermediário de reamosragem que seria responsável por eliminar as parículas que apresenavam o problema da degeneração. E, com isso os filros de parículas se consolidaram como um méodo eficiene para a 6

maximização da verossimilhança das observações, ou o problema da filragem. Mais arde, Pi and Shephard (1999) propõem um novo filro chamado filro de parículas auxiliar, em que a ordem dos passos de amosragem e reamosragem é inverida com relação aos filros aneriores. Tal inversão é realizada com a inserção de uma variável auxiliar, por isso o nome, de maneira que a informação mais recene, ou mais aualizada, é levada em consideração no passo de reamosragem. Eses são os dois filros uilizados nese rabalho. O filro de parículas auxiliar é uilizado por Poyiadjis e al. (2011) na sua proposa de um méodo Mone Carlo sequencial para a esimação dos parâmeros de modelos de espaço de esados, a parir da aproximação do veor score e da mariz de informação observada em dois formaos. A primeira versão em complexidade compuacional linear no número de parículas, mas a variância da esimaiva cresce quadraicamene com o empo. Na segunda versão, a variância da esimaiva passa a crescer linearmene. Mas há uma perda na eficiência compuacional, com a complexidade passando a ser quadráica. A parir disso, Nemeh e al. (2016) propõem uma melhoria usando méodos de densidade de kernel e Rao-Blackwell, em que ano a variância da esimação quano a complexidade compuacional passam a ser lineares. Uma vez obidas as esimaivas para o veor score e a mariz de informação observada podemos uilizar o resulado para ober uma esimaiva dos parâmeros aravés do méodo do gradiene. Os dealhes desa úlima proposa, assim como as ouras ferramenas écnicas necessárias para a esimaiva dos parâmeros de modelos de espaço de esados, esão dealhados na seção seguine. Ese rabalho em como objeivo fazer uma análise dealhada do número de parículas necessário para ober boas esimaivas dos parâmeros de diferenes modelos de espaço de esados uilizando o algorimo de Nemeh e al. (2016). Tal análise será feia em modelos ano lineares e gaussianos quano em não lineares e/ou não gaussianos, como os casos auorregressivo, volailidade esocásica e Poisson. Também propomos uma nova versão em que o filro uilizado é o filro boosrap e fizemos a mesma análise, ou esudo comparaivo, do número de parículas ideal. É esperado, e pode ser verificado numericamene na seção resulados, que o número de parículas ideal para ober boas esimaivas nos diferenes modelos seja um número não muio alo de parículas e que possamos noar que o uso de um número alo de parículas apenas demanda mais empo de execução, não razendo grande melhoria nas esimaivas quando comparado com o uso de um número baixo ou médio de parículas. Os resulados desse esudo comparaivo são apresenados na erceira seção. 2 Méodos 2.1 Modelos de Espaço de Esados Um modelo de espaço de esados é basicamene composo por dois processos, {X } e {Y }, em que o primeiro é laene, ou seja, não observado direamene. E o segundo processo é observado. É a parir do processo observável que podemos fazer inferência sobre o processo laene. Formalmene, emos 7

Definição 1. Sejam {X, 1 T} um processo de Markov laene que assume valores em X R n x e um segundo processo observável {Y, 1 T} com valores em Y R n y. O processo {X } é definido por uma densidade inicial dada por (noe que: o úlimo ermo é apenas uma quesão de noação para ser uilizado nas próximas equações) e densidade de ransição p(x 1 θ) = µ θ (x 1 ) = f θ (x 1 x 0 ) p(x x 1: 1, θ) = p(x x 1, θ) = f θ (x x 1 ) (1) em que θ é o veor de parâmeros e x 1: 1 denoa oda a sequência aé o empo -1, iso é, (x 1, x 2,..., x 2, x 1 ). Além disso {X } é não observado direamene mas apenas parcialmene, aravés de {Y }. As observações {Y } são condicionalmene independenes dado {X } e êm densidade de probabilidade dada por p(y y 1: 1, x 1:, θ) = p(y x, θ) = g θ (y x ) (2) Para fazer inferência sobre o processo laene {X }, precisamos da disribuição condicional dos esados laenes dadas as observações, y 1:T, T 1. Considerando que o veor de parâmeros θ é conhecido, enão essa é dada por p(x 1:T y 1:T, θ) p(x 1:T, y 1:T, θ) Enquano que a disribuição conjuna pode ser calculada por p(x 1:T, y 1:T, θ) = p(y 1:T x 1:T, θ)p(x 1:T θ) T T = p(y x, θ) p(x x 1, θ) = =1 T g θ (y x ) =1 =1 T f θ (x x 1 ) (3) Mesmo com a disribuição conjuna apresenada acima, em modelos de espaço de esados não gaussianos e/ou não lineares não exise forma fechada para a verossimilhança das observações, não sendo possível esimar os esados laenes de forma analíica. Uma solução para o problema é uilizar o algorimo de Mone Carlo sequencial. Nese rabalho, uilizaremos um caso paricular denominado filro de parículas auxiliar, descrio na próxima subseção, para aproximar ais densidades e assim podermos fazer inferência sobre os esados laenes. =1 2.2 Filro de Parículas Auxiliar Um dos objeivos dos modelos de espaço de esados é fazer inferência sobre os esados não observáveis, X, condicionado às observações, Y, iso é, um problema de filragem. Nos problemas em que o modelo de espaço de esados é não gaussiano 8

e/ou não linear, não há forma fechada para o cálculo da densidade e, porano, não é possível observar os esados laenes, X. Para a solução do problema da filragem, podem ser uilizados filros de parículas, que perencem à classe de algorimos de Mone Carlo sequencial. Nese rabalho será uilizado um filro de parículas auxiliar. É imporane salienar que esse filro foi escolhido por apresenar uma aproximação que se adapa melhor às observações, principalmene na presença de ouliers na série observada (Pi and Shephard (1999)). Para execuar esse filro, emos que aproximar a densidade condicional p(x y 1:, θ), considerando θ fixo, ou seja, que os parâmeros são conhecidos e onde y 1: é a sequência das observações. Aproximação é baseada em um conjuno de N parículas, iso é, cada densidade condicional será aproximada por um conjuno de N amosras aleaórias ponderadas e emos onde w (i) ˆp(dx y 1:, θ) = N i=1 w (i) δ (i) X (dx ) (4) são os pesos, que devem ser não negaivos para odo i e sua soma igual a 1, e o ermo δ X (dx ) é a função dela de Dirac com massa no pono X. Com esa aproximação, conseguimos gerar um conjuno de parículas {X (i) } N e seus i=1 respecivos pesos {w (i) } N i=1 que aproximam a função de densidade p(x y 1:, θ), e possui melhores resulados quano maior for N (Crisan and Douce (2002)). Procedendo recursivamene e usando (1) e (2), podemos escrever a seguine equação de filragem p(x y 1:, θ) = p(x y, y 1: 1, θ) = p(x, y y 1: 1, θ) p(y y 1: 1, θ) p(y x, y 1: 1, θ)p(x y 1: 1, θ) p(y x, θ)p(x y 1: 1, θ) g θ (y x )p(x y 1: 1, θ) g θ (y x ) p(x, x 1 y 1: 1, θ)dx 1 g θ (y x ) p(x x 1, y 1: 1, θ)p(x 1 y 1: 1, θ)dx 1 g θ (y x ) f θ (x x 1 )p(x 1 y 1: 1, θ)dx 1 (5) A proporcionalidade pode ser explicada pelo fao da densidade p(y y 1: 1, θ) do denominador não depender de x e ampouco de θ. Considerando que podemos fazer isso para cada empo, podemos assumir que para um empo 1 emos o conjuno de parículas {X (i) 1 }N e seus respecivos pesos {w(i) i=1 1 }N, que aproximam a densidade i=1 p(x 1 y 1: 1, θ). Porano, usando (4) emos a aproximação de Mone Carlo para (5), dada por 9

p(x y 1:, θ) g θ (y x ) g θ (y x ) g θ (y x ) cg θ (y x ) N i=1 N i=1 f θ (x x 1 )p(x 1 y 1: 1, θ)dx 1 f θ (x x 1 ) w (i) 1 N i=1 w (i) δ (x 1 X (i) 1 )dx 1 1 f θ (x x 1 )δ (i) X (x 1 )dx 1 1 w (i) 1 f θ(x x (i) 1 ) (6) onde c é uma consane normalizadora. Agora, podemos calcular a densidade dos esados laenes condicionado às observações usando a aproximação acima aravés de um filro de parículas auxiliar proposo por Pi and Shephard (1999). A ideia é aproximar cw (i) g 1 θ(y x ) f θ (x x (i) ) 1 por ξ (i) q(x x (i), y 1, θ), onde {ξ (i) } N é um conjuno de probabilidades e q(x i=1 x (i), y 1, θ) é uma densidade de proposa. Nesse senido, uma parícula no empo é calculada com o auxílio do algorimo a parir de uma parícula do empo 1, x (i), escolhida 1 com probabilidade ξ (i), depois propagamos essa parícula no empo gerando x de q(x x (i), y 1, θ) com novo peso igual a cw (i) g 1 θ(y x ) f θ (x x (i) 1 )/ξ(i) q(x x (i), y 1, θ) como dealhado no Algorimo 1. Algorimo 1: Filro de Parículas auxiliar Enrada: observações (y 1:T ), conjuno inicial de parículas, veor de parâmeros Saída: Aproximação para os esados laenes 1 início 2 para cada observação faça 3 Amosre os índices k i com probabilidades ξ (i) 4 Gere o conjuno de parículas para o empo a parir de q(x x (k i) 1, y, θ) 5 Aualize os pesos w (i) 6 fim 7 fim 8 reorna Dados filrados com a aproximação para os esados laenes 2.3 Esimação de Parâmeros Como já mencionado, o objeivo dese rabalho é esimar parâmeros dos modelos de espaço de esados uilizando o algorimo de filro de parículas auxiliar, descrio na seção anerior. Para esimar o veor de parâmeros, θ, devemos resolver ˆθ = arg max log p(y 1:T θ) = arg max θ Θ θ Θ 10 T log p(y y 1: 1, θ) =1

onde ( p(y y 1: 1, θ) = g θ (y x ) f θ (x x 1 )p(x 1 y 1: 1, θ)dx 1 ) dx Conudo, para a maior pare dos casos, não há forma fechada para a log- verossimilhança, por isso a aproximação via Mone Carlo sequencial, por exemplo, orna-se necessária. Uma maneira de solucionar esse problema é fixando o valor do parâmero e enão calcular a log-verossimilhança para saber qual θ é o máximo da função, mas isso é simples apenas em casos discreos e de dimensão baixa. Nos problemas em que o espaço paramérico é não enumerável eríamos que fazer um grid dos valores de θ e calcular a log-verossimilhança para cada valor do grid, mas isso se orna compuacionalmene ineficiene com o aumeno da dimensão de θ. Uma solução eficiene comparada com as aneriores é usar o méodo do gradiene (Nemeh e al. (2016)), no qual o parâmero esimado é aualizado a parir da direção do veor gradiene, sendo necessário apenas um θ inicial. Recursivamene, podemos escrever: θ k = θ k 1 + γ k log p(y 1:T θ) θ=θk 1 (7) em que γ k é um sequência de passos que saisfaz k γ k = e k γ 2 <. Essas condições são necessárias para a convergência de θ para um valor ˆθ em que log p(y 1:T ˆθ) = 0, k de al forma que a esimaiva de θ é consisene. Um valor muio uilizado para γ k é k α, com α (0.5; 1) (Nemeh e al. (2016)). A parir disso, nosso foco para aproximar a log-verossimilhança passa a ser agora em enconrar uma aproximação do seu gradiene, iso é, o veor score. Já que em modelos de espaço de esados não gaussianos e/ou não lineares não é possível calcular o gradiene analiicamene. A parir da idenidade de Fisher (Cappé e al. (2005)), podemos escrever o gradiene como log p(y 1:T θ) = log p(x 1:T, y 1:T θ)p(x 1:T y 1:T, θ)dx 1:T (8) por meio do filro de parículas auxiliar, descrio na seção anerior, obemos uma aproximação para p(x 1:T y 1:T, θ). Assumindo que as densidades condicionais de x e y respecivamene dadas por (1) e (2) são duas vezes conínuas e diferenciáveis, enão a parir da densidade conjuna dada por (3) podemos escrever log p(x 1:T, y 1:T θ) = T [ log gθ (y x ) + log f θ (x x 1 ) ] (9) =1 assim, emos uma maneira de calcular o gradiene acima que em conjuno com a aproximação para os esados laenes, obida via filro de parículas, serão uilizadas para obermos o veor score. x (i) 1: A parir do filro auxiliar podemos gerar x (i) e assim odo o caminho da parícula, e seja α(i) := log p(x (i), y 1: 1: θ) o valor do gradiene dado por (9) para a parícula i no empo, que depende de odo o caminho da parícula. Considerando que no empo 11

emos as parículas {X (i) } N e seus respecivos pesos {w(i) i=1 } N e índices {k i=1 i} N, a esimaiva i=1 para α (i) pode ser aualizada recursivamene e (9) pode ser escria da seguine maneira: α (i) = α (k i) 1 + log g θ(y x (i) ) + log f θ (x (i) x (k i) 1 ) (10) a parir de (8), emos a aproximação do veor score no empo log p(y 1: θ) = S N i=1 w (i) α (i) (11) Da forma como esamos calculando, cada α (i) depende de odo o caminho da parícula, ainda que não é necessário armazenar odo o caminho do processo laene. No enano, isso pode gerar degeneração das parículas ao longo do empo. A degeneração das parículas é o fenômeno no qual ocorre um desequilíbrio nos pesos de imporância de cada esado a medida que as ierações são execuadas, isso faz com que o número de parículas com peso insignificane seja cada vez maior e assim aumenando a variabilidade da esimaiva. E além disso, a forma como esamos calculando ambém pode fazer com que a variância da esimaiva do veor score cresce pelo menos quadraicamene com o empo (Poyiadjis e al. (2011)). Uma solução para esse problema é uilizar o méodo de densidade de kernel proposo por Liu and Wes (2001). A proposa aplicada aos α (i) s visa o encolhimeno dos α (i) s para a sua média e adicionamos um ruído para eviar os casos de degeneração. Por isso α (k i) 1 passa a ser calculada como um núcleo gaussiano em que k i é amosrada a parir de uma disribuição discrea com probabilidades ξ (i), com média e variância para α (k i) 1 dadas por S 1 = N i=1 w (i) 1 α(i) 1 e Σ α 1 = N i=1 w (i) 1 (α(i) 1 S 1) T (α (i) 1 S 1) Seja 0 < λ < 1 o parâmero de encolhimeno, consane fixa. Escolhendo uma largura de densidade h > 0, podemos escrever o ermo α (k i) na equação (10) como 1 λα (k i) 1 + (1 λ)s 1 + ɛ (i) (12) em que ɛ (i) é uma realização de uma normal N(0, h 2 α 1). Essa aproximação via densidade de kernel preserva a média e a variância dos α (i) s, se forem escolhidos λ e h ais que λ 2 + h 2 = 1 (Liu and Wes (2001)). No enano o uso da adição de um ruído resula em uma aualização linear gaussiana dos α (i) s, o que possibilia o uso da ideia de Rao-Blackwell (Douce e al. (2000)) para reduzir a variância da esimação do veor score. Usando essa écnica podemos aualizar os α (i) s de forma sequencial com uma disribuição apropriada e sem adicionar ruído. Considerando que, para 2, no empo 1 cada α (j) disribuição Normal de forma α (j) 1 N(m(j) 1, h2 V 1 ) Porano, de (10) e (12), emos para o empo que 12 1 é represenada por uma

em que e α (i) N(m (i), h 2 V ) (13) m (i) = λm (k i) 1 + (1 λ)s 1 + log g θ (y x (i) ) + log f θ (x (i) x (k i) 1 ) V = V 1 + Σ α 1 = V 1 + N i=1 w (i) 1 (m(i) 1 S 1) T (m (i) 1 S 1) Porano, a esimação do veor score em cada ieração é a média ponderada dos α (i) s no insane, dada por S = N i=1 w (i) m (i) (14) Uilizando a proposa de Nemeh e al. (2016) emos o Algorimo 2 para o cálculo do veor score que usa o Algorimo 1 como auxiliar. No Algorimo 2, a variância da esimação do veor score passa a crescer linearmene com o empo e em empo compuacional da ordem de O(N), em que N é o número de parículas. Além disso, uilizando esse algorimo podemos volar à proposa de Poyiadjis e al. (2011) apenas colocando λ = 1. Algorimo 2: Veor score Enrada: observações (y 1:T ), conjuno inicial de parículas, veor de parâmeros, valor lambda (λ) Saída: Aproximação para o veor score, S 1:T 1 início 2 para cada observação faça 3 Aplicar o Algorimo 1 para ober os esados laenes {x (i) 1:T }N i=1 4 Calcular a média (m (i) ) para os α s usando 5 m (i) = λm (k i) + (1 λ)s 1 1 + log g θ (y x (i) ) + log f θ (x (i) x (k i) ) 1 6 Calcular o veor score como S = N i=1 w (i) m (i) 7 fim 8 fim 9 reorna Aproximação para o veor score, S 1:T Se além de calcular o veor score, conseguimos calcular a mariz de informação observada, enão a convergência da esimação dos parâmeros no méodo do gradiene será melhor. Para esse cálculo, podemos escrever como o méodo de Newon-Raphson e a equação (7) passa a ser escria com o ermo de segunda ordem, iso é, θ k = θ k 1 γ k ( 2 log p(y 1:T θ)) 1 log p(y 1:T θ) θ=θk 1 (15) 13

No enano, a inversa da mariz de informação observada pode ser uma fone de insabilidade numérica, uma vez que nem sempre é possível calculá-la. Procedendo de forma análoga ao caso do veor score, emos uma idenidade para a mariz de informação observada dada por Louis (1982) onde 2 log p(y 1:T θ) = log p(y 1:T θ) log p(y 1:T θ) T 2 p(y 1:T θ) p(y 1:T θ) (16) 2 p(y 1:T θ) p(y 1:T θ) = + log p(x 1:T, y 1:T θ) log p(x 1:T, y 1:T θ) T p(x 1:T y 1:T, θ)dx 1:T 2 log p(x 1:T, y 1:T θ)p(x 1:T, y 1:T θ)dx 1:T Assim como em (8) ambém é possível calcular (16) a parir do filro de parículas auxiliar. Derivando (9), podemos escrever 2 log p(x 1:T, y 1:T θ) = T 2 log g θ (y x ) + 2 log f θ (x x 1 ) (17) =1 Porano, a aproximação por parículas para a mariz de informação observada I no empo é dada por I S S T N i=1 { w (i) α (i) ( α (i) onde β é definido de forma similiar a α como β (i) ) T + β (i) } (18) := 2 log p(x (i) 1:, y 1: θ). De forma análoga ao que foi feio aneriormene para α, podemos uilizar o méodo de densidade de kernel e aplicar a ideia de Rao-Blackwell para β, assim obendo a esimação da mariz de informação observada em cada empo como onde m (i) forma análoga n (i) I = S S T N i=1 { w (i) m (i) ( m (i) é a média da disribuição normal de α (i) ) T + h 2 V + n (i) é a média da disribuição normal de β (i) } (19) como mosrado aneriormene e de dada por n (i) = λn (k i) 1 + (1 λ)b 1 + 2 log g θ (y x (i) ) + 2 log f θ (x (i) x (k i) 1 ) com B = N i=1 w (i) n (i). Veja que o ermo h 2 V na equação (19) é imporane para corrigir o decréscimo da variabilidade devido ao encolhimeno de α para S em cada ieração. Finalmene, emos a versão do Algorimo 2 com o uso da segunda ordem, ou seja, com o uso da mariz de informação observada apresenada no Algorimo 3. Também propomos a uilização de uma versão análoga ao Algorimo 2 e 3, mas com o uso do filro boosrap para ober os esados laenes, ao invés do filro de parículas auxiliar do Algorimo 1. 14

Algorimo 3: Mariz de informação observada Enrada: observações (y 1:N ), conjuno inicial de parículas, veor de parâmeros, valor lambda (λ) Saída: Aproximação para a mariz de informação observada 1 início 2 para cada observação faça 3 Aplicar o Algorimo 1 para ober os esados laenes 4 Calcular a média (m (i) ) e (n (i) ) para os α s e β s, respecivamene, usando: 5 m (i) = λm (k i) + (1 λ)s 1 1 + log g θ (y x (i) ) + log f θ (x (i) x (k i) ) 1 6 n (i) = λn (k i) + (1 λ)b 1 1 + 2 log g θ (y x (i) ) + 2 log f θ (x (i) x (k i) ) 1 7 Calcular o veor score como S = N i=1 w (i) m (i) 8 Calcular a mariz de informação observada como: 9 I = S S T { ( ) N i=1 w (i) m (i) m (i) T } + n (i) h 2 V 10 fim 11 fim 12 reorna Aproximação para a mariz de informação observada 3 Resulados Nesa seção, apresenaremos os resulados obidos com inuio de avaliar o méodo para esimação dos parâmeros de modelos de espaço de esados apresenado aneriormene. Uilizamos a versão com a mariz de informação observada, iso é, o Algorimo 3 e a equação para esimação dos parâmeros com o ermo de segunda ordem dada por (15). O valor do parâmero de encolhimeno, λ, descrio em (12) e usado no Algorimo 3 foi escolhido como λ = 0.95. Além disso, o amanho do passo γ k das equações (7) e (15) foi uilizado al como sugerido com α = 2/3, iso é, γ k = k 2/3. Consideramos que as esimaivas dos parâmeros correspondem às esimaivas enconradas quando o algorimo cumprir o criério de convergência esabelecido por θ k θ k 1 θ k 10 4 (20) onde represena a norma do veor de parâmeros. Esse criério de convergência foi esabelecido para que não seja necessário preesabelecer um número alo de ierações que iriam ser execuadas sem grande ganho nas esimaivas, iso é, apenas na quina casa decimal, aumenando o empo de execução do algorimo. Além da avaliação do méodo, esamos ineressados em ober um número de parículas ideal para esimar os parâmeros de cada modelo. Nesse senido, foi desenhado um esudo de simulação com T = 1000 observações de cada modelo e variações do número de parículas em 10 cenários (25; 100; 250; 500; 750; 1000; 1250; 1500; 1750; 2000) com 100 replicações cada. Os cenários foram escolhidos com um inervalo de 250 parículas enre cada a parir de 250 aé 2000, além de dois cenários com número baixo de parículas, um com 25 e ouro com 100. Foram escolhidos rês diferenes modelos com o inuio de abordar as diferenes 15

variações de um modelo de espaço de esados enre linearidade e gaussianiedade. O primeiro compreende o modelo auorregressivo que é linear e gaussiano, nos serve como ilusração, já que é possível ober resulados analíicos (Durbin and Koopman (2012)). Depois, um modelo um pouco mais complexo onde a linearidade é perdida, o modelo de volailidade esocásica, muio uilizado na área de economia. Por fim, o modelo Poisson que é não gaussiano e ambém não linear, além de apresenar observações discreas. Também fizemos o esudo de simulação para os mesmos rês modelos uilizando o filro boosrap com o inuio de comparar com a versão que uiliza o filro auxiliar apresenada aneriormene. A análise dos resulados das simulações de cada modelo é dealhada abaixo; odos os algorimos foram implemenados na linguagem Ox, que é uma linguagem de programação com biblioeca de funções esaísicas e maemáicas proposa por Jurgen A Doornik, sendo uma alernaiva mais rápida com relação ao R, porém não ão rápida quano à linguagem C. Todas as simulações foram execuadas e os resulados aqui apresenados produzidos em máquinas com processador Inel Core i5-3330 CPU 3.00 GHz e memória oal de 3.92 gigabyes com sisema operacional Linux-Kubunu. 3.1 Modelo Auorregressivo - AR O modelo auorregressivo de primeira ordem, AR(1), observado com ruído gaussiano é definido como X = φx 1 + U (21) Y = X + V para = 1, 2, 3,..., T; U N(0, σ 2 ) e V N(0, τ 2 ), al que U V X 1, onde X 1 N(0, σ 2 /(1 φ 2 )). Dessa forma, as equações para os esados laenes e observados, respecivamene, são dadas por X X 1 = x 1 N(φx 1, σ 2 ) (22) Y X = x N(x, τ 2 ) Devido ao fao do modelo auorregressivo ser linear e gaussiano, é possível ober uma densidade de proposa óima no senido definido em Álvares da Silva (2016) q(x x (i) 1, y, θ), iso é, q(x x (i) 1, y, θ) g θ (y x ) f θ (x x (i) 1 ) al que como definido em (1) e (2) e, uilizando (22), g θ N(x, τ 2 ) f θ N(φx 1, σ 2 ) 16

3 2 {x_} {xha 1 0-1 -2-3 -4-5 0 10 20 30 40 50 60 70 80 90 100 Figura 1: Esados laenes via Filro de Parículas Auxiliar - Modelo Auorregressivo. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha mais escura: observações. Linhas mais claras: esados laenes esimados e inervalo de confiança (95%) Porano, q(x x (i), y 1, θ) exp (y x ) 2 (x (i) φx 2τ 2 2σ 2 y 2 exp + 2y x x 2 2τ 2 + σ 2 exp τ2 2τ 2 σ 2 x2 2x τ 2 φx (i) que é o núcleo de uma disribuição normal, enão 1 )2 + x2 + 2φx (i) x 1 φ2 x (i) 2σ 2 1 + σ2 y τ 2 + σ 2 τ 2 φx (i) 1 q θ N + σ2 y τ 2 σ 2, τ 2 + σ 2 τ 2 + σ 2 A íulo de ilusração do filro de parículas auxiliar, implemenamos o Algorimo 1 para esimar os esados laenes; o resulado pode ser observado na Figura 1 A amosra, apresenada na Figura 1, em T = 100 observações. A esimaiva do filro de parículas auxiliar represenada pela linha mais clara segue o comporameno dos esados laenes simulados, represenados pela linha mais escura, e exceo em raros casos(menos de 5%) esá fora do inervalo de confiança represenado pelas linhas ponilhadas exernas. Isso mosra que um filro de parículas auxiliar esima bem os esados laenes dese modelo auorregressivo. 17 1

0.94 0.92 0.90 0.88 0.86 0.84 0.82 Figura 2: Esimaivas para φ - Modelo AR. Filro auxiliar. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha ponilhada: valor real do parâmero φ. Uma vez que emos os esados laenes esimados pelo filro auxiliar aravés do Algorimo 1, podemos aplicar o Algorimo 3 para ober as esimaivas do veor score e da mariz de informação observada. Com o inuio de ober um número ideal de parículas para esimar os parâmeros de um modelo auoregressivo foi desenhado o esudo de simulação descrio aneriormene com o modelo auorregressivo definido acima com T = 1000 observações e parâmeros dados por φ = 0.9, σ = 0.7 e τ = 1. As esimaivas obidas via filro auxiliar esão apresenadas na Figura 2 para o parâmero φ, na Figura 3 para σ e na Figura 4 para τ. Em cada um dos box-plos das Figuras 2, 3 e 4, a linha ponilhada represena o valor real do parâmero simulado. Enão, podemos observar que com exceção do primeiro cenário referene a 25 parículas, que é um caso apenas para ilusração com um número muio pequeno de parículas, em odos os cenários oberam boas esimaivas para os rês parâmeros, sem apresenar uma grande diferença enre os cenários. Com isso, podemos dizer que o segundo cenário (box-plo 1 nas Figuras 2, 3 e 4) que é referene a 100 parículas já é suficiene para uma boa esimaiva dos parâmeros de um modelo auorregressivo. Além disso, quando levamos em consideração o empo médio gaso em cada cenário, na Figura 5, o cenário com apenas 100 parículas converge em menos de um minuo (linha ponilhada represena empo médio igual a 60 segundos). Porano, para o modelo auorregressivo, com 100 parículas já se obém bons resulados e de forma rápida, não sendo necessário por exemplo o uso de 2000 parículas, que apenas aumenariam o empo, não razendo grande melhoria nas esimaivas dos parâmeros. Como comparação, obemos, a parir do mesmo esudo de simulação, as esimaivas via filro boosrap para os parâmeros φ, σ e τ apresenadas nas Figuras 6, 7 e 8 respecivamene. Podemos observar que o uso do filro boosrap melhorou as esimaivas de 18

0.90 0.85 0.80 0.75 0.70 0.65 0.60 0.55 Figura 3: Esimaivas para σ - Modelo AR. Filro auxiliar. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha ponilhada: valor real do parâmero σ. 1.075 1.050 1.025 1.000 0.975 0.950 0.925 0.900 0.875 Figura 4: Esimaivas para τ - Modelo AR. Filro auxiliar. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha ponilhada: valor real do parâmero τ. 19

400 350 300 250 200 150 100 50 0 Figura 5: Tempo - Modelo AR. Filro auxiliar. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha ponilhada: 60 segundos. odos os cenários. Por exemplo, para os parâmeros φ e σ que anes apresenavam uma subesimação e superesimação, respecivamene, na versão do filro auxiliar. Agora apresenam esimaivas quase exaas em alguns cenários, como, por exemplo, nos cenários 2 e 3. Quano ao número ideal de parículas, o cenário 4 (box-plo 3 nas Figuras 6, 7 e 8) referene a 500 parículas apresena esimaivas quase exaas, mas o cenário 3 (box-plo 2 nas Figuras 6, 7 e 8) ambém apresena boas esimaivas para odos os parâmeros, sendo, porano 250 parículas, uma boa quanidade de parículas para o filro boosrap. Em comparação ao filro auxiliar que foi indicado 100 parículas como ideal, o filro boosrap apresena esimaivas razoáveis nesse cenário, mas com imporane ganho quano às esimaivas nos cenários com 250 e 500 parículas e ainda com empo médio compuacional inferior a um minuo quando uilizadas 250 parículas como pode ser observado no box-plo 2 da Figura 9. Além das figuras com os box-plos, os resulados ambém podem ser analisados a parir da abela do erro quadráico médio apresenada no apêndice. 3.2 Volailidade Esocásica - SV O modelo de volailidade esocásica é definido como X = φx 1 + U (23) ( ) X Y = β exp V 2 onde = 1, 2, 3,..., n; U N(0, σ 2 ) e V N(0, 1), al que U V X 1, onde X 1 N(0, σ 2 /(1 φ 2 )), e φ e β são parâmeros do modelo. 20

0.950 0.925 0.900 0.875 0.850 0.825 Figura 6: Esimaivas para φ - Modelo AR. Filro boosrap. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha ponilhada: valor real do parâmero φ. 0.90 0.85 0.80 0.75 0.70 0.65 0.60 0.55 0.50 Figura 7: Esimaivas para σ - Modelo AR. Filro boosrap. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha ponilhada: valor real do parâmero σ. 21

1.15 1.10 1.05 1.00 0.95 0.90 Figura 8: Esimaivas para τ - Modelo AR. Filro boosrap. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha ponilhada: valor real do parâmero τ. 500 400 300 200 100 0 Figura 9: Tempo - Modelo AR. Filro boosrap. Parâmeros reais: φ = 0.9, σ = 0.7 e τ = 1. Linha ponilhada: 60 segundos. 22

1.000 0.975 0.950 0.925 0.900 0.875 0.850 Figura 10: Esimaivas para φ - Modelo SV. Filro auxiliar. Parâmeros reais: φ = 0.98, σ = 0.13 e β = 1.65. Linha ponilhada: valor real do parâmero φ. O modelo de volailidade esocásica nos permie observar como se compora o méodo quando o modelo ainda é gaussiano, mas não linear. Nese rabalho uilizamos os seguines parâmeros: φ = 0.98, σ = 0.13 e β = 1.65. Como o modelo SV não é linear, não é possível ober uma densidade proposa óima de forma analíica como foi feio no modelo auorregressivo. Sendo assim, para a implemenação do méodo uilizamos uma densidade de proposa "cega", iso é, que não depende de y, q(x x (i), y 1, θ) N(φx (i), 1 σ2 ). Uma vez que emos a disribuição proposa, podemos esimar os esados laenes pelo filro auxiliar e aplicar o Algorimo 3 para ober as esimaivas do veor score e da mariz de informação observada. Da mesma forma que no modelo auorregressivo, esamos ineressados em ober um número ideal de parículas para esimar os parâmeros de um modelo de volailidade esocásica. A parir do desenho do esudo de simulação ciado aneriormene e com o modelo descrio acima com T = 1000 observações e parâmeros dados por φ = 0.98, σ = 0.13 e β = 1.65, para cada parâmero φ, σ, β emos as seguines esimaivas nas Figuras 10, 11 e 12 respecivamene. Nas Figuras 10, 11 e 12, a linha ponilhada represena o valor real do parâmero simulado. Podemos observar que para o caso dese modelo de volailidade esocásica um número baixo de parícula como 25, 100 ou 250 (box-plos 0, 1 e 2 nas Figuras 10, 11 e 12) não apresena boas esimaivas, como por exemplo quando se uiliza 100 parículas para os parâmeros φ e σ, enquano que o parâmero β não apresena esimaivas ruins assim como nos demais cenários. No enano, a parir do quaro cenário (box-plo 3 nas Figuras 10, 11 e 12) referene a 500 parículas, odos os parâmeros em boas esimaivas, onde podemos observar uma subesimação para o φ e uma superesimação para o β que é comun para odos os cenários deses parâmeros, enquano que o parâmero σ 23

0.35 0.30 0.25 0.20 0.15 0.10 0.05 Figura 11: Esimaivas para σ - Modelo SV. Filro auxiliar. Parâmeros reais: φ = 0.98, σ = 0.13 e β = 1.65. Linha ponilhada: valor real do parâmero σ. 2.3 2.2 2.1 2.0 1.9 1.8 1.7 1.6 1.5 1.4 1.3 Figura 12: Esimaivas para β - Modelo SV. Filro auxiliar. Parâmeros reais: φ = 0.98, σ = 0.13 e β = 1.65. Linha ponilhada: valor real do parâmero β. 24

900 800 700 600 500 400 300 200 100 0 Figura 13: Tempo - Modelo SV. Filro auxiliar. Parâmeros reais: φ = 0.98, σ = 0.13 e β = 1.65. Linha ponilhada: 60 segundos. ambém apresena superesimação, no enano no cenário quaro, a esimaiva se difere muio pouco do valor simulado. Porano, podemos indicar que 500 é o número ideal de parículas para ese modelo de volailidade esocásica, dado que apresena bons resulados não diferindo muio dos demais cenários com maior número de parículas. E como pode ser observado no box-plo 3 da Figura 13, em o menor empo médio gaso para convergência quando comparado com os cenários que apresenaram boas esimaivas, aproximadamene dois minuos em média. Mais uma vez, podemos comprovar que nem sempre é necessário um número alo de parículas, que um número baixo de parículas já é suficiene para esimaivas ão boas quano um número alo e obidas em menos empo. A parir do mesmo esudo de simulação, obemos as esimaivas com o uso do filro boosrap para os parâmeros φ, σ e β apresenadas nas Figuras 14, 15 e 16 respecivamene. Podemos observar que o uso do filro boosrap obeve esimaivas ão boas quano com a uilização do filro auxiliar em odos os cenários. Podemos desacar que com o uso do filro boosrap houve uma pequena melhora nas esimaivas em odos os cenários com relação ao parâmero φ. E quano aos parâmeros σ e β ambém houve uma pequena melhora nas esimaivas em alguns cenários, mas mesmo os cenários que não apresenaram melhores esimaivas, iveram resulados semelhanes quando comparado com a versão com o filro auxiliar. Quano ao número de parículas ideal que no caso do filro auxiliar foi indicado como o quaro cenário referene à 500 parículas. Com o uso do filro boosrap, esse número se maneve como ideal, apesar de que o uso de 250 parículas (erceiro cenário) ambém gera boas esimaivas com a uilização do filro boosrap e como pode ser observado no box-plo 2 da Figura 17 em empo compuacional inferior a um minuo na maioria das replicações. Além dos box-plos, os resulados ambém podem ser analisados a parir da abela do erro 25

1.00 0.95 0.90 0.85 0.80 0.75 Figura 14: Esimaivas para φ - Modelo SV. Filro boosrap. Parâmeros reais: φ = 0.98, σ = 0.13 e β = 1.65. Linha ponilhada: valor real do parâmero φ. quadráico médio apresenada no apêndice. 3.3 Modelo Poisson O modelo Poisson é definido como X = φx 1 + U (24) Y = V onde = 1, 2, 3,..., n; U N(0, σ 2 ) e V Poisson(β exp(x )), al que U V X 1, onde X 1 N(0, σ 2 /(1 φ 2 )). O modelo Poisson nos permie observar como se compora o méodo para modelos discreos, além disso os esados observados não são mais gaussianos, uma vez que agora são de uma disribuição Poisson. Nese rabalho uilizamos os seguines parâmeros: φ = 0.95, σ = 0.15 e β = 0.70. Como o modelo Poisson é não gaussiano, não é possível ober uma densidade proposa óima de forma analíica como foi feio no modelo auorregressivo. Sendo assim, para a implemenação do méodo uilizamos uma densidade de proposa "cega"assim como no caso anerior do modelo de volailidade esocásica com q(x x (i), y 1, θ) N(φx (i), 1 σ2 ). Com isso, obemos os esados laenes esimados pelo filro auxiliar e podemos aplicar o Algorimo 3 para ober as esimaivas do veor score e da mariz de informação observada. 26

0.30 0.25 0.20 0.15 0.10 0.05 Figura 15: Esimaivas para σ - Modelo SV. Filro boosrap. Parâmeros reais: φ = 0.98, σ = 0.13 e β = 1.65. Linha ponilhada: valor real do parâmero σ. 2.2 2.0 1.8 1.6 1.4 1.2 Figura 16: Esimaivas para β - Modelo SV. Filro boosrap. Parâmeros reais: φ = 0.98, σ = 0.13 e β = 1.65. Linha ponilhada: valor real do parâmero β. 27

600 500 400 300 200 100 0 Figura 17: Tempo - Modelo SV. Filro boosrap. Parâmeros reais: φ = 0.98, σ = 0.13 e β = 1.65. Linha ponilhada: 60 segundos. Como nos modelos aneriores ambém esamos ineressados em ober um número ideal de parículas para esimar os parâmeros de um modelo Poisson. Porano, foi feio o esudo de simulação descrio aneriormene ambém para o modelo Poisson descrio acima com T = 1000 observações e parâmeros dados por φ = 0.95, σ = 0.15 e β = 0.70, para cada parâmero φ, σ, β emos as seguines esimaivas nas Figuras 18, 19 e 20 respecivamene. Assim como nos demais box-plos, nas Figuras 18, 19 e 20, a linha ponilhada represena o valor real do parâmero simulado. Podemos observar que o modelo Poisson em um comporameno semelhane ao modelo de volailidade esocásica quano à variação do número de parículas. Em cenários com um número baixo de parícula como 25 ou 100 (box-plos 0 e 1 nas Figuras 18, 19 e 20) não apresena boas esimaivas, como por exemplo na esimaiva do parâmero φ com 100 parículas e para o parâmero σ e β no primeiro cenário. No enano, a parir do erceiro cenário (boxplo 2 nas Figuras 18, 19 e 20) referene a 250 parículas, odos os parâmeros em boas esimaivas, e assim como no modelo de volailidade esocásica com comporameno semelhane, podemos observar uma subesimação para o φ comum para odos os cenários. Enquano que os parâmeros σ e β apresenam esimaivas quase exaas em grande pare dos cenários simulados. Porano, endo em consideração ambém a análise do empo médio gaso para convergência como pode ser observado no boxplo 2 da Figura 21 podemos indicar que 250 é o número ideal de parículas para ese modelo Poisson, dado que apresena bons resulados não diferindo muio dos demais cenários com maior número de parículas e com o menor empo médio gaso para convergência quando comparado com os cenários que apresenaram boas esimaivas. As esimaivas obidas via filro boosrap para os parâmeros φ, σ e β, a parir do mesmo esudo de simulação feio aneriormene, são apresenadas nas Figuras 22, 23 e 28

1.000 0.975 0.950 0.925 0.900 0.875 0.850 Figura 18: Esimaivas para φ - Modelo Poisson. Filro auxiliar. Parâmeros reais: φ = 0.95, σ = 0.15 e β = 0.70. Linha ponilhada: valor real do parâmero φ. 0.25 0.20 0.15 0.10 0.05 Figura 19: Esimaivas para σ - Modelo Poisson. Filro auxiliar. Parâmeros reais: φ = 0.95, σ = 0.15 e β = 0.70. Linha ponilhada: valor real do parâmero σ. 29

0.90 0.85 0.80 0.75 0.70 0.65 0.60 0.55 Figura 20: Esimaivas para β - Modelo Poisson. Filro auxiliar. Parâmeros reais: φ = 0.95, σ = 0.15 e β = 0.70. Linha ponilhada: valor real do parâmero β. 1200 1000 800 600 400 200 0 Figura 21: Tempo - Modelo Poisson. Filro auxiliar. Parâmeros reais: φ = 0.95, σ = 0.15 e β = 0.70. Linha ponilhada: 60 segundos. 30

1.000 0.975 0.950 0.925 0.900 0.875 0.850 Figura 22: Esimaivas para φ - Modelo Poisson. Filro boosrap. Parâmeros reais: φ = 0.95, σ = 0.15 e β = 0.70. Linha ponilhada: valor real do parâmero φ. 24, respecivamene. No modelo Poisson podemos observar que o uso do filro boosrap proporciou uma significaiva melhora das esimaivas em muios cenários quando comparado à versão com o filro auxiliar. Desacamos a melhora nas esimaivas dos parâmeros σ e β que com o uso do filro boosrap passaram a ser quase exaas na maioria dos cenários. Com relação ao número ideal de parículas, o cenário 3 referene a 250 parículas coninua sendo o ideal, mas, agora, com uma melhora nas esimaivas, principalmene dos parâmeros σ e β que apresenam resulados quase exaos. Como pode ser observado na Figura 25, o empo médio compuacional no cenário de 250 parículas (box-plo 2 na Figura 25) foi reduzido com relação ao caso anerior, mas ainda assim acima de um minuo. Os resulados ambém podem ser analisados a parir da abela do erro quadráico médio apresenada no apêndice. 4 Conclusão Ese rabalho apresenou um esudo comparaivo sobre um méodo para esimar os parâmeros de modelos de espaço de esados. Esse méodo foi proposo por Nemeh e al. (2016) e apresena um méodo Mone Carlo sequencial, mais especificamene o filro de parículas auxiliar, para esimar o veor score e a mariz de informação observada, e, enão, o méodo do gradiene é uilizado para ober as esimaivas dos parâmeros de um modelo de espaço de esados. Esse algorimo uiliza méodos de densidade de kernel e Rao-Blackwell para melhorar as esimaivas com relação aos algorimos proposos aneriormene por Poyiadjis e al. (2011), que apresenava a variância da esimaiva crescendo pelo menos quadraicamene com o empo e empo compuacional linear no número de parículas ou variância linear no empo, mas cuso 31

0.25 0.20 0.15 0.10 0.05 Figura 23: Esimaivas para σ - Modelo Poisson. Filro boosrap. Parâmeros reais: φ = 0.95, σ = 0.15 e β = 0.70. Linha ponilhada: valor real do parâmero σ. 0.90 0.85 0.80 0.75 0.70 0.65 0.60 0.55 Figura 24: Esimaivas para β - Modelo Poisson. Filro boosrap. Parâmeros reais: φ = 0.95, σ = 0.15 e β = 0.70. Linha ponilhada: valor real do parâmero β. 32

900 800 700 600 500 400 300 200 100 0 Figura 25: Tempo - Modelo Poisson. Filro boosrap. Parâmeros reais: φ = 0.95, σ = 0.15 e β = 0.70. Linha ponilhada: 60 segundos. compuacional quadráico. Enquano que a proposa de Nemeh e al. (2016) apresena variância da esimaiva linear com o empo, e em o empo compuacional ambém linear no número de parículas. Também propomos uma versão com o uso do filro boosrap ao invés do filro de parículas auxiliar, a fim de comparar com o modelo proposo aneriormene e sendo o filro boosrap mais simples que o auxiliar. O méodo apresenou boas esimaivas dos parâmeros de diferenes modelos de espaço de esados, como auoregressivo, volailidade esocásica e Poisson. Além disso, foi feia uma análise mais dealhada quano ao número de parículas necessário a se uilizar para al esimaiva dependendo de cada modelo (auorregressivo, volailidade esocásica, Poisson). Essa análise foi feia preesabelecendo um criério de convergência para aé a quara casa decimal. Conforme apresenado na seção anerior, podemos perceber que nem sempre é necessário um número grande de parículas. Um número pequeno de parículas, como, por exemplo, 100 parículas no modelo auorregressivo, já pode ser considerado um número suficiene para ober esimaivas ão boas quano com um número maior de parículas e consumindo consideravelmene menos empo de execução. Na comparação do méodo com a versão com a uilização do filro boosrap, ese úlimo apresenou melhorias nas esimaivas da maioria dos cenários para os modelos analisados na seção anerior e demandando menos empo de execução quando comparado com a versão do filro auxiliar. Ouras análises mais dealhadas ou melhorias ainda podem ser feias sobre o méodo, como, por exemplo, uma análise dealhada sobre o amanho do passo γ k nas equações (7) e (15) e aé mesmo a roca da equação de aualização das esimaivas dos parâmeros. 33

Apêndice O Algorimo 3 uiliza as derivadas de primeira e segunda ordem das log-equações de cada modelo. Tais derivadas são apresenadas, a seguir, para cada um dos modelos analisados. Primeiro, o modelo auorregressivo onde log f θ (x (i) x (k i) ( ) = X X 1 1 φ ( log g θ (y x (i) Y X ) = φ, X X 1 σ, Y X σ, Y X τ, X ) ( X 1 X X 1 = τ φ ) ( = 0, 0, Y ) X τ, X ) X 1, 0 σ X X 1 φ X X 1 σ Y X τ = x(k i) ( ) 1 x (i) σ 2 φx (k i) 1 = 1 σ + (x(i) φx (k i) 1 )2 σ 3 = 1 τ + (y x (i) ) 2 τ 3 e para as derivadas de segunda ordem 2 X X 1 φ σ 2 X X 1 ( φ) 2 = 2 X X 1 σ φ = ( ) x (k i ) 2 1 σ 2 (k i ) = 2x ( ) 1 x (i) σ 3 φx (k i) 1 2 X X 1 = 1 ( σ) 2 σ 3(x (i) φx (k i) 1 )2 2 2 Y X ( τ) 2 σ 4 = 1 τ 2 3(y x (i) ) 2 τ 4 Agora, para o modelo de volailidade esocásica, as derivadas de primeira ordem são onde log f θ (x (i) x (k i) ( ) = X X 1 1 φ ( log g θ (y x (i) Y X ) = φ, X X 1 σ, Y X σ, Y X β 34, X ) ( X 1 X X 1 = β φ ) ( = 0, 0, Y ) X β, X ) X 1, 0 σ

X X 1 φ X X 1 σ Y X β e para as derivadas de segunda ordem = x(k i) ( ) 1 x (i) σ 2 φx (k i) 1 = 1 σ + (x(i) φx (k i) 1 )2 σ 3 = 1 β + y2 exp ( x(i) ) β 3 2 X X 1 φ σ 2 X X 1 ( φ) 2 = 2 X X 1 σ φ = ( ) x (k i ) 2 1 σ 2 (k i ) = 2x ( ) 1 x (i) σ 3 φx (k i) 1 2 X X 1 = 1 ( σ) 2 σ 3(x (i) φx (k i) 1 )2 2 2 Y X ( β) 2 = 1 β 2 3y2 σ 4 exp ( x(i) ) β 4 onde Por fim, para o modelo Poisson, as derivadas de primeira ordem são log f θ (x (i) x (k i) ( ) = X X 1 1 φ ( log g θ (y x (i) Y X ) = φ, X X 1 σ, Y X σ, Y X β, X ) ( X 1 X X 1 = β φ ) ( = 0, 0, Y ) X β, X ) X 1, 0 σ X X 1 φ X X 1 σ Y X β = x(k i) ( ) 1 x (i) σ 2 φx (k i) 1 = 1 σ + (x(i) φx (k i) 1 )2 σ 3 = exp (x (i) ) + y β e para as derivadas de segunda ordem 35

2 X X 1 φ σ 2 X X 1 ( φ) 2 = 2 X X 1 σ φ = ( ) x (k i ) 2 1 σ 2 (k i ) = 2x ( ) 1 x (i) σ 3 φx (k i) 1 2 X X 1 = 1 ( σ) 2 σ 3(x (i) φx (k i) 1 )2 2 2 Y X ( β) 2 = y β 2 σ 4 A análise dos resulados, além dos diversos box-plos apresenados nas figuras aneriores, ambém pode ser feia a parir do erro quadráico médio (EQM). O EQM mede a média dos erros quadrados, iso é, a diferença do esimador e do parâmero que esamos esimando e é calculado por EQM = 1 m m ( ˆθ i θ i ) 2 i=1 onde m é o número de replicações, aqui m = 100, e θ é o veor de parâmeros enquano que ˆθ é o veor das esimaivas para θ. Os resulados apresenados nas próximas abelas são as raízes quadradas dos EQM s de cada parâmero (φ, σ, τ, β) para cada um dos cenários simulados ano para a versão com filro auxiliar quano para a versão com filro boosrap. Tabela 1: EQM - Modelo AR. Filro auxiliar Parículas 25 100 250 500 750 1000 1250 1500 1750 2000 φ 0.032 0.047 0.130 0.152 0.131 0.165 0.079 0.111 0.085 0.138 σ 0.085 0.159 1.914 1.247 0.123 1.144 0.149 1.848 1.133 5.099 τ 0.060 0.189 14.36 13.95 73.79 20.10 13.29 97.11 21.74 56.56 Tabela 2: EQM - Modelo SV. Filro auxiliar Parículas 25 100 250 500 750 1000 1250 1500 1750 2000 φ 0.018 0.054 0.034 0.023 0.102 0.141 0.219 0.114 0.248 0.230 σ 0.034 0.096 0.180 1.162 3.164 3.453 16.69 21.03 12.65 10.06 β 0.199 0.168 2.592 44.83 174.8 139.1 216.4 82.05 229.5 172.4 36