Técnicas computacionais em probabilidade e estatística II

Transcrição

1 Técnicas computacionais em probabilidade e estatística II Universidade de São Paulo Instituto de Matemática e Estatística mbranco Métodos de Monte Carlo baseados em Cadeias de Markov: Diagnóstico.

2 Construção e uso da amostra MCCM Primeira idéia: construir n cadeia paralelas e após m iterações, supondo obtido o equiĺıbrio, compor uma amostra independente de tamanho n. Processo pouco eficiente, pois n m valores são descartados. Alternativa 1: considerar uma única cadeia e após m iterações compor a amostra com os próximos n valores. A amostra não é independente. Se as autocorrelações são muito altas pode ser necessário uma amostra muito grande para percorrer todo espaço paramétrico. Alternativa 2: considerar saltos de comprimento k para compor uma amostra aproximadamente independente.

3 A amostra simulada é um conjunto de vetores de dimensão d, θ (1),...,θ (n) da distribuição multivariada limite π. Usualmente o interesse são as marginais. É garantido que as componentes marginais do vetor formam uma amostra da distribuição marginal correspondente. Para qualquer função t(θ) podemos construir também uma amostra MCCM usando os valores simulados da cadeia original. Intervalos bayesianos de credibilidade (aproximados) podem ser obtidos considerando-se os percentis da amostra simulada. A densidade marginal da i-ésima componente do vetor pode ser estimada pelo alisamento do histograma. Uma maneira mais eficiênte é considerar a seguinte estimativa (Rao-Blackwell) ˆπ(θ i ) = 1 n n j=1 π(θ (j) i θ i )

4 Construção e uso da amostra MCCM Exemplo 1: Normal bivariada (θ 1,θ 2 ) N 2 (µ,σ). Utilizando-se a propriedade de que as distribuições condicionais são também normal, podemos implementar um algoritmo GS simulando de tais distribuições. O próximo gráfico ilustra a trajetória dos primeiros 5 pontos de cadeia, considerando uma correlação de 0.97 entre θ 1 e θ 2. Como as variáveis são altamente correlacionadas o algoritmo irá percorrer lentamente o espaço paramétrico. Uma alternativa para melhorar o desempenho é trabalhar com reparametrizações (transformações de variáveis)

5 Trajetórias do GS de uma normal bivariada

6 Melhorando o desempenho dos algoritmos MCCM 1. Reparametrização A escolha de uma parametrização adequado pode ser muito útil para aumentar a eficiência do algoritmo. Se o vetor de parâmetros for altamente correlacionado o algoritmo deve demorar para percorrer todo espaço paramétrico. Exemplo 2: Modelo simples de efeito aleatório. y ij = µ+α i +ɛ ij, ɛ ij N(0,σ 2 ) ind. µ média geral, n i é o tamanho da amostra do i-ésimo grupo, α i efeito aleatório associado ao i-ésimo grupo, α i N(0,τ 2 ), com j = 1,...,n i e i = 1,...,m. Usando uma distribuição a priori imprópria π(µ) C e supondo conhecidas σ 2 e τ 2 obtemos os seguintes valores para as correlações a posteriori entre os parâmetros

7 Melhorando o desempenho dos algoritmos MCCM ( ) 1/2 ( ) 1 Cor(µ,α i ) = 1+ σ2 /n i τ 2 e Cor(α i,α j ) = 1+ σ2 /n i /m τ 2 /m Reparametrização proposta: β i = µ+α i. Os novos valores de correlação a posteriori são ) 1/2 ) 1 Cor(µ,β i ) = (1+ mτ2 σ 2 e Cor(β i,β j ) = (1+ mτ2 /n i σ 2 /n i Se σ 2 /n i é muito menor que τ 2 /m essas correlações serão menores que as obtidas anteriormente (ver Gelfand, Sahu e Carlin, 1995).

8 Melhorando o desempenho dos algoritmos MCCM 2. Uso de blocos No algoritmo GS usualmente simulamos de distribuições condicionais completas unidimensionais π(θ i θ i ), i = 1,...,d. Alternativamente, podemos considerar grupos de parâmetros e particionar o vetor paramétrico em θ = (α 1,...,α k ) em que α j são vetores com alguns componentes θ, denominados blocos. O propósito deste procedimento é obter uma correlação menor entre os blocos do que entre os parâmetros originais θ i s.

9 Diagnósticos de Convergência 1. Análise gráfica Usualmente são analisados os gráficos das médias ergódicas, da(s) trajetória(s) da(s) cadeia(s) e das autocorrelações. É aconselhável o uso de um pequeno número de cadeias paralelas com diferentes pontos iniciais para verificar a convergência da média ergódica. Exemplo de gráficos das médias ergódicas:

10 Diagnósticos de Convergência Exemplo de gráficos de trajetórias das cadeias:

11 Diagnósticos de Convergência Exemplo de trajetória de cadeia M-H com baixa taxa de aceitação:

12 Diagnósticos de Convergência Exemplo comparativo de diversas proposta no M-H:

13 Diagnósticos de Convergência Exemplo de gráficos de autocorrelações:

14 Diagnósticos de Convergência 2. A estatística Z de Geweke. Geweke(1992) propõe uma análise baseado em séries temporais, considerando que t (1),...,t (n+m) definem uma série temporal. Após um período de aquecimento (m), a série é dividida em duas amostras. Uma no inicio de tamanho n b e outra no final de tamanho n a. Para cada uma dessas amostras é obtida a média amostral, t b e t a, respectivamente. A estatística é dada por Z G = t a t b Var( t ˆ a )+ Var( t ˆ b ) Z G converge para uma distribuição Normal padrão.

15 Diagnósticos de Convergência Valores grandes de Z G indicam discordância entre as amostras iniciais e finais da cadeia, indicando a falta de convergência. Os valores de variância são estimados usando densidade espectral. Sugestão para tamanho das amostras: n b = 0.1n e n a = 0.5n. 2. A estatística R de Gelman e Rubin. Considera m cadeias paralelas e utiliza idéias de análise de variância. Relaciona as variâncias entre (B) e dentro (W) das cadeias, dadas por: B = n m 1 n ( t i t) 2 e i=1 1 m(n 1) m n i=1 j=1 (t (j) i t i ) 2 onde t i é a média das observações da i-ésma cadeia e t é a média geral.

16 Diagnósticos de Convergência A variância a posteriori pode ser consistentemente estimada por ˆσ 2 = (1 1/n)W +(1/n)B. Após a convergência a variabilidade entre cadeias deve ser pequena, portanto a variância W deverá estar próxima de ˆσ 2. A estatística é dada por ˆσ 2 R = W. Valores próximos de 1 indicam convergência.

17 Software BUGS (Bayesian Using Gibbs Sampling) : Ver WinBUGS for the beginners: YouTube. Package R2WinBUGS para R. MCMC package do R Diagnóstico de convergência no R: Package BOA e CODA. JAGS (Just Another Gibbs Sampler) :