1 Método de Monte Carlo Simples

Método de Monte Carlo Simples Finalidade: obter uma estimativa para o valor esperado de uma função qualquer g da variável aleatória θ, ou seja, E[g(θ)]. Seja g(θ) uma função qualquer de θ. Suponha que quero estimar I = E[g(θ)] sendo θ um variável aleatória com f.d.p. p(θ). Note que I = E[g(θ)] = + g(θ)p(θ)dθ O método de Monte Carlo simples estima isto da seguinte forma Î = ḡ = n n g(θ i ) sendo (θ,..., θ n ) uma a.a.s. da distribuição p(θ). Portanto, os passos deste método são. Obtenho uma a.a.s. (θ,..., θ n ) da distribuição p(θ) 2. calculo g(θ ),..., g(θ n ) 3. calculo Î = ḡ = n n i= g(θ i) i= Exemplo : Suponha que quero estimar I = 3 exp( θ)dθ. Posso reescrever isto da seguinte forma I = 3 exp( θ)(3 ) dθ = E[2 exp( θ)] 3 sendo θ uma v.a. com distribuição Unif(,3). Logo, pelo método de Monte Carlo simples, estimo I da seguinte forma: obtenho uma amostra de tamanho n da distribuição Unif(,3). Para cada valor amostrado, calculo g(θ i ) = 2 exp( θ i ). Depois calculo Î = ḡ = n n i= g(θ i). Note que I = exp( 3) + exp( ) = 0, 38. teremos Î 0, 38. Logo, para n suficientemente grande,

Exemplo 2: Suponha que quero estimar I = exp( θ)dθ utilizando a distribuição Beta(4,3). 0 Posso reescrever isto da seguinte forma I = 0 exp( θ) p(θ)dθ = E p(θ) [ ] exp( θ) sendo p(θ) a f.d.p. da distribuição Beta(4,3). Logo, pelo método de Monte Carlo simples, estimo I da seguinte forma: obtenho uma amostra de tamanho n da distribuição Beta(4,3). Para cada valor amostrado, calculo g(θ i ) = exp( θ i) p(θ i ). Depois calculo Î = ḡ = n n i= g(θ i). Note que I = exp( )+exp(0) = 0, 632. Logo, para n suficientemente grande, teremos Î 0, 632. p(θ) OBS: Note que podemos estimar o valor de qualquer integral a partir deste método pois I = b a h(θ)dθ = considerando θ uma v.a. com f.d.p. p(θ). b a h(θ) p(θ) p(θ)dθ = E [ ] h(θ) p(θ) Propriedades do estimador. O estimador Î é um estimador não viesado para I pois [ ] E[Î] = E n g(θ i ) = n E[g(θ i )] iid = ne[g(θ)] = E[g(θ)] = I n n n i= i= 2. Pela Lei Forte dos Grandes Números, temos que Î q.c. I quando n for suficientemente grande. 2

3. A variância do estimador Î é τ = V ar[î] indep = n 2 n i= V ar[g(θ i )] ident.distr. = n V ar[g(θ)]. Note que um bom estimador para V ar[g(θ)] é a variância amostral n i= (g(θ i) ḡ) 2 sendo ḡ = Î. Logo, podemos estimar a variância τ usando o seguinte estimador ˆτ = n(n ) n (g(θ i ) ḡ) 2. 4. Como θ, θ 2,..., θ n é a.a.s., temos que θ i iid p(θ). Logo, temos que Y i = g(θ i ) i= é independente de Y j = g(θ j ) quando i j e temos que Y,..., Y n são v.a.s identicamente distribuídas. Portanto, pelo Teorema Central do Limite, temos que, quando o tamanho da amostra n é suficientemente grande, Î W sendo W uma variável aleatória com distribuição N (I, ˆτ). Podemos usar o resultado acima para testar a convergência: amostra de n se tivermos uma Î, a distribuição desta amostra tem que convergir para a distribuição normal quando o tamanho da amostra for suficientemente grande. Caso não convirja, pode ser que o tamanho da amostra não seja suficientemente grande. Também podemos estimar o erro deste estimador a partir da amostra: z α/2 ˆτ sendo z α/2 o quantil ( α/2) da distribuição normal padrão. Extensão para o caso multivariado Suponha que queiramos estimar E[g(θ)] sendo θ = (θ,..., θ p ). Seja p(θ) a função de densidade de probabilidade do vetor aleatório θ. Logo, I =... g(θ)p(θ)dθ... dθ p E um bom estimador para I é obtido da seguinte forma 3

. Obtenho uma a.a.s. (θ,..., θ n ) da distribuição p(θ). Note que θ i é o i-ésimo vetor de tamanho p gerado da distribuição p(θ). 2. calculo g(θ ),..., g(θ n ) 3. calculo Î = ḡ = n n i= g(θ i) Exemplo Suponha que queremos estimar I = E[θ θ 2 ] sendo θ = (θ, θ 2 ) um vetor aleatório com distribuição normal bivariada com vetor de médias repleto de zeros, variâncias iguais a e correlação igual a 0,5. Então podemos obter uma a.a.s. da distribuição N 2 0, 0, 5. Calculamos então g(θ i ) = θ i θ 2i e depois calculamos 0 0, 5 Î = ḡ. Note que cov(θ, θ 2 ) = 0, 5 = E[θ θ 2 ] E[θ ] E[θ 2 ] = E[θ θ 2 ]. Logo, Î tem que convergir para 0,5. Código do R: ite = 000 for(j in :ite) { n = 000 theta = matrix(na,n,2) for(i in :n) { theta[i,] = mvrnorm(,rep(0,2),matrix(c(,0.5,0.5,),2,2)) g[i] = theta[i,]*theta[i,2]} I[j] = mean(g) } } 4

mean(i) var(i) OBS : Note que se quisermos calcular a probabilidade de θ < usando o exemplo acima, podemos gerar n valores da distribuição normal bivariada e calcular quantos destes valores tiveram θ <. OBS 2: Note que se quisermos calcular P r(θ < θ 2 < ) usando o exemplo acima, podemos gerar n valores da distribuição normal bivariada, selecionar somente os pontos nos quais θ 2 < e calcular quantos pontos selecionados tiveram θ <. 2 Método de Monte Carlo via cadeias de Markov (MCMC) Antes de falarmos sobre este método, vamos fazer uma breve introdução sobre cadeias de Markov. Dizemos que temos uma cadeia de Markov de primeira ordem quando tivermos uma série X 0, X,..., X t satisfazendo a seguinte condição P r(x t X 0, X,..., X t ) = P r(x t X t ). Os métodos MCMC requerem ainda que a cadeia seja. homogênea As probabilidades de transição de um estado para outro são invariantes. Para explicar isto, considere que X t = s sendo s {0,..., S}. Costuma-se dizer que a variável aleatória X t está no estado s no tempo t. A probabilidade desta variável mudar para o estado k no tempo t + não pode depender de t se a cadeia for homogênea. 5

2. irredutível Cada estado pode ser atingido a partir de qualquer outro em um número finito de iterações. 3. aperiódica Não haja estado absorvente. Dizemos que temos um estado absorvente se quando a variável aleatória entrar neste estado, ela permanecer nele com probabilidade. Suponha que uma distribuição π(x), x R d seja conhecida a menos de uma constante multiplicativa porém complexa o bastante para não ser possível obter uma amostra diretamente. Dada as realizações {X (t), t = 0,,...} de uma cadeia de Markov com (t) t distribuição de equilíbro π, temos que X π(x) e n g(x(t) i ) t E π (g(x)) q.c.. Um algoritmo Monte Carlo via cadeias de Markov para simular uma amostra de uma distribuição p( ) é qualquer método que produza uma cadeia de Markov homogênea, ergódica e irredutível cuja distribuição estacionária seja p( ). Uma cadeia é ergódica quando ela é aperiódica e recorrente positiva. Uma cadeia é recorrente positiva quando o número médio de passos até que a cadeia retorne a qualquer estado é finito. 2. Amostrador de Gibbs O algoritmo amostrador de Gibbs foi proposto por Geman e Geman (984) e introduzido a comunidade estatística por Gelfand e Smith (990). Usa-se este algoritmo quando amostrar de uma dada distribuição é custoso, complicado ou quando não tem como amostrar diretamente da distribuição. Seja p(θ) a distribuição que tem-se o interesse de amostrar onde θ = (θ,..., θ d ). Cada um dos componentes pode ser um escalar, um vetor ou uma matriz. Seja θ l composto por todos os elementos de θ exceto pelo elemento θ l, l =,..., d. Sejam p l (θ l ) = p(θ l θ l ), l =,..., d as distribuições condicionais completa. Considere-nas completamente conhecidas. O amostrador de Gibbs consiste num esquema de amostragem baseado em sucessivas gerações das distribuições condicionais completas descrito abaixo: 6

. Determina-se um valor inicial arbitrário para cada θ l, l =,..., d, denotando estes valores por θ (0) = (θ (0),..., θ (0) d ); 2. Inicializa-se o contador da iteração i = ; 3. Obtem-se um novo valor θ (i) = (θ (i),..., θ (i) ) através de gerações sucessivas das distribuições θ (i) p(θ θ (i ) 2,..., θ (i ) d ), θ (i) 2 p(θ 2 θ (i), θ (i ) 3, θ (i ) 4,..., θ (i ) d ),. θ (i) d p(θ 2 θ (i),..., θ (i) d ); d 4. Altera-se o contador de i para i + ; 5. Repete-se os ítens 3 e 4 até que a convergência seja obtida. A convergência das cadeias de Markov é esperada após um período chamado de aquecimento. Para diminuir a autocorrelação dos parâmetros pode-se usar o que denomina-se de espaçamento. Sejam b a quantidade de iterações iniciais necessárias para o aquecimento e t o espaçamento. Então tem-se que as amostras θ (b), θ (b+t), θ (b+2t),... são usadas como sendo a amostra de θ da distribuição de interesse. 2.. Modelo Suponha que queiramos obter uma amostra de θ e θ 2 sabendo que θ N 2 µ, V V 2 θ 2 µ 2 V 2 V 22 sendo µ, µ 2, V, V 2, V 2, V 22 conhecidos. 7

Amostrando da distribuição exata Pode-se mostrar que, para i j, θ i θ j N(µ i + V ij V jj (θ j µ j ), V ii V 2 ijv jj ) θ j N(µ j, V jj ) Desta forma, podemos decompor a distribuição conjunta de (θ, θ 2 ) no produto de normais da seguinte forma: p(θ, θ 2 ) = p(θ θ 2 )p(θ 2 ) Logo, para obter uma amostra da conjunta, basta amostrar θ 2 da distribuição normal com média µ 2 e variância V 22 e depois amostrar θ com média µ + V 2 V 22 (θ 2 µ 2 ) e variância V V 2 2V 22. Outra forma de obter uma amostra da distribuição conjunta usando o programa R é usando a função mvrnorm do R. Para isto, tem-se que carregar o pacote MASS. Amostrando usando o MCMC Precisamos calcular as distribuições condicionais completas: θ θ 2 N(µ + V 2 V 22 (θ 2 µ 2 ), V V 2 2V 22 ) θ 2 θ N(µ 2 + V 2 V (θ µ ), V 22 V 2 2V ) Exercício: Considere µ = 2, µ 2 =, V = V 22 = e V 2 = V 2 = 0, 7. Obtenha uma amostra de (θ, θ 2 ) da distribuição exata. Depois simule usando o MCMC. 2..2 Modelo 2 Suponha que Y i seja o número de pessoas doentes no dia i. Suponha que para os dias i =, 2,..., K, consideremos que Y i iid P ois(λ) e que para os dias i = K +,..., n, 8

consideremos que Y i iid P ois(φ). Ou seja, estamos considerando que para os K primeiros dias, em média, λ pessoas ficam doentes e para os (n K) dias seguintes, esta média muda para φ pessoas. Suponha que λ, φ, K sejam desconhecidos. Com uma amostra y = y,..., y n, como podemos estimar o valor de K, λ, φ? A distribuição das observações condicionada nos parâmetros é p(y,..., y n λ, φ, K) = p(y,..., y k λ, K)p(y k+,..., y n φ, K) = n i= y λ K exp( λk)φ n i=k+ y i exp( φ(n K)) i Para usar a inferência bayesiana, precisamos atribuir uma distribuição a priori para (K, λ, φ). Considere a priori que estes parâmetros sejam independentes e que λ G(a 2, b 2 ), φ G(a, b ) e que K UnifDisc{,..., n}. Portanto a distribuição conjunta de (K, λ, φ) a posteriori é proporcional a p(λ, φ, K y,..., y n ) p(y,..., y n λ, φ, K)p(λ, φ, K) λ K exp( λk)φ n i=k+ y i exp( φ(n K)) λ a 2 exp( b 2 λ)φ a exp( b φ) () Se a função acima pudesse ser reescrita como sendo o produto de distribuições conhecidas, eu saberia amostrar da distribuição acima. Porém não consigo isto e, por isso, recorrerei aos métodos de Monte Carlo via cadeias de MarKov para obter uma amostra da distribuição acima. Usarei o Amostrador de Gibbs para isto. Logo, preciso calcular as distribuições condicionais completas a posteriori: 9

p(λ φ, K, y,..., y n ) λ K exp( λk)λ a 2 exp( b 2 λ) λ a 2+ K i= yi exp( λ(k + b 2 )) K λ φ, K, y,..., y n G(a 2 + y i, K + b 2 ) p(φ λ, K, y,..., y n ) φ n i=k+ y i exp( φ(n K))φ a exp( b φ) i= p(k λ, φ, y,..., y n ) i=k+ yi exp( φ(b + n K)) n φ λ, K, y,..., y n G(a + y i, n K + b ) φ a + n i=k+ λ K exp( λk)φ n i=k+ y i exp( φ(n K)) se K =, 2,..., n λ K exp( λk) se K = n e então K λ, φ, y,..., y n tem distribuição discreta com probabilidade P r(k = j) sendo cλ l exp( λl)φ n i=l+ y i exp( φ(n l)) se l =,..., n P r(k = l) = cλ l exp( λl) se l = n sendo c uma constante. Para calcular o valor de c, considere que q l seja igual a λ l exp( λl)φ n i=l+ y i exp( φ(n l)) se l =,..., n q l = λ l exp( λl) se l = n e então c = q + q 2 +... + q n. Logo, para obter uma amostra da distribuição dada pela equação, faremos os seguintes passos:. Inicializo θ () fazendo λ = 3, φ = 2 e k = 4 n, por exemplo. 2. Faço j = 2. 3. Gero λ (j) G(a 2 + K (j ) i= y i, K (j ) + b 2 ). 4. Gero φ (j) G(a + n i=k (j ) + y i, n K (j ) + b ). 0

5. Calculo as probabilidades p l = P r(k = l) para l =, 2,..., n. 6. Gero K (j) da distribuição discreta com probabilidade p,..., p n. 7. Faço j = j + e repito os 4 últimos passos anteriores até obter convergência. Para calcular as probabilidades p l = P r(k = l) para l =, 2,..., n, quando n for grande, teremos que calcular q l e podemos ter que esta medida assume valores muito altos ou baixos, ocasionando em problemas numéricos. seguinte artifício: P r(k = l) = Sendo assim, podemos usar o q l q + q 2 +..., q n = exp (log(q l ) log(q + q 2 +..., q n )) e para calcular log(q + q 2 +..., q n ) podemos fazer o seguinte q = q + q 2 log(q) = log(q + q 2 ) = log(q ) + log ( + q 2 /q ) = log(q ) + log ( + exp(log(q 2 ) log(q ))) Inicializo o contador l = 3 e considero q = l i= q l. Desta forma, tenho que log(q + q l ) = log(q) + log ( + exp(log(q l ) log(q))) Faço l = l + e repito a equação anterior até obter log(q + q 2 +..., q n ). Depois faço p K = P r(k = l) = exp {log(q l ) log(q + q 2 +... + q n )}. 2.2 Algoritmo de Metropolis-Hastings Este algoritmo foi proposto por Metropolis e outros (953) e Hastings (970). Seja p(φ) a distribuição que tem-se o interesse de amostrar. Assim como o amostrador de Gibbs, o algoritmo Metropolis-Hastings gera uma sequência { φ (0), φ (),... }, a partir de uma cadeia de Markov, cuja distribuição limite é p(φ). Usualmente, quando não sabese gerar da distribuição condicional completa, recorre-se a este algoritmo. Ele pode ser descrito pelos seguintes passos:

. Determina-se um valor inicial arbitrário para φ denotando este valor por φ (0) ; 2. Inicializa-se o contador de iteração i = ; 3. Gera-se ξ q(ξ φ (i ) ) de uma distribuição conhecida, chamada de distribuição proposta ou de função de densidade de transição, pois é a função de densidade de probabilidade { de mover de φ (i ) } para ξ. Aceita-se o ponto gerado com probabilidade p(ξ) q(φ (i ) ξ) min,, onde p( ) é a distribuição de interesse; Se o ponto q(ξ φ (i ) ) p(φ (i ) ) for aceito, φ (i) = ξ, caso contrário, φ (i) = φ (i ) e a cadeia não se move. 4. Altera-se o contador de i para i + ; 5. Repete-se os ítens 3 e 4 até que a convergência seja obtida. A desvantagem deste algoritmo é que dependendo da escolha da distribuição proposta o número de rejeições pode ser muito alto comprometendo a eficiência do algoritmo. Baseado em?,? descreve um algoritmo para sintonizar a variância de um determinado parâmetro garantindo que a taxa de aceitação fique em torno de 44%. Suponha que τ 2 seja a variância da distribuição proposta, q(ξ φ (i ) ), para um dado parâmetro φ. passos para sintonizar a variância são:. Gera-se um valor inicial para a variância proposta e denomina-se este valor de (τ 2 ) (0). 2. Inicializa-se o contador de ciclos, n = 0. Executa-se L iterações usando (τ 2 ) (n) como a variância proposta. 3. Se a taxa de aceitação de φ for maior que 0,44, faz-se log [ (τ 2 ) (n+)] = log [ (τ 2 ) (n)] + δ(n + ) e, se for menor, faz-se log [ (τ 2 ) (n+)] = log [ (τ 2 ) (n)] δ(n + ), onde δ(n + ) = min (0, 0; (n + ) /2 ). 4. Incrementa-se o contador de k para k + e repete-se os passos 2 e 3 até obter convergência. Os 2

5. A convergência é esperada após um período chamado de aquecimento. Calcula-se a N c média das variâncias propostas, isto é, τ 2 = (τ 2 ) (n), onde N c é o número total de ciclos e b o número de iterações necessárias para o aquecimento. Executa-se o MCMC novamente usando τ 2 como a variância da distribuição proposta. n=b 2.2. Modelo 3 Em uma certa população de animais sabe-se que cada animal pode pertencer a uma dentre 4 linhagens genéticas com probabilidades p = 2 + θ 4, p 2 = p 3 = θ 4, p 4 = θ 4, sendo 0 < θ < um parâmetro desconhecido. Note que p i > 0 para todo i =, 2, 3, 4 e que p + p 2 + p 3 + p 4 =. Observa-se n animais e anota-se a linhagem deste animal. Seja Y um vetor com elementos Y i sendo o número de animais observados pertencentes a linhagem i. Então temos que Y Multin(n, p = (p, p 2, p 3, p 4 )). Assumindo a priori que θ Unif(0, ) temos que a distribuição a posteriori de θ é proporcional a π(θ) = p(θ y, y 2, y 3, y 4 ) p(y, y 2, y 3, y 4 θ)p(θ) ( 2 + θ ) y ( ) y2 +y θ 3 ( θ 4 4 4 (2 + θ) y ( θ) y 2+y 3 θ y 4 Como a distribuição acima é desconhecida, podemos obter uma amostra desta distribuição usando o Metropolis-Hastings. Portanto, precisamos escolher uma distribuição proposta q(ɛ θ (j ) ), sendo θ (j ) o valor amostrado na iteração anterior. Seja ɛ Unif(0, ). Desta forma temos que a razão r = = π(ɛ) q(θ (j ) ɛ) q(ɛ θ (j ) ) π(θ (j ) ) (2 + ɛ) y ( ɛ) y 2+y 3 ɛ y 4 (2 + θ (j ) ) y ( θ (j ) ) y 2+y 3 (θ (j ) ) y 4 3 ) y4

Simule um conjunto de dados deste modelo e amostre θ usando o Metropolis-Hastings com a distribuição proposta dada acima. Você verá que a taxa de rejeição é muito grande. Neste caso, podemos alterar a distribuição proposta de forma que a taxa de rejeição diminua. 4