Monte Carlo Hamiltoniano e Stan

Transcrição

1 Universidade Federal de Minas Gerais Instituto de Ciências Exatas Monte Carlo Hamiltoniano e Stan Ian Meneghel Danilevicz Walmir dos Reis Miranda Filho Belo Horizonte, 2018

2 Sumário 1 Introdução 2 Dinâmica Hamiltoniana e MCMC 3 Discussão 4 Implementação Computacional 5 Referências

3 Sumário 1 Introdução 2 Dinâmica Hamiltoniana e MCMC 3 Discussão 4 Implementação Computacional 5 Referências

4 Introdução O desenvolvimento de modelos com maior complexidade em Estatística Bayesiana demanda metodologias de aproximação de distribuições a posteriori cada vez mais eficientes. Uma estratégia de simulação recente consiste no Monte Carlo Hamiltoniano (em inglês, Hamiltonian Monte Carlo ou HMC), que alia componentes de passeio aleatório a processos determinísticos. Comparado a métodos MCMC tradicionais como o algoritmo de Metropolis-Hastings, o HMC é uma boa alternativa para problemas multidimensionais com alta correlação entre as variáveis.

5 Energia cinética e potencial Da Mecânica Clássica, considere o problema em que uma bola é colocada em uma rampa sem atrito e, conforme ela desce após ser solta, a energia potencial gravitacional é convertida em energia cinética até o ponto mais baixo da rampa. Quando a bola sobe o outro lado da rampa, a energia cinética é convertida de volta em energia potencial gravitacional. Como não há atrito, a soma da energia potencial com a energia cinética é constante em qualquer ponto.

6 O problema em duas dimensões Agora, considere que a bola está deslizando sobre uma superfície sem atrito e de altura variável. O estado deste sistema consiste da posição da bola, dada por um vetor q, e do seu momento (massa vezes velocidade), dado por um vetor p. A energia potencial U(q), igual a mgh, é proporcional à altura h da superfície na posição atual q. Já a energia cinética K(p) é igual a p 2 /(2m), onde m é a massa da bola. Para percursos na mesma altura, a bola se move a uma velocidade constante, igual a p/m.

7 Sumário 1 Introdução 2 Dinâmica Hamiltoniana e MCMC 3 Discussão 4 Implementação Computacional 5 Referências

8 Equações Hamiltonianas Segundo NEAL (2011), a dinâmica hamiltoniana opera sobre dois vetores d-dimensionais q (para a posição) e p (para o momento). Desta forma, o espaço de estados do sistema possui dimensão 2d. Podemos descrevê-lo como uma função de q e p, denotada Hamiltoniano H(q, p) = U(q) + K(p). No contexto dos métodos MCMC, a posição corresponderá às variáveis de interesse para a simulação e, para cada uma delas, será introduzida uma variável de momento.

9 Dinâmica Hamiltoniana e MCMC A energia potencial é dada pelo logaritmo da densidade conjunta das variáveis de interesse mais uma constante conveniente. A energia cinética, reescrita como K(p) = p T M 1 p/2, corresponde ao negativo do logaritmo da densidade (mais uma constante) conjunta para uma normal multivariada com vetor de médias nulo e matriz de covariâncias M. Esta interpretação nos ajudará a entender a dinâmica hamiltoniana como um resultado de um conjunto de equações diferenciais.

10 Equações Hamiltonianas Para este sistema, temos as seguintes equações de conservação da energia. Definição As derivadas parciais do Hamiltoniano determinam como p e q se comportam ao longo do tempo t, para i = 1,..., d dq i dt dp i dt = H p i = H q i

11 Equações Hamiltonianas Podemos combinar os vetores q e p como z = (q, p), de dimensão 2d, e reescrever as derivadas hamiltonianas como dz dt = J H(z) onde H é o gradiente de H(q, p), i. e., [ H] k = H/ z k e J é uma matriz bloco-diagonal 2d 2d tal que [ ] 0d d I J = d d I d d 0 d d Substituindo pelas expressões das energias potencial e cinética do sistema, temos que dq i dt = [M 1 p] i, dq i dt = U q i

12 Reversibilidade; Invariância; Conservação de Volume. Propriedades Hamiltonianas

13 Reversibilidade A dinâmica hamiltoniana é reversível no sentido em que um mapeamento T s do estado (q(t), p(t)) no tempo t para o estado (q(t + s), p(t + s)) é 1:1 e possui um mapeamento inverso T s. Neste caso, temos uma bijeção. A reversibilidade da dinâmica hamiltoniana é necessária para manter a estacionariedade da cadeia a cada atualização MCMC.

14 Invariância A dinâmica hamiltoniana é também invariante no sentido em que conserva a energia total do sistema, pois dh dt = d i=1 [ dqi dt H + dp i q i dt ] [ H H H = H ] H = 0 p i p i q i q i p i Para atualizações nos métodos MCMC usando uma distribuição proposta encontrada pela dinâmica hamiltoniana, a probabilidade de aceitação é igual a 1 se H é mantida invariante.

15 Conservação de Volume A dinâmica hamiltoniana conserva volume no sentido em que, dado um mapeamento T s sobre os pontos de uma região R do espaço (q, p) com volume V, a imagem de R sob T s também terá volume V. Para justificar esta propriedade, basta notar que a divergência do campo vetorial definido pelas derivadas hamiltonianas é zero (AR- NOLD, 1989): d [ 2 ] H 2 H = 0 p i q i q i p i i=1 Nas aplicações em métodos MCMC, isto significa que não há qualquer variação no volume para a probabilidade de aceitação a cada atualização, desde que p e q sejam independentes.

16 Discretização - Método de Euler Originalmente, as equações hamiltonianas trabalham no tempo contínuo. Para implementação computacional, contudo, precisamos discretizá-lo em intervalos de tamanho ε. Por simplicidade, suponha que M = diag{m 1,..., m d }, de modo que K(p) = d i=1 p 2 i /(2m i). Uma primeira aproximação para a solução de um sistema de equações diferenciais é o famoso método de Euler. Na dinâmica hamiltoniana, o método realiza os seguintes passos, para cada componente de posição e momento, i = 1,..., d p i (t + ε) = p i (t) + ε dp i dt (t) = p i(t) ε U q i [q(t)] q i (t + ε) = q i (t) + ε dq i dt (t) = q i(t) + ε p i(t) m i

17 Discretização - Método de Euler Contudo, o método de Euler produz uma trajetória que diverge para o infinito. NEAL (2011) considera o caso de uma trajetória circular em que q(0) = 0, p(0) = 1 e ε = 0.3 para um total de 20 passos. Resultados melhores e com convergência garantida podem ser obtidos modificando uma das equações do Método de Euler p i (t + ε) = p i (t) ε U q i [q(t)] q i (t + ε) = q i (t) + ε p i(t + ε) m i

18 Figura 1: Métodos de Euler e Euler Modificado (NEAL, 2011)

19 Discretização - Leapfrog Resultados ainda melhores podem ser obtidos pela composição de Leapfrogs com tamanho de passo L ε, onde L é o número de Leapfrogs e ε é o tamanho do passo. Se L = 2, as equações de atualização discretizadas por Leapfrogs são dadas por p i (t + ε/2) = p i (t) (ε/2) U q i [q(t)] q i (t + ε) = q i (t) + ε p i(t + ε/2) m i p i (t + ε) = p i (t + ε/2) + (ε/2) U q i [q(t + ε)]

20 Figura 2: Método Leapfrog com diferentes valores de ε (NEAL, 2011)

21 Monte Carlo Hamiltoniano Compreendida a dinâmica hamiltoniana e sua adaptação para o caso discreto, podemos construir o algoritmo HMC. Observe que podemos amostrar somente de distribuições contínuas em R d para as quais a densidade pode ser avaliada. Além disso, as derivadas parciais do logaritmo da função densidade devem existir, exceto (talvez) para um conjunto de pontos com probabilidade zero.

22 Monte Carlo Hamiltoniano Sejam E(x) a energia do estado x; z uma constante normalizadora; T a temperatura do sistema e f (x) a densidade de x, logo f (x) = 1 z exp{ E(x)/T} Se T = 1, então E(x) = log f (x) log z e f (p, q) = 1 z exp{ H(p, q)} = 1 exp{ U(q)} exp{ K(p)} z No contexto MCMC, estabelecemos para as variáveis de interesse a energia potencial U(q) = log[f (θ) L(θ y)]. Por sua vez, as variáveis de momento (artificiais) são simuladas de tal forma que K(p) = N d (0, M).

23 Monte Carlo Hamiltoniano Pela independência de K(p) e U(q), podemos gerar H(p, q ), mesmo que nosso interesse se restrinja a U(q). Alteramos então a razão r do algoritmo de Metropolis-Hastings para r = min(1, exp{ H(p, q ) + H(p, q)}), onde p e q ) são propostas para a nova iteração da cadeia de Markov.

24 Monte Carlo Hamiltoniano Com isso, temos o seguinte algoritmo a cada passo de um método MCMC φ (t) N d (0, V) φ (t+ε/2) = φ (t) ε 2 U(θ(t) ) θ (t+ε) = θ (t) + ε(φ (t+varɛ/2) V 1 ) φ (t+3ε/2) = φ (t+ε/2) (θ (t+ε) ) θ (t+2ε) = θ (t+ε) + ε(φ (t+3ε/2) V 1 ) φ (t+2ε) = φ (t+3ε/2) ε 2 U(θ(t+2ε) ). (1a) (1b) (1c) (1d) (1e) (1f)

25 Ergodicidade Tipicamente, o HMC é ergódico: o algoritmo não fica preso em nenhum subconjunto do espaço de estados do sistema. Dessa forma, converge para a distribuição invariante. A cada iteração do HMC, qualquer valor pode ser amostrado para as variáveis (artificais) de momento, as quais afetam as variáveis (de interesse) de posição. Contudo, o método de Leapfrog pode cair em uma periodicidade se o produto L ε for muito próximo da solução exata. Assim, devemos ter especial atenção com a escolha dos valores de L e ε. Em problemas reais, as interações entre variáveis geralmente previnem qualquer periodicidade exata, mas uma quase-periodicidade pode reduzir consideravalmente a velocidade do algoritmo.

26 Parâmetros de ajuste O HMC possui diversas variantes, mas sempre temos ao menos 3 hiperparâmetros ou variáveis de sintonização (tuning). 1 número L de leapfrogs; 2 comprimento ε do tamanho do passo; 3 distribuição de f i ou φ i. Uma forma automática de lidar com isso, consiste em adotar o algoritmo No-U-Turn (NUTS) Sampler (HOFFMAN; GELMAN, 2014).

27 NUTS: L A ideia é dobrar L até que não haja mais melhora relevante entre o valor inicial de θ e a proposta θ. O critério usa a derivada com relação a meia distância quadrada: [ (θ θ) (θ ] θ) t 2

28 NUTS: ε Para definir o comprimento de ε, durante o warm up será checado se a probabilidade de aceitação está suficientemente alta (maior do que 0.5). Caso contrário, o algoritmo diminui o tamanho do step size na próxima iteração (NESTEROV, 2009), (HOFFMAN; GELMAN, 2014). { ε t = ε t 1 se r t 1 } 0.5 ε t = ε t 1 /2 c.c.

29 NUTS: φ A distribuição de φ é considerada pouco relevante, (Stan Development Team, 2016). Portanto uma normal é o suficiente. φ N d (0, V), ou até mesmo φ N d (0, σ 2 I d ).

30 Sumário 1 Introdução 2 Dinâmica Hamiltoniana e MCMC 3 Discussão 4 Implementação Computacional 5 Referências

31 Discussão Vantagens do HMC: 1 Velocidade de convergência; 2 Iterações quase sem autocorrelação. Desvantagens do HMC: 1 Necessidade de calcular gradientes; 2 Ajustar hiperparâmetros; 3 Computação mais pesada.

32 Sumário 1 Introdução 2 Dinâmica Hamiltoniana e MCMC 3 Discussão 4 Implementação Computacional 5 Referências

33 Implementação Computacional Há uma nova linguagem disponível: Stan, (Stan Development Team, 2016). Stan link

34 Stan Vantagens do Stan: 1 Linguagem nova; 2 Calcula o Gradiente numérico; 3 Software livre. Desvantagens do Stan: 1 Linguagem nova; 2 Poucos fóruns; 3 Manual com poucos exemplos; 4 Suporte técnico é voluntário.

35 6 Blocos Um modelo Stan é composto por 6 blocos, são eles: 1 data; 2 transformed data; 3 parameters (obrigatório); 4 transformed parameters; 5 model (obrigatório); 6 generated quantities.

36 Custos de cada bloco

37 Modelo 1 - Normal Começamos com um modelo bem simples como o um vetor de observações normais com média e variância desconhecidas e as quais desejamos estimar. Sejam y i variáveis aleatórias tais que: y i N(µ, σ 2 ).

38 model1 = " data { int n ; real y [ n ]; } parameters { real mu ; real < lower =0 > sigma ; } model { y ~ normal ( mu, sigma ) ; sigma ~ cauchy (0, 2.5) ; }"

39 Modelo 1 - Normal Autocorrelation mu sigma Chain Lag Figura 3: Autocorrelação

40 Modelo 1 - Normal mu density sigma Chain value Figura 4: Densidade

41 Figura 5: Gráfico de traço Modelo 1 - Normal

42 Modelo 2 - Regressão Linear Nosso segundo modelo será uma regressão linear com duas variáveis preditoras e priori Cauchy. y i = β 0 + β 1 X 1,i + β 2 X 2,i + ɛ i.

43 model2 = " data { int n ; vector [n] x1 ; vector [n] x2 ; real y[n]; } parameters { real beta0; real beta1; real beta2; real <lower = 0> sigma; } model { y ~ normal (beta0 + beta1 * x1 + beta2 * x2, sigma ) ; sigma ~ cauchy (0, 2.5) ; }"

44 Modelo 2 - Regressão Linear Autocorrelation Lag beta0 beta1 beta2 sigma Chain 1 2 Figura 6: Autocorrelação

45 Modelo 2 - Regressão Linear density beta beta beta sigma value Chain 1 2 Figura 7: Densidade

46 Modelo 2 - Regressão Linear Figura 8: Gráfico de traço

47 Modelo 3 - Regressão Logística Nosso terceiro modelo será uma regressão logística com uma única variável preditora. E(y i ) = g 1 (β 0 + β 1 X 1,i ) Sendo g 1 a função de ligação logística.

48 model3 = " data{ int n; int y[n]; vector[n] x; } parameters{ real beta0; real beta1; } transformed parameters { real <lower = 0, upper = 1> mu[n]; for(i in 1:n) mu [i] <- inv_logit( beta0 + beta1 * x[i]); } model { y ~ bernoulli ( mu ) ; } "

49 Modelo 3 - Regressão Logística Autocorrelation beta0 beta1 Chain Lag Figura 9: Autocorrelação

50 Modelo 3 - Regressão Logística beta density beta1 Chain value Figura 10: Densidade

51 Modelo 3 - Regressão Logística Figura 11: Gráfico de traço

52 Modelo 4 - AR(p) Nosso quarto modelo será uma série temporal autoregressiva. y t = µ + p (φ i y t i ) + ɛ t. i=1

53 model4 = " data { int<lower=0> p; int<lower=0> N; real y[n]; } parameters { real mu; real phi[p]; real sigma; } model { for (n in (p+1):n) { real mi; mi = mu; for (p in 1:p) mi = mi + phi[p] * y[n-p]; y[n] ~ normal(mi, sigma); } }"

54 Modelo 4 - AR(p) Autocorrelation Lag beta[1] beta[2] beta[3] beta[4] Chain 1 2 Figura 12: Autocorrelação

55 Modelo 4 - AR(p) beta[1] density beta[2] beta[3] Chain beta[4] value Figura 13: Densidade

56 Figura 14: Gráfico de traço Modelo 4 - AR(p)

57 Sumário 1 Introdução 2 Dinâmica Hamiltoniana e MCMC 3 Discussão 4 Implementação Computacional 5 Referências

58 Referências ARNOLD, V. I. Mathematical Methods of Classical Mechanics. New York: Springer, HOFFMAN, M. D.; GELMAN, A. The no-u-turn sampler: Adaptively setting path lengths in hamiltonian monte carlo. Journal of Machine Learning Research, v. 15, p , NEAL, R. M. MCMC using Hamiltonian dynamics. In: Handbook of Markov chain Monte Carlo. [S.l.]: Boca Raton: Chapman and Hall-CRC Press, p NESTEROV, Y. Primal-dual subgradient methods for convex problems. Mathematical Programming, v. 120, n. 1, p , Stan Development Team. Stan Modeling Language Users Guide and Reference Manual Version Disponível em: <