AGA Análise de Dados em Astronomia I. O método de Monte Carlo

Transcrição

1 1 / 16 AGA Análise de Dados em Astronomia I O método de Monte Carlo Laerte Sodré Jr. 1o. semestre, 2018

2 2 / 16 breve história método de resolução de problemas baseado em amostragem aleatória de distribuições de probabilidades inventado por Stanislaw Ulam, John von Neuman e Nicholas Metropolis durante o projeto Manhattan Ulam (um dos que desenharam a bomba de hidrogênio) bolou o método em 1946, pensando nas probabilidades de se ganhar um jogo de cartas de paciência Metropolis é o responsável pelo nome Monte Carlo aplicações: integração numérica otimização simulação de sistemas complexos...

3 3 / 16 princípios objetivo: dada uma distribuição de probabilidades P(x), gerar N valores {x i } distribuídos como P(x) vamos supor que saibamos produzir uma sequência de números aleatórios uniformemente distribuídos entre 0 e 1 isso não é fácil: os números gerados pelos geradores de números aleatórios são pseudo- aleatórios seja γ um número gerado uniformemente entre 0 e 1 vamos supor que o número de pontos gerados entre γ e γ + dγ seja igual a P(x)dx nesse caso, dγ = P(x)dx e x γ = P(x )dx = F(x) assim, dado um γ i, encontra-se x i resolvendo-se a equação acima para a distribuição cumulativa de probabilidades F(x) repete-se este procedimento N vezes para se obter a amostra desejada

4 4 / 16 exemplo: distribuição exponencial produção de uma amostra {x i } com P(x) = e x (x > 0) princípio do MC: x γ = P(x )dx = F(x) para a distribuição exponencial: x γ = e x dx = 1 e x 0 logo x = ln(1 γ) assim, dado um conjunto de N números γ i gerados uniformemente entre 0 e 1, calcula-se x i = ln(1 γ i )

5 5 / 16 exemplo: meu universo simulação de um universo newtoniano simples: esférico, cartesiano, uniformemente povoado por galáxias objetivo: produzir um catálogo com as posições de N galáxias dentro de um raio R o melhor é fazer a simulação em coordenadas esféricas (r, θ, φ) e daí obter (x, y, z): x = r sen(θ) cos(φ) y = r sen(θ) sen(φ) z = r cos(θ) com 0 r R 0 θ π 0 φ 2π

6 6 / 16 meu universo parâmetros: N galáxias dentro de um raio R densidade media n = 3N/(4πR 3 ) simulação das coordenadas esféricas (r, θ, φ): para cada galáxia geramos 3 números aleatórios uniformemente distribuídos entre 0 e 1: γ r,i, γ θ,i, γ φ,i para θ e φ podemos assumir distribuições uniformes: θ i = πγ θ,i φ i = 2πγ φ,i P(r)dr: probabilidade de se encontrar uma galáxia entre r e r + dr logo, e P(r)dr n4πr 2 dr P(r) r 2 r γ r = P(r )dr ( r ) 3 = 0 R r i = Rγ 1/3 r,i

7 7 / 16 meu universo

8 colonização da galáxia modelo de expansão da humanidade pela Via Láctea: passeio aleatório (random walk) discreto no plano (x,y) vamos supor que as estrelas estejam distribuídas uniformemente, formando uma malha uniforme (x,y) de intervalo 1 pc uma nave só pode executar 4 movimentos: 1) dx=1 2) dx=-1 3) dy=1 4) dy=-1 o tempo para viajar de um ponto a outro (1 passo temporal) é de 100 anos (v 0.032c) qual é a distancia média à origem percorrida por uma nave em anos? anos corresponde a N p =1000 movimentos (passos) o random walk no plano obedece à distribuição de Rayleigh para essa distribuição: P(x) = 2x N p exp( x 2 /N p) d = N 1/2 p = 31.6 as figuras ao lado mostram o resultado de 1000 simulações (media: 27.7) 8 / 16

9 9 / 16 integração por Monte Carlo MC oferece uma forma simples para se integrar uma função positiva f (x): b I = f (x)dx f (x) > 0 a o método da rejeição : vamos supor que a função f (x) possa ser coberta por uma função mais simples g(x) (isto é 0 f (x) g(x)), de área A no intervalo de integração por exemplo, g(x) = f max = const, A = (b a)f max algoritmo: N ac = 0 integral: repita N vezes os passos: gere aleatoriamente um x i entre a e b gere um número aleatório γ i uniformemente distribuído entre 0 e g(x i ) se f (x i ) γ i aceita-se x i ; se não, rejeita-se se x i foi aceito: N ac = N ac + 1 I = Nac N A

10 10 / 16 cálculo de π por MC a área de um quarto de círculo unitário é π/4 podemos calcular π com o método da rejeição calculando a área de um quarto de círculo com o algoritmo (a = 0, b = 0, f max = 1) N ac = 0 repita N vezes os passos: gere aleatoriamente um x i e um y i entre 0 e 1 calcule d = x 2 i + y 2 i se d 1 aceita-se o ponto i; se não, rejeita-se se i foi aceito: N ac = N ac + 1 valor estimado de π: ˆπ = 4 Nac N = (nesta simulação, com 1000 pontos)

11 11 / 16 variância nas estimativas por MC note que a variância nos métodos de MC cai com 1/N como o desvio padrão σ é a raiz quadrada da variância, para reduzir σ por um fator 2 deve-se multiplicar o número de simulações por um fator 4

12 12 / 16 teste de hipótese com MC temos duas amostras independentes, x 1,..., x m e y 1,..., y n, com dimensão m e n, respectivamente, extraídas de uma distribuição normal de mesma media e variância exemplo: N=M=10 (Jim Albert - Bayesian Computation with R): distribuições X e Y obtidas com rnorm(10,mean=50,sd=10) amostra X: amostra Y: neste caso a diferença entre as médias é queremos testar a hipótese de que ambas as populações tenham a mesma média: hipótese H0: X = Ȳ solução por MC: fazemos N simulações de amostras com rnorm(10,mean=50,sd=10) e vemos a frequência com que se obtém um valor igual ou maior que essa diferença esse é o p-value

13 13 / 16 teste de hipótese com MC os testes de hipótese clássicos funcionam estabelecendo-se um nível de significância α que estabelece o preço que se quer pagar para se rejeitar H0 dado um certo valor da diferença das médias por exemplo, se α = rejeitamos H0 se esta diferença aparecer em menos de 5% dos casos da distribuição uma simulação com os dados acima mostra que a diferença observada ocorre com probabilidade por muito pouco H0 não seria rejeitada neste caso! o exemplo acima envolve o one-side test: testamos a probabilidade da média de X-Y, onde o sinal da diferença é importante podemos estar interessados no two-side test: a probabilidade da média de X-Y, onde o sinal da diferença não é importante para uma distribuição simétrica, o p-value do segundo caso é o dobro daquele do primeiro caso

14 14 / 16 teste de hipótese com MC temos duas amostras independentes, x 1,..., x m e y 1,..., y n, com dimensões m e n, respectivamente, extraídas de uma distribuição normal de mesma media e variância queremos testar a hipótese H0: X = Ȳ a solução geral para nosso problema é a estatística t de Student Student era o pseudônimo de William Sealy Gosset, um químico trabalhando para a cervejaria Guinness na Irlanda ele desenvolveu a estatística t para monitorar a qualidade do stout! a estatística t pode ser definida como onde x ȳ T = s p 1/m + 1/n s p = (m 1)σ2 x + (n 1)σ2 y m + n 2 é o desvio padrão agrupado (pooled standard deviation) sob H0 a estatística T tem uma distribuição t com m + n 2 graus de liberdade se as amostras X e Y são independentes e oriundas de uma distribuição de mesma variância (σ x = σ y) dado o nível de significância α rejeitamos H0 se (two-side test) T t n+m 2,α/2 onde t df,α é o quantil (1 α) da distribuição t com df graus de liberdade

15 15 / 16 teste de hipótese com MC muitas vezes se usa o teste t quando a rigor não se deveria: variâncias diferentes ou distribuições não gaussianas como isso impacta o resultado do teste? vamos responder com MC (10000 simulações em cada caso, n=m=10): vamos calcular a estatística t e comparar com o valor input de α = 0.1 caso 1: duas gaussianas de mesma média e variância α MC = 0.1 x=rnorm(m,mean=0,sd=1) y=rnorm(n,mean=0,sd=1) caso 2: gaussianas de larguras diferentes: α MC = x=rnorm(m,mean=0,sd=1) y=rnorm(n,mean=0,sd=10) caso 3: duas populações exponenciais: α MC = x=rexp(m,rate=1) y=rexp(n,rate=1) caso 4: distribuições t com 4 graus de liberdade e mesmas larguras: α MC = x=rt(m,df=4) y=rt(n,df=4) caso 5: uma distribuicao normal e uma exponencial: α MC = x=rnorm(m,mean=10,sd=2) y=rexp(n,rate=1/10)

16 16 / 16 Exercícios 1 Estime I = 1 0 x 3 dx via MC. Obtenha estimatimativas usando N = 1, 10, 100, 1000, simulações. Faça um gráfico log-log da variância nos valores simulados de I versus N para analisar como o erro na estimativa da integral varia com N. 2 O espectro de energia dos raios cósmicos pode ser parametrizado como n(e) = CE γ onde C é uma constante de normalização e γ 2.7 para energias entre 10 9 ev e ev. a) Determine a forma analítica da função de distribuição cumulativa, E F(E) = n(e )de E min Determine C impondo que F(E max) = 1. b) Inverta F(E) para estimar E min E E max a partir de um número entre 0 e 1. c) simule N = 10, 100, 1000, pontos com esta distribuição e calcule, para cada conjunto de N pontos, o valor médio e o desvio padrão da energia. 3 Em um observatório verifica-se uma relação entre a qualidade da noite hoje (boa, razoável, ruim) e a de amanhã, de acordo com a tabela. Faça uma simulação para estimar a fração de noites boas no longo prazo. hoje amanhã boa razoável ruim boa razoável ruim