Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo

Transcrição

1 Geração de Números Aleatórios Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo 1 / 61

2 Simulando de Distribuições Discretas Assume-se que um gerador de números aleatórios da distribuição U(0, 1) está disponivel. Seja X uma variável aleatória discreta em {x 1,..., x k } com P(X = x i ) = p i e k p i = 1. i=1 Defina, F i = p p i, i = 1,..., k, sendo F 0 = 0, I i = (F i 1, F i ]. 2 / 61

3 Se U U(0, 1) então P(U I i ) = F i F i 1 = P(X = x i ). Portanto, gerando um valor u da distribuição U(0, 1) e verificando a qual subtintervalo I i ele pertence temos um valor simulado de X. 1. Gere um valor u da distribuição U(0, 1). 2. Para i = 1,..., k, se u Ii retorne x = x i. caso contrário faça i = i + 1 e repita. Pense sobre a (in)eficiência computacional deste algoritmo. 3 / 61

4 Exemplo. Seja uma variável aleatória X assumindo valores em {1, 2, 3, 4, 5} com probabilidades iguais a 1/5. Neste caso, F 0 = 0, F 1 = 1/5, F 2 = 2/5, F 3 = 3/5, F 4 = 4/5, F 5 = 1 e os intervalos são, I 1 = (0, 1/5], I 2 = (1/5, 2/5], I 3 = (2/5, 3/5], I 4 = (3/5, 4/5], I 5 = (4/5, 1]. 4 / 61

5 Frequencias relativas de 200 valores simulados Freq. relativas x 5 / 61

6 Frequencias relativas de 2000 valores simulados Freq. relativas x 6 / 61

7 Frequencias relativas de 2000 valores simulados da Uniforme Freq. relativas x 7 / 61

8 Distribuição Binomial Se X 1,..., X n são variáveis aleatórias independentes tais que X i Bernoulli(p) então Y = n X i Binomial(n, p). i=1 Deseja-se gerar valores para Y. 8 / 61

9 Para isso, primeiro precisamos gerar os n valores de X usando o algoritmo anterior. Os intervalos são I 1 = (0, p] e I 2 = (p, 1] portanto, 1. Simule valores u 1,..., u n U(0, 1). 2. Para i = 1,..., n, se u i (0, p] o valor simulado é x i = 1. Caso contrário, x i = Faça y = n i=1 x i. 9 / 61

10 Exemplo. Gerando m = 100 valores da distribuição binomial comparâmetros n = 20 e p = 1/2. Valores simulados e suas frequencias, y Freq / 61

11 Distribuição Geométrica Seja uma variável aleatória X com distribuição Geométrica com parâmetro p. Sua função de probabilidade é, P(X = j) = p(1 p) j 1, j = 1, 2,... X é o número de fracassos antes de ocorrer o primeiro sucesso. Para obter os intervalos precisamos calcular, i 1 F i 1 = P(X = j) = 1 P(X i) j=1 11 / 61

12 Note que, P(X i) = p(1 p) i 1 [1 + (1 p) + (1 p) ] = (1 p) i 1, e portanto, i 1 F i 1 = P(X = j) = 1 P(X j) = 1 (1 p) i 1 j=1 1. Gere um valor u da distribuição U(0, 1). 2. Retorne o valor X = i tal que, 1 (1 p) i 1 < u < 1 (1 p) i 12 / 61

13 Equivalentemente, temos que X = i se, (1 p) i < 1 u < (1 p) i 1 e como 1 U e U tem a mesma distribuição U(0, 1), X = min{i : (1 p) j < U} = min{i : i > log(u)/ log(1 p)} [ ] log(u) = 1 + log(1 p) sendo que [x] representa a parte inteira de x. 13 / 61

14 Simulando de Distribuições Continuas Método da Transformação Inversa Seja X uma variável aleatória continua com função de distribuição F X (x) = P(X x). Então, Y = F (X ) (0, 1) tem função de distribuição dada por G Y (y) = P(Y y) = P(F X (X ) y) = P(X F 1 X (y)) = F X (F 1 X (y)) = y. 14 / 61

15 Conclui-se então que G Y (y) = y e Y U(0, 1). Portanto, para gerar um valor de X podemos usar o seguinte algoritmo, 1. Gere um valor y da distribuição U(0, 1). 2. Aplique a transformação x = F 1 X (y). 3. Retorne x como um valor simulado de X. 15 / 61

16 Exemplo. Simulando valores da distribuição Exponencial. Seja X Exp(λ). Então, f (x) = λe λx, x > 0 F (x) = 1 exp( λx), x > 0 F 1 (u) = 1 log(1 u), 0 < u < 1. λ 16 / 61

17 Simulando n = 100 valores da distribuição exponencial com média 0.1 Density x 17 / 61

18 Simulando n = 100 valores da distribuição exponencial com média 10 Density x 18 / 61

19 Exemplo. Simulando valores da distribuição de Gumbel. Seja X uma variável aleatória com distribuição Gumbel com locação µ e escala σ. Então, f (x) = 1 ( ) ( x µ { σ exp exp x µ )} σ σ F (x) = { ( exp exp x µ )} σ F 1 (u) = µ σ log( log u). 19 / 61

20 100 valores simulados da distribuição Gumbel com µ = 0 e σ = 1 Density x 20 / 61

21 Exemplo. Seja X uma variável aleatória continua com distribuição Logistica com parâmetro de locação µ e escala σ. Para simular valores de X podemos usar o método da inversão pois, e podemos verificar que, 1 e(x µ)/σ F (x) = = 1 + e (x µ)/σ 1 + e (x µ)/σ. F 1 (u) = µ + σ log ( ) u. 1 u 21 / 61

22 Exemplo. Seja X uma variável aleatória continua com distribuição Cauchy com parâmetro de locação µ e escala σ. Para simular valores de X podemos usar o método da inversão. A função de densidade é dada por, f (x) = 1 πσ ( x µ σ e sua função de distribuição acumulada e ) 2, x R. F (x) = π arctan ( x µ σ ). 22 / 61

23 O método de inversão só é realmente útil se a inversa da função de distribuição for fácil de ser obtida e calculada. Por exemplo, a função de distribuição inversa Φ 1 da distribuição normal padrão não pode ser obtida analiticamente e sua avaliação numérica é lenta. Existem métodos mais especificos e eficientes. 23 / 61

24 Métodos de Rejeição Suponha que, Sabemos gerar valores de uma variável aleatória Y com densidade g(y). Porém queremos gerar valores de X com densidade f (x). O método da rejeição consiste em, 1. Gerar um valor candidato y da distribuição g. 2. Aceitar o valor gerado com probabilidade proporcional a f (y)/g(y). 24 / 61

25 Seja c uma constante positiva tal que f (y) g(y) c y. Então, a probabilidade de aceitação é P(aceitar y) = f (y) c g(y). 25 / 61

26 Podemos usar o seguinte algoritmo para gerar valores de X, 1. Gere um valor y da distribuição g. 2. Gere u U(0, 1). 3. Se u f (y) faça x = y. c g(y) 4. Caso contrário retorne ao passo / 61

27 A probabilidade global de aceitação é, P ( U f (Y ) ) cg(y ) = = ( P U f (Y ) ) cg(y ) Y = y g(y)dy f (y) cg(y) g(y)dy = 1 c que é independente do valor simulado y. O número de candidatos propostos até a aceitação tem distribuição Geométrica com parâmetro 1/c. 27 / 61

28 A distribuição auxiliar g deve ser fácil de ser simulada. As densidades f e g devem ter o mesmo suporte, i.e. g(x) > 0 nos mesmos valores em que f (x) > 0. Pode ser necessário gerar muitos candidatos até aceitar um valor proposto. Neste caso o algoritmo será ineficiente. Quanto mais próximas forem f e g mais eficiente será o algoritmo. 28 / 61

29 Exemplo. Deseja-se gerar um valor de X cuja função de densidade é, f (x) = 20x(1 x) 3, x (0, 1). Considere o método de rejeição com g(x) = 1, x (0, 1). Qual o menor valor da constante c tal que f (y) g(y) c? ( ) d f (x) = 0 x = 1 dx g(x) 4 c = / 61

30 O algoritmo de rejeição neste exemplo fica, 1. Gere y da distribuição U(0, 1) (esta é a distribuição auxiliar). 2. Gere u da distribuição U(0, 1). 20y(1 y)3 3. Se u faça x = y, caso contrário retorne ao 135/64 passo / 61

31 Probabilidades de aceitação em uma grade de valores y {0, 1} prob y 31 / 61

32 1000 valores simulados de X cg(x) f(x) x 32 / 61

33 Exemplo. Gerar valores de X Beta(a, b) usando a distribuição U(0, 1) como auxiliar. A função de densidade de X é, f (x) = Γ(a + b) Γ(a)Γ(b) x a 1 (1 x) b 1, a > 0, b > 0, x (0, 1), a a densidade auxiliar é g(x) = 1, x (0, 1). Portanto o ponto x que maximiza f (x)/g(x) é solução de d log(f (x)) dx = a 1 x b 1 1 x = / 61

34 Resolvendo a equação obtemos, x = a 1 a + b 2, e podemos usar a seguinte constante c, c = f ((a 1)/(a + b 2)) ( ) Γ(a + b) a 1 a 1 ( b 1 = Γ(a)Γ(b) a + b 2 a + b 2 no algoritmo de rejeição. ) b 1 34 / 61

35 1. Gere y da distribuição U(0, 1) (distribuição auxiliar). 2. Gere u da distribuição U(0, 1). 3. Se u f (y) c faça x = y, caso contrário retorne ao passo / 61

36 200 valores simulados da Beta(2,2) e Beta(4,2) z z 36 / 61

37 200 valores simulados da distribuição Beta(2,4) z 37 / 61

38 200 valores simulados da distribuição Beta(0.1,0.1) z 38 / 61

39 Exemplo. Simulando um valor da distribuição normal padrão usando a distribuição Cauchy como auxiliar. f (x) = g(x) = ) 1 exp ( x2 2π 2 1 π(1 + x 2 ) Para c = 2π exp( 1/2) tem-se que f (x) c, x. g(x) 39 / 61

40 1. Gere y Cauchy 2. Calcule, 3. Gere u U(0, 1), p = f (x) cg(x) = π 2 (1 + y 2 ) exp[ (y 2 + 1)/2] 4. Se u < p aceite y como um valor simulado de X, 5. Caso contrário, retorne ao passo / 61

41 1000 valores simulados da N(0,1) cg(x) f(x) x 41 / 61

42 Simulando da Distribuição Normal Sejam X e Y independentes com distribuição normal padrão. A função de densidade conjunta então é, p(x, y) = p(x)p(y) = 1 2π exp( (x2 + y 2 )/2), x R, y R. Reescrevendo em coordenadas polares, e a transformação inversa fica, r = x 2 + y 2 θ = tan 1 (y/x) x = r cos(θ) y = r sen(θ). 42 / 61

43 A função de densidade conjunta de (R, Θ) então fica, p(r, θ) = p(x, y) (x, y) (r, θ) sendo Portanto, J = (x, y) (r, θ) = ( cos(θ) r sen(θ) sen(θ) r cos(θ) p(r, θ) = 1 2π exp( r 2 /2) r. ) 43 / 61

44 Além disso, R e Θ são independentes sendo, p(θ) = 1 2π e p(r) = r e r 2 /2 e pode-se verificar que Θ U(0, 2π) R 2 Exp(1/2) pois p(r 2 ) = 1 2 exp( r 2 /2). 44 / 61

45 Temos assim um algoritmo para simular 2 variáveis aleatórias independentes com distribuição normal padrão. 1. Gere r 2 da distribuição exponencial com média Gere θ da distribuição U(0, 2π). 3. Faça x = r cos(θ) e y = rsen(θ). Este algoritmo é chamado método de algoritmo de Box-Muller. Se quisermos simular um valor da distribuição N(µ, σ 2 ) basta usar este algoritmo e aplicar as transformações µ + σx e µ + σy. 45 / 61

46 Histograma de 200 valores simulados da distribuição normal padrão com a função de densidade superposta Density / 61

47 Histograma de 2000 valores simulados da distribuição normal padrão com a função de densidade superposta Density / 61

48 Simulando da Distribuição Qui-quadrado Se Z 1,..., Z n N(0, 1) são independentes então X = Z Z 2 n = n i=1 Z 2 i χ 2 n. e poderiamos usar o algoritmo anterior para gerar um valor de X. Porém, ( 1 i χ 2 1 ou Gama 2, 1 ) 2 ( 1 j χ 2 1 ou Gama 2, 1 ) 2 ( 1, 1 ) ou Exp 2 Z 2 Z 2 Z 2 i + Z 2 j Gama ( ) 1 2 para quaisquer i, j. 48 / 61

49 Então, para um número par de graus de liberdade n = 2k, X = (Z Z 2 2 ) + + (Z 2 2k 1 + Z 2 2k) é uma soma de k variáveis aleatórias independentes cada uma com distribuição exponencial com média 2. Portanto, ( X Gama k, 1 ) 2 ou X χ 2 2k. 49 / 61

50 Podemos usar então o seguinte algoritmo para gerar um valor de X, 1. Gere valores u 1,..., u k independentes da distribuição U(0, 1). 2. Faça y i = 2 log u i, i = 1,..., k. 3. Faça x = k i=1 y i. O valor obtido de x é um valor simulado da distribuição qui-quadrado com 2k graus de liberdade (embora tenhamos simulado somente k valores). 50 / 61

51 Para um número ímpar de graus de liberdade n = 2k + 1, 1. Gere valores u 1,..., u k independentes da distribuição U(0, 1). 2. Faça y i = 2 log u i, i = 1,..., k. 3. Gere z N(0, 1) 4. Faça x = z 2 + k i=1 y i. 51 / 61

52 Histogramas de 200 valores simulados de distribuições qui-quadrado com 4 e 7 graus de liberdade Density Density / 61

53 Gerando Vetores Aleatórios Seja X = (X 1,..., X n ) um vetor aleatório de dimensão n. Uma possivel forma de escrever sua função de densidade conjunta é, f (x) = f (x 1 )f (x 2 x 1 )f (x 3 x 2, x 1 )... f (x n x n 1,..., x 1 ) Então um algoritmo para simular um valor do vetor X é, 1. Simule um valor x 1 da distribuição de X 1, 2. Simule um valor x 2 da distribuição condicional de X 2 X 1 = x 1 3. Simule um valor x 3 da distribuição condicional de X 3 X 2 = x 2, X 1 = x Simule um valor x n da distribuição condicional de X n X n 1 = x n 1,..., X 1 = x 1 53 / 61

54 Exemplo. Deseja-se simular valores do vetor aleatório (X, Y, Z). Um possivel algoritmo é, 1. Simule um valor x da distribuição de X, 2. Simule um valor y da distribuição condicional de Y X = x 3. Simule um valor z da distribuição condicional de Z Y = y, X = x 54 / 61

55 Assume-se que sabemos simular valores das distribuições condicionais. Os componentes não precisam ser escalares, podem ser vetores ou matrizes. 55 / 61

56 Exemplo. Simulando de misturas. Seja a variável aleatória continua X com função de densidade, f (x) = k p j f j (x), j=1 sendo p j > 0 e k p j = 1. Neste caso, deve-se simular valores do vetor (X, j) sendo j o indicador de componente da mistura. j=1 56 / 61

57 Portanto, o seguinte algoritmo pode ser usado, 1. Gere j de uma distribuição discreta finita com probabilidades p j, 2. Gere x da distribuição cuja densidade é f j. 3. Retorne x como um valor simulado da mistura. 57 / 61

58 Exemplo. Deseja-se gerar valores de uma variável aleatória X cuja distribuição é uma mistura de distribuições normais. X p N(µ, τ 2 ) + (1 p)n(θ, σ 2 ) com p = 0.7, µ = 7, τ 2 = 0.5 2, θ = 10 e σ 2 = / 61

59 Histograma de 2000 valores simulados / 61

60 Exemplo. Deseja-se gerar valores de um variável aleatória continua X tal que, X Y = y N(0, 1/y) Y Gama(ν/2, ν/2). A função de densidade (marginal) de X seria obtida por integração, f (x) = 0 f (x y)f (y)dy. 60 / 61

61 Podemos simular um valor de (X, Y ) em 2 estágios e retornar somente o valor de X simulado, 1. Gere um valor y da distribuição Gama(ν/2, ν/2), 2. Gere um valor x da distribuição condicional N(0, 1/y), 3. Retorne x como um valor simulado da distribuição marginal de X. 61 / 61