Aumentando a Eciência de Métodos Monte Carlo: Redução de Variâncias por Condicionamento

Transcrição

1 Aumentando a Eciência de Métodos Monte Carlo: Redução de Variâncias por Condicionamento Ian Meneghel Danilevicz Walmir dos Reis Miranda Filho Métodos Computacionais Aplicados à Estatística Prof.: Cristiano de Carvalho Santos Programa de Pós-graduação em Estatística Instituto de Ciências Exatas - UFMG 25 de setembro de / 27

2 Introdução Suponha que desejamos simular valores de uma variável aleatória (v. a.) X para estimar sua esperança, isto é, θ = E(X), dado que temos informação sobre uma segunda v. a. Y. Suponha também que sabemos como calcular E(X Y ). Esta esperança pode ser determinada através do estudo de simulação, uma vez que E [E(X Y )] = E(X) = θ (1) Temos então que E(X Y ) também é um estimador não enviesado de θ. Assim, é natural nos perguntarmos: qual é a eciência deste estimador em relação a E(X)? 2 / 27

3 Introdução Sabemos das propriedades de variância condicional que, dada a informação de Y, podemos escrever a variância de X como Var(X) = E [Var(X Y )] + Var [E(X Y )] (2) Como todos os termos à direita de (2) são não-negativos, temos que Var(X) Var [E(X Y )]. Portanto, E(X Y ) é um estimador mais eciente para θ do que E(X), o estimador original. Um caso famoso de extensão da ideia acima é o Teorema de Rao-Blackwell, em que Y é uma estatística suciente para θ e X é um estimador qualquer para uma função diferenciável g(θ). 3 / 27

4 Introdução Para entender por que E(X Y ) é superior a E(X), imagine a simulação como um processo em que primeiramente simulamos valores de Y e só após isso geramos de X. Como sabemos calcular E(X Y ) a partir da amostra para Y, a estimativa obtida desta esperança condicional, também não enviesada para θ, elimina a variância adicional envolvida na simulação direta dos valores de X. 4 / 27

5 O Método Para obter uma redução ainda maior, uma ideia natural seria combinar as técnicas vistas até aqui. Por exemplo, utilizando a variância condicional como uma variável controle temos a seguinte classe de estimadores αx + (1 α)e(x Y ) (3) Neste caso, o melhor estimador é dado por α = α tal que α = Var[E(X Y )] Cov[X, E(X Y )] Var(X) + Var[E(X Y )] 2Cov[X, E(X Y )] (4) No entanto, veremos que α = 0, ou seja, combinar X e X Y não altera a estimação de θ. Note que a variância e covariância presentes no numerador em (4) são dadas por 5 / 27

6 O Método Var[E(X Y )] = E { [E(X Y )] 2} {E [E(X Y )]} 2 = E { [E(X Y )] 2} [E(X)] 2 Cov[X, E(X Y )] = E[X E(X Y )] E(X) E[E(X Y )] = E[X E(X Y )] [E(X)] 2 = E{E[X E(X Y ) Y ]} [E(X)] 2 = E[E(X Y ) E(X Y )] [E(X)] 2 = E { [E(X Y )] 2} [E(X)] 2 = Var[E(X Y )] Logo, o numerador é anulado e com isso não é possível reduzir a variância ao combinar os estimadores de X e E[X Y ]. 6 / 27

7 Exemplo I (Ross 9k, p. 171) Figura 1: Círculo unitário centrado na origem 7 / 27

8 Exemplo I Considere a simulação feita anteriormente (Cap. 3, Ex. 3a) para estimar o valor de π. Mostramos que π pode ser estimada pela frequência relativa dos pontos de um quadrado centrado na origem e de área igual a 4 que caem dentro do círculo unitário inscrito. Neste caso, se tomarmos V i = 2U i 1, onde U i U(0, 1), i = 1, 2, e denirmos A = I(V1 2 + V2 2 1), onde I é a função indicadora, temos que E(A) = π/4. Porém, se geramos anteriormente os valores da variável V 1 (por exemplo), podemos estimar π através da esperança condicional E(A V 1 ) ao invés de E(A). 8 / 27

9 Exemplo I Sabendo-se que V 1 V 2 (são independentes) e que V 2 U( 1, 1), podemos calcular a esperança condicional como E(A V 1 = v) = P ( V1 2 + V2 2 1 V 1 = v ) = P ( v 2 + V2 2 1 V 1 = v ) = P ( V2 2 1 v 2) = P [ ( 1 v 2) 1/2 V2 ( 1 v 2) ] 1/2 = (1 v2 ) 1/2 (1 v 2 ) 1/2 1 2 dx = ( 1 v 2) 1/2 (5) Portanto, temos que E(A V 1 ) = (1 V 2 1 ) 1/2. 9 / 27

10 Exemplo I Assim, o estimador (1 V 2 1 ) 1/2, obtido da esperança condicional, também possui média igual a π/4. Para mostrar que sua variância é menor do que a do estimador A, note que P ( V 2 1 x ) = P (V 1 x ) = P ( x V 1 x ) = x = P ( U 2 x ) (6) Temos portanto que V 2 1 e U 2 possuem a mesma distribuição. Com isso, tomamos como estimador a expressão (1 U 2 ) 1/2, em que U U(0, 1). 10 / 27

11 Exemplo I Para o estimador A, o qual segue uma distribuição de Bernoulli com parâmetro p = π/ (o ponto selecionado no quadrado pode ou não cair no círculo unitário), temos que ( π ) ( Var(A) = 1 π ) Por sua vez, para o estimador (1 U 2 ) 1/2, obtido a partir da esperança condicional E(A V 1 ), temos que Var [ (1 U 2 ) 1/2 ] = E ( 1 U 2) = 2 3 ( π 4 ) { [ (1 E ) ]} U 2 1/2 2 Assim, condicionar o estimador a uma outra v. a. previamente conhecida reduz a variância, neste exemplo, em 70.44%. 11 / 27

12 Exemplo I Adicionalmente, para obter a estimativa da esperança condicional, apenas uma geração uniforme é necessária, ainda que alguns cálculos a mais (como raiz quadrada) estejam envolvidos. Na linguagem R, este exemplo é traduzido no seguinte código: #Estimador original: piqc = function(k, s){ set.seed(s) v1 = runif(k, -1, 1) v2 = runif(k, -1, 1) A = sum(v1^2+v2^2<=1)/k Var.A = (A)*(1-A) p = 4*A return(round(c(a, Var.A, p), digits = 4)) } 12 / 27

13 Exemplo I #Estimador condicionado a uma única geração uniforme: piqc.cd = function(k, s){ set.seed(s) u = runif(k, 0, 1) A.cd = sum(sqrt(1-u^2))/k Var.A.cd = (2/3)-(p/4)^2 p.cd = 4*A.cd return(round(c(a.cd, Var.A.cd, p.cd), digits = 4)) } #Aplicações, com a mesma semente, para ambas as funções: piqc(100, 0); piqc.cd(100, 0) piqc(1000, 0); piqc.cd(1000, 0) piqc(10000, 0); piqc.cd(10000, 0) piqc(100000, 0); piqc.cd(100000, 0) piqc( , 0); piqc.cd( , 0) 13 / 27

14 Exemplo I Tabela 1: Estimativas pontual e de variância da área A do círculo unitário e do valor de π pelos estimadores original (O) e condicionado (C) Tamanho amostral  Var(Â) π 10 2 (O) (C) (O) (C) (O) (C) (O) (C) (O) (C) / 27

15 Exemplo II (Ross 9o, p. 177) Figura 2: Crise da gasolina após o furacão Sandy, / 27

16 Exemplo II Suponha agora que queremos estimar o tempo total de espera de n clientes em um sistema de la. ( n ) θ = E W i, (7) i=1 em que W i é o tempo gasto pelo i-ésimo cliente. Seja S i o estado do sistema no momento de chegada do i-ésimo cliente. Considere agora o seguinte estimador: [ n ] E (W i S i ). (8) i=1 16 / 27

17 Exemplo II Visto que [ n ] E (W i S i ) = i=1 n E (W i S i ) = i=1 n E (W i ) = θ i=1 segue que o estimador condicional também é não enviesado para θ. Logo, E(W i S i ) tem menor variância do que W i, mas o mesmo nem sempre é válido para a soma, devido à presença de covariâncias. Porém, Ross argumenta que para uma ampla classe de modelos o estimador condicional da soma é melhor do que a soma bruta. 17 / 27

18 Exemplo II A quantidade S i pode representar diversas informações. Por exemplo, em uma loja com um único atendente cujo tempo de atendimento segue uma Exponencial com média µ, S i se refere a N i, o número de clientes anteriores na la, logo E(W i S i ) = E(W i N i ) = (N i + 1)µ, Note que o i-ésimo cliente terá que esperar os N anteriores para ser atendido. Além disso, a Exponencial tem a propriedade da falta de memória, portanto o tempo restante terá média µ, assim como cada tempo individual. Desta forma, o estimador que toma a média de todas as simulações, n i=1 (N i + n 1)µ, é mais eciente do que i=1 W i. 18 / 27

19 Exemplo II #Código em R dos estimadores bruto (7) e condicional (8). Entrada = rpois(n,lambda) Tempo = rexp(n,mu) Total = Entrada * Tempo bruto = sum(total) cond = mean(tempo)*sum(entrada) Tabela 2: Média e desvio padrão das estimativas de tempo de espera de n clientes, com µ = 2, λ = 3 e N réplicas N n i=1 W i ˆµ n i=1 n i (20.531) (18.337) (19.346) (17.392) (19.582) (17.546) 19 / 27

20 Exemplo III (Ross 9p, p. 178) Figura 3: Representação de células cancerígenas no sangue 20 / 27

21 Exemplo III Considere um conjunto de n + m células com peso w i. Suponha que as células 1,..., n são cancerígenas e as demais n + 1,..., n + m são normais. Sabemos que as células morrem segundo um padrão. Seja S o conjunto das células vivas. Em qualquer tempo, a probabilidade da célula i morrer é dada por w i j S w j = w i n+m j=1 w. (9) j Caso a i-ésima célula esteja morta, a probabilidade da célula k morrer é dada por w k j i w. (10) j 21 / 27

22 Exemplo III O processo de matar células é interrompido quando todas as n células cancerígenas forem eliminadas. Seja N o número de células sobreviventes no momento em que não existirem mais células cancerígenas. Queremos determinar P(N k), a probabilidade de que N seja maior do que ou igual a um mínimo k de células. 22 / 27

23 Exemplo III Outra estratégia é pensar que a i-ésima célula morre no tempo T i, onde T i Exp(w i ) são independentes. Seja T (k) o k-ésimo maior tempo dentre T n,..., T n+m, i. e., quando pela primeira vez há menos células normais do que k. Para que N k, todas as células cancerígenas devem ter sido eliminadas no tempo T (k), ou seja P (N k) = P ( max i n T i < T (k)) (11) P ( N k T (k)) = P ( max i n T i < T (k) T (k)) n = (1 e w it (k) ) (12) i=1 23 / 27

24 Exemplo III Poderíamos ainda combinar (12) com o uso de variáveis antitéticas para reduzir ainda mais a variância. Assim, obtemos o estimador condicional antitético seguindo os passos abaixo: 1 Gere uniformes U 1,..., U m ; 2 Dena T (k) como o k-ésimo maior valor dentre os m valores ( 1/w n+i ) log(u i ), i {1,..., m}; 3 Dena S (k) como o k-ésimo maior valor dentre os m valores ( 1/w n+i ) log(1 U i ), i {1,..., m}; 4 Temos que o estimador da iteração atual é dado por 1 2 [ n i=1 ( 1 e w it (k)) + n i=1 ( 1 e w is (k))] 24 / 27

25 Exemplo III #Código do estimador condicional: p = numeric(m) for(i in 1:M){ u = runif(m) ti = - log(u)/celulas$peso[(n+1):(n+m)] ti = sort(ti, decreasing = TRUE) tk = ti[k] p[i] = prod(1 - exp(-celulas$peso[1:n] * tk))} Tabela 3: Resultados de simulação para média e desvio padrão das estimativas de P (N K) para 10 células cancerígenas e 300 normais K Condicional Condicional Antitético (0.049) (0.046) (0.074) (0.074) (0.018) (0.016) 25 / 27

26 Exercício Seja Y N(1, 1) e suponha que, dado Y = y, X N(y, 4), onde N(µ, σ 2 ) representa uma distribuição normal com média µ e variância σ 2. Desejamos estimar a quantidade θ = P (X > 1). a) Através de amostras geradas por simulação para X e Y, estime a média e variância de θ para amostras de tamanho n = 10 2, 10 3, b) Reescreva a expressão para θ de modo que este possa ser estimado apenas com a informação de Y = y e, para a nova expressão, gere amostras de Y para estimar sua média e variância com os mesmos cenários de tamanhos amostrais em (a). 26 / 27

27 Referências Bibliográcas I CASELLA, G.; BERGER, R. L. Statistical Inference. 2nd Edition. Thomson Learning, ROSS, S. Simulation. 5th Edition. Elsevier Science, / 27