Redução de Variância: Amostragem Antitética

Transcrição

1 Redução de Variância: Amostragem Antitética Frederico Almeida & Guilherme Aguilar Universidade Federal de Minas Gerais September 20, 2018 Frederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

2 Redução de Variância Motivação Considere ˆθ 1 e ˆθ 2 dois estimadores para θ com Var(ˆθ 2 ) < Var(ˆθ 1 ). A porcentagem de redução da variância obtida por ˆθ 2 em detrimento de ˆθ 1 é dada por: 1 Var(ˆθ 2 ) x100. Var(ˆθ 1 ) A abordagem MC para estimar θ = E[g(X)] consiste em computar a média amostral g(x) para um número m de replicas suficientemente grande da distribuição de g(x); Sendo g(.) uma estatística. rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

3 Redução de Variância Motivação Para uma função monótona g(x), com X=(X 1,, X n ) representando os elementos amostrais, seja X (j) = { } X (j) 1, X (j) 2,, X (j) n j = 1,, m. Sendo X (j) i, i = 1,, n um vetor de variáveis aleatórias iid s de X. Computamos as respectivas réplicas por (Rizzo,2007): Y j = g(x (j) 1,, X (j) n ) Então, Y 1,, Y m são independentes e identicamente distribuídas de Y=g(X). rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

4 Redução de Variância Motivação Tal que, 1 E[Ȳ] = E m m Y j = θ. j=1 Então, o estimador de MC Ȳ = ˆθ é não-viesado para E[Y] = θ. Com variância Var(ˆθ) = Var(Ȳ) = Var f[g(x)]. m Como é óbvio, aumentando o número de réplicas m diminuímos a variância do estimador de MC ˆθ. rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

5 Redução de Variância Motivação Observe que, para reduzir o erro-padrão de 10 2 para 10 4, precisamos de aproximadamente vezes o número de réplicas. Em geral, se o erro-padrão for no máximo ɛ e Var f [g(x)]=σ 2, então réplicas são necessárias. σ 2 m. Assim, embora a variância possa sempre ser reduzida aumentando o número de réplicas de Monte Carlo, o custo computacional é alto. Outros métodos para reduzir a variância que são computacionalmente menos caros podem ser aplicados. ɛ 2 rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

6 Significado de Antitética: antagônica, contrária, oposta; Esta técnica foi proposta neste artigo rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

7 Significado de Antitética: antagônica, contrária, oposta; Esta técnica foi proposta neste artigo rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

8 Variáveis Antitéticas Frederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

9 Considere a média de duas variáveis aleatórias (v.a. s) identicamente distribuídas, X 1 e X 2. Se X 1 X 2, então ( ) X1 + X 2 Var = (Var(X 1) + Var(X 2 )). Mas, em geral temos que ( ) X1 + X 2 Var = (Var(X 1) + Var(X 2 ) + 2Cov(X 1, X 2 )); rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

10 Considere a média de duas variáveis aleatórias (v.a. s) identicamente distribuídas, X 1 e X 2. Se X 1 X 2, então ( ) X1 + X 2 Var = (Var(X 1) + Var(X 2 )). Mas, em geral temos que ( ) X1 + X 2 Var = (Var(X 1) + Var(X 2 ) + 2Cov(X 1, X 2 )); rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

11 Logo a variância de (X 1 +X 2 )/2 é menor se X 1 e X 2 são negativamente correlacionados. Este fato levou a ser considerado v.a. s negativamente correlacionadas com intuito de diminuir a variância do método de integração de Monte Carlo. rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

12 Logo a variância de (X 1 +X 2 )/2 é menor se X 1 e X 2 são negativamente correlacionados. Este fato levou a ser considerado v.a. s negativamente correlacionadas com intuito de diminuir a variância do método de integração de Monte Carlo. rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

13 Suponha que X 1,..., X n são simulados pelo método da transformação inversa. Para cada réplica m é gerado U j U(0, 1) e calculado X (j) = F 1 X (U j), j = 1,..., n. Pode-se notar que se U é uniformemente distribuído em (0, 1), então 1 U possui a mesma distribuição que U, mas U e 1 U são negativamente correlacionadas. Sendo assim, temos que Y j = g(f 1 X (U(j) 1 possui a mesma distribuição que Y ),..., F 1 X (U(j) n )) j = g(f 1 X (1 U(j) ),..., F 1 X (1 U(j) n ), onde g é a função que se deseja integrar. 1 rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

14 Uma condição para que Y j e Y sejam negativamente correlacionados é j que g seja uma função monótona. Preposição Se X 1,..., X n são independentes, e f e g são funções crescentes, então Corolário E[f(X)g(X)] E[f(X)]E[g(X)]. Se g = g(x 1,..., X n ) é monótona, então e Y = g(f 1 X (U 1),..., F 1 X (U n)) Y = g(f 1 X (1 U 1),..., F 1 X (1 U n)), são negativamente correlacionados. rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

15 Uma condição para que Y j e Y sejam negativamente correlacionados é j que g seja uma função monótona. Preposição Se X 1,..., X n são independentes, e f e g são funções crescentes, então Corolário E[f(X)g(X)] E[f(X)]E[g(X)]. Se g = g(x 1,..., X n ) é monótona, então e Y = g(f 1 X (U 1),..., F 1 X (U n)) Y = g(f 1 X (1 U 1),..., F 1 X (1 U n)), são negativamente correlacionados. rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

16 Se m replicações de Monte Carlo são requeridas; são geradas m/2 v.a. s de Y j = g(f 1 X (U(j) 1 ),..., F 1 X (U(j) n )); as outras m/2 v.a. s são geradas de j = g(f 1 X (1 U(j) ),..., F 1(1 U(j) n )); Y 1 X rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

19 Onde U (j) i ind U(0, 1), i = 1,..., n, e j = 1,..., m/2. Sendo assim, o estimador obtido através da amostragem antitética é dado por ˆθ ant = 1 ( Y1 + Y 1 m + + Y m/2 + Y m/2) = 2 m/2 Y j + Y j m 2 j=1 Observe que ˆθ ant é um estimador não-viesado para θ. rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

22 Agora, para calcular a variância do estimador antitético, usamos o fato de que Y j e Y j tem a mesma distribuição marginal de X então, Var(ˆθ ant ) = 1 (m/2) 2 = 4 1 m/2 m 2 4 = 1 m 1 2 j=1 m/2 j=1 1 4 Var(Y j + Y j ) [ Var(Yj ) + 2Cov(Y j, Y j ) + Var(Y j )] [ Var(X) + 2ρ = 1 (1 + ρ)var(x). m ] Var(X) Var(X) + Var(X) rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

23 Recapitulando de forma simples Uma forma direta de estabelecer uma variável aleatória que tenha mesma distribuição e seja negativamente correlacionada é da seguinte forma Se U U(0, 1), então pode-se usar V = 1 U. Se Z N(0, 1), então pode-se usar V = Z. Para outras v.a. s que possuem CDF s que são inversíveis, temos que se X = F 1 (U), então pode-se usar Y = F 1(1 U). X X rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

26 Exemplo 1 (Comprimento esperado para o caminho mais curto) Considere a rede apresentada na figura abaixo. Nela, o comprimento de cada arresta é dada como uma v.a (e não tem uma interpretação geométrica). Esse comprimento poderia, por exemplo, representar o tempo de vida de um componente. Suponha que estamos interessados em encontrar o caminho mais curto entre os nós A e B quando X 1,, X 5 são v.a iid s da U(0, 1). rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

27 Exemplo 1 Seja X 1 o espaço representado por todos os caminhos possíveis para unir os vértice A e B. Onde X 1 = (X 1 + X 4 ; X 1 + X 3 + X 5 ; X 2 + X 5 ; X 2 + X 3 + X 4 ) Para uma função monótona g(.), seja θ o comprimento esperado para o caminho mais curto. Tal que, θ = E[g(X)] = E[g(X 1,, X 5 )] = min {X 1 } A versão antitética de X é dada por g(1 X) = g(1 X 1,, 1 X 5 ). rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

28 Kroese (2011) mostrou usando a esperança condicional que, para Z h(.) então, θ = E(g(X 1 )) = E [E(g(X 1 ) Z)] = 0.75 n Estimativa ˆθ MC Variância Estimativa ˆθ ant Variância %Redução R yy rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

29 Frederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

30 Frederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

31 Exemplo 2 Será utilizado o método de redução de variância via Amostragem Antitética para calcular o valor da seguinte integral 1 0 e x (1 x) 2 dx n ˆθ MC Estimativa Variância e e e-06 ˆθ ant Estimativa Variância e e e-07 %Redução rederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22

32 Referências Bibliográficas Brereton, T. (2016). Methods of Monte Carlo Simulation. Lecture Notes, Ulm University. Kroese, D. P. (2011). Monte Carlo Methods. Rizzo, M. L. (2007). Statistical Computing with R. Chapman & Hall/CRC. Frederico Almeida & Guilherme Aguilar (ICEX - UFMG) Redução de Variância: Amostragem Antitética September 20, / 22