i.e XXXIV COMPARAÇÃO ENTRE AMOSTRAGEM DESCRITIVA E MÉTODOS QUASI MONTE CARLO EM SIMULAÇÃO Gastão Coelho Gomes DME-IM/UFRJ Caixa Postal: 68530; cep:45-70; email:gastao@dme.ufrj.br Eduardo Saliby COPPEAD/UFRJ Caixa Postal: 6854; cep:4-00; email:saliby@coppead.ufrj.br Resumo: São apresentados resultados relativos ao uso de métodos de Amostragem em Simulação Monte Carlo. Foi feito um estudo comparativo para Amostragem Aleatória Simples, Amostragem Descritiva e Métodos Quasi Monte Carlo: Halton Faure e Sobol. Foram feitos experimentos variandose o número de observações e o número de dimensões da função resposta. Palavras-chave: Amostragem Descritiva; Métodos Quasi Monte Carlo; Simulação Abstract: Results concerning the use of sampling methods in Monte Carlo Simulation are presented. A comparative study, using Simple Random Sampling, Descriptive Sampling and Quasi-Monte Carlo Methods (Halton Faure e Sobol), was done. Experiments were conducted varying the number of observations (trials) and the number of dimensions of the response variable. Key-words: Descriptive Sampling; Quasi Monte Carlo Methods; Simulation - Introdução A solução de problemas usando simulação Monte Carlo é uma prática usual nas mais variadas áreas do conhecimento, sendo em muitas situações a única abordagem possível. Na simulação de um problema probabilístico, a amostragem tem um papel fundamental, sendo o caminho natural para a representação de fenômenos aleatórios. Porém, mesmo na modelagem de fenômenos aleatórios, alguns métodos amostrais determinísticos têm se mostrado mais eficientes do que a geração de seqüências pseudo-aleatórias, ao contrário do que se poderia esperar. Examinaremos aqui alguns destes métodos amostrais, com componentes determinísticos, que contribuem para o estudo da amostragem em Monte Carlo, a saber: ) A Amostragem Descritiva (AD), proposta por Saliby, que se caracteriza por uma seleção determinística dos valores e uma permutação aleatória destes valores; ) Os métodos Quasi Monte Carlo (QMC), seqüências completamente determinísticas, baseadas em propriedades algébricas que têm baixa discrepância, uma características de uniformidade. Entre as implementações mais difundidas dos métodos QMC estão as propostas por Halton, Sobol e Faure, que serão consideradas neste trabalho. O nosso objetivo é avaliar a eficiência relativa destes métodos para diferentes valores de D, a dimensão do problema. Para isso usaremos experimentos computacionais, onde o parâmetro da variável resposta, a ser estimado, é diretamente calculável. Assim fazendo, ao se estudar problemas com solução conhecida, torna-se mais simples avaliar a precisão associada a um particular método amostral.
- Monte Carlo O método Monte Carlo pode ser resumido em três etapas: ) gerar uma amostra, de tamanho N, num hipercubo unitário de dimensão D, [0,] D (O procedimento de extrair amostras no hipercubo unitário [0,] D é equivalente ao de se obter amostras de um domínio mais geral, onde cada componente tem distribuição com função de densidade acumulada F j, e onde o acesso à F - j pode se dar de uma maneira explicita ou aproximada) ; ) aplicar a cada ponto amostral (i=,...,n), no espaço original, uma função f:r D em R, obtendo o valor da variável resposta Y i =f(x i, X i,..., X id ) naquele ponto; 3) estimar parâmetros da distribuição da variável Y, (por exemplo, usar a média amostral, Y = ΣY i /N, como estimativa de µ Y ). 3 A Primeira Fase do Monte Carlo: Métodos de Amostragem O processo para a obtenção da amostra no hipercubo unitário pode se dar de várias maneiras. O método Monte Carlo tradicional usa Amostragem Aleatória Simples. Além dela, aqui usaremos também outros, tais como a Amostragem Descritiva e os métodos Quasi Monte Carlo. 3. Amostragem Aleatória Simples A Amostragem Aleatória Simples (AAS) é o método considerado padrão em simulação por Monte Carlo. Foi proposto com o objetivo de resolver problemas matemáticos, cuja abordagem por métodos analíticos se revelava particularmente complexa. Uma Amostra Aleatória Simples de tamanho N no espaço [0,] D é um conjunto de vetores r x i = (x i, K, x id ) gerados de forma independente, onde cada componente é sorteada com distribuição uniforme no intervalo [0,]. Se estamos estimando E(Y)=µ pela média amostral, Y =N - hx ( i ), sabemos que: E( Y )=µ e (3.) Var( Y )=E[(Y-µ) ]/N = σ /N. (3.) O estimador Y, como podemos observar, tem a propriedade de Consistência: conforme o tamanho da amostra aumenta, sua variância tende para zero. Como o erro em calcular a média, num experimento com a AAS, é σ / N, a ordem de convergência da AAS é 0.5 independente da dimensão do problema. As principais deficiências deste método são o grande esforço computacional associado a resultados de baixa precisão. Esforços em sanar estas dificuldades resultaram na procura de técnicas que tinham por objetivo a melhoria na precisão das estimativas. 3. - A Amostragem Descritiva Nesta seção apresentaremos uma introdução básica à idéia de Amostragem Descritiva (AD). Uma descrição mais detalhada é feita em Saliby (8, 0a, 0b). A AD tem como objetivo eliminar a variação do conjunto de valores de entrada e, como conseqüência, reduzir a variância das estimativas. A AAS usada em Monte Carlo, ao tentar reproduzir um comportamento aleatório, leva a erros amostrais elevados, produzindo resultados pobres, isto é, estimativas com alta variabilidade. Como uma melhor e mais apropriada alternativa para a amostragem por Monte Carlo, Saliby propôs a Amostragem Descritiva (AD) em lugar da tradicional AAS. A principal característica dessa nova abordagem é que a AD está baseada na seleção proposital e determinística dos valores de entrada, permanecendo aleatória somente a ordenação desses valores. Entre os dois tipos de componentes aleatórios existentes em uma amostra aleatória simples, um está relacionado com o conjunto de valores e o outro com sua seqüência aleatória. Mas, desses dois componentes, somente a seqüência de valores é realmente requerida que seja aleatória, enquanto
que a variação do conjunto de valores é, de acordo com Saliby, uma característica desnecessária para produzir o efeito da casualidade; quando presente, esta variabilidade infla desnecessariamente a variância das estimativas. Simbolicamente, os dois métodos podem ser representados como: AAS = conjunto aleatório com seqüência aleatória AD = conjunto determinístico com seqüência aleatória A AD faz um controle da amostra através de uma espécie de estratificação, onde os pontos dentro de cada estrato (os estratos são minihipercubos equiprováveis com volume /N D ) são escolhidos deterministicamente como sendo os centros desses minihipercubos, que, por sua vez, são selecionados com um certo controle. Resulta que o cálculo da j-ésima coordenada do ponto X i pode ser feito a partir da expressão: p ij 0.5 Xij = F j i =,..., N e j =,..., D (3.3) N onde: ) para cada j fixado, j=,...,d, os p ij formam uma permutação aleatória de {,,...,N}; ) F j é a função de distribuição acumulada da v.a. X j, que nos permite retornar ao espaço original. 3.3 - Quasi Monte Carlo Outra alternativa são os métodos Quasi Monte Carlo (QMC), seqüências completamente determinísticas, baseadas em propriedades algébricas que geram características da distribuição uniforme. Neste trabalho usaremos, em experimentos computacionais, os métodos propostos por Halton, Sobol e Faure. Uma maior discussão destes métodos podem ser encontradas originalmente nos artigos de Halton [7]; Halton e Smith [8]; Faure [4];Sobol [7 e 8] e de uma maneira comparativa nos artigos de Morokoff e Caflisch[ e 0] e Niederreiter[ e ]. Uma breve descrição destes métodos pode ser iniciada pela seqüência de Halton em uma dimensão, baseada na escolha de um número primo p e na expansão de cada um dos inteiros 0,,,...,N- na base p. O i-ésimo termo da seqüência é dado por uma expressão do tipo: t = a 0 a a a m i + + 3 + L + m+, (3.4) p p p p onde, os a j são inteiros obtidos pela expansão de i- na base p: [i-] p = a m a m-...a a 0 ; e X i = F - (t i ). Exemplo: p=3, os primeiros 5 termos da série são: Ordem 3 4 5 6 3 4 5 na série N- em base 3 0 0 0 00 0 0 0 Decomposição 0/3 /3 /3 / / / / / / /7+ /7+ /7 /7+ /7+ /7+ +0/3 +/3 +/3 +0/3 +/3 +/3 0/+ 0/+ +0/ /+ /+ /+ Série 0 3 3 3 4 7 5 8 0/3 7 /3 0 7 +/3 7 A seqüência de números está formada em ciclos de p em p termos crescentes com denominador p n até começar a seqüência de ciclos com o denominador p n+. 0/3 4 7 /3 3 7 /3 7 3
Uma seqüência de Halton de dimensão D é gerada através de D seqüências unidimensionais onde as bases geradoras de cada seqüência são números primos entre si. Geralmente estas D bases geradoras são escolhidas como os primeiros D números primos. A seqüência de Sobol usa somente o primo p= como base geradora. Ela é gerada de forma que os m primeiros termos de cada dimensão, para m=0,,,..., sejam uma permutação de uma seqüência de Halton com p=. A propriedade de uniformidade da seqüência D-dimensional depende da escolha das permutações. A seqüência de Faure é gerada como a de Sobol, sendo também uma permutação dos termos de uma seqüência de Halton, mas agora com a base geradora sendo o menor número primo maior do que D, isto é, se o primo for p(d), então cada dimensão da seqüência de Faure é gerada de tal forma a que os primeiros [p(d)] m termos, para m=0,,,..., sejam uma permutação dos correspondentes termos da seqüência de Halton de base geradora p(d). 4 - Implementação dos programas Todos os algoritmos foram implementados em Pascal: A implementação dos métodos de Halton e Faure foi feita com base em uma adaptação das idéias do artigo de Fox [5]. A implementação do método de Sobol baseou-se em uma adaptação do artigo de Bratley & Fox []. Para a AD foi reformulado um algoritmo de Saliby, controlando melhor o armazenamento em memória, e assim possibilitando a realização de corridas com N s maiores, independentemente da dimensão do problema, pois para cada dimensão os N valores foram permutados, armazenados em disco e eliminados, desocupando memória. Em cada uma das implementações dos métodos QMC, a geração de um novo elemento da seqüência depende dos termos que o antecedem. Os pontos D-dimensionais da seqüência são então gerados através de chamadas de um procedimento específico, para cada um dos três métodos: HALTON, FAURE, SOBOL. Antes destas funções serem chamadas a primeira vez, todas as variáveis iniciais são checadas. A dimensão, D, foi limitada no máximo em 40. Em um dos nossos experimentos computacionais descritos abaixo, a saber, o problema do cálculo da integral, as nossas implementações dos métodos QMC geraram os mesmos resultados que constam nos artigos de Bratley & Fox [] e Fox,[5] para D={4,7,3,0,5,40} e N={500, 000, 7000, 0000, 40000, 00000}. Isto nos dá uma segurança com relação a possíveis erros de programação. 5 - Os dois problemas estudados 5. A função da Integral D&R O primeiro problema escolhido para teste é o cálculo de uma integral múltipla, ver Davis e Rabinowitz [3, pag.406], usada em vários outros trabalhos, como por exemplo [], [5] e [0]. O integrando é o produto do valor absoluto de transformações lineares de variáveis aleatórias independentes e identicamente distribuídas uniformemente no intervalo [0,]. = D µ K 4X j - dx...dx D (5.) 0 0 j= Observamos como característica dessa função, que: ) para valores de x r =(x,..,x D ) próximos do vetor 0 r = (0,...,0) ou do vetor r = (,...,) o resultado será, um valor alto se D for grande, podendo ser no limite D ; ) para x r =(x,..,x D ) próximo do vetor. 5 r = (0.5,...,0.5) o valor da função será próximo de zero; 3) Para D grande a distribuição dos Y i s apresenta muitos valores discrepantes. Para visualizarmos esta situação ao longo de vários valores de D. Simulamos, para cada D apresentado na figura (), 00 observações no hipercubo [0,] D que foram organizadas num "box plot". 4
0 0 40 60 80 D= D= D=3 D=4 D=5 D=8 D=0 D=5 D=0 D=30 D=40 D=50 Figura: Box Plot de uma simulação da distribuição de Y i = f(x i,...,x id ) = Os parâmetros E(Y) e Var(Y) foram calculados: 4 E(Y) = e Var(Y) = 3 D D j= 4X ij -, i =,...,N (5.) 5. Valor Esperado da Amplitude de uma amostra uniforme O segundo problema escolhido para teste é o de calcular a média da amplitude de uma amostra uniforme, ou seja a diferença entre o máximo e o mínimo de um conjunto de D v.a.'s Unif.[0,]. A amplitude tem a característica de assumir valores próximos de quando a dimensão da amostra for grande. Sejam X,...,X D v.a. independentes e identicamente distribuídas como Unif.[0,] e, X () = mín.{x,...,x D } e X (D) = máx.{x,...,x D }. A amplitude é a v.a.: Y = f(x,...,x D ) = X (D) - X () (5.3) Os parâmetros E(Y) e Var(Y) foram calculados: D (D ) E(Y) = e Var(Y)= (5.4) D + (D + ) (D + ) 6 - O Experimento Com o objetivo de obter uma formulação matemática que nos permita comparar o desempenho de diferentes métodos para um D fixo, vamos estabelecer uma relação linear entre o logaritmo do erro e o logaritmo de N, o tamanho da amostra, que pode ser empiricamente verificável: erro = c N -b (6.) Se aplicarmos a função ln, logaritmo neperiano, à equação (6.) acima, obteremos: = ln(c) - b = a - b (6.) O erro, na estimação do parâmetro θ, está sendo quantificado pela raiz quadrada da estimativa do erro médio quadrático, num experimento de 50 corridas, para cada N. Assim: erro(θ)= 50 i= 50 (θ θˆ Através desse artifício, para um D fixo, cada método poderá ser representado por uma reta no plano versus e a inclinação dessa reta nos fornece informação útil sobre a taxa de convergência daquele método. Realizamos experimentos computacionais para cada um dos dois problemas aqui considerados: a Integral e a Amplitude para cada um dos cinco métodos: AAS, AD, Halton, Faure e Sobol. Para efeito dessa comparação foram consideradas quatro dimensões, D: 5, 0, 0 e 30 e foram escolhidos 30 valores de N, entre 000 e 00000, com igual espaçamento na escala logarítmica ( N =000, N =7, i ) (6.3) 5
N 3 =374,..., N =8536, N 30 =00000). A razão de usarmos igual espaçamento na escala do ln e não diretamente na escala de N, é fazer com esses N i cresçam em progressão geométrica, o que corresponde a um igual espaçamento dos ln(n i ). Para cada método e cada D será exibido um gráfico, ajustado por mínimos quadrados a partir de 30 pares de pontos (X, Y), onde X= e Y=. Em cada um desses gráficos aparece também, para comparação, a reta teórica correspondente à AAS, que foi obtida a partir do fato conhecido de que a sua ordem de convergência é b = - 0.5 e passando por um determinado ponto: No caso da estimativa da média amostral, como conhecemos a variância nos dois exemplos e como Y é uma estimativa não tendenciosa de µ, teremos que: erro=σ/ N, onde σ é uma função de D que foi calculado; para cada um dos dois problemas, integral e amplitude, como a Var(Y), usando respectivamente as, equações (5.) e (5.4). Assim, obtivemos um ponto da reta, como por exemplo, (ln(000), ln( σ/ 000 )); No caso do cálculo da estimativa do desvio padrão, como não conhecemos sua variância o ponto ln( N), ln(erro(n)) usando-se AAS para cada valor de D. escolhido foi ( ) Estratégia : A primeira tentativa de geração dos experimentos QMC foi feita, da seguinte maneira: Para cada i, foram agregados aos N i pontos já existentes mais (N i+ - N i ) novos pontos. Assim só foi necessário gerar 00000 pontos da seqüência. Com este procedimento, observamos que o ajuste por uma linha reta em muitos dos experimentos revelou-se inadequado e este desajuste se deve ao fato de reusarmos os pontos a cada passo, gerando observações interdependentes do erro. Estratégia : Optamos então por não usar os pontos anteriores, gerando uma seqüência para cada corrida de = 30 N i i sendo ao fim de cada N i o processo reinicializado. Estratégia 3: Com o objetivo de minimizar a variabilidade, como foi feito com os métodos com características aleatórias, extraímos informação de várias corridas e adicionamos os benefícios adquiridos na estratégia, através de uma seqüência prolongada. Para cada método QMC construímos 30 50 corridas desta maneira, gerando uma seqüência final de (50 = N i ) termos D dimensionais. Para cada problema e uma vez fixado um parâmetro relativo a esse problema, todos os gráficos correspondentes estão em uma mesma página (figura). Em cada uma dessas páginas foi tomado o cuidado de mantermos a mesma escala para todos os gráficos, possibilitando assim a comparação direta dos erros causados por cada um destes métodos amostrais, em cada uma das dimensões consideradas. Para cada um dos dois problemas, Integral e Amplitude, estimamos os parâmetros µ e σ, média e desvio padrão, pelas suas respectivas estimativas amostrais, que são: N Yi µˆ = ; N i= i N σ ˆ = (Yi - Y) ; N As figuras e são referentes ao estudo da média respectivamente dos problemas da Integral e da Amplitude. Cada figura apresenta os cinco métodos amostrais: AAS, AD, Halton, Faure e Sobol; Para cada método avaliamos as quatro dimensões: 5,0,0,30. Em cada caso associamos também a estimativa de b (equação (6.)), a ordem de convergência. i= 6
Figura - : AMPLITUDE - MÉDIA AAS AD Halton Faure Sobol 7
Figura - : INTEGRAL - MÉDIA AAS AD D=05; b = -0.48 D=0; b = -0.5 D=05; b = -0.484 D=0; b = -0.47 D=0; b = -0.487 D=30; b = -0.344 D=0; b = -0.457 D=30; b = -0.368 Halton Faure D=05; b = -0. D=0; b = -0.764 D=05; b = -0.3 D=0; b = -0.77 D=0; b = -0.504 D=30; b = -0.505 D=0; b = -0.58 D=30; b = -0.3 D=05; b = -0.58 Sobol D=0; b = -0.55 D=0; b = -0.575 D=30; b = -0.3 8
7 - Comparação dos Métodos Amostrais Das figuras e podemos observar que: De uma maneira geral, depois de ter usado a estratégia 3, a relação empírica funcionou bem e o ajuste de mínimos quadrados mostrou-se adequado; Quanto à AAS, a reta teórica e a correspondente à das simulações coincidiram, com exceção do problema da integral em dimensão alta (D=0 e D=30); A AD se mostra melhor do que a AAS nos dois problemas para o cálculo da média. Vale ressaltar que, no caso da integral, em dimensão alta, D=0 e mais fortemente D=30, tanto para a AAS como para a AD, as retas ajustadas têm inclinação expressivamente diferente de -0.5, devido ao comportamento atípico da própria função envolvida quando D é grande; Os métodos de Faure e Halton apresentaram, em muitas situações, resultados piores que o correspondente ao da AAS, geralmente para dimensões mais elevadas. Para estes métodos amostrais, quando D=0 e principalmente quando D=5, os resultados apresentaram erros menores que a AAS. Em geral para os métodos QMC, para D=5 os resultados apresentaram uma superioridade considerável com respeito aos demais métodos; O método de Sobol se mostrou melhor em todas as situações. Para comparar a AD com a AAS, além das figuras e, que mostram os erros associados a cada um dos métodos, verificamos variabilidade destes procedimentos amostrais através da razão dos desvios padrão correspondentes às 50 rodadas de cada experimento. Os resultados estão apresentados na tabela.
N D para Integral D&R D para Amplitude 05 0 0 30 05 0 0 30 000 0.80 0.8..83 0.7 0.87 0.75 0.84 7 0.88 0.87 0.55.00 0.6 0.8 0.73 0.68 374 0.7 0.86 0.80.45 0.58 0.70 0.67 0.60 60 0.7.6.03 0.5 0.78 0.73 0.4 0.70 887 0.58 0.8 0.7 0.6 0.78 0.6 0.65 0.60 0.68 0.7. 0.8.00 0.77 0.6 0.63 53 0.85 0.67 0.7 0.74 0.65 0.76 0.7 0.6 303 0.6 0..40.45 0.6 0.5 0.77 0.8 356 0.65 0.60 0.7 0.86 0.88 0.66 0.5 0.85 475 0.5 0.66 0.7 0.8 0.65 0.6 0.76 0.66 484 0.64 0.87.6. 0.64 0.68 0.6 0.7 5736 0.70.07.3.36 0.66.00 0.76 0.66 673 0.68.07.35 0.8 0.64 0.63 0.58 0.7 7880 0.65 0.7.0.35 0.66 0.86 0.83 0.63 36 0.77 0.7.36 0.58 0.6 0.73 0.7 0.68 086 0.66 0.6.5 0.80 0.73 0.64 0.6 0.7 68 0.64 0.86. 0.83 0.6 0.0 0.7 0.6 4873 0.80 0.7.5.0 0.6 0.68 0.67 0.65 7433 0.7 0.80 0.84 0. 0.74.06 0.73 0.7 0433 0.68 0. 0.45.4 0.78 0.7 0.87 0.6 350 0.67 0.4.75.3 0.74 0.3 0.5 0.67 807 0.78.03 0.83 0.3 0.75 0.55 0.78 0.63 303 0.58 0.8.56.33 0.83 0.74 0.65 0.7 38566 0.85.5 0.8.0 0.73 0.65 0.7 0.8 4503 0.56 0.8 0.7 0.8 0.75 0.8 0.88 0.74 583 0.8 0..5 0. 0.8 0.8 0.76 0.75 60 0.67 0..0 0.8 0.8 0.6 0.77 0.78 778 0.7 0.85. 0.55 0.7 0.74 0.54 0.7 8536 0.60 0.84 0.87.4 0.87 0.56 0.86 0.80 00000 0.83 0.7 0.84.4 0.6 0.85 0.68 0.8 Tabela: Razão dos desvios padrão da AD e da AAS Observamos que no exemplo da Amplitude a variabilidade da AD é, com exceção de valores quando D=0, sempre menor, razão dos desvio padrão menor que. No caso da Integral já 36 dentre os 0 experimentos apresentaram razões maiores do que, sendo localizados geralmente em dimensões maiores. Organizamos estes valores em boxplots para cada dimensão na figura 3. 0
Amplitude Integral 0.5.0.5.0 0.5.0.5.0 D=05 D=0 D=0 D=30 D=05 D=0 D=0 D=30 Figura 3: Razão dos desvios padrão agrupadas por dimensão Assim, a melhora decorrente dos métodos QMC é mais significativa para dimensões baixas e vai perdendo sua eficiência com o aumento da dimensão. 8 - Conclusão: Comparamos neste trabalho alguns tipos de amostragem em Monte Carlo com filosofias diferentes: determinísticas, com componentes aleatórias e completamente aleatórias. Para este fim, no caso dos métodos QMC, com objetivo de padronizar as comparações, usamos três estratégias de trabalho sendo que cada uma delas representa um aperfeiçoamento da anterior. Isto exigiu que o comprimento da seqüência correspondente a cada uma destas estratégias fosse se tornando cada vez maior. Optamos por uma abordagem empírica e para propositadamente ampliar as dificuldades envolvidas na realização desta comparação escolhemos dois problemas aos quais correspondem funções que geram valores atípicos. Estes problemas têm também a peculiaridade de que nestes dois casos é possível calcular diretamente os valores dos parâmetros de interesse, o que na realidade é um pouco artificial, embora conveniente, pois torna a avaliação do erro mais simples e precisa. O que ficou claro a partir da abordagem empírica envolvendo estes dois problemas é que, em geral: Sobol e AD revelaram-se os métodos mais eficientes. Faure e Halton tiveram um desempenho inferior para D alto. Embora este desempenho seja bom em baixas dimensões, esta vantagem se perde com o aumento da dimensão. A taxa de convergência dos métodos QMC é acentuada para D baixo (até D=0) chegando próximo de -. À medida em que D aumenta, a taxa de convergência piora, sendo em algumas situações até menor do que 0.5 em valor absoluto (taxa de convergência da AAS). Dado o grau de stress embutido nos dois problemas aqui considerados, acreditamos que as conclusões acima sejam também extensíveis a outros problemas.
- Referências:. Bratley, P. & Fox, B.L.. (88), Algorithm 65: Implementing Sobol s Quasirandom Sequence Generator, ACM Transactions on Mathematical Software,4:, p.88-00.. Bratley, P. ; Fox, B.L. & Niederriter, H. (4), Algorithm 738: Programs to Generate Niederreiter s Low-Discrepancy Sequences, ACM Transactions on Mathematical Software 0:4, 44-45. 3. Davis, P.J. & Rabinowitz, P..(83) "Methods of Numerical Integration", Academic Press, New York. 4. Faure, H. (8), Discrépance de Suites Associée à un système de numération (en dimension s) - ACTA Arithmetica XLI, 337-35. 5. Fox, B.L.. (86), Algorithm 647: Implementation and Relative Efficiency of Quasirandom Sequence Generators, ACM Transactions on Mathematical Software,:4, p.36-376.. 6. Gomes, G.C.(000), Em Busca de Propriedades Estatísticas para a Amostragem Descritiva e Comparações com Outros Métodos Amostrais em Simula,cão por Monte Carlo, COPPE/UFRJ, Tese de Doutorado. 7. Halton, J.H. (60), On the efficiency of certain quasi-random sequences of points in evaluating multi-dimensinal integrals, Numerische Mathematik, 84-0. 8. Halton, J.H. & Smith, G.B. (64), Algorithm 47: Radical-Inverse Quasi-random Point Sequence [G5], Communications of the ACM 7: 70-70.. Morokoff, W.J.; Caflisch, R.E.; (4), Quasi-Monte Carlo Sequences and their Discrepancies, SIAM J.Sci. Comput. 5:6, 5-7. 0. Morokoff, W.J.; Caflisch, R.E.; (5), Quasi-Monte Carlo Integration, Technical Report, Mathematics Department, UCLA.. Niederreiter, H. (78), Quasi-Monte Carlo Methods and Pseudo-Random Numbers, Boll. of The American Mathematical Society 84:6, 57-037.. Niederreiter, H. (), Random Number Generation and Quasi-Monte Carlo Methods, CBMS-NSF Regional Conference Series in Applied Math. 63, SIAM. 3. Saliby, E. (8), Repensando a Simulação: A Amostragem Descritiva. Ed. Atlas/EDUFRJ. 4. Saliby, E. (0), Descriptive Sampling: a better approach to Monte Carlo Simulation - Journal of the Operational Research Society, V.4-N., pp. 33-4. 5. Saliby, E. (0), Understanding the variability of simulation results: an empirical study - Journal of the Operational Research Society, V.4-N.4, pp. 3-37. 6. Saliby, E. (7), Descriptive Sampling: an improvement over Latin Hypercube Sampling - WSC. 7. Sobol, I.M. (76), Uniformly Distributed Sequences with an Additional Uniform Property, U.S.S.R. Computational Math. and Math.Phys. 6:5, 36-4. 8. Sobol, I.M. (7), On the Systematic Search in a Hypercube, SIAM J. Numer. Anal.. 6:5, 70-73.