ANÁLISE DA SENSIBILIDADE DO MÉTODO DE MONTE CARLO PARA A ESTIMATIVA DE INCERTEZA DE ACORDO COM O NÚMERO DE DADOS ALEATÓRIOS GERADOS

Transcrição

1 V CONGRESSO BRASILEIRO DE METROLOGIA Metrologia para a competitividade em áreas estratégicas 9 a 13 de novembro de Salvador, Bahia Brasil ANÁLISE DA SENSIBILIDADE DO MÉTODO DE MONTE CARLO PARA A ESTIMATIVA DE INCERTEZA DE ACORDO COM O NÚMERO DE DADOS ALEATÓRIOS GERADOS Guilherme Augusto de Almeida Gonçalves 1, Lucas Aguiar Teixeira 2, Ricardo de Araújo Kalid 3 1 Universidade Federal da Bahia, Salvador, Brasil, guilhermegoncalves10@gmail.com 2 Universidade Federal da Bahia, Salvador, Brasil, lucasteixeira88@yahoo.com 3 Universidade Federal da Bahia, Salvador, Brasil, kalid@ufba.br Sumário: Analisou-se de que maneira a incerteza, obtida pelo método de Monte Carlo, é influenciada pelo número de dados aleatórios gerados. Também foi avaliada a influência na heterocedasticidade da incerteza. Usando testes de hipótese verificou-se que a incerteza obtida pelo método de Monte Carlo é heterocedástica, até 10 7 apresentações de dados aleatórios. Os resultados mostraram que o número de dados aleatórios deve ser maior que 10 5 e que em casos que exigem maior rigor um estudo mais detalhado deve ser feito. Palavras-chave: Monte-carlo. Incerteza. Dados aleatórios. 1. INTRODUÇÃO Os métodos numéricos, embora existam registros da sua existência desde o século dezoito, começaram a ter uma maior importância durante a segunda guerra mundial onde foram usados para calcular o transporte de nêutrons. Dentre os métodos numéricos mais utilizados para simulações está o método de Monte Carlo ou simulação de Monte Carlo que recebeu esse nome numa homenagem feita por seu criador, Stanislaw Ulam, em uma visita aos cassinos de Mônaco. Em incerteza na medição o método de Monte Carlo [1] [2] é utilizado como uma alternativa para o método usual proposto pelo GUM. O método tem as suas principais aplicabilidades quando não se possui um modelo com derivadas parciais fáceis de calcular, quando a aproximação pela série de Taylor de primeira ordem para o modelo não é satisfatória (modelo não linear ou complexo) e por último quando é grande a assimetria das grandezas de entrada. O método se baseia no fato de cada grandeza de entrada possuir uma função densidade de probabilidade (PDF), a partir de cada grandeza de entrada e de sua respectiva PDF, são gerados dados aleatórios que através de um modelo são propagados para a grandeza de saída. Constrói-se assim a PDF da grandeza de saída e a partir desta são retirados todos os parâmetros estatísticos desejados. Observemos as várias vantagens de se fazer isso. Primeiro torna-se desnecessário o cálculo das derivadas parciais do modelo (coeficientes de sensibilidade), também não é mais necessário o cálculo dos graus efetivos de liberdade, bem como dos coeficientes de correlação (estão naturalmente incluídos no modelo). Porém um ponto de interrogação é a determinação do número de simulações que será necessário para se atingir uma precisão especificada [3] [4]. O presente trabalho tem como objetivo analisar de que maneira a incerteza varia de acordo com o número de dados gerados pseudo-aleatoriamente e qual o número de dados que torna o resultado satisfatório. Para o procedimento empregado nesta análise da incerteza foi utilizado o método programado para certo exemplo, com um número de dados aleatórios variável, e após isto se encontrou o número de dados a partir do qual a incerteza pode ser considerada homocedástica. A variância é uma peça chave para calcular a incerteza do tipo I. Diz-se que a incerteza de um instrumento de medição é homocedástica quando a variância dos resultados das medições é independente, ou seja, não varia, seja com o tempo, ou com o número de dados apresentados no método de Monte Carlo. 2. OBJETIVO Avaliar de que maneira a incerteza se comporta de acordo com o número de dados gerados na simulação de Monte Carlo. Propor um valor para o número de simulações que tornam a estimativa de uma incerteza de medição satisfatória e homocedástica. 3. METODOLOGIA O primeiro passo para a estimativa através do método de Monte Carlo foi a determinação da FDP que as medidas de capacitância seguiam. Para isso foi utilizado o teste de

2 Kolmogorov-Smirnov. Neste teste foram utilizadas como hipóteses as distribuições normal, uniforme e triangular. Foram então gerados dados aleatórios com base nessa distribuição. Estes dados foram gerados sucessivamente sempre aumentando o número de dados dez vezes, ou seja, utilizou-se a seguinte fórmula: Número de dados = 10 n, n = 1, 2, 3, 4, 5, 6, 7 Porém um grande inconveniente foi encontrado ao se iniciar o cálculo alguns pontos variavam a cada vez que o método era repetido, por exemplo, ao executar o método com 104 dados mais de uma vez observou-se que os valores eram diferentes de maneira bastante considerável, então para tornar o método mais robusto para cada n a incerteza foi estimada 30 vezes a partir disso então se calculou a média destas incertezas para análise. Há duas formas de aumentar o número de apresentações de dados (simulações): (a) incrementar o número de dados aleatórios de cada PDF de entrada; (b) incrementar o número de vezes que cada PDF é apresentada. Neste trabalho foram comparados esses procedimentos. Por fim analisou-se ainda de que maneira o tempo de processamento variou à medida que se aumentava o número de dados. Para verificar a homocedasticidade da incerteza (i.e. verificar a homogeneidade da variância dos dados) em relação ao número de amostragens no Método Monte Carlo (MMC), foi gerado 20 vezes um conjunto de trinta dados para cada número de simulações: 10, 102, 103, 104, 105, 106 e 107. Com esses dados, fez-se um teste de hipótese de igualdade de variância entre os dados referentes a pares consecutivos de número de simulações (entre os dados para 103 e 104 simulações, por exemplo). Para esses testes foram feitos os teste de Bartlett e depois o teste robusto de Levene [6], os quais são testes de hipóteses e retornam com um p-valor que indica a rejeição da hipótese nula de igualdade de variâncias quando é menor que a significância. Para aplicar tais testes usou-se a função vartestn do MATLAB [5]. Então foi analisado o comportamento dos p-valores com o aumento do número de simulações. ESQUEMA METODOLÓGICO 1. Após realizar as medições, utilizou-se um teste de aderência a uma PDF para atribuir uma PDF a cada grandeza de entrada; 2. Para cada grandeza de entrada gerou-se uma PDF com um pequeno número de dados; 3. Através do modelo propagou-se a incerteza para a grandeza de saída; 4. Através da PDF da grandeza de saída estimou-se um valor de incerteza para esta; 5. Os passos 2 a 4 são repetidos 30 vezes, gerando assim trinta valores de incerteza; 6. O pequeno número de dados inicial é incrementado aumentando seu valor por um fator de 10; 7. Repete-se os passos 2 a 5 para o novo número de dados 8. Faz-se um teste de igualdade de variâncias entre os conjuntos de incerteza para PDFs com diferentes números de dados(10² e 10³ dados, por exemplo) [6]. 9. Faz-se uma análise comparativa entre os resultados dos testes de igualdade de variância com o aumento do número de dados aleatórios que geram a PDF. 4. RESULTADOS E DISCUSSÃO 4.1 Dados Experimentais Usados para Estudo Para avaliar a sensibilidade do método de acordo com o número de dados gerados foi utilizado um exemplo onde se deseja medir a distância entre as placas de um capacitor plano de placas paralelas [7]. Um capacitor é um dispositivo elétrico cuja principal função é armazenar carga. Um capacitor consiste num dispositivo com dois condutores de cargas iguais e opostas. O capacitor de placas paralelas possui uma relação onde sua capacitância é associada com a área das placas e a distância entre elas: Em que: - corresponde a permissividade elétrica no vácuo - corresponde a permissividade elétrica do meio A - área das placas do capacitor d - distância entre as placas Neste exemplo a partir de medidas da capacitância objetivouse encontrar a distância entre as placas do capacitor, os dados utilizados para capacitância seguem na tabela 1. As constantes foram: = pf m -1 ; = pf m -1 ; A = m²; Estas constantes foram consideradas para efeito de cálculo isentas de incerteza.

3 4.2. Teste de Kolmogorov-Smirnov O teste de Kolmogorov-Smirnov realiza uma comparação entre distribuições para saber se elas são oriundas da mesma população, ou seja dadas duas amostras X1 e X2 ele testa se F1(x) = F2(x) para todo x dentro de um certo nível de significância alfa. Neste teste o nível de significância era aumentado a cada loop até que uma das hipóteses nulas não fosse rejeitada. Como resultado do teste, tem-se o valor H, a interpretação de H é a seguinte: H = 0 - Não rejeitamos a hipótese nula no nível de significância alfa; H = 1 - Rejeitamos a hipótese nula no nível de significância alfa. A partir deste teste foi adotado que os dados de entrada seguiam a uma distribuição uniforme, analisando a Tabela 2 e gráfico da Figura 1. Tabela 1: Dados de capacitância em picofarad. Medida Capacitância em pf 1 19, , , , , , , , , , , , , , , , , , , ,20 Tabela 2: Resultados para o teste Kolmogorov-Smirnov PDF testada Valor de H Significância Triangular Normal Uniforme Análise dos Dados Gerados para Cada n O que se observou inicialmente foi que para um número baixo de dados (n=1, 2, 3) não existe uma repetitividade da incerteza, pois os valores variam a cada vez que o programa é executado. Estes dados são, portanto, de pouca confiabilidade e não devem ser usados para o cálculo da incerteza já que não são valores realmente representativos do seu valor. À medida que o número de dados gerados aumentou, o procedimento se torna se torna mais confiável. Os pontos para n=4 também podem apresentar variações sendo também pouco recomendável que se use este número de dados apesar de apresentar certa repetitividade de valores muitas vezes ele destoa fortemente do valor apresentado anteriormente podendo ser uma fonte de uma incerteza subestimada ou superestimada. Figura 1: Histograma das grandezas de entrada Os valores para n=5 e 6 apresentaram resultados bons em relação à reprodutibilidade. A recomendação quando se utiliza o método de monte Carlo é utilizar no mínimo dados aleatórios (n=5). O que se percebe é que a partir desse valor a variação na incerteza, apesar de ainda existir, é muito baixa, e, comparando os valores para n=6 e n=7, a diferença é de apenas 1% em média, justificando usar n=7 apenas em casos onde se necessita de extrema precisão. Outro ponto analisado foi como os trinta valores estimados de incerteza eram próximos ou não. Esta análise é bastante importante já que para se ter uma incerteza que seja bastante robusta, mesmo executando o método várias vezes, é necessário que os valores desta sejam bastante repetitivos.

4 Figura 2: Gráfico dos trinta valores para incerteza estimada, delimitados por limites superiores e inferiores O critério utilizado para quantificar a dispersão das incertezas, ou seja, como estas incertezas se concentram em torno da incerteza média foi o desvio padrão resultante dos 30 cálculos de incerteza. É de se esperar que, quanto menor for o valor deste parâmetro, mais os valores estão concentrados em torno da incerteza média e mais representativa será este valor. Quanto a este parâmetro, o que se observou foi que ele diminui fortemente à medida que o número de iterações aumenta para n de 1 a 4 e depois começa decrescer de maneira mais suave, de modo que quando temos n = 7 ele já se aproxima muito do valor zero, a partir de n=6 já se torna pouco perceptível a diferença entre os desvios, o gráfico da Figura 3 mostra como o desvio variou em função do número de dados aleatórios. concluir que à medida que o número de dados aumenta menos variável fica o valor da incerteza como mostrado também no gráfico da Figura Tempo de Processamento Outro fato importante é que à medida que se aumenta o número de dados, principalmente após 10 5 dados, a velocidade de processamento torna-se bastante lenta, como observado no gráfico da figura 4. Figura 4: Tempo de Processamento para cada número de dados apresentados Figura 3: Desvio padrão das incertezas geradas em função do número de apresentados Um gráfico que mostra muito bem o fato da robustez dos valores está no gráfico de dispersão dos 30 valores para incerteza comparativamente (Figura 2), deste gráfico pode-se Para até cem mil dados o tempo de processamento permanece constante tendo em média cinquenta a setenta segundos de processamento para cada grupo de trinta PDFs geradas. Porém a partir deste número de dados apresentados o tempo de processamento dá um salto pequeno quando se apresentam um milhão de dados e o tempo praticamente dobra quando se apresentam dez milhões de dados aleatórios. Com relação aos procedimentos empregados e mencionados no método como (a) e (b) os resultados

5 mostraram que o procedimento (a) necessita de um número maior de apresentações para uma mesma precisão, porém o tempo de processamento é menor Testes de Igualdade das Variâncias Teste de hipótese, como o de Bartlett e o de Levene [6], tem como resposta um valor chamado de p-valor. Se o p-valor for maior que o nível de significância (que corresponde ao complementar do nível de confiança) então o teste é inconclusivo, ou seja, não se pode rejeitar a hipótese nula de que as variâncias dos dois grupos são diferentes Se o p-valor for menor que o nível de significância, o teste é conclusivo e indica a rejeição da hipótese nula. Fazendo os testes de Levene de comparação de variância da maneira proposta, chegou-se a valores para p-valor próximo de zero, usando amostras de 600 valores de incerteza obtidos através de cada PDF gerada pelo MMC, usando números diferentes de dados aleatórios no método para cada PDF. Isso indica que se pode rejeitar a hipótese de igualdade das variâncias e assumir que o acréscimo de número de simulações do MMC de fato altera nosso resultado representativamente, mesmo se comparando os dados para 10 6 e 10 7 simulações no Método Monte Carlo. REFERÊNCIAS [1] G.Moscati, L.G. Mezzalira e F.D. Santos. Incerteza de medição pelo método de Monte Carlo no contexto do suplemento 1 do GUM. ENQUALAB [2] BIPM, IEC, IFCC, ILAC, ISO, IUPAC, IUPAP and OIML 2007 Evaluation of Measurement Data, Supplement 1 to the Guide to the Expression of Uncertainty in Measurement Propagation of Distributions Using a Monte Carlo Method. [3] A.B. Mendes. Simulação de monte Carlo. Açoriano Oriental [4] M.C. Junior and P.J. Pompéia. Uncertainty of the Density of Moist Air: Gum x Monte Carlo. Brazilian archives of biology and technology [5] Matlab by The MathWorks, Inc. Vide: [6] M.B. Brown, A.B. Forsythe Robust Tests for the Equality of Variances, Journal of the American Statistical Association, Vol.69, No. 346 (Jun., 1974), pp [7] S. Mekid, D. Vaja, Propagation of Uncertainty: Expressions of Second and Third order Uncertainty with Third and Fourth Moments, Measurement (2007) 5. CONCLUSÕES Os valores das incertezas tornam-se repetitivos quando o número de dados aleatórios apresentados é no mínimo de 10 5 dados, porém à medida que se aumenta o número de dados, principalmente após 10 5 dados, a velocidade de processamento torna-se bastante lenta. Contudo, estatisticamente, a partir do teste de Levene, se observou que, mesmo com o aumento do número de dados apresentados, ou seja, com o aumento do número de simulações, a incerteza não é homocedástica. O que existe, na verdade, é uma contínua diminuição da variância dos resultados, levando a uma maior reprodutibilidade na estimativa da incerteza propagada pelo MMC, pelo menos até 10 7 simulações. Portanto, ao utilizar o método de Monte Carlo deve ser observado se as características das incertezas obtidas e se a PDF da incerteza atende aos requisitos necessários.