Verificação, Validação e Experimentação com Modelos de Simulação

Transcrição

1 Boletm Técco: MS: 03/06 em 9/06/006 Verfcação, Valdação e Expermetação com Modelo de ulação Prof. Luí Céar da Slva Emal: lvalc@cca.ufe.br - Webte: A etruturação de modelo para a mulação de tema leva a orgazação de etrutura matemátca que podem er vualzada como edo uma fução f que produz uma aída y a partr de etrada de x e parâmetro do tema p, Fgura, am y = f(x, p). O fatore y, x e p podem er uma úca varável, ou um vetor, ou ada uma matrz. Parâmetro do tema, p Etrada, x Modelo do Stema, f Saída, y Fgura Vualzação de modelo de mulação, y = f(x, p) (MENNER, 995). Quado da elaboração de modelo de mulação o objetvo é utlza-lo como ferrameta como uporte ao proceo de tomada de decão. O que ormalmete, requer a codução de expermeto, ta como: () aale de ebldade, () comparação de ceáro, () otmzação, e (v) mulação de Mote Carlo. No etato, para que o reultado dea expermetaçõe poam realmete er utlzado, o modelo de mulação empregado deve paar pelo procedmeto de verfcação e valdação. Coforme repreetado a Fgura, quado da mplemetação de modelo de mulação trê tpo de erro podem ocorrer: () Erro do Tpo I o dado gerado pelo modelo ão cofáve, ma memo am ão rejetado; () Erro do Tpo II o reultado apreetado pelo modelo ão ão aproprado, o etato ão aceto como valdo; e () Erro do Tpo III o modelo fo mal etruturado coeqüetemete é aproprado para o uo. Para evtar a ocorrêca dee erro é recomedado coduzr o procedmeto de verfcação e valdação. E ete procedmeto cottuem a atvdade ma árdua o deevolvmeto de modelo; e vam repoder e o modelo repreeta com fdeldade o apecto em etudo aocado a um dado tema. O procedmeto de verfcação cote em um cojuto de açõe cuja meta é certfcar e o modelo cocetual fo tracrto de forma adequada quado do uo da lguagem de

2 Boletm Técco: MS: 03/06 em 9/06/006 mulação ou de programação. Para a execução da verfcação é recomedado: () evolver outra peoa além do dealzadore do modelo, () rodar o modelo e proceder à comparação do reultado gerado com o obtdo do tema real, () ratrear o programa e verfcar a execução de cada rota computacoal, (v) obervar a amação e (v) aalar etattcamete o valore gerado para a varáve aleatóra, quer eta aocada a varáve de etrada, parâmetro do tema, ou varáve de aída, Fgura (BALCI, 997; MARIA, 997). Problema Formulado O problema formulado egloba todo o apecto deejado? Ocorre o Erro do Tpo I O modelo mplemetado repreeta cofávelmete o tema? A olução apreetada tem cedbldade A olução apreetada ão tem cedbldade Na valdação o modelo demotrou credbldade? Na valdação o modelo demotrou credbldade? O reultado da mulação ão aceto? O reultado da mulaçõe ão aceto? Ocorre o Erro do Tpo I Ocorre o Erro do Tpo II Térmo com uceo Térmo com Erro do Tpo I Térmo em uceo Térmo com Erro do Tpo II Fgura Ocorrêca de erro em etudo de mulação (BALCI, 997). É mportate realtar que a tarefa aocada ao procedmeto de verfcação devem er coduzda durate a dferete fae de mplemetação do modelo, e ão omete ao fal.

3 3 Boletm Técco: MS: 03/06 em 9/06/006 Quato ao procedmeto de valdação, ete objetva certfcar e a traformação etrada-aída (put-output) realzada pelo modelo tem precão para repreetar a mema ocorrêca procedda o tema real. Para codução dee procedmeto deve-e: () rodar o modelo coderado mema codçõe mpota ao tema e () comparar o dado gerado pelo modelo e o tema (BALCI, 997). A valdação pode er realzada de forma ubjetva ou etatítca (MENNER 995). A valdação ubjetva é realzada quado ão é poível coduzr curõe aproprada obre o tema em etudo. Nete cao pode er empregado, por exemplo, o Tete de Turg. Ete cote em: () obter o dado gerado pelo modelo e o do tema, () formatar o dado obtdo para um memo padrão e () ubmeter o do cojuto de dado a equpe de epecalta. Cao ete profoa ão percebam dfereça etre o do cojuto de dado to dca que o modelo etá valdado. Outra forma de proceder valdação ubjetva é ubmeter a aále do dado gerado pelo modelo a uma equpe de epecalta. Ete profoa com bae em ua experêca farão julgameto quato a cofabldade do dado gerado (LAW e KELTON, 99; WINSTON, 994). A valdação etatítca é realzada pelo emprego de procedmeto etatítco como o apreetado a Tabela. Tabela - Etatítca para aále aplcada em verfcação e valdação de modelo Categora Procedmeto etatítco Méda Medda de poção (amotral) Medaa Moda Varâca Etatítca Decrtva Devo padrão Medda de dperão (amotral) Coefcete de varação Erro padrão da méda Ampltude total Coefcete de correlação amotral Hpótee de Nuldade Hpótee alteratva Tete de Z Tete de Aderêca Hpótee Etatítca Tete do Qu-Quadrado ( χ ) Tete de Idepedêca Tete de homogeedade Tete de F Tete de t Tete de hpótee para dado emparelhado

4 Boletm Técco: MS: 03/06 em 9/06/006 4 Para a aplcação do proceo detacado a Tabela faz-e eceáro a obervâca de fudameto etatítco, o que cocere ao tpo de varável, aleatóra ou dcreta, e e eta ão depedete ou ão. No cao de varáve aleatóra, por exemplo, a varável X que correpode ao tempo de epera em um tema de fla, gerada pelo modelo a mulação a roda de úmero, tem-e que apó rodada erá cottuído o cojuto {X, X,...X }. Ee valore erão depedete e a emete do geradore de úmero aleatóro foram ecolhda aleatoramete. Deta forma, pode er utlzado ferrameta dpoblzada pela etatítca cláca (Tabela ) como: a méda (equação ), a varâca amotral (equação ), e o tervalo de varação da varável a um dado ível de probabldade (equação 3). X = X = () = = ( X X ) () em que X ± t α /, (3) t α /, - repreeta um valor da dtrbução t para - grau de lberdade ao ível de probabldade de α /. Um exemplo de emprego da equação 3 é apreetado a Tabela. Nete cao ão calculado o Lmte Iferor e Superor tomado como poto de referêca a méda do dado obtdo do tema real, am: Lmte uperor LS = M + t. Dp / Lmte feror LS = M t. Dp / em que M = méda do dado obtdo do tema real; D p = devo padrão do dado gerado pelo modelo.

5 5 Boletm Técco: MS: 03/06 em 9/06/006 Calculado o lmte é tetado para cada ível de probabldade e o valore máxmo e mímo etão cotdo o tervalo de cofaça. Se o valore etão cotdo o tete é aceto cao cotráro é rejetado. Tabela Uo do tete de t a determação de tervalo de cofaça quado pratcado cco rodada de mulação Coumo de Eerga Elétrca Demada de Eerga Elétrca Rodada o MWh FP MWh HP Total kwh kw -FP kw-hp 60,0 9,7 79,37 33,46 04,0 5,53 9,39 7,9 47,63 04,0 3 59,06 9,44 78,50 33,46 04,0 4 58,59 9, 77,80 47,63 8,9 5 66,90 0,5 87,05 47,63 96,94 Valor Máxmo 5,53 9,7 7,9 33,46 96,94 Valor Mímo 66,90 0,5 87,05 47,63 8,9 Devo Padrão 5,08 0,387 5,389 6,986 7,70 Méda Stema Real 59,46 9,47 78,93 4,96 05,434 Itervalo de cofaça egudo o tete t Cofaça 99% t = 4,604 4,604 4,604 4,604 4,604 Lmte Iferor 48,94 8,68 67,83 7,58 89,54 Lmte Superor 69,97 0,7 90,0 56,35,33 Itervalo de cofaça egudo o tete t Cofaça 95% t =,776,776,776,776,776 Lmte Iferor 53, 8,99 7,4 33,9 95,85 Lmte Superor 65,80 9,95 85,6 50,64 5,0 Itervalo de cofaça egudo o tete t Cofaça 90% t =,3,3,3,3,3 Lmte Iferor 54,59 9,0 73,79 35,30 98,08 Lmte Superor 64,33 9,84 84,07 48,6,80 Tete 99% Aceto Aceto Aceto Aceto Aceto 95% Rejetado Rejetado Rejetado Aceto Rejetado 90% Rejetado Rejetado Rejetado Rejetado Rejetado Ob: FP fora do horáro de pco; HP horáro de pco. BARLAS (989) ugere a egute prátca a execução de perdmeto quado da valdação de modelo: Avalar de tedêca: cote em proceder aále de regreão tedo por dado o gerado pelo modelo e o coletado do tema real; Coduzr tete de autocorrelação (autocorrelato fucto tet): é extevamete utlzado em etmatva de modelo de ére tempora;

6 6 Boletm Técco: MS: 03/06 em 9/06/006 Coduzr do o tete da correlação cruzada (cro-correlato fucto tet): que cote em determar como dua ére tempora e aemelham. O que pode aplcado a ére correpodete ao dado gerado pelo modelo e o coletado; Realzar o cálculo do erro percetual (equação 4); E em que S A =.00 (4) A S - é a méda do dado mulado; e A - é a méda do dado obervado o tema. Avalar a ampltude da varâca (equação 5) a E = (5) a em que - varâca do dado mulado; e A - varâca do dado obervado o tema. Determar o coefcete de dcrepâca: ete procedmeto é recomedado omete para e ter um apahado da performace do modelo. Portato, deve er aplcado apó ter-e utlzado de outro procedmeto ma efcete. Como forma de cálculo tem-e a propota por Hery Thel (equação 6) e por Grer (equação 7): S ( S A ) U o = (6) + A ( S S A + A) U o = (7) ( S S) + ( A A) em que: A valor obervado o tema S valor mulado

7 Boletm Técco: MS: 03/06 em 9/06/006 7 Expermetação com modelo Uma vez o modelo verfcado, valdado e epecfcado a codçõe de uo, ete pode er utlzado para coduzr expermetaçõe tpo: (a) aále de ebldade, (b) comparação de ceáro, (c) otmzação, e (d) mulação de Mote Carlo.. Aále de ebldade: cote em alterar o valor de um ou ma parâmetro do modelo e certfcar o mpacto obre o valore da varáve de aída. Por exemplo, o cao uma udade dutral podera er verfcado o mpacto obre a performace do tema ao er aumetada ou reduzda a produtvdade em uma dada operação utára.. Comparação de ceáro: é aplcado quado o objetvo é fazer a comparação da dvera poíve cofguraçõe. Neta comparaçõe é certfcado a que melhor atede o aeo do tomador de decão. 3. Otmzação: tem por objetvo por meo do modelo bucar a cofguração e/ou a forma operação do tema que trá melhor deempeho. O que pode er em termo técco e/ou ecoômco. 4. ulação de Mote Carlo: é aplcada a modelo do tpo etocátco. Para tato, é eceáro proceder a vára rodada com o modelo, e em eqüêca realzar aále etattcamete do reultado gerado. Dete modo, para uma dada varável erá poível determar a probabldade de ocorrêca de valore, bem como, o tervalo de cofaça. Referêca KRAHL, A. The Exted ulato Evromet. I: The 000 Wter ulato Coferece. Pcataway: NJ, IEEE, Proceedg p LAW, A. M., KELTON, W. D. ulato modelg & aaly, d Edto, McGraw Hll, Ic: New York. 99. MARIA, A. Itroducto to Modelg ad ulato. I: The 997 Wter ulato Coferece. Pcataway: NJ, IEEE, Proceedg p Meer, W. A. Itroducto to modelg ad mulato. Joh Hopk APL Techcal Dget 6(): 6: Neelamkavl, F. Computer mulato ad modelg. Great Brta: Joh Wly & So Ltd RIVERA, J. Modelg wth Exted. I: The 997 Wter ulato Coferece. Aocato of

8 Boletm Técco: MS: 03/06 em 9/06/006 Computer: New York, Proceedg p SILVA, L C. Stochatc mulato of the dyamc behavor of gra torage faclty. 00. Tee (Doutorado em Egehara Agrícola.) Uverdade Federal de Vçoa. Vçoa: MG. WINSTON, W. L. Operato reearch - applcato ad algorthm. I. Iteratoal Thomo Publhg. Belmot, Calfora p.