Brams em produção. o 1 - Fluxo da execução no cluster do DCA. Conteúdo Brams em produção

Transcrição

1 Brams em prduçã Cnteúd Brams em prduçã 1 - Flux da execuçã n cluster d DCA Dwnlad de dads Pré-prcessament Execuçã d Brams Pós-prcessament Armazenament de dads 2 - Detalhament ds passs da execuçã Dwnlad de dads Umidade d sl Temperatura da superfície d mar GAMRAMS Execuçã d mdel Pré-prcessament Alcaçã de máquinas Geraçã ds DPs Geraçã ds IVs Execuçã d Brams Pós-prcessament Geraçã ds GRAs Geraçã das imagens Cnfiguraçã d RAMSIN Tip de execuçã Temp de simulaçã Resluçã Lcalizaçã de arquivs 3 - Dwnlad ds scripts e arquivs utilizads

2 1 - Flux da execuçã n cluster d DCA Dwnlad de dads Umidade d sl [diariamente] Temperatura da superfície d mar [semanalmente] Dads d mdel glbal (GAMRAMS) [diariamente] Cadastra GAMRAMS n Catálg de dads (DLS) Pré-prcessament Alca máquinas d cluster Gera arquivs DP a partir ds GAMRAMS Gera arquivs de inicializaçã de variáveis (IVs), executand Brams cm RAMSIN n md "MAKEVFILE" Execuçã d Brams Gera arquivs de análise, executand Brams cm RAMSIN n md "INITIAL" Nessa fase, que exige mair prcessament, Brams é executad em paralel nas máquinas d cluster utilizand MPI Pós-prcessament Gera arquivs.gra (usads pel GrADS) a partir ds arquivs de análise, executand RAMSPOST Gera imagens, executand scripts GrADS Armazenament de dads Envia imagens para a máquina d prtal e para diretóri de backup Cmpacta dads gerads.gra e envia para diretóri de backup Cadastra resultads n servidr OPeNDAP e n DLS 2 - Detalhament ds passs da execuçã Dwnlad de dads Para baixar s dads necessáris para rdar a prduçã, nós utilizams prgrama Crn, que agenda a execuçã ds scripts que fazem dwnlad desses dads. Esse agendament pde ser feit através d cmand crntab -e, editand arquiv que faz essa gerência Umidade d sl

3 Os dads da umidade d sl sã baixads diariamente, cm a execuçã d script get_umid.sh. O script vai n site e baixa s arquivs dispníveis que nã existem n nss diretóri (/grid/brams/surface/sil) Temperatura da superfície d mar Os dads da temperatura da superfície d mar sã baixads semanalmente, cm a execuçã d script get_sst.sh. O script acessa via FTP site ftpprd.ncep.naa.gv, e baixa s arquivs dispníveis n diretóri /pub/cmb/sst/isst_v2/ que nã existem n nss diretóri (/grid/brams/surface/sst_week). Ele também cnverte s arquivs baixads para frmat d RAMS, utilizand prgrama sst2rams.x, já que Brams nã entende frmat isst que é frnecid GAMRAMS Os GAMRAMS sã baixads diariamente (para diretóri /grid/brams/dprep/grb). Eles sã essenciais para que a rdada acnteça. Eles sã dividids em três tips: ICN, FGS e FCT. ICN e FGS sã dads das cndições iniciais. O Brams só rda se vcê tiver s ICN e FGS relativs à data inicial especificada n RAMSIN. Os FCTs sã dads para datas futuras. Vcê terá que ter esses dads de md que eles cubram tda a faixa de dias que vcê especificar n RAMSIN. O Brams tlera a falta de n máxim 2 FCTs dentr dessa faixa, excet quand arquiv ausente é d últim dia da previsã. N cas de previsões usand dads de datas passadas, s FCTs pdem ser substituíds pr ICN e FGS. O script usad é ftp_gamrams.sh. Ele baixa d CPTEC, através d site ftp:// /pub/prduts/prd_eta/pnt_sx6/gamrams126/, s arquivs referentes a dia que a prduçã será executada. Se s arquivs ainda nã estiverem dispníveis, script fica blquead até que s arquivs sejam dispnibilizads. Cm s FCTs pdem ser substituíds pr ICN e FGS, s FCTs antigs sã remvids quand chegam s nvs dads Execuçã d mdel A prduçã está agendada n Crn para rdar diariamente às 19:30, cm a execuçã d script brams_prd_crn.sh. Esse script é respnsável pr chamar script que baixa s GAMRAMS, alcar máquinas d cluster e executar script brams_prd.sh que é respnsável pr rdar tda a prduçã. Verems abaix que esse script faz. Um guia de execuçã d Brams pde ser encntrad aqui Pré-prcessament Alcaçã de máquinas A execuçã d Brams n DCA é feita em paralel nas máquinas d cluster. Nós utilizams 7 máquinas para a prduçã. Para alcar máquinas d cluster, é utilizad prgrama Crn. Cm cmand crallc -n 7, é feita a alcaçã de 7 máquinas n cluster para a execuçã d Brams em paralel, utilizand prgrama MPI. Geraçã ds DPs

4 Para executarms Brams, é necessári que a partir ds arquivs GRB sejam gerads arquivs DP, que é frmat de entrada d mdel. Lg, devems cpiar s arquivs GRB de interesse, referentes as períds especificads n RAMSIN, para diretóri nde Brams será executad. Para gerar s DPs, também sã necessáris s arquivs: grib2dp, grbcnv e arquiv de cnfiguraçã PREP_IN. Estes arquivs estã na pasta de instalaçã d Brams e devem ser cpiads para a pasta nde Brams será executad. O próxim pass é executar cmand grib2dp. Esse prgrama irá gerar s DPs n diretóri especificad n arquiv PREP_IN. O padrã é diretóri DP na pasta nde vcê executa. Prtant, se nã fr alterad diretóri, um nv diretóri DP terá que ser criad na pasta nde está send executad Brams. Geraçã ds IVs A geraçã ds IVs é a etapa d pré-prcessament que utiliza Brams para gerar arquivs de inicializaçã de variáveis (varfiles). Iss é feit executand Brams cm atribut RUNTYPE cnfigurad cm MAKEVFILE. É necessária a criaçã das pastas: ivdata e data para executar Brams nesse md, além de ter n diretóri um link para executável d brams e arquiv RAMSIN. Uma breve discussã sbre alguns parâmetrs de cnfiguraçã d RAMSIN pdem ser vista abaix. Após cnfigurar RAMSIN de acrd cm as suas necessidades, basta rdar cmand./ brams Execuçã d Brams Depis que s IVs sã gerads, mdel é executad utilizand arquiv RAMSIN cm atribut RUNTYPE cnfigurad cm INITIAL, para gerar s arquivs de análise. Para executar Brams, basta invcar executável cm cmand./ brams. Essa fase é executada em paralel, pis é a que requer mair prcessament. Nós usams prgrama MPI para fazer esse paralelism n cluster. Ele é executad através d cmand: mpirun -np 22 machinefiles machinefiles brams. A pçã -np 22 significa que serã utilizads 22 prcessadres. Cm alcams 7 máquinas, nós terems 3 prcesss pr máquina alcada, e mais um prcess que será rdad na máquina na qual vcê executu cmand. É necessária a criaçã das pastas: A e H para executar Brams nesse md Pós-prcessament O pós-prcessament é feit pel script autpublish.sh. Ele é executad paralelamente à execuçã d Brams. À medida que s dads de análise vã send gerads, pós-prcessament é realizad. Geraçã ds GRAs Os arquivs GRA, que sã utilizads pel GrADS para gerar imagens e bter infrmações em pnts da grade, sã gerads pel script umprtemp.sh. Esse script usa ramspst para gerar esses arquivs. Para executá-l é necessári ter um link ramspst que apnta para prgrama lcalizad na pasta de instalaçã d Brams, em: newbrams/ps-prc/ramspst_50, e um arquiv ramspst.inp cm as cnfigurações das variáveis utilizadas. Geraçã das imagens

5 As imagens sã geradas pel GrADS a partir ds arquivs n frmat GRA utilizand gradsexec.sh. Ele recebe cm entrada arquiv mapas_grads.txt, que define s atributs ds mapas que serã gerads. Pr exempl, estams gerand imagens cm s mapas d Nrdeste, Paraíba, Pernambuc e Sergipe. Assim, arquiv mapas_grads.txt cntém seções de cnfiguraçã para cada um destes. A seguir, tems um exempl da seçã crrespndente a mapa d nrdeste. <regin name="ne"> lat=" " ln=" " desc_file="descriptr1.ctl" crds_file="cidades_ne.txt" mde="prtrait" reslutin="x768 y1024" </regin> regin name : Títul d mapa lat e ln : Limites da área d mapa desc_file : Descritr(ctl) ds dads que serã usads crds_file : Arquiv cntend as crdenadas gegráficas e s nmes das cidades que apareceram n mapa. mde : Orientaçã retrat u paisagem "prtrait" u "landscape" reslutin : Tamanh da imagem Para executá-l, é necessári ter n diretóri de execuçã um link para GrADS, arquiv sres (que define desenh d mapa) e s scripts GrADS: cbarn.gs, getdads.gs, grads_param.gs, fixedclrs.gs e pnts_mapa.gs. Um ds atributs d arquiv de cnfigurações mapas_grads.txt é arquiv de cidades que aparecerã naquele mapa. Esse arquiv deve estar n frmat: <Lngitude> <Latitude> <Nme_da_cidade> Tems cm exempl arquiv cidades_ne.txt: Sa_Luis Teresina Frtaleza Natal Ja_Pessa Recife Macei Aracaju Salvadr Cnfiguraçã d RAMSIN

6 O RAMSIN é arquiv de cntrle d mdel, através d qual diverss parâmetrs pdem ser ajustads. Aqui serã discutids apenas s parâmetrs que julgams relevantes Tip de execuçã A pçã RUNTYPE define uma das 5 maneiras pssíveis que mdel pde ser executad. Cada tip crrespnde a uma fase de execuçã, que tipicamente sã executadas sequencialmente. Em muitas situações, s dads gerads em algumas fases sã s mesms para várias cnfigurações d mdel, permitind que sejam executadas apenas uma vez. As pções relevantes aqui sã MAKEVFILE e INITIAL. Quand mdel é rdad cm a pçã MAKEVFILE pacte ISAN (ISentrpic ANalysis ) é executad cm bjetiv de analisar cnjunt de dads e criar s arquivs de inicializaçã de variáveis (variable initializatin files u varfiles). O md de execuçã INITIAL define iníci da simulaçã prpriamente dita. Essa pçã define que essa rdada será a primeira da simulaçã. Nessa fase, presume-se que tdas as variáveis atmsféricas já fram preparadas através da execuçã d ISAN Temp de simulaçã As variáveis necessárias para ajustar temp de duraçã da simulaçã sã: TIMEUNIT A unidade em que a variável TIMMAX será expressa. Os valres permitids sã: s (segunds), m (minuts), h (hras) e d (dias). TIMMAX Define a duraçã da simulaçã. Cm estams apenas cnsiderand rdadas cmeçand n temp 0 e sem execuções subseqüentes, essa variável define temp ttal de simulaçã. Na execuçã cm a pçã MAKEVFILE ela serve para definir períd que ISAN irá gerar s varfiles. IMONTH1 Mês de iníci da simulaçã. É um inteir n frmat MM. IDATE1 Dia de iníci da simulaçã. É um inteir n frmat DD. IYEAR1 An de iníci da simulaçã. É um inteir n frmat AAAA. ITIME1 Hra e minut d iníci da simulaçã, n hrári de Greenwich (GMT) ISAN_INC Increment da saída da execuçã d ISAN, respnsável pela geraçã ds IVs. O valr padrã é ISAN_INC=0600

7 Resluçã NGRIDS Especifica númer de grades aninhadas a serem ativadas na execuçã d mdel. Se valr fr 1 uma única grade cbrind td dmíni espacial será ativada. Se valr fr 2, uma segunda grade aninhada à primeira será ativada. Uma grade aninhada é útil para bter resluções maires em áreas específicas d dmíni da simulaçã Lcalizaçã de arquivs Esta seçã descreve as variáveis que devem ser cnfiguradas para que mdel encntre s arquivs de entrada necessáris e armazene s arquivs de saída n lcal crret. VARFPFX AFILOUT HFILOUT Prefix necessári para encntrar s varfiles. É definid pel caminh (abslut u relativ a diretóri nde se encntra executável d mdel) d diretóri nde s varfiles se encntram, seguid pel prefix d nme ds arquivs que irã cmpr cnjunt. Ex.:./ivdata/iv- Prefix ds arquivs de análise, que sã resultad da execuçã d mdel cm a pçã RUNTYPE=INITIAL. Ex.: AFILOUT = './A/anal', Prefix ds arquivs que guarda s histórics da execuçã d mdel cm a pçã RUNTYPE=INITIAL. Ex.: HFILOUT = './H/hist' ITOPTFN, ISSTFN, IVEGTFN COLTABFN Estas variáveis sã prefixs para arquivs de tpgrafia terrestre, temperatura da superfície d mar e vegetaçã, respectivamente. As variáveis sã dependentes ds grids, prtant devem cnter valres específics para inicializar cada grid da simulaçã. Ex.: ITOPTFN = '/grid/brams/surface/tp/el' ISSTFN = '/grid/brams/surface/sst_week/w' IVEGTFN = '/grid/brams/surface/veg_usgs/veget_' Arquiv cntend a tabela de micr física. IAPR Ex.: COLTABFN = '/grid/brams/dprep/micr/ct2.0'

8 Prefix ds arquivs preparads (DP) que cntém s dads de entrada para mdel. Ex.: IAPR = './DP/dp' Além de cnfigurar esta variável, deve-se certificar que s arquivs necessáris para a execuçã existem n diretóri. O nme d DP é frmad seguind padrã dpaaaa-mm-dd (p.ex. dp ). O BRAMS utiliza quatr arquivs DP para cada dia d temp de simulaçã. Aqui, presumims que valr d parâmetr ISAN_INC é igual a 0600; esse valr infrma a ISAN interval de temp existente entre um arquiv DP e utr. Cm essa cnfiguraçã, um DP é necessári para cada 6 hras da simulaçã a partir da data de iníci até TIMMAX unidades de temp n futur. Pr exempl, se cnfigurarms a simulaçã cm IMONTH1=04, IDATE1=01, IYEAR1=2005, TIME1=0000, TIMEUNIT=d e TIMMAX=3, estams definind uma simulaçã de 3 dias iniciand à zer hra d dia 1 de abril de 2005, send necessáris 12 arquivs DP, que sã: 1. dp dp dp dp dp dp dp dp dp dp dp dp VARPFX Prefix usad pel ISAN para definir nme usad para gerar s arquivs de saída (varfiles). Ex.: VARPFX = './ivdata/iv-rams504-v', ( diretóri ivdata deve ser criad previamente). 3 - Dwnlad ds scripts e arquivs utilizads dwnlad_brams.tar.gz: Scripts de dwnlad ds dads para iniciar prduçã exec_brams.tar.gz: Scripts de execuçã d mdel pst_brams.tar.gz: Scripts para pós-prcessament * Os crédits da seçã 2.3 sã atribuíds a William Vrsluys. -- MarcusCarvalh - 05 Jul ElianeArauj - 05 Jul 2006