ALTERNATIVA PARA DETERMINAR ACURÁCIA DA PREVISÃO DO MBAR UTILIZANDO ÍNDICE DE BRIER Renaldo Bomfm da Slvera 1 Julana Mara Duarte Mol 1 RESUMO Este trabalho propõe um método para avalar a qualdade das prevsões numércas para localdades específcas, através do conhecdo índce de Brer, em partcular aquelas produzdas pelo modelo numérco de prevsão do tempo operaconal no Insttuto Naconal de Meteorologa, MBAR, tanto utlzando dretamente o modelo ou com o pós-processamento estatístco MOS (do nglês Model Output Statstcs). Embora este índce seja usualmente aplcado a categoras, testamos uma manera smples de aplcá-lo a dados contínuos, tas como temperaturas, chuva, pressão e outros. Os resultados sugerem uma boa nserção aos sstemas de acompanhamento operaconal, tal como realzado no INMET. ABSTRACT Ths work suggests an alternatve methodology for evaluate the qualty of NWP models, especally those regardng to pont forecastng, gathered ether as result of nterpolaton on model grd or as post processng methodologes such as MOS. The key aspect s the use of Brer scores and ts components. Although these scores are mostly appled to categorcal outputs, we have tested a straghtforward methodology for applyng t to contnuous varables, such as temperature, ranfall, pressure and others. The results so far gve good ndcatons of the use of such methodology for applcatons on operatonal bass, as done at INMET. Palavras-chave: MBAR, verfcação, Índce de Brer. 1
INTRODUÇÃO O método de verfcação, proposto por Brer (1950) e seus desdobramentos, como aqueles revstos por Mason (1982), é utlzado desde longa dada para determnação da destreza de modelos numércos. As estatístcas de erro dos modelos numércos, como quantdades médas seja víco ou erro médo quadrátco, assocados ao coefcente de correlação são também bastante utlzadas, tal com o ndcado por Murphy (1988). No INMET, estas ferramentas são utlzadas sstematcamente desde 2000, conforme descrto por Bernardet et. al. (2000) e aplcadas operaconalmente para avalação do Modelo Braslero de Alta Resolução (MBAR), descrto por Slvera et. al (2000). Como alternatva a avalação atual, o INMET aprmora uma metodologa para uso dos coefcentes tas como taxas de acerto, erro, correta rejeção e alarme falso, mplíctos nos índces de avalação de dados categórcos (valores de chuva maores ou menores que um dado lmte, temperatura abaxo ou acma de um valor, etc.) para prevsões para localdades, ou melhor, para um dado ponto. A chave para esta aplcação é escolher convenentemente qual o lmte para avalação de um dado parâmetro meteorológco para ndcá-lo como acetável (ou não). As smulações numércas produzem dversas saídas, com alcances varados em tempo e espaço, mas para o usuáro fnal a prevsão de ponto é a de maor nteresse, seja por questões de deslocamentos a este ponto ou pelo motvo óbvo da necessdade de conhecer o estado futuro da atmosfera sobre sua cdade, barro, etc. Avalar a qualdade das prevsões para localdades específcas tornou-se então um desafo desde longa dada. A adaptação dos coefcentes do erro para dados contínuos é mostrada adequada para este propósto. MÉTODO Os resultados de prevsões pontuas, dretamente do MBAR ou através do MOS, são avalados de acordo com a ocorrênca desejável ou não, sobre um dado ponto e para um dado nível de acetação. Para determnar o nível de acetação, sem mpor modfcações nos parâmetros orgnalmente prevstos, uma referênca deve ser adotada. Usualmente utlza-se categoras, dretamente ou ndretamente relaconadas a uma dada aplcação, por exemplo, temperaturas abaxo de um lmte para vendas de sorvetes, etc. No caso partcular a referênca para a acetação é o desvo padrão da varável meteorológca, na regão de prevsão, de manera que o erro de uma dada 2
prevsão seja comparável ao desvo padrão e depos avalado conforme a observação válda para o evento. Entende-se por observação válda aquele cujo valor está no ntervalo clmatológco, delmtado pelo desvo padrão, tal que: f 0 < rms( prog) < σ (1) C A o μ σ C ) < var( obs) < μ + ( σ C ) (2) ( A A Onde f é o ndcador bnáro da prevsão correta/ncorreta (1 ou 0) e o representa o ndcador de observação válda/nválda (1 ou 0) para o evento. μ e σ são respectvamente, a méda e o desvo padrão das normas clmatológcas e C A é o coefcente de ajuste do desvo padrão que assume valores em ntervalos guas a 0.5 ( 0.5 C 2.5 ). Este coefcente é na verdade uma medda de desafo para o índce de destreza, onde um valor muto acma de 1.0 aumenta sgnfcatvamente a regão de acetação. Para N eventos, o índce de Brer é calculado como a medda do desvo médo entre os ndcadores de prevsão e observação. Então: IBR = (1/ N) N = 1 ( f o ) 2 Com N gual ao número de eventos em análse. Em (3) o Índce de Brer (IBR) pode assumr valores no ntervalo de zero e um, sendo zero, a prevsão perfeta. As prevsões podem ser dervadas de dversas fontes, embora necessaramente deva ser para um ponto, exceto quando a observação possa corresponder áreas lmtadas. A (3) De acordo com os valores, zero e um, atrbuídos para a varável prevsta e observada, são possíves algumas combnações para a medda da acuráca das prevsões, descrtas na tabela 1. (Mol, 2005). Tabela 1 Possíves stuações aplcadas para os valores das varáves prevstas e observadas. Varável Prevsta Varável Observada 1 1 Acerto 1 0 Alarme Falso 0 1 Falha 0 0 Correta rejeção 3
O cálculo do índce de Brer, tanto para as prevsões do MOS quanto para as prevsões do MBAR, utlzam os dados observados consstdos pelo controle de qualdade dos dados do INMET (CQ), conforme Sugahara et. al. (1999). RESULTADOS E DISCUSSÕES Como aplcação, escolhemos as prevsões realzadas para as regões brasleras, para todas as localdades que realzam observações. Por questão de smplcdade, para avalar a destreza do MBAR e MOS, foram utlzadas somente as estações de observação do INMET. Nas fguras 1 e 2 são mostrados valores do índce de Brer, acumulado mês a mês, para o período de 12 meses compreendendo o ano de 2005, para a varável precptação acumulada em 24 horas prevsta pelos meteogramas e temperatura mínma do ar prevsta pelo MOS, respectvamente. Opções do coefcente de ajuste C A, estão também ndcadas nas curvas da fgura 1, recebendo valores de 0.5, 1.0, 1.5, 2.0 e 2.5. Para a correta nterpretação do gráfco, pede-se observar que 0 ndca prevsão perfeta e 1 mperfeta. Nota-se na fgura 1, que a escolha do coefcente é mportante e reflete no nível de operaconaldade de um sstema de prevsão numérca do tempo. Então a escolha de valor elevado para o coefcente de ajuste, mplca em acetação de prevsões provavelmente fora do lmte clmatológco acetável para uma dada varável e localdade. Por outro lado, um valor pequeno mpõe um rgor ncompatível com as condções reas do modelo numérco, característcas locas, orografa, etc. Tomando-se a regão Sudeste como exemplo, onde o desafo de correta prevsão é mas dfícl, dadas as característcas do tempo naquela regão, nota-se que para chuva acumulada em 24 horas, conforme a fgura 1, utlzar o desvo padrão como meta é mas adequado do que mpor lmtes muto altos ou fáces, já que a varabldade do índce ao longo do ano reflete a varabldade físca do processo, o que não pode dexar de ser descrto pela prevsão numérca. A fgura 1, nferor, reúne todas as regões do Brasl para o coefcente de ajuste gual a 1.0, ou seja, para referênca gual ao desvo padrão da varável. Observa-se que a chuva prevsta é comparável ao desvo padrão e smlar para as regões, com pequena exceção para a regão Sudeste que desva-se no mês de agosto com valor alto para o índce de Brer. No caso da temperatura mínma, conforme a fgura 2, a nterpretação dos resultados é análoga a chuva, mas nota-se que a comparação com o valor exato do desvo padrão mpõe valores altos para o índce de Brer. As prevsões de temperatura do MBAR, anda que corrgdas pelo MOS, tem 4
lmtações, prncpalmente devdo ao modelo de solo smplfcado, utlzado operaconalmente pelo modelo, que se encontra em processo de ajuste e melhora. Regão Sudeste Precptação Acumulada em 24hs Prevsão Pontual - MBAR CA=0.5 CA=1.0 CA=1.5 CA=2.0 CA=2.5 Coefcente de Ajuste = 1.0 Precptação Acumulada em 24hs Prevsão Pontual - MBAR Centro-Oeste Sudeste Sul Nordeste Fgura 1: Acuráca das prevsões médas do MBAR, para chuva acumulada dára. Regão Sudeste, com város coefcentes de ajuste (topo) e prevsões para as regões do Brasl, escolhendo C A gual a 1.0, como o melhor coefcente. Norte Regão Sudeste Temperatura Mínma Prevsão Pontual - MOS CA=0.5 CA=1.0 CA=1.5 CA=2.0 CA=2.5 Coefcente de Ajuste = 1.0 Temperatura Mínma Prevsão Pontual - MOS Centro-Oeste Sudeste Sul Nordeste Norte Fgura 2: Acuráca das prevsões médas do MOS, para temperatura mínma. Regão Sudeste, com város coefcentes de ajuste (topo) e prevsões para as regões do Brasl, escolhendo C A gual a 1.0, como o melhor coefcente. 5
A alternatva para meddas de acuráca, conforme apresentada, é utlzada no INMET sendo assocada a processos operaconas de dsponbldade de produtos, consttundo uma medda de efcáca do sstema de prevsor numérco que nclu o modelo numérco (MBAR) e todos os demas processos para execução, pós-processamento e verfcações, consttundo-se o índce de desempenho do sstema prevsor. A análse mensal deste índce tem ajudado sgnfcatvamente na melhora do sstema prevsor do INMET. AGRADECIMENTOS Os autores agradecem ao Dr. Shgetosh Sugahara pelo desenvolvmento do CQ e MOS utlzados no INMET e pelas dscussões mportantes acerca dos desenvolvmentos dos processos de verfcação. REFERÊNCIAS BIBLIOGRÁFICAS Bernardet, L. R., Slvera, R.B, Edwards, J. P., 2000. Verfcações do Sstema de Prevsão Numérca do INMET. Anas do XI CBMET, Ro de Janero. Brer, G. W., 1950. Verfcaton of forecasts expressed n terms of probablty. Monthly Weather Revew, 78, 1-3, AMS, 1950. Mason, I., 1982. A model for assessment of weather forecast. Australan Met. Magazne, 30, 291-303. Mol, J. M.D., 2005. Estmatva de Precptação por meo de Sensoramento Remoto. Dssertação de Mestrado em Tecnologa Ambental e Recursos Hídrcos, Publcação. DM-86/2005, Departamento de Engenhara Cvl e Ambental, Unversdade de Brasíla, Brasíla, DF, 88p. Murphy, A.H., 1988. Skll scores base don the mean square error and ther relatonshps to the correlaton coeffcent. Mon. Wea. Ver, 16, 2417-2424. Slvera, R.B, Bernardet, L. R, Mol, J., Falcão, A., Guedes, J.M.F., 2000. Sstema Prevsor Numérco do INMET, Anas do XI CBMET, Ro de Janero. Sugahara, S., 1999. Normas clmatológcas das estações de superfíce do Brasl, para o período de 1962-1990. Projeto de Pesqusa desenvolvdo no Insttuto de Pesqusas Meteorológcas da Unversdade Estadual Paulsta Júlo de Mesquta Flho, Campus de Bauru. 6