Investigação de métricas estatísticas e implementação no Sistema Comunitário de Avaliação de Modelos Numéricos de Previsão de Tempo e Clima - SCAMTEC

Transcrição

1 Conselho Nacional de Desenvolvimento Científico e Tecnológico Projeto de pesquisa Universal Investigação de métricas estatísticas e implementação no Sistema Comunitário de Avaliação de Modelos Numéricos de Previsão de Tempo e Clima - SCAMTEC Coordenador: Dr. Luiz Fernando Sapucci Colaboradores: Dr. Luis Gustavo Gonçalves de Gonçalves Msc. João Gerd Zell de Mattos Msc. Carlos Frederico Bastarz Msc. Ariane Frassoni dos Santos Julho de 2010

2 2 RESUMO A constante evolução dos computadores acarretou num progressivo aperfeiçoamento dos modelos numéricos de previsão de tempo e clima. Com isso, um enorme volume de informações sobre o estado atual e futuro da atmosfera é constantemente produzido nos diversos centros operacionais de previsão de tempo e clima no Brasil e no mundo. Cada modelo possui uma característica peculiar. Sendo regionais ou globais, eles apresentam resoluções horizontal e vertical distintas, a fim de representar os mais diversos fenômenos meteorológicos. Para que tenha uma validade científica e possa ser bem aproveitada, toda essa informação necessita de uma prévia avaliação estatística, com o intuito de se conhecer o grau de acerto dos modelos utilizados. Além disso, a evolução da modelagem depende da adequada identificação das limitações nela presentes, bem como dos fatores e metodologias que geram melhores resultados. Vários métodos de avaliação de modelos são utilizados atualmente, entre eles os mais conhecidos são a Raiz do Erro Quadrático Médio, o Viés e o Coeficiente de Correlação de Anomalia. No entanto, devido ao grande volume de informações necessárias para realizar uma avaliação robusta sobre a habilidade dos modelos em produzir informações realísticas, torna-se necessário o desenvolvimento de uma ferramenta capaz de agregar diversas métricas para os mais variados tipos de avaliação aplicados aos modelos de Previsão Numérica de Tempo e Clima (PNTC). No Grupo de Desenvolvimento em Assimilação de Dados (GDAD) do Centro de Previsão de Tempo e Estudos Climáticos do INPE (CPTEC/INPE) encontra-se em fase inicial o desenvolvimento de um sistema estatístico de avaliação de modelos de PNTC. Baseado em ferramentas livres e no desenvolvimento cooperativo dos usuários, este sistema recebeu a denominação Sistema Comunitário de Avaliação de Modelos numéricos de Previsão de Tempo e Clima (SCAMTEC). A presente proposta tem como objetivo principal investigar métricas robustas para a adequada avaliação de modelos de PNTC, que serão implementadas neste software. Espera-se que com isso uma ferramenta para a avaliação de modelos esteja à disposição dos pesquisadores e profissionais da área de PNTC. Além disso, por se tratar de uma ferramenta de desenvolvimento comunitário, o objetivo deste projeto é lançar os alicerces da estrutura principal os quais permitirão que contribuições da comunidade usuária sejam absorvidas e que o resultado seja sua evolução gradativa.

3 3 1. INTRODUÇÃO Modelos de Previsão Numérica de Tempo e Clima (PNTC) são baseados nas leis de conservação de massa, momentum e energia. As equações utilizadas são as equações da continuidade de massa para o ar seco e vapor d'água, a primeira lei da termodinâmica e as equações do movimento. Estas equações não apresentam solução analítica, sendo necessária a aplicação de métodos numéricos para sua solução. Tais métodos geralmente utilizam aproximações que acabam por introduzir incertezas nos resultados dos modelos. Entretanto, tais incertezas nas previsões numéricas não derivam somente dos métodos numéricos utilizados para a solução das equações, mas também da inerente imprevisibilidade do estado da atmosfera (Lorenz 1963) e de processos físicos não bem representados pelos modelos de PNTC. Associado a isso, modelos de diferentes resoluções e com distintas parametrizações introduzem dificuldades em realizar avaliações padronizadas entre diferentes modelos (Bougeault, 1997). Uma maneira coerente de compará-los é utilizando uma base de observações meteorológicas como referência para a avaliação e subseqüente validação, e assim mostrar qual modelo apresenta melhores resultados com relação a media de referência. Existe um grande número de produtos produzidos por diferentes modelos de PNTC. Também, há diversos tipos de parametrizações para tratar dos processos não resolvidos pela grade dos modelos, aumentando os graus de liberdade do modelo numérico. Em uma determinada situação, os resultados dos modelos podem divergir significativamente. Diversos estudos indicam que a previsibilidade de um determinado modelo também está associada à região geográfica dentro de seu domínio. Podem-se citar como exemplos os estudos feitos por Moura (1984) e Mendonça (1999), os quais mostraram que sobre os trópicos há uma diminuição na previsibilidade dos modelos numéricos do CPTEC. Diante do exposto, observase que a avaliação dos resultados gerados pelos modelos requer uma metodologia apropriada que leve em consideração tais fatores. A avaliação de modelos de PNTC é freqüentemente baseada em índices estatísticos, como o Viés, o Erro Quadrático Médio e o Coeficiente de Correlação de Anomalia, que fornecem uma visão geral da habilidade do modelo (Wilks, 1995). Estas métricas são utilizadas tanto para a avaliação de variáveis contínuas (tais como componentes do vento,

4 4 pressão, temperatura, umidade, etc.), como para variáveis discretas (como a precipitação). Diferentemente das variáveis contínuas, para a avaliação da precipitação, torna-se necessário o uso de técnicas diferenciadas (como testes de sensibilidade, tabelas de contingências, etc), com o objetivo de se verificar a influência de uma parametrização física específica, ou mesmo a dinâmica do modelo no processo de previsão. Portanto, a avaliação dos produtos de PNTC fornece uma possibilidade de conhecer os erros de ambas as fontes de incerteza, tanto nas condições iniciais utilizadas nos modelos numéricos, quanto nas limitações das teorias utilizadas nos modelos em representar a variabilidade interna da atmosfera. 1.1 Delimitação do Problema Atualmente não existe uma ferramenta pública disponível que reúna e forneça as métricas mais adequadas para a avaliação sistemática de modelos de PNTC. É muito frequente encontrar diversos trabalhos numéricos em meteorologia que, embora se utilizem dos mesmos modelos, fazem uso de diferentes métricas em suas avaliações. Este cenário não é interessante, uma vez que uma possível comparação de resultados pode ser inviabilizada ou induzir a uma conclusão errada. Em especial, os padrões de precipitação são complexos e de difícil caracterização (Nachamkin et al., 2005). Entretanto, as previsões exatas desta variável são altamente desejáveis, uma vez que ocorrência ou não de precipitação constitui normalmente uma das principais preocupações da sociedade relacionadas ao tempo e clima. As avaliações das previsões de precipitação são objetos de interesse de diversos estudos na busca de novos métodos de verificação (Nachamkin et al., 2005). Várias publicações abordam métricas variadas para avaliar a habilidade dos modelos de PNTC (Willmott, 1981; Willmott et al., 1985; Daley and Chervin, 1985; Anthes et. al, 1989; Stein e Albert, 1993; entre outros). Na literatura é possível encontrar até receitas prontas em diversas linguagens (Press et al. 2002), mas nenhuma delas organiza e oferece ao usuário uma ferramenta completa, integrada, otimizada e consistente para a avaliação de modelos de PNTC e que possa ser utilizada livremente por pesquisadores, aprendizes e profissionais da área de PNTC.

5 5 Visando contribuir com o tema, pesquisadores do Grupo de Desenvolvimento em Assimilação de Dados (GDAD) do Centro de Previsão de Tempo e Estudos Climáticos do INPE (CPTEC/INPE), estão desenvolvendo um sistema de avaliação baseado em softwares livres, denominado Sistema Comunitário de Avaliação de Modelos numéricos de Previsão de Tempo e Clima (SCAMTEC). Embora esteja estruturado de forma que permita a introdução de métricas adicionais, nesta primeira fase de desenvolvimento contempla apenas estatísticas básicas como o Erro Quadrático Médio, o Viés e o Coeficiente de Correlação de Anomalia. Diversas outras métricas devem ser implementadas, visando o estudo de novas metodologias que descrevam de forma mais adequada os resultados apresentados pelos modelos. Identifica quais são as métricas mais apropriadas é o foco principal da presente proposta. 1.2 Objetivos O objetivo principal deste projeto de pesquisa é investigar quais são as métricas mais robustas para a adequada avaliação dos modelos de PNTC, as quais atendam a todos os quesitos esperados nesta tarefa, tanto pelos desenvolvedores de modelos de PNTC, como dos usuários de modelos. Tais métricas serão posteriormente implementadas no SCAMTEC para serem disponibilizadas para a comunidade usuária dos modelos de PNTC. Os objetivos específicos contemplam os seguintes tópicos: Investigar métricas adequadas para a avaliação das variáveis atmosféricas dos modelos de PNTC ao comparar com condições iniciais, bem como dados observados e climatologias; Investigar métricas adequadas para a avaliação das previsões de precipitação geradas pelos modelos de PNTC, a partir de análises estáticas e determinação de índices baseados em observações (em superfície e por satélites) e campos climatológicos; Investigar metodologias adequadas para a utilização de observações na avaliação dos modelos de PNTC, considerando interpolações das grads regulares dos modelos com as observações irregularmente distribuídas; Investigar as métricas e metodologias mais adequadas para a avaliação da qualidade das condições iniciais geradas em processos de assimilação de dados,

6 6 e o impacto de novos dados na melhoria da qualidade da Previsão Numérica de Tempo (PNT). 1.3 Justificativas Um dos grandes desafios na modelagem numérica de tempo e clima é identificar continuamente onde, quando e porque ocorre aumento das incertezas nos resultados gerados neste processo. Sabe-se que a modelagem numérica é imperfeita dada a própria discretização dos processos físicos que esta tenta reproduzir. No entanto, conhecer as características do comportamento destas incertezas em função do tempo e do espaço de domínio do modelo pode contribuir para a sua melhoria, no caso dos desenvolvedores, ou para identificar um modelo mais adequado para prever um determinado fenômeno, no caso dos usuários de produtos de PNTC. Além disso, com a grande variedade de métricas desenvolvidas para a avaliação de modelos, bem como a não padronização do uso destas, a escolha de métricas inapropriadas pode gerar sérios erros nesse processo. Com a iniciativa dessa pesquisa, uma padronização das métricas, a disponibilidade de uma ferramenta de fácil acesso e uso por parte dos usuários podem contribuir significativamente com a solução desse problema. A utilização de valores observados na avaliação de produtos de PNTC é algo que merece atenção, pois trata-se de combinar uma grade regular de dados modelados com uma grade irregular de dados observados. Nesse processo estão envolvidas interpolações de medidas e, consequentemente a propagação de incertezas que diminuem a eficiência do processo quando tais incertezas não são consideradas. Com o presente trabalho, metodologias apropriadas poderão ser desenvolvidas com aplicação na avaliação de modelos de PNTC possibilitando evidenciar quais são as principais deficiências no processo de avaliação atual e na utilização de suas técnicas. Nos últimos anos, com o aumento da eficiência no processamento de dados e do poder computacional dos centros de pesquisa além da melhoria do conhecimento da física da atmosfera, tem-se assistido a uma evolução significativa dos modelos de PNTC, não apenas no aumento da resolução espacial como também na melhoria das parametrizações físicas empregadas. Nesse aspecto, melhores condições iniciais são exigidas para que os resultados obtidos apresentem melhorias também significativas em qualidade e

7 7 previsibilidade. Em consequência disso, muitos investimentos têm sido efetuados na melhoria dos sistemas de assimilação de dados e no uso de novos sistemas de observações. No entanto, para a adequada avaliação dos resultados obtidos com a melhoria dos sistemas de assimilação, bem como a avaliação do impacto da utilização de novos sistemas de observações, exige-se uma metodologia específica que ainda está por ser desenvolvida no GDAD. Com a implementação operacional do Local Ensemble Transform Kalman Filter (LETKF), em processo no CPTEC/INPE, por ser baseado em ensemble exigirá um tratamento especial, que demandará maiores esforços dos pesquisadores do GDAD, na qual a presente proposta poderá contribuir significativamente. Com a iniciativa de colocar o SCAMTEC em um ambiente de desenvolvimento comunitário, haverá a possibilidade de que as contribuições dos usuários sejam compartilhadas por toda a comunidade de usuários, de forma que os esforços para o seu desenvolvimento sejam minimizados e os benefícios gerados pela sua implementação sejam maximizados. O desenvolvimento comunitário de softwares tem sido incentivado em diversas áreas do conhecimento humano e os resultados têm sempre superado a todas as expectativas de seus idealizadores. O resultado final, por ser fruto da participação de toda a comunidade, geralmente apresenta-se com baixo custo, diversas funcionalidades e facilidades de uso, grande aplicabilidade, bem como apropriadas documentações. O usuário do SCAMTEC terá a liberdade de modificar o programa e liberar suas modificações, de modo que toda a comunidade que o utiliza se beneficie dos seus desenvolvimentos. A continuidade de desenvolvimento do SCAMTEC possibilitará criar uma rede de desenvolvimentos unificada, voltada para uma melhor avaliação dos produtos de PNTC. Atualmente, a Comissão de Sistemas Básicos (CBS) da Organização Meteorológica Mundial (OMM), contando com o envolvimento de pesquisadores de todos os principais centros operacionais de PNTC, têm criado normas padronizadas para avaliação de modelos de previsão numérica de tempo. Estas normas já estão sendo utilizadas pelo CPTEC para avaliação das previsões numéricas de tempo de longo prazo. A adoção de tal padronização é um pré-requisito para que o CPTEC passe a ser considerado um Global Producing Center (GPC) de Previsões de Tempo a Longo Prazo da OMM. Será ainda necessário se adequar às normas para atender as necessidades no que tange às avaliações de previsões de tempo

8 8 de curto e médio prazo. As normas para a padronização da avaliação nessas escalas de tempo ainda estão em fase de elaboração. Com o desenvolvimento desse projeto, na escolha das métricas avaliadas e implementadas no SCAMTEC serão consideradas todas as normas definidas pela OMM, de tal forma que essa ferramenta deverá fornecer ao usuário facilidades para que a avaliação realizada esteja em conformidade com o que é feito nos demais centros de previsão de tempo. Considerando o exposto, acredita-se que a presente proposta de trabalho reúne diversos fatores que a viabilizam, e, portanto, faz por merecer incentivos, pois potencializam os benefícios obtidos com os recursos investidos. 2. MÉTRICAS ROBUSTAS PARA AVALIAÇÃO DE MODELOS DE PNTC Além das métricas convencionalmente utilizadas há outras que permitem fazer avaliações mais consistentes e que permitem chegar-se a uma conclusão mais clara sobre determinados campos meteorológicos utilizando-se diagramas e tabelas de contingência. Nesta seção são abordadas as principais métricas que serão investigadas para que se obtenha uma adequada avaliação dos modelos de PNTC. Tais métricas serão posteriormente implementadas no SCAMTEC para serem disponibilizadas para a comunidade usuária dos modelos de PNTC. Uma relação das métricas a serem avaliadas é: a) Diagrama de Taylor: Taylor (2001) desenvolveu uma forma muito útil (denominado "Diagrama de Taylor") para a visualização de informações do padrão de similaridade entre modelo e observações. A similaridade entre dois padrões é quantificada em termos de sua correlação, da diferença quadrática centrada e da amplitude das suas variações (representada por seu desvio padrão). Este tipo de diagrama é útil para avaliar múltiplos aspectos dos modelos (mudanças na resolução, parametrização ou condições iniciais) ou medir a habilidade relativa entre diferentes modelos. Em geral, o diagrama de Taylor caracteriza a relação estatística entre os dois campos, um de "teste" (muitas vezes representando um campo simulado pelo modelo) e uma de referência (geralmente representa a "verdade", baseado em observações). Este diagrama não fornece informações sobre as tendências globais, ele mostra apenas a característica do erro padrão centrado, ou

9 9 seja, o erro é calculado com base nos desvios com relação à média da amostra. A razão pela qual cada ponto no espaço bidimensional do diagrama de Taylor pode representar três estatísticas diferentes ao mesmo tempo (isto é, o RMS centrado, a correlação, e o desvio padrão) é que essas estatísticas estão relacionadas pela seguinte fórmula: E' 2 =σ 2 f +σ 2 r 2σ f σ r R em que R é o coeficiente de correlação entre o teste e a referência, E é o RMS centrado e σ j e σ r são os desvios padrão do teste e da referencia, respectivamente. A construção do diagrama é baseada na similaridade da equação acima com a lei dos cossenos: c 2 =a 2 +b 2 2 ab cos φ Existem muitas variações do diagrama de Taylor que tem sido úteis para diversos propósitos (Taylor, 2001), como por exemplo: O diagrama pode estender-se para o segundo quadrante, permitindo correlações negativas; As estatísticas podem ser normalizadas, dividindo tanto o RMS quanto o Desvio Padrão do teste pelo desvio padrão das observações. Isto torna possível plotar diferentes variáveis no mesmo diagrama. Quando comparam-se dois testes simulados com versões diferentes do mesmo modelo, os dois pontos no gráfico representando estes testes podem ser conectados por uma seta indicando claramente quando o modelo movese para as observações ou não. Um exemplo do diagrama de Taylor pode ser visto na figura 1. Este diagrama mostra como pode ser sintetizada a habilidade como cada modelo simula o padrão espacial da média anual da precipitação. A posição de cada letra no diagrama quantifica a proximidade de cada modelo em relação às observações.

10 10 Figura 1: Exemplo do diagrama de Taylor mostrando a comparação estatística de oito estimativas globais de precipitação média anual. Baseando-se em dois conjuntos de informações, um de referencia (r) e um de teste (f), as fórmulas para calcular o coeficiente de correlação (R), o RMS centrado (E ) e o desvio padrão do teste (σj) e da referencia (σr) são dados abaixo: 1 N R = E σ σ ' 2 2 f 2 r 1 = N 1 = N 1 = N N n= 1 N n= 1 N N n= 1 (f n= 1 n σ f f σ [(f f )(r r )] n n n r 2 (f f ) 2 (r r ) )(r r ) nas quais as médias dos campos são representadas por barras sobre as variáveis. n n 2 b) Tabela de Contingência: As características da tabela de contingência estão baseadas em Wilks (1995). O processo de organizar a informação correspondente a

11 11 dados bivariados ou multivariados é conhecido como Tabela de Contingência. De maneira geral, a Tabela de Contingência é uma representação quantitativa e qualitativa de dados. As tabelas de contingência são tabelas em que os elementos da amostra ou da população são classificados de acordo com pelo menos dois fatores ou critérios. Seu aspecto é o de uma tabela com linhas, correspondentes a um dos critérios, e com colunas, correspondentes ao outro critério (veja Tabela 1). Categorias Observação Tabela 1 - Tabela de Contingência Categorias de Previsão Total 1 a B C d Q 2 e F G h R 3 i J K l S 4 m N O p T Total V X W Y U A tabela de contingência não representa um método de verificação propriamente dito, porém por meio dela pode-se obter vários parâmetros úteis para a avaliação de previsões, análises e observações. Um exemplo de tabela de contingência pode ser visto na Tabela 1, em que há quatro categorias de previsão e quatro categorias de observação. A seguir são descritos algumas avaliações (scores) baseadas na tabela de contingência (Tabela 1). Percentagem Correta (PC): talvez o mais direto e intuitivo cálculo de previsões categóricas precisas é a percentagem correta, também conhecida com Hit Rate. O Hit Rate é a razão entre as n ocasiões quando a previsão antecipou corretamente o evento subseqüente ou o não evento e o número total de previsões (TP). O Hit Rate é dado por: a + f + k + p H = PC = TP a + f + k + p H = TP

12 12 PC = Hx100 em que a, f, k, p são os números de previsões corretas para cada categoria e TP é o número total de previsões. Estas avaliações satisfazem o princípio de equivalência de eventos, como os eventos sim e não previstos corretamente. O Hit Rate também penaliza ambos os tipos de erros igualmente. O pior Hit Rate possível é zero, já o melhor Hit Rate possível é 1. Algumas vezes Hit Rate é multiplicado por 100 e é referido com percentagem correta (PC) ou a percentagem de previsões corretas (PPC). Critical Success Índex (CSI): Uma alternativa freqüentemente utilizada para o Hit Rate, particularmente quando o evento à ser previsto (como o evento sim - previsões corretas, acertos) ocorre substancialmente com menos freqüência que a não ocorrência ( não ), é o Critical Success Index (CSI) também chamado de Thread Score (TS). O TS é calculado como: CSI = a V +Q a f, X + R f k, W + S p, k Y +T p O TS é calculado dividindo o número de previsões corretas ( sim ) pelo número total de ocasiões em que aquele evento foi previsto e/ou observado. Ele pode ser visto como o Hit Rate para a quantidade existente de previsão, depois removendo a previsão correta ( sim ) da consideração. O pior TS é 0, já o melhor é 1. Probabilidade de Detecção (POD): é uma medida rotineiramente calculada para verificação de dados categóricos, bivariados ou multivariados, referenciado em outras literaturas como prefigurance. O POD é simplesmente a razão entre as ocasiões em que o evento de previsão ocorreu e em que ele também foi previsto. Então, o POD é a probabilidade que o evento seria previsto, dado que ele ocorreu. A probabilidade de detecção é calculada como: a f POD =, Q R k, S p, T

13 13 Para previsões perfeitas o POD é 1 e para previsões erradas o POD é 0. Taxa de Alarme Falso (FAR): é um elemento de distribuição condicional de eventos dada a previsão. O FAR tem uma orientação negativa tanto que pequenos valores para FAR são preferidos. O melhor FAR possível é 0 e o pior é 1. A taxa de alarme falso é calculada como: a f FAR =, V X Viés: é simplesmente a comparação da previsão média com a observação k, W p, Y média, de previsões categóricas. O Viés é expresso como: V X W Viés =,, Q R S O Viés é simplesmente a razão do número de observações sim e o número de previsões sim. Uma previsão imparcial mostra um valor de Viés=1, indicando que o evento foi previsto o mesmo número de vezes que foi observado. O Viés não menciona nada sobre a correspondência entre as previsões e observações de um evento em uma ocasião particular, então o Viés não é uma medida de precisão. Um Viés maior do que 1 indica que o evento foi previsto mais vezes do que foi observado, o que pode-se chamar de overforecasting. Da mesma forma, um Viés menor do que 1 indica que um evento foi previsto menos vezes do que foi observado, o que pode-se chamar de underforecasting. Y, T c) Diagrama BLT: similarmente a Taylor (2001), Boer e Lambert (2001) obtiveram um diagrama para sintetizar as várias informações obtidas por meio da tabela de contingência. Os índices utilizados neste diagrama são o POD, FAR, Bias e CSI. Com algumas manipulações algébricas, POD, FAR (ou seu equivalente SR = 1 - FAR), Bias e CSI podem ser relacionados da seguinte forma:

14 14 1 CSI = SR POD POD Bias = = tanθ, SR 1 CSI = SR POD e POD Viés = = tgθ SR em que θ é o ângulo a partir da abscissa. As equações acima foram previamente derivadas por Schaefer (1990). A Figura 2 é um exemplo do diagrama BLT. Para boas previsões, POD, SR, Bias e CSI se aproximam da unidade, tal que uma perfeita previsão é indicada no lado superior direito do diagrama. Desvios de uma direção em particular indicarão diferenças relativas no POD e SR, conseqüentemente no Viés e CSI. Como no diagrama de Taylor, uma visualização imediata na diferença do desempenho é obtida. Além disso, a habilidade pode ser obtida plotando-se a medida da qualidade da previsão relativa à previsão de referência. e

15 15 Figura 2: exemplo do diagrama BTL mostrando a comparação estatística entre 5 tipos diferentes de variáveis. Receiver Operating Characteristic (ROC): este índice é um gráfico do Hit-Rate (eixo Y) contra a FAR (eixo X) para diferentes limiares de decisão, a fim de fornecer uma clara visão do desempenho do classificador. A Figura 3 apresenta um modelo gaussiano qualquer e a Figura 4 apresenta uma curva típica do ROC gerada a partir desse modelo. Para um dado sistema classificador, uma curva característica da probabilidade de detecção p d pode ser plotada como uma função da taxa de alarme falso p f, dando um limiar de classificação. Um classificador produzirá resultados que têm altos valores de p d e baixos valores de p f, ou seja, eles se aproximam do topo esquerdo da curva do ROC. A localização da curva inteira em uma unidade de quadrado é determinada pela capacidade de discriminação intrínseca do sistema de previsão, e a localização de pontos específicos em uma curva é fixada pelo limiar de decisão que o sistema está operando. Os pontos delimitados baixos, moderados ou altos na Figura 4 representam o desempenho do sistema em três limiares. Como o limiar de decisão w varia do baixo para o alto, em termos da Figura 3 movendo-se da esquerda para a direita, H e F variam juntas para traçar a curva ROC para este sistema. Baixos limiares implicam que ambos H e F são altos. No limite quando w está em -, ambos H e F são 1, portanto o ponto ROC está no canto superior direito. Como o limiar se move para a direita na Figura 4, o correspondente desempenho do sistema é representado pelos pontos ROC movendo-se para a esquerda e para baixo ao longo da curva, até o limite quando w está em + ambos H e F são zero, no canto inferior esquerdo.

16 16 Figura 3: Sinal básico de detecção de um modelo. f 0 (w) é a densidade de probabilidade da variável antes da não ocorrência (somente ruído), f 1 (w) é a densidade antes da ocorrência (sinal +ruído), e as áreas H e F são as probabilidades do Hit-Rate e alarme falso. Figura 4: ROC gerado por um dado modelo mostrado na Figura 3. O ponto de baixo limiar é produzido por um limiar à esquerda na Figura 3, o limiar moderado está próximo ao cruzado de f 0 e f 1, e o limiar mais alto está à direita. d) Rank Correlation (RC): Associação monofônica linear e não linear entre previsões e observações podem ser medidas utilizando estatísticas baseadas em

17 17 classificadores de dados (posição de valores quando arranjados em ordem crescente). Um Rank Correlation significa que os valores de previsão são uma função crescente das observações há uma perfeita associação monotônica entre as previsões e as observações. O coeficiente de Rank Correlation é também mais resistente (menos sensível) a grandes valores discrepantes. Existem alguns métodos de Rank Correlation, e os mais conhecidos são Spearman e Kendal. Mais detalhes a respeito deste método pode ser encontrado em Wilks (1995), e Jolliffe e Stephenson (2003). 3. SCAMTEC: SISTEMA COMUNITÁRIO DE AVALIAÇÃO DE MODELOS NUMÉRICOS DE PREVISÃO DE TEMPO E CLIMA O SCAMTEC é baseado em ferramentas livres (por exemplo, Fortran 90, Shell, Python), podendo ser executado em diversas plataformas (UNIX, Linux, Windows, MacOS). O SCAMTEC é composto por um kernel (um núcleo central) que corresponde a um conjunto de programas escritos em linguagem Fortran 90 capaz de receber dados de diversos modelos e devolver os resultados das estatísticas pré-selecionadas pelo usuário mediante uma interface gráfica de fácil manuseio. A estrutura do sistema é totalmente modulada, o que facilita a implementação de novas metodologias pelos usuários. Dessa forma, outras métricas estatísticas podem ser adicionadas posteriormente em módulos independentes e compartilhados. O módulo para a leitura e escrita dos dados foi desenvolvido de forma a acomodar um grande número de formato de arquivos, sendo que o usuário poderá adicionar novos tipos de leitura ao sistema. Atualmente, o sistema comporta a leitura dos seguintes formatos Binário, tanto seqüencial como os do tipo stream, estando nos formatos little endian ou big endian; e no formato GRIB 1, que é o formato padronizado pela Organização Meteorológica Mundial (OMM) Métricas Estatísticas disponíveis Atualmente o sistema de avaliação de modelos conta com as seguintes métricas estatísticas:

18 18 Erro Médio (Viés): é um parâmetro que indica a direção média dos desvios de um conjunto de previsões a partir de um conjunto de valores observados ou de análises. O viés não indica a magnitude do erro, mas sim a sua tendência. Deve-se salientar que os erros negativos podem compensar erros positivos, e, portanto sua análise deve ser cuidadosa; Erro Quadrático Médio: é a média mais comum da exatidão de campos meteorológicos (Wilks, 1995). Esse índice sofre maior influência quando existem erros de maior magnitude do que quando ocorrem muitos erros pequenos. Da mesma forma que é importante para detectar erros grosseiros, deve-se levar em conta que pequenas amostras podem influenciar negativamente os resultados, uma vez que a presença destes erros pode produzir resultados pouco significativos (Fonseca, 1998); Erro Absoluto Médio: é uma maneira simples de compensar a deficiência do viés em relação aos erros. Ele é relativamente simples de ser obtido, pois seu cálculo envolve a soma da magnitude (valores absolutos) dos erros dividida pelo número total de pontos de grade utilizado; Coeficiente de Correlação de Anomalia: é uma medida adimensional e positiva, geralmente utilizada para verificar a associação entre campos meteorológicos previstos e campos de análise, e o intervalo de extensão das previsões válidas do modelo. A Correlação de Anomalia premia as melhores previsões, apresentando pouca sensibilidade aos valores das variáveis; O sistema de avaliação possui um arquivo de saída no formato ASCII (texto) que contém os resultados estatísticos médios sobre uma área de estudos definida pelo usuário, além de um arquivo no formato GRIB com os resultados estatísticos para cada ponto de grade do modelo avaliado. Uma opção que pode ser utilizada para a saída gráfica dos resultados é a biblioteca Magics++, que é a versão mais recente do software de plotagem do European Centre for Medium range and Weather Forecast (ECMWF) (Siemen e Thepaut, 2009). Com a utilização da biblioteca gráfica, o usuário poderá gerar gráficos em vários formatos, tais como PS, EPS, PDF, GIF, PNG, SVG e KML Interface Gráfica O avaliador SCAMTEC possui uma interface gráfica cujo objetivo é facilitar o acesso à ferramenta e suas configurações. Devido à sua estrutura modulada, a função da interface

19 19 gráfica é carregar em um arquivo de configurações, todas as decisões feitas pelo usuário em relação às opções disponíveis no sistema de avaliação e disparar o processo. Esta interface é escrita em linguagem wxpython (Rappin e Dunn, 2006) e permite ao usuário ajustar todas as opções possíveis para executar o SCAMTEC, bem como acompanhar todo o processo de execução do programa via terminal ou com barra de progresso. Além disso, é possível carregar outros arquivos de configuração previamente utilizados e fazer modificações via interface ou manualmente. A figura 5 mostra o estado atual de desenvolvimento da interface gráfica do SCAMTEC. Figura 5: Interface gráfica do SCAMTEC. As opções do avaliador de modelos são feitas através de botões com a possibilidade de editar manualmente as configurações. 4. METODOLOGIA E ESTRATÉGIA DE AÇÃO Para se atingir os objetivos propostos no trabalho, as métricas sugeridas previamente na seção 2 serão investigadas se permitem avaliar adequadamente os modelos. Para isso estudos de casos serão organizados, ao considerar episódios onde os fenômenos atmosféricos atuantes foram mais bem caracterizados, nos quais diferentes métricas serão avaliadas. As métricas que passarem por um teste inicial de eficácia serão implementadas no SCAMTEC, e as mesmas, depois disso, serão testadas em diferentes circunstâncias e ao utilizar diferentes modelos de PNTC.

20 20 Para o caso da avaliação utilizando dados observados, o conjunto de dados disponíveis no Banco de Dados Meteorológico disponível no CPTEC será utilizado. Um modulo específico para essa função será desenvolvido e implementado no SCAMTEC. O mesmo será feito para o caso da avaliação do impacto da assimilação de novas fontes de observações nos resultados dos modelos de Previsão Numérica de Tempo (PNT). Nesse caso não apenas as métricas, mas uma metodologia de avaliação será estudada para identificar quais são as métricas, as variáveis, os níveis e circunstâncias com relação à disponibilidade de dados mais apropriadas para identificar e caracterizar adequadamente o impacto da assimilação. Nessa fase serão consideradas as métricas definidas na padronização de avaliação de modelos de tempo e clima pela OMM, a qual se encontra em fase de elaboração para a escala de curto e médio prazo. Espera-se que durante o desenvolvimento dessa proposta tal padronização seja divulgada e consequentemente aqui utilizada. 5. RESULTADOS ESPERADOS Espera-se que, com o desenvolvimento dessa pesquisa, uma ferramenta de avaliação eficiente esteja disponível para os centros nacionais e regionais de PNTC, bem como pesquisadores e estudantes que trabalham nessa área. Nela deverão estar disponíveis as melhores métricas de avaliação da qualidade das condições iniciais e das previsões geradas pelos modelos de PNTC, usando como valores de referência outras condições iniciais de modelos, observações das mais variadas fontes e campos climatológicos. É esperado, e serão investidos esforços para tal, que essa ferramenta atenda todas as necessidades básicas, tanto dos usuários finais dos produtos de PNTC, como dos desenvolvedores de novos produtos. Essa proposta de trabalho permitirá a implantação das bases do desenvolvimento comunitário do SCAMTEC, o que permitirá sua contínua evolução, no qual com mínimos esforços toda a comunidade poderá se beneficiar das implementações feitas pelos usuários da ferramenta, a qual tornar-se-á mais robusta e completa com o passar dos anos. Essa ferramenta poderá auxiliar significativamente os professores das disciplinas relacionadas à modelagem de tempo e clima nos cursos de Meteorologia e áreas afins nas universidades brasileiras, pois permitirá, de forma fácil e prática, ilustrar como

21 21 são feitas as avaliações de desempenho dos modelos de PNTC, e qual é qualidade dos mesmos atualmente disponíveis. Espera-se que a ferramenta SCAMTEC possa colaborar com os grupos de Clima e Tempo do CPTEC, no que se refere à padronização da avaliação de seus produtos ao atender as recomendações feitas pela OMM, para o caso das previsões de longo prazo, e em elaboração por essa mesma instituição, para os casos de curto e médio prazo. Com benefício direto para o centro será a eficiente implementação dessa padronização, o que incluirá o CPTEC na lista dos centros operacionais que seguem as normas estabelecidas pela OMM, conferindo qualidade e padronização aos produtos. Isto também contribuirá para o intercâmbio de informações dos centros meteorológicos de PNCT de todo o Brasil. 6 QUALIFICAÇÃO E EXPERIÊNCIA DA EQUIPE ENVOLVIDA A equipe é composta por 5 membros do GDAD da Divisão de Modelagem e Desenvolvimento (DMD) e um membro do Grupo de Previsão Climática (GPC) do CPTEC/INPE. Uma breve sinopse da formação e atuais atividades desenvolvidas pelos membros da equipe são apresentadas: Luiz Fernando Sapucci: é graduado em matemática pela Universidade Estadual Paulista UNESP, (Campus de Presidente Prudente) e possui mestrado e doutorado na área de Ciências Cartográficas da mesma instituição tendo como principal objeto de estudo aplicações GPS na meteorologia, com especial atenção para assimilação em modelos de PNT. Desde 2005 ele encontra-se no grupo de assimilação de dados do CPTEC/INPE trabalhando com inclusão de dados de fontes não convencionais e diversos trabalhos têm sido produzidos nessa linha com ênfase na assimilação de valores integrados de umidade provenientes de satélites (Sapucci et al., 2006, 2009; Andreoli et al., 2008), nos quais avaliações de desempenho de modelos foram contempladas; Luis Gustavo Gonçalves de Gonçalves: é graduado em Meteorologia pela Universidade Federal de Pelotas, mestrado em Meteorologia pelo INPE, e possui PhD em Hidrologia pela University of Arizona em Tucson, USA. Possuí experiência em avaliação de modelos adquirida durante o período em que trabalhou no CPTEC-INPE

22 22 como analista de dados meteorológicos ( ), em avaliação de modelos de PNT e desenvolvimento de ferramentas de suporte computacional a rotina operacional. É atualmente o coordenador do Grupo de Desenvolvimento em Assimilação de Dados (GDAD) do CPTEC; João Gerd Zell de Mattos: possui graduação em Meteorologia pela Universidade Federal de Pelotas (UFPel), mestrado em Meteorologia pelo INPE, desde 2006 é pesquisador do GDAD do CPTEC/INPE trabalhando com ênfase em assimilação de dados da superfície terrestre. Durante todo esse período tem contribuído significativamente com a avaliação de impacto da assimilação de novos dados em modelos atmosféricos (Andreoli et al. 2008, Sapucci et al. 2009), bem como modelos de superfície. Atualmente está sendo admitido no Programa de Pós Graduação em Meteorologia do INPE onde estará trabalhando com sistemas de assimilação de dados a superfície; Carlos Frederico Bastarz: é graduado em matemática pela Universidade Estadual Paulista UNESP, (Campus de Guaratinguetá) e possui mestrado em Meteorologia pelo INPE. O tema de estudo de seu mestrado foi Assimilação de Dados de Precipitação por satélite utilizando um sistema de assimilação/previsão regional sobre a América do Sul. Durante o desenvolvimento desse trabalho esteve envolvido na avaliação de resultados obtidos onde adquiriu uma boa experiência na avaliação de precipitação. Atualmente trabalha no GDAD desenvolvendo diversos aplicativos operacionais e de pesquisa do grupo. No presente projeto de pesquisa será responsável pelo desenvolvimento da interface gráfica do SCAMTEC, bem como nos testes de avaliação de precipitação; Ariane Frassoni dos Santos: possui graduação em Meteorologia pela UFPel, mestrado em Meteorologia pelo INPE e atualmente é aluna de doutorado em Meteorologia nesta instituição, e simultaneamente atua como meteorologista do GPC, cuja principal atividade é em modelagem numérica de tempo e clima e avaliação de previsões climáticas sazonais para a América do Sul. Seu projeto de pesquisa do doutorado, intitulado Desenvolvimento e implementação do procedimento de training em parametrizações convectivas do CPTEC/INPE, é financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) e uma importante etapa desse projeto envolve avaliações de modelos e de diferentes parametrizações convectivas.

23 23 7 RECURSOS SOLICITADOS Os recursos solicitados destinam-se especialmente para a aquisição de computadores pessoais, e despesas com diárias e passagens para divulgação dos resultados e visitas técnicas para busca de apoio científico no desenvolvimento do projeto. Os recursos solicitados estão descritos abaixo: Uma workstation (Desktop robusto) com multi-processadores, 4 GHz, com espaço de armazenamento de 2 TB, 4Gb de memória RAM, leitor ótico DVD e com sistema operacional Linux. Justificativa: Devido ao grande fluxo de dados envolvidos nessa pesquisa, onde estão presentes dados de diversos modelos, faz-se a necessidade de uma máquina robusta para a avaliação dos resultados obtidos. Valor:... R$ 8.500,00; Um microcomputador portátil (notebook) com processador intel Core Dou de 2.2 GHz, tela de 14, HD 500 Gb, com bateria de 4 horas. Justificativa: A aquisição do notebook se justifica pelas facilidades obtidas com a disponibilidade desse recurso em viagens. Valor:... R$5.000,00; Aquisição de títulos especializados na área de modelagem e estatística envolvidas na avaliação de PNT. Valor:... R$1.500,00; Gastos com material de consumo como toner, tinta para impressoras destinadas à impressão de material e confecção de pôster para eventos. Valor:... R$1.000,00; Ajuda de custo destinada à participação em eventos nacionais e visitas técnicas de um dos membros da equipe envolvida no período dos dois anos de projeto, com despesas destinadas a diárias [10 diárias no país de R$187,83 totalizando R$1.878,30] e passagens terrestre ou aérea (valor previsto e aproximado de R$2.000,00). Justificativa: O assunto contemplado nessa pesquisa é de grande importância para a comunidade científica, pois a avaliação padronizada de modelos é algo que sempre será um desafio a ser vencido, pois estão relacionadas com o desempenho dos modelos e suas limitações. Portanto, tanto a divulgação dos resultados em eventos como visitas de

24 24 cooperação serão necessárias no desenvolvimento do projeto. Valor total de passagens e diárias:... R$3.878,30; Total solicitado:... R$19.878, CRONOGRAMA A realização dos trabalhos propostos nesse projeto tem um período previsto de dois anos, e são divididos nas seguintes fases: - Fase A: Desenvolvimento, implementação e organização do código do programa contendo as métricas testadas e avaliadas no presente trabalho; - Fase B: Investigação, implementação e testes das métricas para avaliação adequada de modelos; - Fase C: Desenvolvimento de um módulo para avaliação de modelos utilizando observações meteorológicas das mais variadas fontes de observações; - Fase D: Desenvolvimento de módulos para a avaliação de precipitação utilizando índices estatísticos, reanálise e observações; - Fase E: Investigar métricas mais adequadas para avaliação dos resultados da inclusão de novas fontes de observações na assimilação de dados; - Fase F: Investigação das métricas aplicadas às previsões climáticas sazonais do CPTEC/INPE; - Fase G: Elaboração de relatórios e/ou artigos científicos para divulgação dos resultados obtidos na pesquisa; Na Tabela 2 são apresentados os períodos, em bimestres, previstos para a realização de cada uma das fases do projeto, contados a partir da data de aprovação do mesmo. Nessa tabela cada X representa um dos meses do bimestre. 1 Os números apresentados acima se referem aos valores aproximados baseados em cotações preliminares realizadas no início de junho de 2010

25 25 Tabela 2 - Período previsto em bimestres para a realização de cada uma das fases em que é dividido o projeto. Fases Bimestres A XX XX XX XX X X X X X X X X B XX XX XX X X X X X X X X X C XX XX XX XX XX D XX XX XX XX XX XX E XX XX XX XX XX XX F XX XX XX XX XX G XX XX XX XX 8 - REFERÊNCIAS BIBLIOGRÁFICAS ANDREOLI, R. V.; SOUZA, R. A. F.; SAPUCCI, L. F.; FERREIRA, S. H. S.; HERDIES, D. L.; ARAVEQUIA, J. A. Inclusão das Sondagens AIRS/AMSU no Sistema Global de Assimilação/Previsão de Tempo do CPTEC/INPE: Estudo de Impacto. Revista Brasileira de Meteorologia, v. 23, p , ANTHES, R. A.; KUO, Y. H.; HSIE, E. H.; LOW-NAN, S.; BETTGE, T. W.; Estimation of skill and uncertainty in regional numerical models. Quarterly Journal of the Royal Meteorological Society, v. 115, n. 488A, p , July BOER, G. J., S. J. LAMBERT, 2001: Second order space-time climate difference statistics. Climate Dyn., 17, BOUGEAULT, P. Physical parameterizations for limited área models: some current problems and issues. Meteorol. Atmos. Phys., v. 63, p , DALEY, R.; CHERVIN, R. M.; Statistical Significance Testing in Numerical Weather Prediction. Monthly Weather Review, v. 113, FONSECA, J. F. B.; Modelos regionais de previsão numérica de tempo: um estudo comparativo das destrezas dos modelos FSU e ETA, sobre a América do Sul. 98 p. Dissertação (Mestrado em Meteorologia) Instituto Nacional de Pesquisas Espaciais, São José dos Campos, 1998.

26 26 JOLLIFFE, I. T. e STEPHENSON, D. B.; Forecast Verification: A Practitioner's Guide in Atmospheric Science. John Wiley & Sons, Ltd. ISBN: LORENS E. N.; Deterministic nonperiodic flow. J. Atmos. Sci., 42: , MENDONÇA, A. M. Desempenho do modelo global CPTEC/COLA durante episódios de ZCAS, utilizando os esquemas de convecção profunda tipo kuo e arakawaschubert relaxada p. (INPE-9660-TDI/850). Dissertação (Mestrado em Meteorologia) - Instituto Nacional de Pesquisas Espaciais, São José dos Campos Disponível em: < Acesso em: 01 jul MOURA, A.D. The ocean and the dynamics of the tropical atmosphere; its possible predictability. São José dos Campos: Instituto Nacional de Pesquisas Espaciais, p. (INPE PRE/1450). NACHAMKIN, J. E., CHEN, S. SCHMIDT, J. Evaluation of Heavy Precipitation Forecasts Using Composite-Based Methods: A Distributions-Oriented Approach. Monthly Weather Review, 133, , PRESS, W. H.; TEUKOLSKY, S. A.; VETTERLING, W. T.; FLANNERY, B. P.; Numerical Recipes in Fortran 90: The Art of Parallel Scientific Computing. Second Edition. Press Syndicate of the University of Cambridge, USA. ISBN RAPPIN, N. e DUNN, R.; wxpython in Action. Manning Publications Co., 620p. ISBN: SAPUCCI, L. F.; ARAVEQUIA, J. A.; FERREIRA, S. H. S.; SOUZA, R. V. A.; SOUZA, R. A. F.; HERDIES, D. L. Inclusão de Estimativas do IWV Provenientes dos Sensores AIRS/AMSU E SSM/I no Sistema de Assimilação do CPTEC/INPE. In: XIV Congresso Brasileiro de Meteorologia, Florianópolis - SC. Anais do XIV Congresso Brasileiro de Meteorologia, SAPUCCI, L. F. ; HERDIES, D. L.; SOUZA, R. V. A.; MATTOS, J. G. F.; ARAVEQUIA, J. A. Os últimos avanços na previsibilidade dos campos de umidade no sistema global de assimilação de dados e previsão numérica de tempo do CPTEC/INPE. Revista Brasileira de Meteorologia (No prelo), SCHAEFER, J. T., The critical success index as an indicator of warning skill. Wea. Forecasting, 5: : SIEMEN, S. E; LAMY-THÉPAUT, S.; Magics New developments in ECMWF's meteorological graphics library. ECMWF Newsletter No. 122, 2009/10. STEIN, U.; ALPERT, P.; Factor Separation in Numerical Simulations. J. Atmo. Sci., v. 50, n. 14, p , TAYLOR, K.E.: Summarizing multiple aspects of model performance in a single diagram. J.Geophys. Res., 106, , 2001 (also see PCMDI Report 55,

27 27 WILKS, D. S.; Statistical methods in the atmospheric sciences: an introduction. First edition. San Diego: Academic Press, 465 p. (International Geophysics Series, v. 59), WILLMOTT, C. J.; On the Validation of models. Physical Geography, London, v. 2, n. 1., p , WILLMOTT, C. J.; ACKLESON, S. G.; DAVIS, R. E.; FEDDEMA, J. J.; KLINK, K. M.; LEGATE, D. R.; O DONNELL, J.; ROWE, C. M.; Statistics of the Evaluation and Comparison of Models. Journal of Geophysical Research, v. 90, n. C5, p , 1985.