Jorge Luiz de Oliveira Maria Gertrudes Alvarez Justi da Silva

Transcrição

1 VERIFICAÇÃO DAS PREVISÕES DE PRECIPITAÇÃO DIVULGADAS PELOS JORNAIS PARA A CIDADE DO RIO DE JANEIRO Jorge Luiz de Oliveira jorge11@bol.com.br Maria Gertrudes Alvarez Justi da Silva justi@acd.ufrj.br Universidade Federal do Rio de Janeiro CCMN / IGEO / Departamento de Meteorologia ABSTRACT The objective of this work was to evaluate forecast precipitation occurrence available daily in the municipal district of Rio de Janeiro. Contingency tables are set up in the form of observation x forecast for the year of 1999, that allow a fast evaluation of the agreement between forecast and condition really observed. Adapted indexes are calculated to quantify precision, ability and bias of the forecasts. Significant variations among the indexes calculated by the several sources indicate need of a reform of the work methods on the part of the newspapers, once the meteorological products available for the meteorological services, to which everybody has access, are the same ones. 1. INTRODUÇÃO No Rio de Janeiro, normalmente, os usuários consultam as previsões de tempo nos jornais em busca de informações sobre condições do tempo favoráveis para lazer ou esporte, sendo a informação de maior interesse a ocorrência ou não de precipitação. Neste trabalho objetivou-se verificar a previsão de ocorrência de precipitação disponibilizada em três jornais de grande circulação no Rio de Janeiro, O Globo, o Jornal do Brasil e O Dia, denominados aqui, respectivamente, de fonte1, fonte 2 e fonte 3. Para tanto foram utilizados índices objetivos para medir a precisão, a habilidade ou a tendência dos esquemas de previsão, índices estes calculados a partir da comparação diária dos dados realmente observados com os previstos por cada uma das fontes. Como a principal motivação para a realização deste trabalho deveu-se a constatação da divergência que se observava dia a dia entre as previsões disponibilizadas nos jornais, mostra-se ainda, para cada mês, a porcentagem de dias onde as fontes emitem previsões semelhantes. 2. METODOLOGIA A metodologia do presente trabalho constituiu-se na coleta da previsão diária de precipitação (na forma chover/não chover) de cada fonte, acompanhada da observação do tempo (na forma choveu/não choveu) na mesma data. Os dados diários das fontes e o tempo observado referem-se ao município do Rio de Janeiro no período de janeiro a dezembro de Precipitação observada, para esse trabalho, corresponde à ocorrência de precipitação de no mínimo 1 mm em pelo menos três estações pluviométricas da rede da GEORIO, instituição municipal que monitora essa variável. Os dados das estações pluviométricas foram coletados diariamente via Internet ( do Sistema Alerta-Rio daquela instituição. Foi excluída a estação Sumaré devido às características particulares do local onde esta se encontra, visto que se observa ali um regime de precipitação bem diferenciado do restante do município. 3135

2 Vê-se em Wilks (1995), que a natureza das previsões a serem verificadas apresenta dois tipos distintos, a contínua e a categórico/probabilística. Neste trabalho, a verificação foi feita sobre uma previsão categorial, situação onde qualquer previsão é de ocorrência ou não do evento, em uma de duas categorias mutuamente exclusivas, neste caso ocorrência ou não ocorrência de precipitação. A comparação dos pares previsão/observação é feita através do resumo dos dados fornecido pela tabela de contingência. Este resumo por si só não constitui um método de verificação, mas serve de base para o cálculo dos índices propostos. Um esquema da tabela de contingência pode ser visto na Tabela 1 para o caso de verificação de ocorrência ou não ocorrência de precipitação. Tabela 1 Esquema da tabela de contingência. Observação Previsão Previsão Observação Chover Não Chover Total Chover Não Chover Total Choveu x y x + y Choveu x 0 x Não Choveu z w z + w Não Choveu 0 w w Total x + z y + w t Total x w t (a) real (b) perfeita onde: x total de eventos de previsão de ocorrência de precipitação (C) e observação de C, y total de eventos de previsão de não ocorrência de precipitação (N) e observação de C, z total de eventos de previsão de C e observação de N, w total de eventos de previsão de N e observação de N e t (Total) = (x + z) + (y + w) = (x + y) + (z + w). A diferença entre a tabela de contingência real e a tabela com a previsão perfeita é que na última se representa a situação ideal onde todos os tipos de ocorrência foram previstos corretamente e, portanto, y = z = 0. A partir de tabelas de contingência como a descrita acima e montadas para cada mês de 1999, foram calculados os índices de verificação. Estes índices compreendem medidas de precisão, de vício e de habilidade ou destreza da previsão (Murphy & Winkler,1987, Murphy, 1993, Wilks, 1995) e serão descritos a seguir. As medidas de precisão usadas foram o percentual de acerto (H), a probabilidade de detecção (POD), a razão de alarme falso (RAF) e o índice crítico de sucesso (ICS). Matematicamente, usando-se os dados da tabela de contingência, temos: H = x + w 100 t x POD = x + y RAF = z x + z ICS = x x + y + z O percentual de acerto (H) representa o percentual de previsões corretas, independentemente que seja de ocorrência ou não ocorrência de precipitação. Esse índice permite identificar a precisão de cada fonte isoladamente ou a precisão global do conjunto de fontes. Seu valor ideal é igual a 100, valor esse que quando atingido traduz a perfeição das previsões das fontes, com 100 % de acerto. O índice POD representa a probabilidade de detecção da ocorrência de precipitação e é a probabilidade de ocorrência de um evento supostamente previsto. O POD representa a capacidade das fontes de preverem corretamente a ocorrência de precipitação quando esta realmente é observada. O POD para previsão perfeita tem valor igual a unidade, o que traduz total acerto das previsões realizadas (ou seja, y = 0). 3136

3 A razão de alarme falso (RAF) é a proporção dos eventos previstos que não se concretizaram. O RAF tem orientação negativa, ou seja, há preferência de ocorrência de pequenos valores, sendo seu valor ideal igual a zero e o pior valor possível igual a unidade. O índice crítico de sucesso (ICS) oferece mais vantagem que o RAF e o POD por ser sensível tanto aos eventos falsos (z) quanto aos errados (y). Por esse motivo o ICS dá uma idéia mais representativa da qualidade da previsão real, tanto em situações de eventos raros quanto em situações onde os eventos climáticos são os mais corriqueiros. Este índice é encontrado em inúmeras publicações com a denominação de threat score" (TS) e é ideal para a verificação de previsões onde a ocorrência do evento a ser previsto é muito menos freqüente que a sua não ocorrência, como no caso da precipitação. O ICS pode variar de zero a um, sendo seu valor em situação de previsão ideal igual à unidade. As medidas de vício, ou de tendência, não se preocupam com a correspondência entre as previsões e as observações de eventos em ocasiões particulares, por essa razão o índice BIAS aqui usado não é uma medida de precisão, mas simplesmente de tendência ou vício do sistema de previsão (Murphy, 1993). Matematicamente, usando os dados da tabela de contingência, temos: BIAS x z = + x + y O BIAS é simplesmente a razão do total de previsões com o número total de observações correspondente na categoria chover. Previsões não viciadas ou equânimes apresentam BIAS igual a unidade, indicando que o evento foi previsto no mesmo número de vezes em que foi observado. BIAS maior que a unidade significa que o evento foi previsto mais vezes do que o realmente observado (superestimado) e, inversamente, BIAS menor que a unidade indica que o evento foi previsto menos vezes do que o observado (subestimado). Em ambos o caso, significa que o esquema de previsão, em média, apresenta-se viciado ou com uma tendência. As medidas de habilidade (ou destreza) foram projetadas para avaliação da precisão relativa da previsão realizada em relação a uma previsão padrão de controle ou referência. Os três padrões usualmente utilizados, em ordem crescente de sofisticação, são a chance ou aleatoriedade, a persistência e a climatologia. A habilidade da previsão é geralmente representada por um índice de habilidade ( skill score - SS) que representa uma porcentagem da melhoria da previsão sobre a previsão de referência. De uma forma genérica, o índice de habilidade para as previsões caracterizadas por uma medida particular de precisão A, em relação à precisão A ref de um conjunto de previsões de referência, sendo A perf o valor da medida de precisão que seria obtido no caso de previsões perfeitas, é dado por: SS = A A A perf ref A ref 100% A formulação genérica acima dá resultados consistentes no caso em que a medida de precisão tenha orientação positiva (caso do H, POD e ICS) ou negativa (caso do RAF). Se A = A perf, o índice de habilidade atingirá seu valor máximo de 100 %. Se A = A ref, o índice de habilidade tomará o valor de 0 %, indicando que não houve melhoria em relação à previsão ou esquema de referência. Se as previsões avaliadas forem inferiores às previsões de referência, o índice de habilidade será menor que 0 %. A medida de habilidade pode ser formada por quaisquer dos vários índices de precisão. O padrão de referência mais freqüentemente usado é a climatologia, mas o Heidke skill score (HSS) escolhido neste trabalho é quase sempre associado com a chance ou aleatoriedade (Murphy & Winkler, 1987). A medida de precisão de referência do HSS é o percentual de acerto (H) que deve ser atingido no caso de previsões aleatórias sujeitas à condição de que as distribuições marginais de previsão e observação sejam as mesmas que as distribuições marginais do conjunto real de verificação da previsão. Deste modo (ver Wilks, 1995): 3137

4 HSS = 2( xw yz) 100% ( x + y)( y + w) + ( x + z)( z + w). Previsões perfeitas apresentam HSS igual a 100%, previsões com a mesma habilidade de um esquema aleatório apresentarão HSS igual a zero e esquemas de previsões com HSS menor do que zero, mostram desempenho pior do que um esquema aleatório (no qual seria melhor jogar uma moeda para saber se vai ou não chover no dia seguinte). 3. RESULTADOS E DISCUSSÃO Inicialmente, apresenta-se na Figura 1 a porcentagem dos dias para cada mês em que foi observada unanimidade entre as três fontes em relação à previsão de chover ou não chover. Nota-se os valores extremamente baixos em alguns meses do ano, evidenciando divergência entre os jornais nas previsões fornecidas aos leitores. O alto percentual de unanimidade nos meses de julho, agosto e setembro se deve principalmente à alta probabilidade da não ocorrência de chuva neste período no Rio de Janeiro, uma característica climatológica do município nesta época do ano. Rio de Janeiro - % de Unanimidade Porcentagem Jan Fev Mar Abr Mai Jun Jul Ago Set Out Nov Dez Figura 1 - Percentual de unanimidade entre as previsões de ocorrência de precipitação no Rio de Janeiro fornecidas pelos três jornais selecionados. Na Figura 2 mostra-se a evolução do percentual de acerto nos meses estudados para cada fonte e para a verificação global. O índice global poderia aqui se referir a uma espécie de verificação da previsão por conjunto (tipo "ensemble"), efetuada de tal modo que cada fonte pode ser considerada como um dos membros do conjunto. De uma maneira geral os melhores escores do índice H foram obtidos pela fonte 2, merecendo um destaque negativo o desempenho da fonte 1 em abril e o da fonte 3 no mês de novembro. Nas Figuras de 3 a 7 mostra-se, respectivamente, a variação da probabilidade de detecção (POD), do índice crítico de sucesso (ICS), da razão de alarme falso (RAF), do índice de vício (BIAS) e do índice de habilidade (HSS) para cada fonte e para a verificação global. 3138

5 Percentual de acerto (H) % de acerto Figura 2 - Variação durante o ano de 1999 do percentual de acerto (H) das previsões de ocorrência de precipitação efetuadas pelos três jornais. Probabilidade de detecção (POD) POD Figura 3 - Variação durante o ano de 1999 da probabilidade de detecção 3139

6 Destaca-se pela análise do gráfico do POD (Figura 3) a contraposição entre o desempenho da fonte 1 com as outras duas fontes. A fonte 1 mostra, em quase todos os meses, os melhores índices enquanto percebe-se uma alternância entre as fontes 2 e 3 no decorrer do ano. Vale, no entanto, chamar a atenção para o fato de que a fonte 1 tem um índice alto de probabilidade de detecção através do aumento do índice de razão de alarme falso (Figura 5) e do índice BIAS (Figura 6). Ou seja, seu índice POD é alto através da emissão de um número grande de alarmes falsos (prevendo chuva sem que isso ocorra), apresentando uma tendência ou vício de prever um maior número de ocorrências de chuvas do que o real. Merece destaque ainda os baixos valores do índice RAF referentes à fonte 2 (Figura 5) durante quase todo o ano. Isso mostra que, na maioria dos dias, as previsões de ocorrência de chuva feitas pela fonte 2 realmente se concretizaram. Índice crítico de sucesso (ICS) ICS Figura 4 - Variação durante o ano de 1999 do índice crítico de sucesso 3140

7 Razão de alarme falso (RAF) RAF Figura 5 - Variação durante o ano de 1999 da razão de alarme falso Vício (BIAS) BIAS Figura 6 - Variação durante o ano de 1999 da tendência ou vício 3141

8 Pela análise do BIAS (Figura 6), cujo valor ideal para um sistema perfeito de previsões seria igual a 1, percebe-se a tendência da fonte 1 em superestimar o evento "chover" durante o período de verão, outono e primavera, enquanto apresenta uma tendência de prever um número menor deste evento durante o inverno. Aparentemente esta fonte emite previsões baseadas mais na climatologia da região do que na análise do tempo. A fonte 2, embora com valores próximos de 1 quase o ano todo, tende a subestimar o número de previsões de ocorrência de chuva para a cidade. Merece destaque o gráfico do índice de habilidade (HSS) apresentado na Figura 7. A fonte 2 demonstra uma habilidade acima do padrão de referência durante todo o ano com destaque para os meses de janeiro, abril, junho, julho e setembro. As fontes 1 e 3, no entanto, chegam a ter índices com valores abaixo de zero, demonstrando que nos meses onde isso ocorreu, uma previsão aleatória, sem qualquer suporte físico, teria assegurado melhores resultados do que as previsões divulgadas pelos jornais correspondentes. Índice de Heidke (HSS) HSS Figura 7 - Variação durante o ano de 1999 do índice de habilidade (HSS) 4. CONCLUSÕES A análise dos índices objetivos utilizados para a verificação das previsões de ocorrência de precipitação divulgadas diariamente pelos jornais no Rio de Janeiro deixa evidente a necessidade de melhoria nos processos e métodos usados. Cada índice, com sua característica própria, e devida interpretação, poderia ser usado como elemento norteador das possíveis mudanças. Por outro lado, a grande discrepância encontrada a cada dia entre as previsões divulgadas, ou a ausência de unanimidade, deixa como dúvida as causas de tal problema, tendo em vista que as fontes de dados e informações meteorológicas citadas pelos jornais são, em geral, as mesmas e a elas todos têm acesso. Embora os resultados aqui expostos refiram-se exclusivamente a verificação das previsões de ocorrência de precipitação divulgadas pelos jornais, acredita-se que métodos semelhantes devam ser usados pelos sistemas de previsão objetivando quantificar objetivamente a qualidade de suas previsões, podendo assim balizar as melhorias necessárias. 3142

9 5. REFERÊNCIAS BIBLIOGRÁFICAS JORNAIS: O Globo, O Dia e Jornal do Brasil Previsão diária do tempo para o município do Rio de Janeiro de janeiro a dezembro de GEORIO - Totais diários de precipitação divulgados diariamente pelo Sistema Alerta-Rio via Internet ( ww.rio.rj.gov.br/georio/alerta), MURPHY, A. H. AND R. L. WINKLER: A general framework for forecast verification. Mon. Wea. Rev., vol. 115, pp , MURPHY, A. H.: What is a good forecast? An easy on the nature of goodness in weather forecasting. Wea. Forecasting, vol. 8, pp , WILKS, D. S.: Statistical methods in the atmospheric sciences. Academic Press, 467 p.,