Качество прогнозов

Качество категорических прогнозов величины (или аномалии) метеорологической характеристики в точке i оценивается сравнением этой величины ( P i ) с фактическим значением, полученным по данным наблюдений ( F i ). Ошибки индивидуальных прогнозов ( P i - F i ). существенно меняются в зависимости от ситуации, как во времени, так и в пространстве. Поэтому, о качестве прогнозов судят на основе представительной статистики многолетних испытаний. Здесь представлены наиболее употребительные критерии качества прогнозов: средняя квадратическая ошибка ( RMSE ), которая характеризует точность прогноза и коэффициент корреляции аномалий ( AC ), являющийся мерой оценки геометрического подобия прогностических и фактических полей аномалий.

Ошибки долгосрочных прогнозов принято сравнивать с естественной климатической изменчивостью. Последняя характеризует степень неопределённости, если, вместо прогноза, потребитель использует климатическую норму (т. н. ошибку климатического прогноза). С этой целью рассчитываются относительные меры мастерства прогнозов RMSSS с. Если RMSSS с > 0, то прогностическая информация точнее, чем климатические данные.

Для проверки качества метода на длительном периоде выполнены многолетние серии ретроспективных прогнозов с использованием архива реанализа атмосферы ( NCEP / NCAR ) с 1979 по 1999 гг. С 2000 г . осуществляется постоянный мониторинг прогнозов, выполняемых в оперативном режиме. На рис.1 показаны средние за 20 лет оценки качества прогнозов средней месячной приземной температуры воздуха на территории России и ближнего зарубежья в различные сезоны. А рис.2 показывает как меняется качество прогноза для разных периодов внутри месяца.

Рис.1. Качество прогнозов средней месячной приземной температуры воздуха.


Рис.2. Качество прогнозов приземной температуры воздуха для различных периодов.

Полученные оценки свидетельствуют о приоритетности прогнозов по сравнению с климатическими данными, особенно ощутимой для первой половины месяца. Самым низким остаётся пока качество прогнозов осадков. Коэффициенты корреляции прогностических и фактических полей аномалий месячных сумм осадков на территории России составляют ~ 0.22- 0.24, а по величине ошибки прогнозы мало отличаются от климатического прогноза.

Потребители прогностической информации должны учитывать степень неопределённости прогноза, которая в некоторых случаях достаточно высока. Такую возможность предоставляет вероятностный прогноз.

Качество вероятностных прогнозов. Наглядной иллюстрацией качества вероятностных прогнозов 3-х градаций средней месячной температуры воздуха является сопоставление прогностических вероятностей и фактических частот этих градаций, вычисленных по группам с заданными прогностическими вероятностями. График их соответствия (диаграмма надёжности), построенный по результатам 20-летних серий прогнозов на 70 станциях России и ближнего зарубежья, представлен на рис.3.

Как видно из рис.3 предсказанные вероятности неплохо согласуются с фактически наблюдавшимися частотами осуществления 3-х градаций температуры воздуха. Заметим, что в климатическом прогнозе вероятности градаций всегда постоянны и равны 0.33.

Оценка соотношения точных предсказаний и «ложных тревог» для прогноза заданного события (например попадания прогностической величины в одну из градаций) позволяет перейти к расчетам потенциальной экономической эффективности использования прогноза при принятии хозяйственных решений. Для этого необходимо знать также, каково соотношение затрат, направленных на предупредительные мероприятия по уменьшению ущерба от ожидаемого события ( C ) к потерям, которые понесёт потребитель, при осуществлении события в отсутствие предохранительных мероприятий ( L ): .

В качестве иллюстрации, на рис.4 показаны примеры таких оценок по результатам прогнозов градации (+) положительной аномалии средней месячной температуры воздуха: а) график соответствия относительной доли «точных попаданий» и «ложных тревог» в зависимости от нижнего уровня прогностической вероятности и б) график потенциальной экономической эффективности прогнозов в зависимости от параметра r , для 2-х групп потребителей, ориентирующихся на осуществление градации (+) при разном уровне прогностической вероятности.

Рис.4

Нулевой уровень относительной экономической эффективности ( V ) соответствует климатическому прогнозу. Для идеального прогноза V = 1.

Подобные оценки позволяют установить границы значений параметра r , для которых использование прогностической информации экономически выгодно, а также для конкретного r выбрать оптимальный режим использования прогностической информации.