Согласно документам, опубликованным командой метеорологического моделирования Пангу компании Huawei, точность ее модели превзошла модель IFS ECMWF. Однако все результаты испытаний в этих статьях были проведены в искусственно созданном идеализированном метеорологическом поле (ERA5), и между ними существует разрыв. ERA5 и реальные поля наблюдения. Как Pangu работает в реальных полях наблюдения, не хватает каких-либо реальных отчетов или статей об измерениях. Благодаря команде по моделированию погоды Пангу, сделавшей свою модель открытой, я могу построить метеорологическую модель Пангу на своем персональном компьютере для проверки прогнозов, и это осуществимо. Поэтому я потратил некоторое время на небольшую проверку прогноза метеорологической модели Паньгу в реальном поле наблюдения, чтобы наблюдать его прогнозирующий эффект в реальном поле метеорологических наблюдений.

Код для этой оценки находится в открытом доступе на Github. Любой может запустить его на своем компьютере согласно документации склада. Адрес склада (исходная ссылка в конце статьи): https://github.com/Clarmy/. Пангу-погода-проверить

Источник данных

Все данные для этой оценки взяты из общедоступных наборов данных в Интернете, а методы сбора данных являются разумными, законными, открытыми и прозрачными. Данные, собранные для этой оценки, охватывают около 5 дней, а зафиксированные моменты времени представляют собой моменты времени, соответствующие 3-часовым прогнозам ЕЦСПП.

Данные обсерватории SURF

В этой оценке в качестве истинного значения для тестирования будут использованы данные наблюдений с более чем 2000 станций в материковом Китае, опубликованные на веб-сайте Центральной метеорологической обсерватории (http://www.nmc.cn/). Информация о сайте наблюдений поступает из Китайской сети метеорологических данных (http://data.cma.cn/Market/Detail/code/A.0012.0001/type/0.html), а также из исходного адреса загрузки таблицы сайта (http://). изображение.данные .см a.cn/static/doc/market/China_SURF_Station.xlsx), в списке сайтов оценки (файл CSV) были произведены некоторые преобразования методов представления долготы и широты в исходный список, в основном преобразование представления градусов, минут и секунд в десятичное число. представление для облегчения последующей обработки. Метод сбора данных заключается в сканировании данных с места наблюдения на веб-сайте Центральной метеорологической обсерватории. Из-за влияния сетевой среды не может быть гарантирована 100% полнота данных, собранных во время реальной работы. Некоторые данные с сайта будут отсутствовать. это нормальное явление.

Данные реанализа ERA5

мы используем Данные реанализа ERA5 как вывод модели Pangu на основе исходных входных данных. Поскольку эта оценка основана на реальных стандартах бизнес-операций, а не на идеализированных сценариях в лаборатории, мы ввели Пангу в качестве исходного поля для рассуждений. ERA5 Фактически данные сдвигаются вперед от момента времени наблюдения примерно на 5 Данные дневной давности.

Данные прогноза ЕЦСПП

Прогностическая продукция ECMWF представлена ​​во многих категориях. В этом проекте используются наборы прогнозных данных в реальном времени, которые являются бесплатными и общедоступными. Каналы доступа можно найти в документации ECMWF (https://confluence.ecmwf.int/display/DAC/). ЕЦСПП+открытые +данные:+прогнозы+в реальном времени). В этом проекте данные прогноза ЕЦСПП в реальном времени используются в качестве сравнительных прогнозных данных (сопровождения) модели Пангу для сравнения прогнозного эффекта модели Пангу. Поскольку пространственное разрешение этого набора данных составляет 0,4°. Поэтому при окончательном расчете индекса теста мы интерполировали его с пространственным разрешением 0,25°, что соответствует другим наборам данных.

Данные прогноза GFS

мы используем 0.25 разрешение Данные прогноза GFS как еще один спутник сравнительного прогноза, GFS Адрес загрузки данных: https://nomads.ncep.noaa.gov/gribfilter.php?ds=gfs_0p25_1hr.

Показатели оценки

RMSE

RMSE (среднеквадратическая ошибка) — это широко используемый индекс оценки ошибки результата прогнозирования. RMSE отражает среднеквадратическую ошибку отклонения между прогнозируемым значением и фактическим значением, что может хорошо отражать общую точность прогноза. Чем меньше значение RMSE, тем меньше общая ошибка результатов прогнозирования и тем лучше эффект прогнозирования.

RMSE имеет характеристики неотрицательного значения и изомерности, что упрощает понимание и объяснение. Его можно использовать как для непрерывного прогнозирования, так и для оценки ошибок категориального прогнозирования. RMSE — один из часто используемых индикаторов оценки для регрессионных моделей и прогнозирования временных рядов в машинном обучении. В целом, RMSE — это простой, интуитивно понятный и эффективный индекс оценки ошибок прогнозирования.

Точность порога ошибки

Для небинарных элементов прогноза «точность» и «неточность» можно определить посредством фильтрации порога ошибки, а затем можно выполнить статистические расчеты точности. Коэффициент точности ошибок рассчитывается как «точный прогноз» для ошибок в пределах допустимого диапазона, а затем рассчитывается соотношение между количеством выборок «точного прогноза» и общим количеством наблюдаемых выборок. В этой оценке используются следующие показатели:

1. Точность 1°C: температура. Отклонение между прогнозом и наблюдением составляет 1°C Доля количества образцов в общем количестве наблюдаемых образцов.
2. 2°CТочность：температура Отклонение между прогнозом и наблюдением составляет 2°C Доля количества образцов в общем количестве наблюдаемых образцов.
3. 3°CТочность：температура Отклонение между прогнозом и наблюдением составляет 3°C Доля количества образцов в общем количестве наблюдаемых образцов.
4. 1msТочность：ветерскорость Отклонение между прогнозом и наблюдением составляет 1m/s Доля количества образцов в общем количестве наблюдаемых образцов.
5. 2msТочность：ветерскорость Отклонение между прогнозом и наблюдением составляет 2m/s Доля количества образцов в общем количестве наблюдаемых образцов.
6. 3msТочность：ветерскорость Отклонение между прогнозом и наблюдением составляет 3m/s Доля количества образцов в общем количестве наблюдаемых образцов.

Уровень ветра сильный/слабый

Сильное смещение уровня ветра — это процентное соотношение числа сильных прогнозов уровня силы ветра и общего количества прогнозов уровня силы ветра. Прогнозируемое местоположение силы на уровне проверки больше фактического местоположения силы ветра на уровне проверки.,Тогда этоветер Прогноз уровня сил слишком сильный。Та же причина,Слабый показатель уровня ветра — это процент количества слабых прогнозов уровня силы ветра и общего количества прогнозов уровня силы ветра. Прогнозируемое местоположение силы на уровне проверки меньше фактического местоположения силы ветра на уровне проверки.,Это означает, что прогноз силы ветра слабый.

Оценка скорости ветра

Оценка скорости Ветер — это показатель, который измеряет степень соответствия между прогнозируемым уровнем ветра и наблюдаемым уровнем ветра. Алгоритм таков: если прогноз и наблюдение находятся на одном уровне, начисляется 1 балл; если эти два уровня являются соседними, начисляется 0,6 балла, если два уровня ветра отличаются на 2 уровня, начисляется 0,4 балла; ; в остальных случаях баллы не начисляются, суммируйте баллы всех образцов и возьмите среднее арифметическое, чтобы получить образец из Оценки. скорости ветра。

Оценка ветра

Оценка ветер — это индикатор, измеряющий точность ветра. В качестве ориентира для оценки ветер использует азимут ветра (а не угол ветра).

• для 8 Направление ветра, прогноз и азимут наблюдения полностью совпадают. 1 точки, они имеют разные направления. 1 Позиция получена 0.6 баллы, в остальных случаях 0 точка.
• для 16 Направление ветра, прогноз и азимут наблюдения полностью совпадают. 1 точки, они имеют разные направления. 1 Позиция получена 0.8 баллы, разница 2 Позиция получена 0.6 баллы, в остальных случаях 0 точка.

В этой оценке используются 8 квантильветероценить。

Результаты оценки

температура

Пангу здесьтемператураначальствоиз Результаты По сравнению с двумя другими системами прогнозов, оценка имеет очевидные преимущества. В частности, температура Пангуиз RMSE В целом немного лучше, чем ECMWF , и более стабильно лучше, чем GFS。

С точностью до 1°C результаты Pangu имеют явное преимущество перед ECMWF и более стабильны, чем GFS. Однако с точки зрения точности при 2°C и 3°C преимущество Pangu над ECMWF постепенно сужается. Эти два показателя равны, но стабильно лучше, чем GFS.

ветер

Пангу не так уж и удовлетворителен с точки зрения прогноза ветра. Для начала давайте посмотрим на RMSE ветра:

можно увидеть,Пангу ветерскорость из RMSE По сути, она находится на последнем месте среди трех систем прогнозирования (чем она выше, тем хуже), а ECMWF и GFS Однако трудно заметить разницу. Похоже, это разрушает наше давнее убеждение в том, что. ECMWF Стабильность лучше, чем GFS врожденное познание.

Давайте посмотрим на показатели точности при порогах ошибки 1 м/с, 2 м/с и 3 м/с:

Видно, что результаты Пангу все еще относительно очевидны по сравнению с ECMWF и GFS Это хуже.

Судя по уровню точности ветра, результат Pangu все же уступает двум другим системам прогнозов.

Глядя на ветер Шри-Ланкаи Оценка ветра, Паньгу все еще проигрывал двум другим системам.

Судя по сильным и слабым показателям уровня ветра из,Пангу, вероятно, склонен недооценивать скорость ветра.,и GFS Склонен переоценивать.

Подвести итог

В целом прогноз Паньгу относительно ECMWF и GFS Она имеет очевидные и стабильные преимущества по температуре, в то время как ее прогнозирующий эффект на ветер в основном уступает двум другим системам, но ее прогнозирующий эффект также довольно близок к двум другим системам. Другая возможность, которая может подорвать наше познание, заключается в том, что мы всегда верили, что ECMWF Стабильность лучше, чем GFS Восприятие, похоже, меняется: СГФ В прогнозе ветра производительность была такой же, как и ECMWF Даже близко.

Некоторые субъективные оценки Паньгу

Хотя, судя по приведенной выше оценке, общее превосходство Паньгу не было воспроизведено в реальном поле наблюдения. ECMWF эффект. Но нам также нужно знать, что это использовалось в Паньгу. 5 дней назад ERA5 Данные взяты как результаты, полученные в исходных полевых условиях. Это как забег на 100 метров, ЕЦСПП. и GFS Беги первым 40 метров, последние три человека попали в линию почти одновременно, что также отражает ужасающую силу Паньгу. Ниже приведена сравнительная диаграмма временного интервала между исходным полем и полем наблюдения:

Поскольку я провожу этот обзор с практической точки зрения,,Следовательно, невозможно устранить все проблемы со своевременностью данных, как мы это сделали в статье.,Проведите оценку в совершенно идеальных условиях. В какой-то степени моя оценка может быть несправедливой по отношению к Паньгу.,Но это имеет практическую значимость и работоспособность. Если сравнить Пангу с хулиганом в школе,,Тогда рано или поздно ему придется покинуть кампус и встретиться с реальным миром.,И этот реальный мир никогда не может быть справедливым повсюду.

Хотя прогнозирующий эффект Пангу в реальных областях наблюдения не так совершенен, как в статье, я думаю, что Пангу имеет большую инженерную ценность:

1. Он работает эффективно. Когда я проводил этот тест, я использовал персональный компьютер. CPU Примерно выполнить один вывод 4 минут, так как это 5 дней назад к начальному полю все необходимые итеративные рассуждения примерно 7-8 раз или около того (напр. 115 Процесс рассуждения для часовых интервалов: 24 -> 24 -> 24 -> 24 -> 6 -> 6 -> 6 -> 1), общий расход ок. 30 минут или около того. Если мы выполняем бизнес-операции, мы можем распараллелить процесс рассуждения с помощью некоторых методов перестановки и комбинирования. Например, я сначала использую начальное поле, чтобы исчерпать будущее. 24 Поле почасового прогноза, используйте это 24 Поля прогноза используются одновременно 24 Выполнять повседневные рассуждения каждый час, затем теоретически, если количества ядер достаточно, каждый день. 4 Прогноз на 24 часа можно сделать за считанные минуты. будущее 10 почасовой прогноз на день 40 Его можно сгенерировать примерно за несколько минут. Конечно, если вы воспользуетесь им еще раз. GPU Для ускорения однократного вывода скорость может быть выше. Если уж использовать топовую конфигурацию для рассуждений и выжать скорость до предела как в статье, то можно 2 Сделано за несколько минут 10 Прогнозирование осуществляется по часам, а эффект прогнозирования не намного хуже численного прогнозирования.
2. Настройка операционной среды предельно проста. Pangu Modeliz работает действительно очень тупо,Не требует большой настройки,пара Python Опытные разработчики могут построить промежуточный прогноз Пангу за полчаса. по сравнению с WRF Для такой чрезвычайно сложной конфигурации окружающей среды Pangu — просто благословение для инженеров.
3. Верхнего предела прогноза нет. Механизм рассуждения Паньгу использует результаты предыдущего рассуждения в качестве входных данных для следующего рассуждения, поэтому теоретически он может продолжать рассуждения бесконечно, в отличие от ECMWF и GFS Это можно прогнозировать только на ограниченное время. Большим преимуществом этой функции является то, что она может решить «беспокойство прогноза», а это означает, что Паньгу можно использовать в качестве надежного резервного прогноза в любое время, когда другие прогнозы недоступны. Он может заменить краткосрочные прогнозы. срочный прогноз, среднесрочный прогноз и долгосрочный прогноз климата. То есть его можно использовать в качестве прогноза полного цикла для обеспечения доступности погоды. Эта функция может обеспечить долгосрочную стабильность погодного класса вверх по течению. APP Он почти как спаситель.
4. Можно делать ансамблевые прогнозы и генерировать большое количество участников. Гибкий механизм рассуждения Pangu в сочетании с его высокой вычислительной эффективностью позволяет делать большое количество прогнозов возмущений. Например, если мы не будем следовать официально рекомендованному процессу рассуждения сначала длинного, а затем короткого, и использовать метод случайной комбинации для выполнения рассуждения. итераций, затем теоретически можно сгенерировать большое количество результатов прогноза возмущений. На основе этих результатов мы можем провести некоторый статистический анализ ансамблевых прогнозов, таких как вероятностные прогнозы и т. д. Кроме того, мы не можем следовать официальной рекомендации ERA5 в качестве исходного поля, использовать исходное поле GFS в качестве входных данных или генерировать новые элементы прогноза. Конечно, если позволяют условия, в качестве входных данных можно также использовать собственное поле реанализа CRA-40 Китая, чтобы можно было генерировать больше элементов прогноза.
5. Его можно использовать в качестве основного поля для постмодификационной коррекции. Пост-ревизия модели теперь является обязательным курсом почти для каждого инженера-метеоролога. Фактически, большое количество «независимо разработанных» прогнозов на рынке являются пост-ревизией моделей этого типа. В прошлом пост-пересмотры в значительной степени полагались на ЕЦСПП и СГФ. После исследования Пангу появляется еще одно основное поле для коррекции.

Хотя модель Пангу может принести многие из вышеперечисленных преимуществ в машиностроительную отрасль, текущее применение модели Пангу все еще имеет некоторые ограничения:

1. Мало переменных прогноза,Наземный прогноз имеет только три элемента непрерывности: температуру, давление на уровне моря и ветер.,отсутствие осадков,Даже влажности нет.,Выход высотного прогноза довольно велик.,Однако высотный элемент не оказывает особого влияния на конечного пользователя.,Прогноз, сделанный синоптиком, может оказаться полезным.,Но если Pangu не предназначен для сквозного прогнозирования, тогда,Тогда это мало что значит.
2. Открытый исходный код Ограничения Соглашения, Pangu ModelizOpen исходный протокол кода CC BY-NC-SA 4.0, этот протокол запрещен к коммерческому использованию (NC: No Коммерческий). И производные работы по этому соглашению также имеют определенные ограничения. Если вы хотите создать какую-то производную работу на основе Pangu, то ваши производные работы также должны соответствовать тому же соглашению, что неприемлемо для большинства коммерческих компаний. Поэтому, если компании, занимающиеся метеорологическими технологиями, строго соблюдают Паньгу из Открытого исходный соглашение о коде, то Pangu Weather Model почти не будет иметь места на коммерческом рынке.

Я думаю, что самое похвальное в Pangu — это то, что команда исследований и разработок осмелилась разработать Модель Открытый. исходный Код доступен каждому для использования, тестирования и проверки, что отражает их уверенность и уверенность в себе. исходный Дух кода достоин признания и изучения.

FAQ

1. Почему бы не использовать ECMWF/GFS Начальное поле Pangu используется в качестве поля ввода вместо 5 дней назад ERA5 в качестве ввода?

Сначала я хотел использовать начальное поле каждого прогноза ECMWF в качестве начального поля для вывода, но начальное поле каждого прогноза в общедоступном наборе данных ECMWF не соответствовало размерным требованиям исходного поля Пангу. Максимальная высота. Начальное поле Пангу достигло 50 г Па, а начальное поле общедоступной ECMWF, которое я могу получить, составляет только до 200 г Па. Если использовать экстраполяционную интерполяцию, я думаю, что это окажет отрицательное влияние на результаты, поэтому я предпочитаю пожертвовать своевременностью. обеспечить точность. Что касается того, почему не используется GFS, то по рекомендации научно-исследовательской группы Pangu следует использовать данные серии EC, чтобы отразить преимущества Pangu, поэтому вариант использования GFS в качестве исходного поля был исключен с самого начала.

1. Разве на сайте Центральной метеорологической обсерватории нет данных о погоде с разбивкой по провинциям, городам и округам? Почему я могу сопоставить номер метеостанции?

Правила системы API в фоновом режиме веб-сайта Центральной метеорологической обсерватории запрашиваются с использованием номера метеостанции. При захвате пакетов вам нужно знать только номер метеостанции для запроса. Подробный процесс можно найти в открытом исходном коде. склад: https://github.com/Clarmy/pangu-weather-verify.

1. Если моменты времени для проверки основаны на трехчасовых прогнозах ЕЦСПП, то как согласованы временные точки прогноза Пангу?

Поскольку я не хочу вносить больше ошибок из-за интерполяции времени, хотя GFS иPangu — это (или может быть) почасовой прогноз, но я все равно использую ECMWF общественный 3 Почасовой прогноз служит базовым. В это время будет ситуация для Паньгу, то есть здесь. 3 Часовой интервал, ERA5 Будут опубликованы новые данные, поэтому Пангу сможет сделать три прогноза с разными результатами за три часа. С целью моделирования реалистичного наихудшего сценария я использовал для оценки первые результаты прогноза, сделанные Паньгу, и 3 Новые добавленные с часовыми интервалами ERA5 Прогноз мною заброшен.