【机器学习】机器学习 vs. 数值天气预报,AI 如何改变现有的天气预报模式-程序员宅基地

技术标签: 机器学习  人工智能  

66df2d9ce1788b503535455f9a2619f2.png

数值天气预报是天气预报的主流方法。它通过数值积分,对地球系统的状态进行逐网格的求解,是一个演绎推理的过程。

然而,随着天气预报分辨率不断升高,预报时间逐渐延长,NWP 模式所需要的算力迅速增加,限制了其发展。另一方面,以人工智能为基础的数据驱动天气预报快速发展,在部分领域已经超越了传统方法。

现有的机器学习天气预报精度如何?人工智能又将如何改变天气预报?本文对比了几大数据驱动的机器学习天气预报模型后,对天气预报的未来发展作出了展望。

作者 | 雪菜

编辑 | 三羊

41993b9938ab5bb6d6669045652a976d.jpeg

数值天气预报:450 亿偏微分方程组

数值天气预报 (NWP, Numerial Weather Prediction) 是天气预报领域的主流方法。早在 20 世纪初,Abbe 和 Bjerknes 就提出人们可以使用物理定律预测天气,以当前的天气状况为初值,进行积分便可以求解未来的天气。但彼时对气象学的研究还不够深入,计算水平也相对落后,这一设想未能实现。

1950 年,普森林顿大学首次尝试使用第一台电子计算机进行了天气后报。1954 年,在斯德哥尔摩首次实现了实时的天气预报。

c16377b88fb2fc1b30888674cbc07f06.png

在每个网格单元中求解基于物理定律的微分方程组

直到 20 世纪 70 年代,超级计算机问世,人们方能求解 Abbe 和 Bjerknes 提出的整套方程。1979 年,欧洲中期天气预报中心 (ECMWF) 编制了首份中期天气预报,开启了综合预报系统 (IFS, Integrated Forecasting System) 的篇章。

然而,Edward N.Lorenz 总结前人的经验,提出天气系统是一个混沌系统,会因变量的细微变化而发生巨大的改变。另一方面,人们对于气象系统的初始状态也很难完全掌握。为此,学界使用集合预报 (Ensemble Forecasting) 以最大限度降低初始参数和预测模型的不确定性,预测结果的集合即为概率预报的基础。 

e5342efc9e8f15a69ebadafdbb703744.png

降水概率的集合预报示意图

随着数值模型、超级计算、数据同化和集合预测等技术的发展,数值天气预报的精度不断提高,预测时间也由 3 天、5 天逐渐提升至 7 天甚至 10 天。

0c193c49acb7731daa23c415f19f57af.png

南、北半球 (SH, NH) 的天气预报技术随时间的演进

目前,欧洲中期天气预报中心的预报模式需要对每一水平层的 200 万个网格,以 10 分钟的步长进行 10 天的预报,每天运行 2 次。因此,他们需要在 2.5 小时内,完成约 400 亿个网格的运算,需要很高的计算成本。

高昂的计算费用阻碍了数值天气预报方法的进一步发展。如何在模型分辨率和集合规模之间找到平衡,成了限制集合预报的桎梏。

6219237ef64abe2a08dc47ce18b7dcca.jpeg

数据驱动的机器学习方法崛起

近期,数据驱动 (Data-Driven) 的机器学习 (ML, Machine Learning) 在天气预报中展现出了巨大的潜力。2022 年以来,天气预报领域的机器学习模型取得了一系列突破,部分成果可以与欧洲中期天气预报中心的高精度预测匹敌。

数据驱动的天气预报推理依赖于机器学习模型,而非综合预报系统 (IFS) 中的物理模型,其预测速度较传统方法提升了几个数量级。此外,基于机器学习的天气预报是归纳推理的结果,而非传统的演绎推理。这种逻辑学的范式转变改变了天气预报的解释方式——这些结果是从以前的数据中学习而来的,因此更具说服力

数据集:1940 年至今 0.25° 的再分析数据

数据驱动模型的出现归功于大规模、高质量的气象学开放数据集。现有的机器学习天气预报模型,训练于欧洲中期天气预报中心的第五代再分析数据,ERA5 再分析数据集。2016 年现版本综合预报系统 (IFS) 问世时,对 1940 年至今的天气数据进行了再分析,得到了分辨率 0.25° (30 km) 的 ERA5 数据集。

FourCastNet:与 IFS 精度相当的 DL 模型

2022 年,NVIDIA 发布了 FourCastNet,基于傅立叶预测神经网络,首次进行了分辨率为 0.25° 的深度学习天气预报。

8ff3259aad6bdd1a2c03afa3c5d9c0bb.png

FourCastNet 架构示意图

在提升分辨率的同时,FourCastNet 在异常相关系数 (ACC, Anomaly Correlation Coefficient) 和均方根误差 (RMSE, Root Mean Squared Error) 方面也没有落后传统的数值天气预报太多。

a35f416690d3e1154cb6c9213699ebb0.png

 FourCastNet 与数值天气预报的 ACC 和 RMSE 对比

以节点小时 (Node-Hour) 为单位,FourCastNet 的速度大约是传统数值天气预报模型的 45,000 倍,加上其在高分辨率下的准确性,使得超大规模的集合预报成本迅速降低。

GraphCast:基于 GNN 全球中期气象预报

GraphCast 是一种基于图神经网络 (GNN) 的神经网络,采用「编码-处理-解码」配置,共有 3,670 万个参数。

编码器通过单层 GNN 将输入网格中的变量映射到内部的多网格中。

多网格是一个空间均质的图,有着全球范围的高分辨率。多网格通过 6 次迭代正二十面体(包含 12 个节点,20 个面和 30 条边)形成,每次迭代会对网格进行精细化,将单个三角形划分为 4 个较小的三角形,并将其节点投影至球体上。最终多网格包含 40,962 个节点,及精细过程中所有图形的边,形成了包含不同长度的边的层级图。

处理器使用 16 个非共享的 GNN 层,在多网格上进行消息传递。解码器使用单层 GNN, 将处理器的学习特征从多网格映射回到经纬度系统中。

f8a18f670f470c3bddb42b96ebf23e9c.png

GraphCast 的框架

a-c:GraphCast 的输入-预测-迭代过程;

d-f:GraphCast 的编码-处理-解码配置;

g:多网格的精细化过程。

对比欧洲中期天气预报的高分辨率预报 (HRES),GraphCast 在 ACC 和 RMSE 上均更胜一筹。

1e533e0051e1fb57c8232e4c0a4d908e.png

GraphCast 和 HRES 的预测 RMSE (a&b) 和 ACC (c) 对比

在 32 台 Cloud TPU v4 设备上训练 3 周后,GraphCast 对 1979 年以来的 ERA5 数据进行了学习。随后, GraphCast 可以在 60 秒内在单台 Cloud TPU v4 设备上,生成分辨率 0.25° 间隔 6 小时的 10 日天气预报。

盘古:基于 ViT 的三维气象大模型

盘古气象大模型的输入输出均为三维的气象场。由于气象场的经纬度分布不均匀,盘古气象大模型使用了三维的 Vision Transformer (ViT) 对气象数据进行处理,精度首次超过了主流的综合预报系统 (IFS)。

91cf6b95b6296271f5160c61bb179b71.png

三维 Vision Transformer 架构

当预测时间长于 3 天时,从 RMSE 来看,盘古气象大模型和 IFS 的性能相当,均优于训练集 ERA5。

4c26aafee56bffcacac4089d825a0cc1.png

不同模型的对 T850 和 Z500 的预测性能对比

  a&b:分别为不同模型预测 T850 和 Z500 时的 RMSE;

  c&d:分别为不同模型预测 T850 和 Z500 时的活动强度;

  e&f:分别为不同模型预测 T850 和 Z500 时的偏差。

综上所述,数据驱动的机器学习天气预报,在预测精度上与传统的数值天气预报模式接近,然而运算设备和运算速度远超数值天气预报模型,说明 AI 天气预报在实际应用中有相当的潜力。

a8301d4f81ee9beba5b4e5abc826767e.jpeg

机器学习和数值预报 = 精度 + 速度

在天气预报的内部和外部,机器学习都在以惊人的速度不断发展。欧洲中期天气预报中心一直在关注数据驱动天气预报的快速崛起,包括 NVIDIA、华为和 Deepmind。

「FourCastNet 是第一个基于 AI 的分辨率达到 0.25° 的天气预报系统,也是第一个开源的天气预报系统。我们的新版本显著提高了模型的中期性能和长期稳定性,并希望通过神经算子框架,实现超分辨率。」NVIDIA Earth-2 团队的 Anima Anandkumar 说道。

欧洲中期天气预报中心将这些机器学习模型,和稳定的数值模型一起呈现给了用户,邀请他们从应用侧对系统的操作和性能进行评估。模型的准确性、可靠性、不确定性和交互性是评估气象产品质量和有效性的关键因素。

为此,欧洲中期天气预报中心公开了 FourCastNet、PGW 和 GraphCast 基于 IFS 初始条件的预测结果。Florian Pappenberger 表示,「开放是创新、合作和探索的关键。通过共享数据、方法和结果,进行对比和分析,就能够加速科学发展,最终造福社会。

b18cc84956fcbb7067821ea2acc53a2e.png

三个气象 AI 的公开数据

在欧洲中期天气预报中心的对比中,可以看到基于 AI 的天气预测,在部分性能上已经可以与数值天气预报媲美,将在未来发挥着重要作用。然而,这些模型尚没有综合预测能力,这是中长期尺度上提供有价值预测的关键。

开放获取、对比优化、便携易得,AI 正将自己的优势渗透进入传统的天气预报当中。在将天气预报从超级计算机解放出来的同时,AI 在极端气候事件上也有着不俗的表现。相信 AI 能够同数值天气预报一起,革新天气的预报方式,为农林牧渔、航海航天事业的发展贡献出自己的力量。

参考链接:

[1]https://journals.ametsoc.org/view/journals/mwre/29/12/1520-0493_1901_29_551c_tpbolw_2_0_co_2.xml

[2]https://cir.nii.ac.jp/crid/1573668925699683328

[3]https://www.nature.com/articles/nature14956

[4]https://arxiv.org/abs/2202.11214

[5]https://arxiv.org/abs/2212.12794

[6]https://phys.org/news/2023-09-ai-weather-showcase-data-driven.html

[7]https://arxiv.org/abs/2307.10128

—— 完 ——



b89866350335f189086e280415ae6c49.jpeg





往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑
  • 交流群

欢迎加入机器学习爱好者微信群一起和同行交流,目前有机器学习交流群、博士群、博士申报交流、CV、NLP等微信群,请扫描下面的微信号加群,备注:”昵称-学校/公司-研究方向“,例如:”张小明-浙大-CV“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~(也可以加入机器学习交流qq群772479961)

f0d6379c01098a015d91758255a8abf6.png

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/fengdu78/article/details/134343650

智能推荐

Android播放透明视频_wlmedia-程序员宅基地

文章浏览阅读5k次,点赞7次,收藏24次。话不多说,开局一张图,内容全靠“编”:播放透明视频_wlmedia

Python7种运算符及运算符优先级-程序员宅基地

文章浏览阅读4.5k次,点赞3次,收藏3次。Python从入门到精通零基础入门篇

python及深度学习笔记三_深度学习中的常用的统计图-程序员宅基地

文章浏览阅读101次。matplotlib部分:1.windows下设置字体:my_font=font_manager.FontProperties(fname=‘C:\Windows\Fonts\simsun.ttc’)2.plt.xlabel()设置x轴意义 plt.ylabel()设置y轴意义3.plt.xticks()设置x轴坐标 plt.yticks()设置y轴坐标Course exercises:4.折线图:plt.plot()5.散点图:plt.scatter()6.绘制网格:plt.grid()7_深度学习中的常用的统计图

Halcon算子学习:surface_normals_object_model_3d-程序员宅基地

文章浏览阅读2.4k次。surface_normals_object_model_3d( : : ObjectModel3D, Method, GenParamName, GenParamValue : ObjectModel3DNormals)计算三维物体模型的三维曲面法线输入:ObjectModel3D (input_control)包含3D点数据的3D对象模型句柄。Method(input_contr..._surface_normals_object_model_3d

Rsoft---------一个基本的三维仿真-程序员宅基地

文章浏览阅读8.1k次,点赞12次,收藏61次。目录仿真目标1、创建如下所示布局2、创建变量3、添加光纤段4、查看3D结构5、检查折射率分布6、选择激励场7、添加Pathway和Pathway Monitor8、执行仿真并选择输出种类9、访问保存的数据仿真目标布局和仿真沿着光纤在1.55μm处模式的传输,其包层折射率为1.49,纤芯折射率为1.5,芯子直径为9μm。1、创建如下所......_rsoft

多角度对比分析阿里云服务器和腾讯云服务器那个好?-程序员宅基地

文章浏览阅读3.8k次。本文转载自云期刊,原文地址:https://www.yunqikan.cn/2246.html云服务器具有维护成本低,安全稳定,高可扩展性和 7 X 24 小时的售后支持的优势,因此云服务器成为中小企业建站的首要选择。国内的云服务器竞争也进入了跑马圈地的时代,以阿里云、腾讯云、百度云三大BAT为首,不断推出优惠活动,争取更多的用户体量;以华为云、天翼云、西部数据为代表的云产品服务商紧跟其后,谁也...

随便推点

Redis快速入门(六)_如何给redis创建文件夹-程序员宅基地

文章浏览阅读707次。Redis主从复制主机数据更新后根据配置和策略,自动同步到备机的master/slaver机制,master以写为主,slaver以读为主,特点:读写分离,性能扩展,缓解访问压力。容灾快速恢复,从服务器挂掉了,可以转换到另外的从服务器。一主多从,只能有一台主服务器,老大只能有一个,问从服务器挂了可以切换,主机挂了呢?可以配置一个集群,一台主机多个从机,一个主机挂掉换另一个主机。怎么玩?怎么配置?1.创建一个/myredis文件夹mkdir /myredis2.复制redis.co_如何给redis创建文件夹

Qt Model/View之实现Item自定义显示_qt自定义item-程序员宅基地

文章浏览阅读6.7k次,点赞2次,收藏17次。介绍Delegate 代理类被用来显示和编辑Item项。为了能实现自定义的Item,需要子类化代理类,并实现自己的paint() 和 sizeHint()方法。paint()方法会被每个Item调用,来绘制自定义的样式和相应的数据类型,sizeHint()方法用于指示每个Item的大小。在重绘Item在View中的显示时,QStyle类提供了很多的细节样式。在Qt4.4以后,有两个代理类QIte_qt自定义item

一文快速了解分布式版本控制系统Git_软件版本控制系统的运行结果图-程序员宅基地

文章浏览阅读1.7k次,点赞3次,收藏10次。一文快速了解分布式版本控制系统Git_软件版本控制系统的运行结果图

Java开发工具 IntelliJ IDEA(idea使用教程,手把手教学)内容很全,一篇管够!!!_java idea-程序员宅基地

文章浏览阅读5.1w次,点赞133次,收藏1.3k次。IDEA使用教程下载安装IntelliJ IDEA 介绍IDEA,全称 IntelliJ IDEA,是 Java 语言的集成开发环境,IDEA 在业界被公认为是最好的 java 开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE 支持、Ant、JUnit、CVS 整合、代码审查、创新的 GUI 设计等方面的功能可以说是超常的。IntelliJ IDEA 在官网上这样介绍自己:Excel at enterprise, mobile and web development with Jav_java idea

Java后端工程师学习路线——大学版_java后端职业规划路线 csdn-程序员宅基地

文章浏览阅读513次,点赞5次,收藏12次。作为一名Java后端工程师,需要具备一定的计算机基础知识、Java语言基础和相关技术栈的知识,包括数据库、Web开发、框架等。在这篇博客中,我将从大一开始,讲解如何规划学习路线,以成为一名Java后端工程师。_java后端职业规划路线 csdn

python内网中如何pip install_pycharmterminal怎么pip instal-程序员宅基地

文章浏览阅读1.6k次。内网中无法使用pip install? 一文教会你怎么使用_pycharmterminal怎么pip instal

推荐文章

热门文章

相关标签