黑龙江省2020-2022年汛期多模式降水预报检验评估

刘松涛,高梦竹,王承伟,张惠君

（黑龙江省气象台，黑龙江 哈尔滨 150001）

1 引言

随着数值预报降水产品不断增加， 模式定量降水预报产品为天气预报服务提供了重要支撑。 在实际预报业务使用中， 各家模式降水预报表现特征不尽相同，在实际使用中也存在需要主观订正的要求，期望进一步提升预报质量[1-2]。不同起报时间的模式降水预报存在很大不确定性，业务中常用模式在0-24 h预报还存在较大调整的现象，这给灾害性天气预报服务增加了很大难度，给预报员带来巨大挑战[3-4]。 如何调整模式降水落区和量级，给预报员提出了一个实际而又迫切的问题。

黑龙江省处于中高纬度， 汛期强降水性质主要有区域性暴雨（5 个国家站24 h＞50 mm）和短历时暴雨（3 h 累积50 mm 以上）。稳定的急流输送水汽和能量对区域性暴雨十分重要，水汽垂直梯度变化、抬升条件等是短时暴雨关键因素。 从模式实际使用中发现，中尺度模式预报暴雨频率高于全球模式，对强降水量级和落区调整最为频繁， 而全球模式预报对于较强天气尺度降水系统可以报出大雨、暴雨，对于中尺度系统引发的强降水预报效果不好， 在大气环流调整期也存在降水预报出现较大变化的情况。 因此有必要对多种数值预报模式降水产品进行客观检验， 从关键检验指标中对比发现多个模式的降水预报特征， 利用客观检验数据让预报员了解模式预报性能，进而更好地修正强降水预报[5]。

本文主要对比检验欧洲中心、CMA-MESO、CMA-SH9、 黑龙江省气象台客观订正预报和融合预报。主要针对2020-2022年黑龙江省汛期（6-8月）的0-24 h 累积降水预报进行对比检验分析， 总结各模式预报特征和预报性能， 为一线业务人员使用和订正提供参考。

2 数据和检验方法

本文对2020-2022年汛期（6-8月）全球模式预报、中尺度模式预报、客观订正预报在黑龙江省降水预报效果进行评估。 包括： 欧洲中心细网格预报ECMWF（以下简称EC）、中尺度模式CMA-MESO 和CMA-SH9， 以及黑龙江省客观订正预报 （以下简称pm_fm） 和黑龙江省多模式融合预报 （以下简称fuse）。预报时效0-24 h，部分模式预报在业务应用中延时12 h（欧洲中心细网格预报、CMA-MESO 预报、CMA-SH9 预报为0-36 h）。

针对黑龙江省范围内共计979 个地面自动气象站数据进行检验，包括83 个国家站和896 个区域自动站。 以观测站点数据为实况值，采用自然临近插值方法， 将距离观测站点最近的网格点预报值作为站点预报值进行检验。 主要检验分析的指标有：平均误差me、平均绝对误差mae、均方根误差rmse、晴雨准确率pc、降水ts 评分、偏差bias。

3 检验系统介绍

本文利用自主开发的黑龙江省级客观预报检验系统实现预报产品的检验评估算法及检验分析产品生成。 以多模式预报为对象，实现检验过程的模块化运行，高效独立，方便功能扩充，容易移植，便于维护。 主要分为：数据处理模块，从CMACAST、CIMISS数据库等下载收集数据， 检查数据完备性并对数据进行预处理；检验模块，利用第三方软件库基础层函数读取数据收集流程产生的观测和预报合并数据，选取检验指标，并调整对应的参数，计算检验结果并绘图，对检验结果进行评估分析。

4 检验结果分析

本节从近3 a 模式时间序列降水预报和主要降水过程等方面， 对比分析五种模式在各项检验指标中的结果。

4.1 多模式降水预报对比检验

对比五种预报检验结果， 平均绝对误差项 （图1a），pm_fm 预报和fuse 预报最小，误差分别为3.1 和3.41。原始模式预报中EC 最小，为3.61。两种中尺度模式 （CMA-MESO、CMA-SH9） 预报较大， 分别为4.77、5.14。 均方根误差项（图1b），EC 预报和两种订正预报（pm_fm、fuse）均较小，分别为7.83、7.61、7.84,中尺度模式较大,CMA-MESO 为10.84，CMA-SH9 为11.52。 晴雨准确率上看（图1c），最高为CMA-MESO,得分为70.7%，CMA-SH9 第二， 得分为70.14%，fuse预报第三，得分为69.18%，EC 最低，得分为64%。 预报偏差上 （图1d），CMA-MESO 表现最好， 得分为1.28；fuse 预报第二，得分为1.38。

图1 2020-2022年6-8月五种降水预报(a)平均绝对误差、(b)均方根误差、(c)晴雨准确率、(d)预报偏差整体检验结果

6-8月逐月检验结果显示， 平均绝对误差 （图2a），6月份误差最小为pm_fm 预报， 得分为3.03，fuse 误差排第二，得分为3.25,第三为EC 预报，得分为3.48。 两种中尺度模式预报 （CMA-MESO、CMASH9）误差较大，得分分别为4.61 和4.64。7、8月份误差最小均为pm_fm 预报，7月得分为3.08，8月份得分为3.17。 晴雨准确率上 （图2b），6月份CMAMESO、CMA-SH9、fuse 三种预报得分均为0.72，并列第一，pm_fm 得分为0.71。7月份CMA-MESO、CMASH9 并列第一， 得分为0.69，pm_fm、fuse 得分均为0.66，EC 预 报 为0.61。 8月 份 得 分 最 高 为CMAMESO，得分为0.72，pm_fm 第二，得分为0.71，CMASH9、fuse 得分均为0.7，EC 为0.63。

图2 2020-2022年6-8月逐月五种降水预报(a)平均绝对误差、(b)晴雨准确率检验结果

对比五种预报降水分级检验结果， 在降水分级偏差上（图3a），大雨、暴雨量级bias 表现最好的为fuse， 大雨bias 为0.84， 暴雨bias 为0.47。 EC 大雨bias 为0.82， 暴雨bias 为0.44。 pm_fm 大雨bias 为0.69，暴雨bias 为0.39。 CMA-MESO、CMA-SH9 的大雨、暴雨预报偏差明显＞1，大雨、暴雨空报较大。 对比五种预报降水分级ts 得分（图3b），大雨ts 得分最高为fuse， 得分为16.12%，EC 第二， 得分为15.92%，pm_fm 第三， 得分为15.53%。 暴雨ts 得分最高为pm_fm， 得分为5.16%，CMA-MESO 第二， 得分为4.3%， 第三为CMA-SH9， 得分为3.98%，EC 和fuse得分均为2.93%。

图3 2020-2022年6-8月五种预报(a)降水分级偏差bias、(b)降水分级ts 检验结果

对比2020-2022年逐年五种降水预报分级ts 得分 （图4），2020-2022年小雨得分最高均为pm_fm（图4a），中雨得分最高均为EC（图4b），2020年大雨最高为EC （图4c）， 得分为24.7%，2021年最高为pm_fm， 得分为9.5%，2022年最高为fuse， 得分为14.3%。 暴雨得分（图4d），2020年最高为pm_fm，得分 为11.5%，2021年 最 高 为CMA-SH9， 得 分 为4.5%，2022年最高为CMA-SH9,得分为3.4%，CMAMESO 位列第二位，得分为3.3%。

图4 2020-2022年6-8月预报逐年降水(a)小雨、(b)中雨、（c）大雨、（d）暴雨分级ts 检验结果

通过以上分析可以看到， 定量降水预报误差与观测降水量密切相关，汛期降水量较大，预报的定量误差随之较大，五种预报相比较，pm_fm 和fuse 预报定量误差较小， 同时， 中尺度模式CMA-MESO、CMA-SH9 的定量误差相对较大。 各家晴雨准确率得分在64%-71%之间，相比较而言，EC 预报晴雨准确率得分低于其它四种预报。 从bias 上可以看出，所有预报存在预报范围偏大的问题，其中EC 偏大最为显著。 降水分级检验结果表明，CMA-MESO 在大暴雨量级有一定的预报能力， 但在其它量级预报能力较差， 其降水分级bias 评分明显＞1， 表明空报明显。pm_fm 预报在小雨、 暴雨量级上预报能力明显优于其它模式， 分级ts 得分最高， 有较好的预报参考价值。

逐月检验结果显示，各月的定量误差差异较小，pm_fm 预报和fuse 预报表现较好， 而中尺度模式预报误差较大。逐月晴雨准确率表现为五种预报均为6月、8月得分较高，7月较低。 逐年检验结果显示，各量级降水评分，2020年优于2021年和2022年。

4.2 预报随机误差检验

预报随机误差检验常用AI 指数[6]，它是无偏的误差方差标准化度量，可以量化随机误差技巧，取值范围为0-2。 其理想值为0，表示预报与实况接近，随机误差小；指数接近1，表示预报和观测之间差异大，随机误差大；指数接近2，预报和观测呈负相关，但随机误差小。 检验近三年汛期五种预报一般性降水、分级降水的随机误差，分析随机误差大小，进而检验预报降水的随机性强弱。 AI 指数计算公式为

式（1）中，Fi代表网格预报值，Oi代表站点观测值。

五种预报AI 指数横向对比发现 （表1），pm_fm预报在一般性降水、小雨、中雨、大雨等量级上最接近于0，随机误差最小。 暴雨量级AI 指数，CMA-SH9最小。 纵向对比发现， 四种预报（EC、pm_fm、fuse、CMA-MESO） 随预报量级增加，AI 指数越接近于1，但CMA-SH9 暴雨量级AI 指数小于大雨量级。 综合以上结果，两种订正预报在小雨至暴雨四个量级上，随机误差小于模式预报， 订正预报不但可以有效消除模式系统性误差[7]， 也可以改善原始模式随机误差。 EC 全球模式在大雨及以下量级AI 指数较小，即随机误差小于两种中尺度模式预报，CMA-SH9 中尺度模式预报在暴雨量级随机误差表现好于CMAMESO， 融合预报fuse 由于有中尺度模式的加入，在大雨及以下量级随机误差大于pm_fm， 但暴雨量级好于pm_fm，这与加入CMA-SH9 中尺度模式有密切关系。 pm_fm 预报得益于使用较好的背景场， 将EC集合预报和EC 细网格预报结合到一起，在降水信息丰富程度和各量级降水预报较为均衡合理的优势，在除暴雨以外的量级中取得良好预报效果。 由于全球模式对暴雨预报能力较差， 导致pm_fm 在暴雨量级随机性大，差于fuse 和CMA-SH9。

表1 五种降水预报AI 指数

4.3 主要降水过程检验

对2020-2022年逐年6-8月黑龙江省的过程降水情况进行检验分析，降水过程的选取标准为：满足24 h 累计降水观测≥25 mm（大雨及以上量级）的国家站站次≥5。 经统计，2020年共51 次降水过程，2021年共38 次降水过程，2022年共20 次降水过程。 分别对逐年的降水过程进行检验。

2020年51 次降水过程中， 分级检验结果显示（图略）， 大雨量级fuse 最优，ts 得分26.1%， 其次为EC，ts 评分为24.9%。 暴雨量级EC 最优， 得分为12.8%，pm_fm 和fuse 并列第二，得分为11.9%。 大暴雨量级CMA-SH9 预报最优，为3.3%。

2021年38 次降水过程中， 大雨量级fuse 最优，ts 得分22.2%，其次为pm_fm，得分22.0%。 暴雨量级CMA-MESO 预报表现最优，ts 得分8.3%， 其次为fuse 预报，得分8.0%。 大暴雨量级仅CMA-MESO 预报有得分。

2022年20 次降水过程中， 大雨量级fuse 最优，ts 得分20.3%，其次为EC 预报，得分19.3%。 暴雨量级CMA-SH9 预报最优，ts 得分5.4%， 其次为CMAMESO 预报，得分4.3%。 大暴雨量级CMA-MESO 预报最优，为5.0%。

降水过程对比逐年检验结果， 大雨量级fuse 最优。暴雨量级逐年检验结果略有差异，2020年表现最优 的 为EC 预 报，2021 为CMA-MESO，2022年 为CMA-SH9。 针对满足标准的近三年降水过程检验发现，两种中尺度预报对暴雨预报能力较好，大暴雨量级检验结果显示CMA-MESO 有一定的预报能力。

4.4 个例检验

选取时段2022年7月13日08-14日08 时。 此时段内黑龙江省西南部地区出现区域性大雨， 局地大暴雨天气过程（图略）。 对比结果，晴雨准确率最高的 是pm_fm、fuse 和CMA-SH9，pm_fm 为82%，fuse为80%，CMA-SH9 为73%。定量降水方面，平均误差CMA-MESO、CMA-SH9、fuse 为正值，为湿偏差特征，EC 平均误差最小，平均误差为-0.52。 分级检验结果显示，大雨、暴雨量级准确率最高的均是fuse，得分分别为50.7%、23.3%； 大暴雨量级准确率最高的是CMA-MESO，得分为12.5%。

对比各家预报结果， 模式均预报出了黑龙江省西南部的大降水落区，但CMA-MESO 预报量级明显偏大，大雨和暴雨空报率大。 CMA-SH9、fuse 大雨以上落区和量级相比其它预报更为合理。

落区及起止时间： 从1 h 区域自动站实况看，本次过程西南部地区降水开始时间在7月13日08-09时，落区在大兴安岭、齐齐哈尔和大庆南部。 EC 和CMA-MESO，12日08-11 时预报落区在大兴安岭、齐齐哈尔南部、三江平原东部，与差别较大。 CMASH9，08-11 时预报落区在大兴安岭西部和齐齐哈尔南部， 预报降水开始落区略微偏西，11-14 时预报落区东界位于大兴安岭东部、齐齐哈尔、大庆、绥化中部，与实况基本一致。 pm_fm、fuse 特征与EC 预报基本一致。

各家预报均预报出了黑龙江省西南部的大降水落区，CMA-MESO、CMA-SH9、fuse 大雨以上落区和量级相比其它预报更为合理。 从落区及起始时间来看，CMA-SH9 预报与实况基本接近， 参考性大；EC和CMA-MESO 雨区均略快， 其中EC 雨区三江平原东部空报，CMA-SH9 雨区位置与实况接近。

5 结论和讨论

本文利用黑龙江省考核站观测资料， 对2020-2022年汛期6-8月全球尺度模式预报、 中尺度模式预报、客观订正预报等在黑龙江省的预报性能、误差进行了对比分析。 得出以下结论：

（1）定量降水预报误差与观测降水量密切相关，汛期降水量较大，预报定量误差较大。 五种预报相比较， 黑龙江省气象台客观预报和融合预报误差相对较小，中尺度模式的定量误差相对较大。 五种降水预报存在预报范围偏大的问题，EC 预报范围偏大现象最为显著。

（2）针对一般性降水，两种订正预报随机误差表现最好，其次为EC 预报，两种中尺度模式降水预报的随机误差表现相对较差。 订正预报pm_fm 在大雨及以下量级随机误差表现最好，暴雨量级CMA-SH9最好。 订正预报不但可以有效消除模式系统性误差，也可以改善原始模式随机误差。

（3）降水分级检验结果表明，CMA-MESO 在大暴雨量级有一定的预报能力， 但在其它量级预报能力相对较差，分级bias 评分显示空报明显，fuse 在大雨量级上表现较好，pm_fm 在小雨、暴雨量级上预报能力明显优于其它模式。

综上所述， 本文通过对五种预报的性能和误差特征进行了对比分析， 给出五种预报分级降水使用建议， 为预报一线人员在预报业务工作中有针对性的使用数值模式预报产品和主观订正提供参考。