全球和区域数值模式在甘肃2020年汛期降水预报中的检验评估

陈晓燕，孔祥伟，彭 筱，刘新伟，吴 晶，任淑媛

（1. 兰州中心气象台，甘肃 兰州 730020；2. 甘肃省兰州市气象局，甘肃 兰州 730020）

引 言

随着数值天气预报的不断发展完善、预报时效延长且预报准确率不断提高，数值天气预报在客观定量降水预报上表现出巨大潜力，逐渐成为业务预报领域重要且有效的预报方法［1-2］。甘肃天气预报业务中常用数值模式有7 种，其中全球模式3 种：ECMWF、GRAPES_GFS、NCEP_GFS 模式，区域模式4 种：GRAPES 区域数值预报业务系统（GRAPES_3 km）、西北区域区域模式（GRAPES_LZ10 km）、西北区域快速更新循环预报系统（GRAPES_LZ3 km）和华东区域模式（SMS-WARMS）。由于数值模式预报结果受动力框架、物理过程和初始场等诸多要素影响，加之甘肃地处黄土高原、青藏高原和蒙古高原交汇地带，境内地形复杂，导致不同数值模式的降水预报在时空分布和降水量级等方面存在差异，这给预报员从海量数据中挖掘有效预报信息带来巨大挑战。因此，开展数值模式产品检验，特别是降水预报产品检验显得尤为重要，及时了解各数值模式的预报特点和性能，对提高数值模式应用能力和天气预报准确率具有重要意义［3-5］。

目前关于各种数值模式定量降水预报的检验分析已有不少研究成果。有针对ECMWF、日本、T639 等全球模式的客观检验分析［6-9］；也有针对区域高分辨率数值模式降水预报效果的评估，如华东区域数值预报模式对华东地区、西南地区暴雨和大暴雨的预报技巧较高［10-12］，华中区域区域模式24 h降水预报能力优于48 h，对强降水存在较明显的空报［13］，GRAPES_MESO 区域模式对小雨预报效果较好，对暴雨及以上降水预报能力相对较弱［14-16］；还有针对多种数值模式在预报业务应用中的检验评估［17-18］。GILLELAND 等［19］对多种检验方法进行对比，指出可以简单地通过提高乖离率来提高传统检验方法评分，即高空报率有利于高TS 评分；潘留杰等［20］对比分析ECMWF模式和日本高分辨率模式对降水的预报能力，发现调整阈值改变预报偏差能够在一定程度上提高降水预报技巧。

由于不同数值模式对不同区域的预报性能差异较大，因此有必要开展多模式的本地化客观检验工作。2020年汛期6—8月甘肃降水日数多、持续时间长、范围广、强度大，与近7 a 历史同期相比，降水日数偏多1成，降水量偏多2成。本文针对3种全球模式和4种区域模式的24 h累计降水预报效果开展检验评估，并采用MODE 方法对不同类型暴雨天气过程进行空间检验，总结各数值模式对甘肃汛期降水的预报性能及特点，以期为数值模式在甘肃地区业务应用提供一定参考。

1 资料与方法

1.1 资 料

实况降水数据有2 种：兰州中心气象台提供的2020 年6—8 月甘肃境内78 个观测站（图1）逐日08：00—08：00（北京时，下同）24 h累计降水量；国家气象信息中心提供的逐日5 km 分辨率多源融合降水产品。被检验的模式资料采用业务预报中常用的7 种数值模式（表1），包括3 种全球模式和4 种区域模式，其中华东区域模式基于美国ADAS-WRF 模式建立，其余3 个区域模式则是GRAPES 模式系统。根据实际业务应用，选取数值模式每日20：00起报，08：00—08：00 的24 h 累计降水量作为检验对象，资料时长为2020 年6 月1 日至8 月31 日，各模式样本数均为92。

表1 7种数值模式基本属性Tab.1 Introduction of seven operational models

图1 甘肃国家气象观测站点空间分布Fig.1 Distribution of national meteorological stations in Gansu Province

1.2 MET检验工具

MET（model evaluation tools）是由美国国家大气研究中心（National Center for Atmospheric Research，NCAR）数值预报发展试验中心（Developmental Test⁃bed Center，DTC）研发的功能强大的数值天气预报检验工具，具有较好的可移植性，不仅提供一系列产品检验评估方案，也为模式使用者客观把握模式预报性能、获取预报指标提供参考。本文基于MET7.0检验系统开展数值模式的客观检验，并进行对比分析。检验指标有晴雨准确率（ACC）和风险评分（TS）、公平风险评分（ETS）、命中率（POD）、空报率（FAR）和预报偏差（Bias），各检验评分计算如下：

式中：NA、NB、NC分别为降水预报正确、空报和漏报的站（次）数，ND为无降水预报正确的站（次）数；TS评分反映模式有效预报的准确程度，其值越大模式预报降水能力越强［21］；FAR 值越低表示降水预报技巧越好；POD 取值范围为0~1；ETS 评分是对TS评分的改进，能对空报或漏报进行惩罚，使评分相对TS评分更加公平，其值一般低于TS 评分；Bias 最佳为1，Bias>1 表示模式预报有过度或偏强倾向，Bias<1表示模式预报有不足或偏弱倾向。

1.3 MODE空间检验

基于对象诊断的检验方法MODE（method for object-based diagnostic evaluation，MODE）［22-23］是通过在预报场和观测场中识别一系列“对象”，并赋予这些对象一定的空间属性，包括面积、质心、轴角、复杂度、强度百分位数等，通过定量计算分析预报和观测重构场中每一个目标单体的空间属性参数，可以得到整体的空间检验效果。其中面积为目标物的范围；质心为目标物的几何中心，如果目标只有一个对称轴，质心在轴上，若有2 个对称轴，质心为两轴的相交点；轴角为目标物对称轴与东西向水平轴线所成的锐角，用来评估目标的空间走向；强度百分位数是将目标物内部的要素量值从小到大排列，分别对预报和观测的各目标做10、25、50、75、90 百分位上的强度之比，根据比值大小评估预报要素量级的偏大或偏小。

文中附图涉及的地图均基于国家测绘地理信息局标准地图服务网站下载的审图号为GS（2019）1824号的中国地图制作，底图无修改。

2 模式定量检验分析

2.1 全球模式晴雨准确率和分级降水检验

从图2 看出，全球模式的晴雨准确率在0.70 左右，其中ECMWF 模式最高为0.76，GRAPES_GFS 模式次之（0.73）。随着降水量级增大，TS 评分、ETS评分和命中率逐渐减小，ECMWF 模式小雨、中雨、大雨的TS 评分和ETS 评分及大雨和暴雨的命中率高于其他2个模式。空报率随着降水量级增大而增大，NCEP 模式空报率整体较小，全球模式中雨以上量级降水的空报率大于命中率。

图2 2020年6—8月全球模式的晴雨准确率和24 h累计降水预报评分（a）ACC，（b）TS评分，（c）ETS评分，（d）POD，（e）FAR，（f）BiasFig.2 The accuracy of rain probability forecast and forecast scores of 24 h accumulated rainfall of global models from June to August 2020（a）ACC，（b）TS，（c）ETS，（d）POD，（e）FAR，（f）Bias

ECMWF 模式各量级降水Bias 均大于1，GRAPES_GFS 模式小雨、中雨、大雨的预报偏差亦大于1，说明2个模式对降水事件的预报相对实况偏多；NCEP_GFS 模式中雨以上量级降水Bias<1，即对降水事件的预报相对实况偏少，与空报率低一致。

2.2 区域模式晴雨准确率和分级降水检验

区域模式的晴雨准确率（图3）均在0.70 以上，GRAPES_3 km 模式最高为0.81，SMS-WARMS 模式次之，区域模式的晴雨准确率高于全球模式。TS 评分、ETS 评分和命中率随着降水量级增大而减小，SMS-WARMS 模式对各量级降水的评分均优于其他区域模式，其次是GRAPES_3 km 模式。空报率随着降水量级增大而增大，GRAPES_LZ3 km 模式中雨、大雨和暴雨空报率均最低。区域模式中雨以上量级降水的空报率大于命中率，尤其是大雨和暴雨。

图3 2020年6—8月区域模式的晴雨准确率和24 h累计降水预报评分（a）ACC，（b）TS评分，（c）ETS评分，（d）POD，（e）FAR，（f）BiasFig.3 The accuracy of rain probability forecast and forecast scores of 24 h accumulated rainfall of regional models from June to August 2020（a）ACC，（b）TS，（c）ETS，（d）POD，（e）FAR，（f）Bias

除GRAPES_LZ3 km 模式暴雨的预报偏差明显小于1 外，其他模式各量级降水的预报偏差均在1以上，表明区域模式对降水事件的预报相对实况偏多。GRAPES_LZ10 km模式大雨和暴雨的预报偏差明显高于其他模式，与其空报率高、TS 评分低结果一致。

总体而言，全球模式小雨和中雨的TS 评分、ETS 评分和命中率高于区域模式，暴雨则低于区域模式，大雨预报能力相当；区域模式大雨和暴雨的命中率、空报率和预报偏差均高于全球模式。

3 分型降水检验

甘肃暴雨的环流形势以副高边缘型和低槽型为主［24］，低槽型降水发生时副热带高压（简称“副高”）整体偏南，主体位于海洋上，西风带中的短波槽东移南压过程中与高原槽叠加，引导北方冷空气南下，同时高空槽前的西南暖湿气流向西北地区东部输送，冷暖气流在西北地区东部相遇，暴雨主要发生在高空槽前、低层切变线附近。副高边缘型降水主要特征是副高西伸北抬，西脊点达110°E 附近，脊线位于30°N 附近，西北地区东部受副高外围较强西南气流影响，其与低层700 hPa 偏南气流重叠地区时常产生暴雨。这种形势下，新疆至甘肃西北部的西风带冷槽常引导冷空气东移南下，到西北地区东部与南来的暖湿气流相遇，形成大范围东北—西南向雨带。

根据暴雨位置和环流形势特征，挑选2020 年6—8 月2 种类型降水过程，其中副高边缘型降水有4 次：7 月24—25 日及8 月6—7 日、11—12 日、15—17 日，低槽型降水有3 次：6 月7—8 日、25—26 日及8 月23—24 日，分别对2 种类型降水过程开展定量检验。

3.1 副高边缘型降水过程

图4为2020年汛期4 次副高边缘型降水过程的预报检验评分。全球模式和区域模式预报的晴雨准确率均在0.80 以上，SMS-WARMS 模式最高为0.90，ECMWF 模式次之为0.89。全球模式小雨和中雨TS 评分略高于区域模式；大雨TS 评分各模式相差不大，均在0.2 以上；暴雨的TS 评分全球模式低于区域模式。ETS 评分和命中率与TS 评分相同。全球模式和区域模式对小雨的空报率均较低，中雨和大雨的空报率全球模式低于区域模式，暴雨空报率相反。全球模式和区域模式小雨、中雨预报偏差相当，全球模式大雨和暴雨的预报偏差明显低于区域模式，尤其是NCEP_GFS 模式。GRAPES_GFS 模式和GRAPES_3 km模式中雨、大雨的预报偏差明显高于其他模式，TS评分却不是最高，表明2个模式对中雨和大雨预报偏多，而对暴雨预报偏少。GRAPES_LZ3 km 模式暴雨预报偏差和空报率均较高，而TS评分偏低，即暴雨落区与实况落区有偏差。

图4 2020年汛期4次副高边缘型降水过程全球模式及区域模式晴雨准确率和24 h累计降水预报评分（a、b）ACC，（c、d）TS，（e、f）ETS，（g、h）POD，（i、j）FAR，（k、l）BiasFig.4 The accuracy of rain probability forecast and forecast scores of 24 h accumulated rainfall of global models and regional models for 4 sub-high marginal precipitation processes in flood season of 2020（a，b）ACC，（c，d）TS，（e，f）ETS，（g，h）POD，（i，j）FAR，（k，l）Bias

3.2 低槽型降水过程

从2020 年3 次低槽型降水过程预报检验结果（图5）来看，全球模式和区域模式对低槽型降水过程的晴雨预报准确率在0.70以上，明显低于副高边缘型降水过程。全球模式小雨和中雨的TS 评分略高于区域模式，大雨和暴雨的TS 评分低于区域模式，尤其是暴雨。ETS 评分和命中率与TS 评分相同。全球模式和区域模式对小雨的空报率在0.30左右，暴雨空报率在0.90 以上，均高于副高边缘型降水过程，全球模式大雨的空报率低于区域模式。全球模式和区域模式小雨的预报偏差相当，全球模式中雨、大雨和暴雨的预报偏差大多在1以下，明显低于区域模式。综合来看，区域模式对低槽型降水过程大雨和暴雨的预报能力明显优于全球模式，其中SMS-WARMS模式表现最优。

图5 2020年汛期3次低槽型降水过程全球模式及区域模式晴雨准确率和24 h累计降水预报评分（a、b）ACC，（c、d）TS，（e、f）ETS，（g、h）POD，（i、j）FAR，（k、l）BiasFig.5 The accuracy of rain probability forecast and forecast scores of 24h accumulated rainfall of global models and regional models for 3 low-trough precipitation processes in flood season of 2020（a，b）ACC，（c，d）TS，（e，f）ETS，（g，h）POD，（i，j）FAR，（k，l）Bias

综上所述，副高边缘型降水过程的晴雨准确率和各量级降水的TS 评分、ETS 评分和命中率均优于低槽型降水过程，全球模式和区域模式对副高边缘型降水过程预报能力优于低槽型降水过程；全球模式对2种类型降水过程的小雨和中雨预报评分略高于区域模式，暴雨预报评分则相反。

4 MODE空间检验

4.1 副高边缘型降水过程

采用MODE 方法对4 次副高边缘型降水过程和3 次低槽型降水过程进行空间检验，分析不同尺度数值模式的预报性能。从全球模式和区域模式对副高边缘型降水过程经由MODE 方法识别出的配对目标对象簇属性诊断量（表2）可以看出，全球模式中雨和大雨的面积比（预报与观测之比，下同）在1.00~1.70，表明全球模式预报降水面积较观测略偏大；除NCEP_GFS 模式暴雨面积比小于1，其余2个模式暴雨面积比均大于1，尤其GRAPES_GFS 模式；ECMWF 和NCEP_GFS 模式大暴雨面积比也大于1。各量级降水的质心距离均在30 km以下，中雨和大雨的轴角偏差基本在10°以内，说明3个全球模式对中雨和大雨的走向预报较为准确，但对暴雨和大暴雨空间位置预报有偏差。ECMWF 模式各量级降水的50%分位降水强度比率（预报比观测，下同）平均值为1.02，说明模式预报的各量级降水与观测较为一致；其余2 个模式小于1，即GRAPES_GFS 和NCEP_GFS 模式预报的各量级降水较观测偏弱，尤其是GRAPES_GFS 模式。ECMWF 模式各量级降水的90%分位降水强度比率均在1 以上，说明模式预报的各量级降水较观测偏强，尤其在降水中心区域，其余2个模式偏弱。

表2 全球模式和区域模式对2020年汛期4次副高边缘型降水过程的24 h累计降水预报和观测值组成的对象簇属性值Tab.2 The attribute values of matching objects of 24 h accumulated rainfall prediction based on global and regional models and observations for 4 sub-high marginal precipitation processes in flood season of 2020

区域模式中雨、大雨和暴雨面积比均大于1，其中暴雨面积比均大于4，即模式预报的暴雨面积明显大于观测；SMS-WARMS 模式和GRAPES_3 km 模式预报的大暴雨面积较观测亦偏大，而GRAPES_LZ3 km 模式明显偏小。中雨和大雨的质心距离在30 km以内，轴角偏差基本在12°以内，说明4个区域模式对中雨和大雨的走向预报较为准确；暴雨和大暴雨质心距离最小为7.05 km，最大为36.47 km，轴角偏差在30°~60°之间，表明4个区域模式预报的空间位置与观测有偏差。区域模式中雨、大雨和暴雨50%和90%分位降水强度比率均大于1，说明模式预报的各量级降水较观测偏强，其中SMS-WARMS模式较其他模式偏强更为明显。SMS-WARMS 模式对大暴雨预报与观测接近，其余模式预报偏弱，尤其是GRAPES_LZ10 km模式。

综合来看，全球模式中ECMWF 模式各项空间属性值表现最好，区域模式中SMS-WARMS 模式表现最优，与统计评分结果一致；SMS-WARMS 模式对副高边缘型降水空间位置预报能力优于其余6个模式，GRAPES_3 km 模式在降水面积和降水强度上更接近于观测。

4.2 低槽型降水过程空间检验

表3为2020 年汛期3 次低槽型降水过程经MODE检验方法识别的配对目标对象簇属性诊断量值。可以看出，全球模式除NCEP_GFS模式外，其余2 个模式中雨和大雨面积比均大于1，尤其GRAPES_GFS 模式。低槽型降水过程中雨和大雨的质心距离较副高边缘型降水过程偏大，轴角偏差最小值为9.62°，最大值为26.50°，说明3 个全球模式对中雨和大雨的空间位置预报与观测有偏差。各量级降水50%分位与90%分位降水强度比率大多小于1.00，即模式预报的各量级降水较观测偏弱，尤其是NCEP_GFS模式。

表3 全球模式和区域模式对2020年汛期3次低槽型降水过程24 h累计降水预报和观测值组成的对象簇属性值Tab.3 The attribute values of matching objects of 24 h accumulated rainfall forecast based on global and regional models and observations for 3 low-trough precipitation processes in flood season of 2020

区域模式除GRAPES_LZ3 km 模式暴雨面积比小于1，其余模式各量级降水的面积比均大于1，说明模式预报的降水面积明显大于观测。中雨和大雨轴角偏差基本在17°以内，表明区域模式对中雨和大雨的走向预报较为准确；暴雨质心距离在26~56 km 之间，轴角偏差在30°以内，表明区域模式预报的暴雨空间位置与观测有偏差。除GRAPES_LZ3 km模式外，其余3个区域模式中雨、大雨和暴雨50% 和90% 分位降水强度比率均大于1，SMSWARMS 模式预报的降水强度较其他模式更为偏强。SMS-WARMS 模式和GRAPES_3 km 模式对暴雨预报与观测接近，其余2个模式预报偏弱。

对于低槽型降水过程，ECMWF 模式各项空间属性值优于其他2 个全球模式，SMS-WARMS 模式和GRAPES_3 km 模式优于其余5 个模式，其中GRAPES_3 km 模式对降水面积和降水强度预报与观测更接近；全球模式和区域模式对副高边缘型降水过程的预报能力优于低槽型降水过程，全球模式对大雨以上量级的降水预报偏弱，区域模式预报整体偏强。

4.3 个例分析

根据以上分析得知，ECMWF 模式、SMSWARMS 模式和GRAPES_3 km 模式的预报效果优于其余模式，故分别选取副高边缘型和低槽型降水过程中降水强度最强和范围最大的过程作为个例（2020 年8 月15—17 日和6 月25—26 日降水过程），对3 个模式预报的暴雨开展空间检验。8 月15—17日副高边缘型降水过程空间检验识别出1个配对目标（图6），对比预报场和观测场的目标1，模式预报的暴雨面积大于观测。结合属性值（表4）来看，3个模式的面积比均大于1，预报目标1 较观测目标1 的质心位置略偏西北，质心距离和轴角偏差均较小，反映出3 个模式预报的暴雨区位置与实况较接近；模式降水强度比率均大于1，即模式预报的暴雨量级大于实况。

图6 2020年8月15—17日降水过程MODE检验识别的暴雨合成目标（数字1表示各模式与观测配对成功的目标对，蓝色区域为暴雨落区。下同）（a）ECMWF，（b）SMS-WARMS，（c）GRAPES_3 km，（d）观测Fig.6 The matching objects of rainstorm identified by MODE method during the rainfall process on 15-17 August 2020（The number“1”represents a successful target pair of observation and model forecast，the blue area is rainstorm area. the same as below）（a）ECMWF，（b）SMS-WARMS，（c）GRAPES_3 km，（d）observation

2020 年6 月25—26 日低槽型降水过程相对较弱，暴 雨TS 评 分 偏 低（ECMWF 模式 为0，SMSWARMS 模式为0.11，GRAPES_3 km 模式为0.10）。这次降水过程也识别出1个暴雨区配对目标（图7）。对比预报场和观测场的目标1，SMS-WARMS模式和GRAPES_3 km 模式预报的暴雨面积大于观测，ECMWF 模式则小于观测。空间检验指标（表4）显示，ECMWF 模式的质心距离最小，对暴雨预报有一定指导意义；2 个区域模式的面积比均在7 以上，预报目标1 较观测目标1 质心位置偏西南，轴角偏差较小，即模式预报的暴雨区整体趋势与实况一致，但暴雨空报面积偏大。

表4 3种模式对2次降水过程暴雨预报和观测组成的对象簇属性值Tab.4 The attribute values of matching objects of rainstorm prediction based on three models and observation for the two rainfall processes

图7 2020年6月25—26日降水过程MODE检验识别的暴雨合成目标（a）ECMWF，（b）SMS-WARMS，（c）GRAPES_3 km，（d）观测Fig.7 The matching objects of rainstorm identified by MODE method during the rainfall process on 25-26 June 2020（a）ECMWF，（b）SMS-WARMS，（c）GRAPES_3 km，（d）observation

5 结 论

基于MET 检验系统对甘肃2020 年6—8 月全球模式和区域模式24 h 累计降水预报进行客观检验和空间检验及对比分析，得到以下主要结论：

（1）全球模式晴雨准确率及小雨和中雨的TS 评分、ETS评分、命中率均表现较好，ECMWF 模式预报效果优于其余2个模式；NCEP_GFS模式的空报率和预报偏差整体偏低，即对降水事件预报相对观测偏少。

（2）区域模式晴雨准确率及小雨和中雨的TS评分、ETS 评分、命中率低于全球模式，暴雨优于全球模式；大雨、暴雨的空报率和预报偏差均高于全球模式，表明对降水事件预报相对观测偏多；其中SMS-WARMS表现最优，其次为GRAPES_3 km。

（3）副高边缘型降水过程的晴雨准确率和各量级降水的TS 评分、ETS 评分和命中率均优于低槽型降水过程，表明全球模式和区域模式对副高边缘型降水过程预报能力优于低槽型降水过程；全球模式对2种类型降水过程的小雨和中雨预报评分略高于区域模式，ECMWF 模式和区域模式对大雨和暴雨的预报效果优于NCEP_GFS和GRAPES_GFS模式。

（4）2 种类型降水过程空间检验结果表明，全球模式中ECMWF 模式各项空间属性值表现最好，SMS-WARMS 模式各项空间属性值优于其余区域模式，与客观检结果相一致；全球模式和区域模式对副高边缘型降水过程的空间位置预报效果优于低槽型降水过程，尤其是暴雨落区预报。