自动气象站资料质量控制系统设计

范宏飞

(湖北省气象信息与技术保障中心,武汉 430074)

0 引 言

质量控制(QC:Quality Control)是质量管理的一部分,重点是要达到各项质量要求；包括为达到各项质量要求所使用的各种业务技术方法和各项活动。资料质量控制是质量管理体系中最为熟知的组成部分,它包括对台站和信息中心的资料进行审核,旨在检测误差。

由于各种原因(例如硬件缺陷、设备故障、传输问题),在给定位置的气象观察资料可能是不准确的。资料的准确度对资料的分析、计算和科学应用都至关重要。因此,需要对观测资料的质量进行控制,这是一项重要的基础性工作,它涉及到资料的一致性和准确度。质量控制可以帮助确定哪些气象观测资料不准确,并进行订正。

对气象观测资料进行质量控制是气象业务、科研和服务的基础技术工作,在观测资料种类越来越多,站点密度和观测频次越来越大的情况下,能自动运行且疑误检测效率较高的质量控制方法显得尤为重要[1]。针对不同的气象资料,国内报道了许多质量控制(QC)系统和方法[2-6]。

观测资料质量控制的主要目的是检测缺失的数据和误差,以及对可能的误差进行订正。观测资料的质量控制包括对台站和信息中心的资料进行审核,以检测出缺失的数据和误差；确认资料并加以标识,以及必要时对资料进行估算和订正,以消除主要的误差来源,确保达到尽可能高的质量标准,使所有用户可以最佳地利用这些资料。

随着自动气象观测取代人工观测,数据传输和处理流程、处理时效以及存储管理均发生了很大变化,所以气象资料业务系统质量控制方案与以前存在较大差异,有必要重新设计与完善,以适应其变化。

为确保高质量的自动气象站资料,一个精心设计的质量控制系统是至关重要的。笔者结合自动气象站观测资料要素多、复杂性和实时性的特点,基于资料所反映的大气变量的物理、气候特征和资料必须遵循的基本规律,研制了一套基于有效性和一致性检查的3 级可操作性强、能实现计算机自动化运行且可疑错误数据检测效率较高的自动气象站(含区域站)资料质量控制系统。

与国内质量控制系统和方法对比,该系统首次设计开发了一套由简入繁的3 级质量控制系统,可以由粗入细对错误和可疑资料进行逐级质控,提高了检测效率和检测质量。相比其他技术,有效性检查实现简单,可剔除粗大误差,检测效率非常高。时间一致性检查包括:时变检查和持续性检查两种技术,可检查数据的突变和不变,能直观地反映数据的变化规律和设备状态。内部一致性检查技术分为3 种:1) 同类要素之间的关系,2) 不同类型要素之间的关系,3) 统计值之间的关系。考虑上述3 种不同的情况,使检测更加精细准确。空间一致性检查采用最优插值(OI:Optimal Interpolation)技术是均方差最小的线性插值方法,获得的插值是通过重新分析选取最优的,插值更具有代表性和相关性,质量控制效果更佳。该系统技术成果已应用于省级气象信息中心的气象数据业务系统(MDOS:Meteorological Data Operation System),在全国省级气象部门进行推广应用。

1 自动气象站资料3 级质量控制系统整体设计

根据自动气象站观测资料的特点,笔者设计了一套3 级自动气象站资料自动质量控制(QC)系统,针对不同气象要素的特点和气候物理规律,设计了不同级别检查的方法,可以很好地提高疑误气象数据的检查效率。该系统已应用于省级气象信息中心的自动气象站资料的质量控制[7-9]。具体为:1 级为有效性检查；2 级为内部一致性和时间一致性检查；3 级为空间一致性检查。其中1 级质量控制是最简单有效的检查,2 级是非常有效的检查,3 级是最复杂的检查。自动气象站气象资料部分要素3 级质量控制技术设计的详细描述如表1 所示。表1 中√表示执行该QC,(1)、(2)、(3)、(4)、(5)、(6)、(7)为内部一致性检查的主要检查技术条款。

表1 自动气象站气象资料部分要素3 级质量控制技术设计Tab.1 Three-level quality control technology design of some meteorological elements data in automatic weather station

2 质量控制系统数据流程设计

自动气象站资料3 级自动质量控制技术具体的质量控制流程为:C-粗通过,通过1 级；X-错误,1 级失败；S-筛选,通过1 级和2 级；Q-可疑,通过了1 级,没有通过2 级或3 级；V-验证,通过1 级、2 级和3 级。并标注相应的质量控制码。每级都设计主观干预(人机交互检查)。3 级质量控制系统数据流程图如图1 所示,图1 中N 为未通过质控,Y 为通过质控。

图1 3 级质量控制系统数据流程图Fig.1 Data flow chart of three-level quality control system

3 1级质量控制技术--有效性检查

1 级质量控制技术采用有效性检查,可以对观测数据进行物理和气候极值的检查,适用于自动气象站资料的所有要素。从气候学和物理学角度上不可能出现的要素临界值称之为要素的有效性检查。不在界限范围内的自动气象站数据被标记为未通过一级QC 检查,即标记为错误数据,这样可以剔除粗误差数据,并标记质量控制码1。选取部分气象要素的有效性检查的界限范围[10-12],也就是从物理意义和气候学角度不可能出现的极值,笔者参考多方资料进行了优化处理。各要素对应的有限性检查范围如表2 所示。

表2 气象要素有效性检查界限范围表Tab.2 Limits and range of meteorological element validity check

4 2级质量控制技术--一致性检查

2 级质量控制技术即一致性检查,包括时间一致性检查和内部一致性检查[13-15]。这两项技术可以对自动气象站数据进行更加精准的质量控制,以进一步确定可疑和错误数据,并标记质量控制码。

4.1 时间一致性检查

首先2 级质量控制采用时间一致性检查。2 级QC的时间一致性检查就是检查每个观察值的时间变化率是否在一定的变化范围(或阈值)内。本系统时间一致性检查包括:时变检查和持续性检查两种技术。两种方法适用于本站气压、海平面气压、3 h 变压、气温、露点温度、相对湿度、水气压、风速、风向、地面温度、地温和草温等气象要素。

时变检查主要根据要素在某一时段内可能的变化范围(或阈值)判断该要素值的质量。此项检查的目的是校验瞬时资料的时间变化率,即检查不合实际的数值峰值或跳变,或因传感器堵塞而引起的死区。不在阈值内的观察数据被标记为未通过时间一致性检查,数据标识为可疑,标记质控码2。

持续性检查是检查在一段时间内(如1 d),许多气象要素值随着时间、地域的变化出现的波动。如果某要素值长时间没有发生变化,则数据错误,有可能是观测仪器或传输设备出现故障。在质量控制中,用标准差σ衡量某要素一组数值中某一数值与其平均值差异程度,用于评估某要素值可能的变化或波动程度。标准差越大,要素值波动的范围就越大。σ的取值随地理区域和要素而不同。笔者用σ=stdev()函数计算标准差。

时变检查和持续性检查算法如表3、表4 所示,其中avgP=avg(P-1,P1)；α1=8、α2=16 hPa。avg()为计算平均值,stdev()为计算标准差。

表3 小时气压时变检查算法Tab.3 Time-varying air pressure inspection algorithm

表4 小时气压持续性检查算法Tab.4 Hour air pressure continuity check algorithm

4.2 内部一致性检查

其次2 级质量控制采用内部一致性检查。该检查适应于本站气压、海平面气压、3 h 变压、气温、露点温度、水气压、风速、风向等要素。内部一致性检查技术分为3 种:

1) 检查同类要素之间的关系。气压内部一致性检查包括将每个站的气压变化观测值与当前本站气压和3 h 前的本站气压之差进行比较,并将报告的海平面气压与计算的海平面气压进行比较。在前一次检查中,如果报告的3 h 气压变化观测值与计算值不匹配,则报告的观测值被标记为错误。然而,在后一种检查中,如果报告的海平面压力与计算的值不匹配,则海平面气压和本站气压值都被标记为错误。

2) 检查要素之间的关系。露点温度观测值不能超过同一站的温度观测值,否则露点和温度观测值都会被标记为内部一致性检查失败。如可以通过露点温度与水汽压之间的函数关系计算露点温度,若计算的露点温度与实测值相差较大(绝对值大于0.5 ℃),则露点温度与水汽压至少有一个要素有疑误。水汽压、露点温度、海平面气压3 个要素采用直接计算进行质量控制。

3) 检查与统计值之间的关系。如可以通过前两个小时前的正点本站气压与当前小时的正点本站气压的差值计算3 h 变压,若计算的值与台站上传的3 h 变压统计值不一致,则两个小时前的正点本站气压、当前小时的正点本站气压与台站上传的3 h 变压统计值至少有一个要素有疑误。

内部性一致性检查的主要检查技术条款如下[16-20]。

1) 海拔高度大于0 时,海平面气压大于本站气压；海拔高度等于0 时,海平面气压等于本站气压；海拔高度小于0 时,海平面气压小于本站气压。海平面气压-海平面气压的计算值1.2 hPa,则海平面气压值错误。

2) 本站气压-3 h 前本站气压≠3 h 变压,则3 h 变压数据错误。

3) 露点温度观测值不能超过同一站的温度观测值,否则露点温度值错误。

5) 在下列情况下,风向风速信息被认为是错误的:风向=00(静风)且风速≠00；风向≠00 且风速=00；风向=99(缺测)且风速=00 或风速≥0.5 m/s。

6) 当计算的水汽压与当前小时水汽压数据相差0.5 hPa 时,数据错误。

5 空间一致性检查

空间一致性检查通常利用与被检查台站邻近的台站同一时间观测的气象要素值与其进行比较,或利用邻近测站观测值通过一定的插值方法计算出被检查台站的分析值,对观测值与分析值进行比较,这是一种非常有效的质量控制方法。

3 级质量控制技术采用空间一致性(或“伙伴”)检查,通过对比分析,具体采用最优插值(OI)技术。该检查适用于本站气压、海平面气压、3 h 变压、气温、露点温度、相对湿度、水气压、风速和风向等要素。最优插值法是从统计意义上均方差最小的线性插值方法。利用特定的空间分析方法,与只考虑距离权重的Cressman、kriging 或Shepard 插值方法不同,OI 方法应用到空间内插时,除了距离还要考虑格点与站点以及站点与站点之间的空间相关性,其插值结果具有一定优势[21-23]。

具体的空间一致性检查方法如下。在每个观测位置处,选取5 个以上的相邻位置观测值作为插值样本,计算观测值与由OI 插值出的分析值之间的差异。如果两个值之间的差异幅度很小,则观测结果与其邻居分析值一致,并被认为是正确的。但如果两者差异很大,则被检查的观测值和分析中使用的分析值,两者之一是错误的。为了确定是哪种情况,通过一次消除一个相邻的观测值对观测位置进行重新分析。如果连续消除每个邻居值都不能产生与目标观测值一致的分析(正在检查的观测值),则观测值被标记为错误。如果消除其中一个相邻观测值产生的分析值与目标观测值一致,则目标观测值被标记为正确,相邻观测值被标记为可疑。在随后的OI 分析中不使用可疑观测值。图2 说明了再分析的程序过程。

图2 再分析程序Fig.2 Reanalysis procedure

6 系统实际应用效果

该系统技术已在气象数据业务系统(MDOS)的开发与升级中得到了应用,并在全国气象部门省级信息中心得到推广[24-27],提高了全国自动气象站资料的质量一致性和准确度,减少人工劳动,发挥了很好的效益。该系统对湖北省国家级自动气象站资料的部分质量控制结果如图3 所示。通过质量控制发现的错误数据举例如下:80 cm 地温未通过范围值检查(偏高)(见图4),露点温度未通过内部一致性检查(见图5),草温未通过时变检查(见图6)。

图3 MDOS 系统质控结果图Fig.3 Quality control results of MDOS system

图4 发现80 cm 地温未通过范围值检查(偏高)的错误数据图Fig.4 The wrong data diagram that the ground temperature of 80 cm failed the range value check (on the high side)

图5 发现露点温度未通过内部一致性检查的错误数据图Fig.5 The error data diagram of dew point temperature failing to pass the internal consistency check

图6 发现草温未通过时变检查的错误数据图Fig.6 The error data of grass temperature failing time-varying check

7 结 语

笔者设计了一套基于数据有效性和一致性检查的自动气象站资料3 级自动质量控制技术。该系统能很好地结合自动气象站观测资料复杂性和实时性的特点,基于资料所反映的大气变量的物理、气候特征和资料必须遵循的基本规律,具有很强的针对性和检测效率高的优点,较好地适用于自动气象观测的新形势。研制确定的质量控制技术包括有效性检查、时间一致性检查、内部一致性检查和空间一致性检查等,其中时间一致性检查还包括时变检查和持续性检查两种技术；内部一致性检查包括同类要素之间、不同要素之间、要素值与统计值之间检查3 种技术；空间一致性检查采用最优插值法技术。该系统具有很好的操作性和实用性,可以实现计算机自动化且疑误检测效率较高,部分技术已投入气象数据业务系统(MDOS)应用,对自动气象站数据的质量控制系统开发与改进具有参考价值。