大坝位移监测中的粗差剔除方法

花胜强，胡少英，罗孝兵，高 磊，郑健兵

(南瑞集团公司(国网电力科学研究院)，江苏南京211106)

大坝位移监测中的粗差剔除方法

花胜强，胡少英，罗孝兵，高 磊，郑健兵

(南瑞集团公司(国网电力科学研究院)，江苏南京211106)

针对大坝位移监测中常用粗差剔除法存在的问题提出了一种新型的粗差剔除方法。首先，根据层次分析法得到Dixon准则、Grubbs准则、Chauvenet准则、四分点准则的权重系数，并设定好粗差判定阈值；其次，根据原始观测资料建立大坝位移的偏最小二乘回归模型，得出样本对应的残差序列；然后根据四个准则依次判定出所有疑似粗差的测值；最后，按照此4种准则的权重系数，加权综合得到每个测值的粗差概率值，并与粗差判定阈值对比，得到最后的粗差集并剔除。该方法综合考虑了多种粗差数据识别方法，权衡了误判和漏判的可能性，为剔除大坝位移数据中的粗差提供了一种更为科学合理的方法。

大坝位移监测；粗差剔除；Dixon准则；Grubbs准则；Chauvenet准则；四分点准则

0 引 言

大坝的位移量是大坝安全监测的主要指标之一，在大坝整体性态评估中具有十分重要的意义，其异常测值尤其应受到特别的重视和分析，而由测量系统和人为操作等因素引起的异常值，应将其视为粗差予以剔除，以避免干扰后续的分析和评估[1]。

所谓粗差，是指在大坝位移量的时间序列中，与相邻时间的测值存在明显差异的突变点，其成因一般与大坝的真实性态和环境量的变化无直接关联。当前粗差剔除的常用方法按照原理主要分为统计分析法、有限元法和专家经验法。其中，统计分析法主要基于已有的观测数据，分析门槛较低，易于实现[2]。

1 行业现状

目前业界内普遍的粗差剔除方法，主要包括专家经验法和统计模型法。专家经验法主要依赖水工安全监测专家的工程经验来判定粗差，过于偏重历史经验和专家知识，缺乏客观依据，定量分析说明不足，且效率底下，在重复性大数据量工况下难以胜任；统计模型法主要依赖于某一种确定的策略，例如根据极值、变幅、与拟合值残差的大小等，对数据的利用不够全面和深入，存在较大误判和漏判的风险，且对工程经验和专家知识利用不足，精度有待提升。

2 新型大坝位移数据的粗差剔除方法原理及流程

本文提出了一种新型大坝位移数据的粗差剔除方法。首先，根据层次分析法得到Dixon准则、Grubbs准则、Chauvenet准则、四分点准则的权重系数，并设定好粗差判定阈值。其次，根据原始观察资料建立大坝位移的偏最小二乘回归模型，得出样本对应的残差序列，并计算位移序列的均值和标准差。然后，根据Dixon准则、Grubbs准则、Chauvenet准则、四分点准则依次判定出所有疑似粗差的测值。最后，按照此4种准则的权重系数，加权综合得到每个测值的粗差概率值，并与粗差判定阈值对比，得到最后的粗差集并剔除，详细步骤说明如下[3-5]：

(1)基于层次分析法得出各个准则，并设定粗差判定阈值。首先，构造Dixon准则、Grubbs准则、Chauvenet准则、四分点准则这4种准则的判断矩阵Q，其中各元素值Qij的取值定义见表1。为保证相对重要性的传递一致性，需要对判断矩阵Q进行检定，以防止相对重要性出现不自洽的现象。检定方法是归一化判断矩阵Q，并求出Q的最大本征值λmax及对应的本征向量M，从而计算一致性系数

CR=(λmax-n)/[(n-1)×RI]

(1)

式中，n为矩阵的阶，值为4；RI为矩阵平均随机一致性指标，取值为0.9。本文提出的方法以CR取值不大于0.1作为判断权重分配合理的标准；如果不满足，应调整判断矩阵Q中相关元素的取值，直至满足为止，这样所得到的本征向量M的4个元素的绝对值，即为对应的4个准则的权重系数。其次，设定判断一个测值为疑似粗差的阈值，范围应小于4个准则的权重系数和。这样，对于每个测值，如果在某种准则下的判定结果为疑似粗差，则累加该准则对应的权重系数，最后得到该测值的权重系数和，与粗差判定阈值对比，达到或者超过即为粗差。4个准则的相对重要性及粗差阈值的设定机制，可灵活的根据实际样本的数据特性和质量来调整，并能更好地结合专家知识和历史经验，提高对于不同工程的在地化判定精度。

表1 判断矩阵Q中元素的取值定义

(2)计算位移序列的均值、标准差及基于回归模型的残差序列。首先，根据原位移测值序列，计算其均值和标准差。其次，确定回归模型的样本空间，根据大坝水平位移基础成因理论，影响大坝位移的因子包括库水位H、气温T、时效t等，效应量即为位移量数据，使用偏最小二乘法进行回归拟合，得到回归模型及对应的拟合值序列，并和原始位移值作差从而计算出相应的残差序列。最后，相对于正常值，粗差的残差通常更为显著，因此可以根据残差来判定测值是否为粗差。

(3)根据Dixon准则判定疑似粗差。对于原位移测值序列升序排序，得到新的序列X，记D=(Xn-Xn-2)/(Xn-X3)，对于序列中第k个测值，如果满足D

(4)根据Grubbs准则判定疑似粗差。对于每个测值对应的残差V，当和原位移序列的标准差S满足|V|≥G(n，a)×S时，即判定该测值为疑似粗差。其中，n为原位移测值的总长度；a为显著性水平，一般采用0.05；G(n，a)值则通过查Grubbs临界值表得出。

(5)根据Chauvenet准则判定疑似粗差。对于每个测值对应的残差V，当和序列的标准差S满足|V|≥Z(n)×S时，即判定该测值为疑似粗差。其中，n为原位移测值的总长度；Z(n)通过查肖维勒系数表可得。

(6)根据四分点法则判定疑似粗差。对于残差序列按照升序进行排序，记Q1为新序列中值，Q2为新序列首值到Q1的中值，Q3为Q1到新序列末值的中值，则每个测值对应的残差V满足V≥4×Q3-Q1，或V≤4×Q1-3×Q3时，即判定该测值为疑似粗差。

(7)4种准则的判定结果综合加权。对于每一个测值，都有4个疑似粗差判定结果，将结果为疑似粗差的准则的权重系数相加，再与粗差判定阈值相比，达到或者超过，即判定该测值为粗差。这样可以综合Dixon准则、Grubbs准则、Chauvenet 准则、四分点准则这4种准则来剔除粗差，权衡了漏判和误判的风险，达到最佳精度。

3 实 例

以湖南某混凝土坝2012年汛期坝顶某点的水平位移自动化监测为例，共有325条有效原始记录。设定4个准则的相对重要性均为1，阈值为2。选取的回归因子包括：①水位H，分别取当日至昨日平均、前2～4天平均、前5～10天平均3个时段的H、H2、H3、H4共12个因子。②温度T，分别为当日至昨日平均，温度谐波因子sin(2πt/365)、cos(2πt/365)、sin(4πt/365)、cos(4πt/365)共5个。③时效t及lnt共2个。通过偏最小二乘回归得到回归方程，并计算出均值为0.093 mm、标准差为1.29，以及对应残差序列。4个准则的执行结果分别为，Dixon准则过滤出6条，Grubbs准则过滤出10条、Chauvenet准则过滤出14条、四分点准则过滤出4条，符合条件的共有10条。

此外，分析可以发现，Chauvenet准则与Grubbs准则的接受域相对较窄，在本例中，符合四分点准则粗差判断的均符合此两种法则。因此，在样本数量较大并倾向于较为宽松的粗差剔除时，可以降低二者的相对重要性系数，否则可以提高。

4 结 语

新型大坝位移数据的粗差剔除方法综合考虑了多种粗差识别方法，权衡了误判和漏判的可能性，为剔除大坝位移数据中的粗差提供了一种科学、合理的方法，其流程和特点总结如下：

(1)可以根据专家经验来设定4个粗差判定准则的相对重要性系数及粗差判定阈值，并在后续的实践中加以训练而得到调优。

(2)计算出位移序列的均值、标准差，以及基于回归分析的残差序列，分别使用Dixon准则、Grubbs准则、Chauvenet准则、四分点准则从多个角度来衡量和筛选疑似粗差。

(3)根据预先设定的各个准则的权重系数，来综合投票得出每个测值可能为粗差的概率，达到或者超过粗差阈值即判定为粗差。

综上所述，该方法能更充分的利用专家知识、历史经验和测量数据，更全面地权衡粗差剔除中的误判和漏判风险，且算法清晰，易于实现，鲁棒性好，能成为大坝安全管理中更为可靠的决策辅助手段。

[1] 吴中如. 水工建筑物安全监控理论及其应用[M]. 北京: 高等教育出版社, 2003．

[2] 钱小刚, 蒋波, 陈健. 大坝安全信息管理系统改进与应用[J]. 水力发电, 2014, 40(8)： 25- 27．

[3] 周元春, 甘孝清, 李端有. 大坝安全监测数据粗差识别技术研究[J]. 长江科学院院报, 2011(2)： 16- 20．

[4] 李啸啸, 蒋敏, 吴震宇, 等. 大坝安全监测数据粗差识别方法的比较与改进[J]. 中国农村水利水电, 2011(3)： 102- 105．

[5] 景继, 顾冲时. 数学形态滤波在大坝安全监控数据粗差检测中的应用[J]. 武汉大学学报, 2009(9)： 1126- 1129．

AGrossErrorEliminationMethodforDamDisplacementMonitoring

HUA Shengqiang, HU Shaoying, LUO Xiaobing, GAO Lei, ZHENG Jianbing

(NARI Group Corporations (State Grid Electric Power Research Institute), Nanjing 211106, Jiangsu, China)

A new method for gross error elimination of dam displacement monitoring data is proposed. Firstly, the weight coefficients of Dixon criterion, Grubbs criterion, Chauvenet criterion and four-point criterion are obtained according to analytic hierarchy process, and the threshold of gross error judgment is set. Secondly, the partial least squares regression model of dam displacement data is established based on original observation data and corresponding residual sequence is obtained. Thirdly, all the suspected gross errors are determined by the four criterions. Finally, the gross error set is gotten and eliminated by the weighted sum of gross error probability of each criterion result compared to the threshold. This method comprehensively considers a variety of gross error data recognition methods, and weighs the possibility of miscarriage of justice and missed judgment, that provides a more scientific and reasonable method to eliminate the gross error of dam displacement monitoring data．

dam displacement monitoring; gross error elimination; Dixon criterion; Grubbs criterion; Chauvenet criterion; four-point criterion

TP698.1

A

0559- 9342(2017)09- 0110- 03

2017- 01- 18

花胜强(1982—)，男，江苏靖江人，高级工程师，主要研究方向为数据挖掘和大坝安全监测．

(责任编辑焦雪梅)