桥梁结构监测数据异常值处理方法

岳加利，郝 静，卢海林，余 勇，孙舒畅，李培轩

武汉工程大学土木工程与建筑学院，湖北 武汉430074

桥梁结构健康监测领域的研究与应用已发展了近30年，近年来愈发受到国内外学者的广泛关注［1］。而桥梁健康监测系统每天都会采集海量监测数据，这些监测数据往往存在很多噪声信息和异常值，甚至会因为各种干扰导致数据失效［2-4］。若使用带干扰的监测数据直接进行后续研究，将会降低结论的可靠性和准确性，不利于桥梁健康状态的准确评估与安全预警［5］。因此，亟需对海量监测数据进行处理与分析。

颜飞等［6］提出一种桥梁建筑质量运营监测数据处理方法，运用Hadoop平台执行清洗监测数据、剔除无关数据和补齐缺失数据；Fu等［7］提出一种非常有效的故障数据恢复“三步走”策略，使用估计值或采用校正函数处理值（如均值处理、平滑趋势项处理等）替换了故障数据；韩晓健等［8］采用改进的数据跳跃法剔除某叠合梁桥健康监测数据的粗差，解决了监测数据中多级异常跳跃的问题；吴运宏等［9］针对桥梁健康监测系统中的数据异常问题，提出基于微簇的数据流异常检测框架，该方法在湖北某大桥的数据检测上表现出了较好的异常识别能力；Yi等［10］阐述了异常监测数据的数据特征及其表现形式，并给出异常数据产生的部分原因；涂成枫等［11］利用应变阈值和小波细节系数进行异常信号识别，并通过多尺度关联性分析对各频率组分下的桥梁应变进行分类，确定了温度对应变的影响；Moyo等［12］基于小波变换对大跨度桥梁应变数据进行分析，利用小波系数时间序列的变化识别了监测数据中的异常信号。

综合相关研究发现：一方面，国内外已有研究对海量桥梁监测数据的有效性关注较少，处理异常数据时缺少对数据分布形式的考量；另一方面，大多主观割裂了监测过程和处理过程，分析数据时采用的方法依赖于复杂的领域知识，不利于实际的工程应用。针对以上问题，本文基于灰色关联度评估海量监测数据的有效性，采用改进箱型图剔除和补全异常数据，对温度和应变进行相关性分析，并基于Spearman相关系数验证了改进箱型图的可靠性和优越性。

1 数据处理原理

1.1 基于灰色关联度的有效性评估

判断监测数据的有效性是桥梁健康监测的首要工作，一旦数据出现问题将会给后续的监测、预警和评估工作带来很大的困扰［13］。同截面同类型传感器的正常数据序列应具有一定的关联性，本文采用MATLAB分析同截面同类型传感器获得的数据序列，基于灰色关联度对海量监测数据进行有效性评估。

采用灰色关联度方法定量描述桥梁监测数据各参数的相互关系或变化趋势，工作量小、易于掌握，且能够较简便地判断海量监测数据的有效性［14-15］。具体步骤如下：

1.2 基于改进箱型图的异常值剔除与补全

箱型图是利用数据的最大值、最小值、中位数、上四分位数与下四分位数来描述数据的一种方法，对数据的分布形式无要求。应用拉格朗日插值法对箱型图改进后能够直接替换异常值，既简化了处理过程又能够得到客观准确的结果。箱型图各部分如图1所示。

图1 箱型图示意Fig.1 Schematic of box plot

拉格朗日插值法通过使用多项式函数近似输入与输出之间的关系。对于n+1个样本点（x0，y0），···，（xi，yi），···，（xn，yn），在［a，b］内给定任意x，可计算出x处对应的估计值，其公式如下：

式中，Ln（x）为拉格朗日插值多项式，i是n+1个数，yi是xi处的函数值，xi、xj为互异节点，li（x）为基函数。

改进的箱型图进行异常值处理的主要步骤为：步骤1，求解数据的上分位数QU、下分位数QL与中位 数；步 骤2，设定Max=QU+1.5（QU-QL）、Min=QL-1.5（QU-QL）；步骤3，如果满足date＞Max或者date＜Min则判定为异常值；步骤4，删除异常值，并采用拉格朗日插值法补全因此产生的空缺值；步骤5，重复步骤1～步骤4，检验异常值处理情况。

2 工程背景

武汉市某三跨（49 m+72 m+42 m）预应力混凝土变截面连续梁桥，上部结构为单箱单室箱梁，顶板宽12.49 m，悬臂长2.5 m，顶板悬臂端部厚22 cm，悬臂根部厚60 cm。如图2所示，已在主桥中跨和边跨的1/2截面处安装了应变传感器和温度传感器。应变传感器为振弦应变计，共2个（S1和S2）分别安装在箱梁内部底板的左右两侧；温度传感器为数字温度计，共15个，T1安装在铺装层内，T2～T6安装在翼缘根部的混凝土内，T7安装在翼缘板下部，T8～T11贯穿腹板，T12～T15安装在底板上。应变测点截面和温度测点截面数据相同，传感器布置如图3所示。

图2 梁桥立面图（单位：m）Fig.2 Elevation of beam bridge（unit：m）

图3 传感器布置图（单位：cm）Fig.3 Diagram of sensor layout（unit：cm）

3 数据处理分析

3.1 有效性评估

分别选取为期30 d（2020-12-27-2021-01-25）的应变数据与温度数据进行关联度分析。应变数据共有2组，以其中一组数据为参考序列，另一组数据为比较序列，算得r1-2=0.932 3，位于0.9～1的区间内。温度数据共有15组，以第一组数据为参考序列，其余14组数据均为比较序列，求得灰色关联度如表1所示。

表1 温度灰色关联度Tab.1 Temperaturegrey correlation

从表1可知，14组温度比较序列与参考序列所计算的灰色关联度位于0.9～1的区间内。分别从应变数据和温度数据中选择50组数据作为样本数据，根据文献［16］中的阈值公式rij-2 ||σij计算有效性阈值。经检验，静应变数据和温度数据均满足有效性要求。

3.2 异常值剔除和补全

采用箱型图对通过有效性评估的温度数据与应变数据进行异常值检测，并采用改进后的箱型图进行异常值剔除和补全。如图4和图5所示，温度数据表现正常，而应变数据存在异常值。应变数据经过改进箱型图处理后得到图6，可以看出应变数据趋于平稳，处理效果较好，有利于后续桥梁状态评估与安全预警。

图4 温度数据分析：（a）异常值检测，（b）监测曲线Fig.4 Temperature data analysis：（a）outlier detection，（b）monitoring curve

图5 原始应变数据分析：（a）异常值检测，（b）监测曲线Fig.5 Raw strain data analysis：（a）outlier detection，（b）monitoring curve

图6 改进箱型图处理后的应变数据分析：（a）异常值检测，（b）监测曲线Fig.6 Analysis of strain data processed by improved box plot：（a）outlier detection，（b）monitoring curve

3.3 相关性分析

在桥梁实际运营中，温度是影响应变的主要因素之一，文献［17-18］通过分析温度和应变数据发现温度和应变呈较强的相关性。为了消除不同量纲和量纲单位给温度和应变分析过程带来的不利影响，按照公式（xmax为监测数据最大值，xmin为监测数据最小值，μ为监测数据均值，σ为监测数据标准差）对数据进行归一化和标准化处理［19］。处理后的温度与应变趋势图如图7所示。

图7 温度与应变相关性分析：（a）S1处，（b）S2处Fig.7 Correlation analysis of temperature and strain：（a）S1，（b）S2

可以发现，经过归一化和标准化处理的温度数据和应变数据的数值都处于［0，1］之间，两者曲线的变化趋势一致，说明温度数据和应变数据的相关性较强。

3.4 对比验证

Spearman相关系数通常也称为斯皮尔曼秩相关系数，它根据原始数据的排序位置估计2个变量之间的关联程度与方向，对样本的分布形式与容量大小无严格要求，适用于桥梁健康监测数据分析［20］。

假设2个随机变量分别为X、Y，它们的元素个数均为n，2个随机变量的第i（1≤i≤n）个值分别用Xi、Yi表示。对X、Y进行排序，得到2个元素集合x、y，其中元素xi、yi分别为Xi在X中的排行以及Yi在Y中的排行。Spearman相关系数根据公式rs=1-计算。

分别求得基于原始数据、拉依达准则处理的数据和改进箱型图处理的数据中S1处和S2处的温度和应变之间的Spearman相关系数，如表2所示。其中，基于拉依达准则处理后的数据与原始数据的相关系数相差不大，而基于改进箱型图处理后的数据相关系数明显提高，表明使用该方法去除异常数据能取得较好效果。

表2 温度和应变的Spearman相关系数Tab.2 Spearman correlation coefficients of temperature and strain

4 结 论

本文以武汉市某混凝土连续梁桥健康监测系统为依托，对海量监测数据进行处理和分析，得到以下结论：

（1）基于灰色关联度方法对海量监测数据进行有效性评估：同截面的2组应变数据的关联度为0.932 3，同截面的15组温度数据的关联度位于0.9～1的区间内，并且均通过有效性检验，说明应变数据和温度数据有效。

（2）经过改进箱型图处理后，温度和应变数据都获得了较好的平稳性。采用改进的箱型图不仅可检测出异常数据，而且能将其直接剔除与补全，既简化了处理过程又能够得到相对准确的结果。

（3）分析归一化和标准化处理后的温度与应变数据，发现温度和应变的相关性较高。进而，分别求出基于原始数据、拉依达准则处理后的数据和改进箱型图处理后的数据中两组温度和应变之间的Spearman相关系数，结果表明采用改进箱型图对异常数据进行剔除与补全具有较好效果。