联合卷积与长短记忆神经网络的桥梁结构损伤识别研究

杨建喜，张利凯，李韧，何盈盈，蒋仕新，邹俊志

联合卷积与长短记忆神经网络的桥梁结构损伤识别研究

杨建喜1，张利凯2，李韧1，何盈盈1，蒋仕新1，邹俊志2

(1. 重庆交通大学 信息科学与工程学院，重庆 400074；2. 重庆交通大学 土木工程学院，重庆 400074)

为改进传统方法在时空相关特征联合提取及结构损伤识别效果等方面存在的不足，结合结构健康监测加速度振动信号的数据特性，将结构损伤识别归约为多变量时间序列分类问题，提出一种联合卷积神经网络(Convolutional Neural Network, CNN)和长短记忆(Long Short-Term Memory, LSTM)循环神经网络模型的桥梁结构损伤识别方法。以结构健康监测获取的加速度振动响应为输入，通过CNN模型提取其多时间窗口内传感器拓扑相关性特征，然后将该特征矩阵输入以Softmax为输出层的LSTM模型，以进一步提取其时间维度特征，并进行结构损伤模式分类。以某连续刚构桥结构缩尺模型的一种无损伤及3种不同程度损伤工况为试验数据环境，验证了提出方法在准确率、精确率、召回率和值等方面优势。

桥梁健康监测；结构损伤识别；卷积神经网络；长短记忆神经网络

随着传感器数据采集、存储与分析等技术的快速发展，结构健康监测(Structural Health Monitoring, SHM)系统在桥梁工程领域得到了广泛的应用[1]。例如，中国香港青马大桥[2]、瑞士Z-24桥[3]、重庆蔡家嘉陵江大桥[4]等众多的大跨度桥梁均部署了桥梁SHM系统，并在结构构件关键位置安装以加速度仪、静力水准仪、温湿度计、应变仪等为典型代表的大量监测传感器，实现桥梁结构动静力响应及运营环境信息的实时感知与分析。多年来，基于加速度振动信号的结构损伤识别作为桥梁SHM的重要任务之一，得到了学术界和产业界的广泛关注[5]。从其方法体系分类而言，基于加速度振动信号的结构损伤识别可分为模型驱动和数据驱动的方法[6]。其中，模型驱动方法采用数学建模和物理定理对结构进行离散化表征，但该类方法在复杂桥梁结构模型建立与修正、真实激励条件模拟等方面存在一定不足[7]。近年来，随着统计机器学习和深度神经网络等智能算法快速发展，基于数据驱动的结构损伤识别和状态分析方法由于其直接从结构感知数据中提取损伤敏感指标并进行模式识别，而无需建立和修正结构有限元仿真模型，已成为SHM领域的研究热点。例如，Khoa等[8]采用主成分分析、随机投影等方法对输入加速度振动数据进行降维，利用有监督的支持向量机(SVM)和无监督的一类SVM在低维投影空间中识别桥梁结构的健康和损伤模式，实验结果表明，统计机器学习模型针对桥梁结构损伤识别问题上具有较好分类或异常检测效果。安平和等[9]提出了基于SVM的梁桥多位置损伤识别方法。该方法将曲率模态变化作为桥梁结构的损伤特征，采用了连续刚构桥的不同结构模态变化数据进行模型训练，取得了较好的识别精度。邓海波等[10]提出了基于SVM和粒子群算法的运营期桥梁挠度可靠度评估方法，解决了传统算法计算效率慢、精度低等问题，并基于普立特大桥挠度数据进行了验证。但总体而言，上述方法均可视为采用传统“浅层”机器学习模型，其特征构建需要人为参与，在损伤特征学习能力方面有待提升。GUO等[11]利用稀疏编码神经网络作为特征提取模型，选取多层感知机作为分类器进行结构损伤识别，并基于某三跨桥梁有限元模型生成的不同损伤工况加速度数据进行了仿真实验，验证了深度神经网络模型在结构损伤识别问题域的有效性。Abdeljaber等[12]提出了基于一维卷积神经网络(CNN)的结构损伤特征提取与识别模型，并基于某钢框架结构不同损伤工况的时域振动信号作为输入进行了实验分析，验证了提出方法的高效性。YU等[13]提出了一种基于深层CNN模型的结构损伤识别和定位方法。该方法采用深度CNN从原始信号自动提取高层特征并进行特征融合，并在5层框架结构上进行了测试，证明该方法具有较好的泛化能力和更高的分类精度。为克服结构损伤识别中训练数据样本不足的问题，Abdeljaber等[14]提出了一种改进的CNN分类模型，并在IASC-ASCE Benchmark公开数据集上进行了实验验证，证明了该方法只需要少量的训练数据，即可达到较高的识别精度。TANG等[15]通过对原始获取的加速度数据在时域和频域2个维度进行分片和图形堆叠，然后根据图形特征进行标记，通过CNN进行模型训练和损伤识别，最后基于某大跨度斜拉桥健康监测系统获取加速度数据进行验证，结果表明所提出方法具有较好的损伤分类效果。然而，现有基于深度神经网络的桥梁结构损伤识别方法尚未从加速度时间序列和数据空间相关性2个维度同时考虑进行损伤特征提取，相应的损伤识别分类模型也有待构建。本文将桥梁结构损伤识别归约为多变量时间序列分类问题，结合CNN模型在数据拓扑相关性特征提取，以及LSTM模型在时序数据长距离依赖特征提取方面的优势[16]，提出一种新的基于CNN-LSTM联合模型的桥梁结构损伤识别方法。该模型通过CNN提取振动数据空间维度特征和多变量时间序列的局部依赖关系，LSTM对多变量时间序列的上下依赖进行表征，并使用Softmax作为分类器进行损伤识别。最后，以某连续刚构桥缩尺模型的多种损伤工况数据为基础，对提出方法进行了实验验证和分析。

1 提出的模型架构

1.1 CNN神经网络模型

CNN作为一种深度前馈神经网络，其网络结构通常由输入层、卷积层、池化层和全连接层等组成。在特征提取方面，CNN通过不同卷积操作逐层提取不同的局部特征，进而在全连接层汇总形成多个层级的特征抽象表征。除此以外，与传统多层感知机等神经网络相比，CNN通过局部连接、共享卷积层的权值等特性，降低网络模型复杂度，减少过拟合，具备更好的泛化能力。多年来，CNN已被广泛应用于图像分类、人脸识别、音频检索等行业领域。CNN将输入信息抽象成多层特征并且保留原始数据的空间拓扑结构，这一特性对于获取由多传感器感知获取的结构监测数据之间拓扑相关性有一定的适应性。关于CNN的详细综述，请参见文献[17]。

1.2 LSTM神经网络模型

LSTM作为一种改进的循环神经网络模型，在通过引入门控函数机制解决“梯度消失”、“梯度爆炸”等问题的同时，可以提取时间序列长短期的上下文依赖关系，进而实现有效的时序数据特征提取。LSTM神经网络的总体结构如图1所示。

图1 LSTM神经网络结构示意图

LSTM的网络结构由输入门、输出门和遗忘门3个部分构成，其中r，S−1和h−1控制遗忘门的状态。输入门的r通过Sigmod和tanh激活函数来决定记忆单元的保留状态。S和g决定了当前输出门h的状态。目前，LSTM网络已被广泛应用于自然语言处理、语音识别等序列模式建模与特征提取。关于LSTM的详细综述，请参见文献[18]。

1.3 联合CNN-LSTM的桥梁结构损伤识别模型

将感知获取的原加速度振动信号视为多变量时间序列，即个加速度传感器每一时刻采集的数据构成一个维向量，而时间序列长度与采集频率和采样时间相关。通过滑动窗口的方式把输入多变量时间序列的划分为多个特征图，如图2所示，每个滑动窗口对应的特征图维度为×，其中为步长超参数，为加速度传感器数量。

以每个特征图作为输入，在CNN模型中进行卷积操作，以提取空间拓扑结构上多个变量之间的特征，图3描述了所采用的CNN模型的结构。

如图3所示，每个特征图的大小为×，第1层卷积采用了个卷积核，每个卷积核大小为×，步长为1。第次卷积计算如式(1)所示。

图2 输入数据的特征图

图3 提出联合模型中CNN模块特征提取

LSTM全连接层后再通过Softmax进行分类，Softmax函数可以表示为式(3)与式(4)。

2 试验验证与评估

为了验证所提出CNN-LSTM联合模型的损伤识别效果，选取了某连续刚构桥缩尺模型不同损伤工况下的加速度数据进行试验，并使用CNN，LSTM和DNN模型进行了对比分析。

2.1 数据获取与处理

某三跨的预应力混凝土连续刚构桥实物图和设计图如图5所示，其跨径尺寸为98 m+180 m+98 m，总长为377.30 m，采用的是单箱单室结构，箱梁顶板宽度12.5 m，箱体底板宽度为6.5 m。

图4 CNN-LSTM联合模型架构

单位：cm

根据该连续刚构桥的实际尺寸，按照20:1比例将主梁、墩柱、承台进行几何尺寸缩放构建桥梁的缩尺模型。通过在连续刚构桥跨中施加荷载，使底板产生开裂来模拟结构的不同损伤工况，并在缩尺模型上安装了18个加速度传感器，其中包括12个竖向测点和6个水平测点，梁底12个，腹板6个。通过人工牵引小车通过桥面，模拟动荷载在桥面的运动的过程。加速度传感器的布点情况如图6(b)所示。通过增大跨中集中力，使桥梁结构产生腹板斜裂缝、底板横向裂缝等，从而模拟桥梁结构刚度劣化过程。试验小车通过桥面的时候，结构会发生受迫振动，刚度减少较多的位置安装的加速度传感器采集数据波动越明显，反之则越小。

试验过程中采用LMS软件获取各加速度测点信号，并反映当小车通过桥面时缩尺模型结构在不同工况下的振动情况，采集的频率为8 000 Hz。图7描述了损伤工况2下前9号测点获取的原始加速度时程曲线示例，刚度劣化较多位置，加速度响应就越明显。如果选取的测点位置都是结构损伤较为明显的位置，则CNN-LSTM从关键测点位置传感器获取结构响应数据达到与结构所有测点监测数据相同的损伤识别效果。

为了对CNN-LSTM联合模型及其他对比模型进行训练和测试，按照6:2:2的比例将采集数据划分为训练集、验证集和测试集。本文采用了如表1所示的不同损伤工况，以此为依据对采集的加速度数据分别进行标记，并作为后续模型训练和验证的基准。

(a) 连续刚构桥缩尺模型；(b) 加速度传感器布置

(a) 工况2下的1号测点加速度时程曲线；(b) 工况2下的1号测点加速度时程曲线；(c) 工况2下的3号测点加速度时程曲线；(d) 工况2下的4号测点加速度时程曲线；(e) 工况2下的5号测点加速度时程曲线；(f) 工况2下的6号测点加速度时程曲线；(g) 工况2下的7号测点加速度时程曲线；(h) 工况2下的8号测点加速度时程曲线；(i) 工况2下的8号测点加速度时程曲线

表1 缩尺模型结构损伤状态

2.2 试验软硬件环境及参数设置

在硬件环境方面，选择安装了64 G内存、2 048 GB硬盘空间，配置有4块GTX1080TI的GPU显卡，处理器为Intel Xeon E5的服务器。在实验软件环境方面，选择了python环境下基于Tensorflow 1.10.0版本的Keras 2.24工具作为各个神经网络模型的开发环境。

为了验证CNN-LSTM模型的有效性，基于前面文献综述的分析，选取CNN,LSTM和DNN模型进行对比分析，模型超参数见表2和图8所示。

如图8所示，深度神经网络模型参数如神经元个数、卷积核大小、Drop比例等都会影响神经网络模型分类结果及网络性能。目前关于深度神经网络模型层数、参数选择等与训练样本之间关系研究较为欠缺，网络参数寻优主要依靠人工经验、网格搜索、随机搜索等方法。本文通过网格搜索方穷举各种关键参数组合，以训练集的准确率作为目标函数，对各个对比模型进行参数寻优，获取最优深度神经网络模型，另外为了防止模型发生过拟合采用L1和L2正则化、EarlyStopping等方法。

表2 模型参数

图8 各个对比模型的网络结构

2.3 试验结果及分析

由于本文将结构损伤识别规约为多变量时间序列的分类问题，因此采用评价指标为分类问题常用的准确率(Accuracy)、精确率(Precision)、召回率(Recall)和值。图9和图10是CNN-LSTM，DNN，CNN和LSTM模型在验证集下的准确率和训练误差随着迭代次数的变化曲线。

图9 验证集上对比模型的准确率

如图9和图10所示，由于CNN-LSTM联合模型不仅抽取多个加速度传感器拓扑相关性关系，而且在时间维度上进行长短期依赖特征抽取，相较于单一的DNN和LSTM模型能更快收敛。从验证集结果分析表明，CNN-LSTM用于结构损伤识别在准确率、收敛速度上，相比CNN模型其优势并不明显，但是CNN-LSTM具有更低的损失率，模型的拟合效果更好。从测试集结果分析表明，CNN-LSTM具有较好的召回率、值和准确率。各对比模型在测试集的综合评估统计情况如表3所示，各个工况的具体评估结果如表4所示。

图10 验证集上对比模型的损失率

表3 各个对比模型在测试集上的综合评估结果

表4 各模型在测试集上的实验结果

表3和表4结果表明，在测试集中CNN-LSTM模型在综合准确率上优于对比模型，达到了94.1%。尤其对于结构损伤程度更大的工况3和工况4条件下，CNN-LSTM具有更好的精确率、召回率和值。工况2中，各个对比模型的识别效果均较好，通过分析原始数据发现，实验过程中有4个传感器感知数据无变化，即存在明显异常，因此，各个模型均能较好进行数据分类。综上所述，CNN-LSTM联合模型具有更优的综合识别效果。

不同对比模型的训练时间与模型尺寸如表5所示。其中训练时间为每个epoch所耗费的平均时间。从表中看出,CNN-LSTM比LSTM网络模型仅需1/2的训练时间。另一方面，CNN-LSTM联合模型的模型尺寸远小于CNN和LSTM，所以CNN-LSTM联合模型具有更小的GPU空间消耗。因此CNN- LSTM联合模型能在训练时间和计算空间开销2个维度上取得较好的平衡。

加速度时域信息包含了结构的频率、振型等模态参数，这些信息是结构损伤识别的关键。CNN- LSTM神经网络模型能够在空间和时间2个维度对多传感器感知数据进行特征提取，达到损伤识别效果提升的目的。

表5 各对比模型的训练时间和模型尺寸

3 结论

1) 面向桥梁结构损伤识别问题，结合多传感器感知数据特性，提出联合CNN与LSTM模型的结构损伤识别方法。该方法从多传感器数据拓扑相关性和时间上下文依赖2个维度进行特征提取，提升后续损伤识别精度。

2) 以某连续刚构桥缩尺模型不同损伤工况数据为基础，与单一的DNN，LSTM和CNN深度神经网络模型进行对比实验，提出的CNN-LSTM联合模型对基于结构振动数据的损伤识别具有更好的综合识别效果，并能在合理的训练时间条件下节省更多的计算空间消耗，具有较好的计算时间和空间平衡性。

[1] 李惠, 鲍跃全, 李顺龙, 等. 结构健康监测数据科学与工程[M]. 北京: 科学出版社, 2016. LI Hui, BAO Yuequan, LI Shunlong, et al. Structural health monitoring data science and engineering[M]. Beijing: Science Press, 2016.

[2] Wong K. Instrumentation and health monitoring of cable-supported bridges[J]. Structural Control and Health Monitoring, 2004, 11(2): 91−124.

[3] Maeck J, Peeters B, Roeck G D. Damage identification on the Z24 bridge using vibration monitoring[J]. Smart Materials and Structures, 2001, 10(3): 512−517.

[4] ZHOU Jianting, LI Xiaogang, XIA Runchuan, et al. Health monitoring and evaluation of long-span bridges based on sensing and data analysis: A survey[J]. Sensors, 2017, 17: 603.

[5] 宗周红, 钟儒勉, 郑沛娟, 等. 基于健康监测的桥梁结构损伤预后和安全预后研究进展及挑战[J]. 中国公路学报, 2014, 27(12): 47−57. ZONG Zhouhong, ZHONG Rumian, ZHENG Peijuan, et al. Damage and safety prognosis of bridge structures based on structural health monitoring: Progress and challenges[J]. China Journal of Highway and Transport, 2014, 27(12): 965−982.

[6] Diez A, Khoa N L D, Alamdari M M, et al. A clustering approach for structural health monitoring on bridges[J]. Journal of Civil Structural Health Monitoring, 2016, 6(3): 429−445.

[7] Neves A C, González I, Leander J, et al. Structural health monitoring of bridges: A model-free ANN-based approach to damage detection[J]. Journal of Civil Structural Health Monitoring, 2017, 7(5): 689−702.

[8] Khoa N L D, ZHANG B, WANG Y, et al. Robust dimensionality reduction and damage detection approaches in structural health monitoring[J]. Structural Health Monitoring, 2014, 13(4): 406−417.

[9] 安平和, 邬晓光. 基于支持向量机的梁桥多位置损伤识别研究[J]. 铁道科学与工程学报, 2019, 16(5): 1231−1236. AN Pinghe, WU Xiaoguang. Multi position damage identification of beam-bridges based on support vector machine[J]. Journal of Railway Science and Engineering, 2019, 16(5): 1231−1236.

[10] 邓海波, 常柱刚, 李胡涛, 等. 基于SVM-PSO算法的大跨度悬索桥挠度可靠度研究[J]. 铁道科学与工程学报, 2019, 16(1): 114−120. DENG Haibo, CHANG Zhugang, LI Hutao, et al. Research on reliability of deflection control for long-span suspension bridge based on SVM-PSO[J]. Chinese Journal of Computers, 2017, 40(6): 1229−1251.

[11] GUO Junqi, XIE Xiaobo, BIE Rongfang, et al. Structural health monitoring by using a sparse coding-based deep learning algorithm with wireless sensor networks[J]. Personal and Ubiquitous Computing, 2014, 18: 1977− 1987.

[12] Abdeljaber O, Avci O, Kiranyaz S, et al. Real-time vibration-based structural damage detection using one-dimensional convolutional neural networks[J]. Journal of Sound and Vibration, 2017, 388: 154−170.

[13] YU Y, WANG C, GU X, et al. A novel deep learning-based method for damage identification of smart building structures[J]. Structural Health Monitoring, 2018, 18(1): 143−163.

[14] Abdeljaber O, Avci O, Kiranyaz M S, et al. 1-D CNNs for structural damage detection: verification on a structural health monitoring benchmark data[J]. Neurocomputing, 2018, 275: 1308−1317.

[15] TANG Z, CHEN Z, BAO Y, et al. Convolutional neural network-based data anomaly detection method using multiple information for structural health monitoring[J]. Structural Control and Health Monitoring, 2019, 26(1): e2296.

[16] Karim F, Majumdar S, Darabi H, et al. Multivariate LSTM-FCNs for Time Series classification[J]. Neural Networks, 2019, 116: 237−245.

[17] 周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6): 1229−1251. ZHOU Feiiyan, JIN Linpeng, DONG Jun. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229−1251.

[18] 梁天新, 杨小平, 王良, 等. 记忆神经网络的研究与发展[J]. 软件学报, 2017, 28(11): 2905−2924. LIANG Tianxin, YANG Xiaoping, WANG Liang, et al. Review on research and development of memory neural networks[J]. Journal of Software, 2017, 28(11): 2905− 2924.

[19] Graves A, Jaitly N, Mohamed A. Hybrid speech recognition with deep bidirectional LSTM[C]// 2013 IEEE workshop on automatic speech recognition and understanding. IEEE, 2013: 273−278.

Research on bridge structural damage detection based on convolutional and long short-term memory neural networks

YANG Jianxi1, ZHANG Likai2, LI Ren1, HE Yingying1, JIANG Shixin1, ZOU Junzhi2

(1. College of Information Science and Engineering, Chongqing Jiaotong University, Chongqing 400074, China; 2. College of Civil Engineering, Chongqing Jiaotong University, Chongqing 400074, China)

In order to improve the bottlenecks in traditional methods about the combined extraction of spatio-temporal correlation features and structural damage detection, this paper combined the data characteristics of acceleration vibration signal of the structural health monitoring to reduce the structural damage detection to the problem of multivariate time series classification. This paper proposes a novel structural damage detection approach based on Convolutional Neural Network (CNN) and Long Short-Term Memory (LSTM) neural network models. Taking the acceleration vibration response data obtained by structural health monitoring as input, the correlation features between sensors in multiple time frames is extracted by CNN model, and then the feature matrix is input into the LSTM model which uses Softmax as output layer to further extract time-related features and classify the structural damage patterns. An actual monitoring dataset obtained from a bridge scaled-model is employed as the experimental context. The experimental results verify the advantages of the proposed method in terms of accuracy, precision, recall and-scores.

bridge health monitoring; structural damage detection; convolutional neural network; long short-term memory network

U446.2

A

1672 − 7029(2020)08 − 1893 − 10

10.19713/j.cnki.43−1423/u.T20191007

2019−11−18

国家自然科学基金资助项目(51608070)；重庆市教委科学技术研究资助项目(KJQN201800705，KJQN201900726)

李韧(1985−)，男，四川筠连人，副教授，博士，从事结构监测数据分析、桥梁领域知识图谱研究；E−mail：renli@cqjtu.edu.cn

(编辑 蒋学东)