基于Bi-LSTM的结构变形预测①

王亚飞, 韩 静, 郭 凰, 廖 聪, 王立新

1(长安大学 信息工程学院, 西安 710064)

2(中铁第一勘察设计院集团有限公司, 西安 710043)

1 引言

随着社会的发展, 国民经济的快速增长, 地铁、隧道、桥梁等大型建筑已蓬勃兴起, 并在社会发展中起到城市脊梁的作用.但当这些建筑的结构出现事故时,不仅会造成巨大的经济损失, 阻碍城市的发展, 而且还会带来人员的伤亡, 给社会的稳定形成激烈地冲击.因此, 为建筑结构进行自动化监测, 推测结构变形数据的趋势, 在出现安全隐患及时预警, 对保障生命财产安全、社会健康发展具有重要意义.

传统的结构变形预测方法有回归分析、灰色模型和时间序列模型, 根据监测数据的特点, 选择合适的预测模型.刘波等[1]采用多元线性回归模型, 对实际高层建筑的结构变形进行了分析和预测, 取得了较好的预测效果.回归分析模型属于静态模型, 而实际结构变形数据是动态数据, 数据之间存在依赖关系, 回归分析模型的预测结果无法准确反映结构未来变形趋势.Xiao等[2]建立一种基于最佳时间位移的二次衬砌施工灰色模型来预测隧道顶板变形.该模型利用边界条件对GM(1,1)的权重系数进行优化, 准确地预测隧道的顶板位移.灰色模型对于不确定因素的复杂系统预测效果较好, 但其要求累加得到的新数据满足指数特性, 限制了灰色模型在实际工程中的广泛应用.斯建宁等[3]利用ARIMA预测隧道结构变形, 通过分析监测数据的时域特性, 推测隧道的结构形变.时间序列模型要求数据是线性的和稳定的, 而实际结构形变数据具有复杂的非线性特征, 不适合工程结构变形数据预测.

神经网络和机器学习在结构变形预测方面具有普适性, 已经在实际工程中得到应用广泛.吴杰等[4]提出了用小波神经网络(WNN)拟合并预测大桥位移与其原因之间非线性关系的方法, 该方法可以确定网络隐含层最优节点数, 具有良好的局部特性、较强的学习能力和任意函数逼近能力, 实现了大桥变形的精确拟合及预测, 但参数的随机初始化会导致WNN收敛速度慢甚至不收敛现象[5].李帅等[6]利用BP神经网络模型对基坑桩体位移进行预测, 精确地反映了实际变形趋势.Pourtaghi等[7]利用小波-人工神经网络预测最大地表沉降, 采用不同的小波作为激活函数来预测隧道开挖引起的最大地表沉降, 使预测误差值有所降低.但样本和模型参数对该模型影响较大, 训练时容易陷入局部最优.Yang等[8]利用长短时记忆网络(LSTM)预测滑坡的周期性位移.Xu等[9]提出了基于ARIMA-LSTM的预测模型, 解决了单一预测算法无法同时求解大坝变形数据中的线性分量和非线性分量的问题.该模型采用ARIMA模型预测大坝变形数据中的线性分量,采用长短期记忆LSTM模型预测大坝变形数据中的非线性分量, 准确反映大坝变形趋势.结果表明, LSTM能够记忆历史信息, 对未来结构数据进行准确预测, 但模型仅利用前向信息预测当前数据, 忽略时间点之后的结构变形数据的变化规律对当前数据的影响, 无法充分挖掘监测数据的时间特征信息, 导致预测精确度有待进一步提高.

因此, 针对LSTM模型仅利用时间序列前向信息预测当前数据的不足, 本文提出一种基于Bi-LSTM的结构变形预测模型, 研究时间节点前后的结构变形规律对当前时刻数据的影响, 并以实际沉降数据为实验依据, 通过和不同模型进行对比, 结果表明, Bi-LSTM模型充分提取了数据的时间特征, 有效地提高了模型的预测准确性.

2 基本原理

2.1 LSTM模型

LSTM[10,11]是为了解决RNN长时间依赖问题被提出的, 解决了循环神经网络的“梯度消失”和“梯度爆炸”问题.LSTM利用“记忆块”代替了传统神经网络的隐含节点, “记忆块”增加了“细胞状态”和“门”结构.细胞状态完成了LSTM的记忆功能, “遗忘门”(ft)、“输入门”(it)和“输出门”(ot)对细胞更新和数据输出进行控制, 其内部结构如图1所示.

图1 LSTM记忆模块结构图

LSTM模块中的细胞状态Ct对线性信息的进行传递, 同时隐藏层的外部结构ht对Ct处理, 完成非线性信息输出, 具体公式如下:

2.2 Bi-LSTM模型

LSTM及RNN都是通过前向信息推测后向数据,但对于时间序列, 利用前向和后向的信息对当前时刻进行预测, 增强特征信息和预测值的联系, 提高了模型预测精度.LSTM预测模型仅通过单侧数据的规律进行预测, 不能充分的挖掘时间特征信息, 预测精确度需要进一步提高.针对LSTM模型的这一不足, 提出了Bi-LSTM的预测模型.Bi-LSTM[12-14]利用两个不相关的LSTM模型, 分别从前向和后向进行数据预测, 两个模型隐含层的输出作为输出层的输入, 最后由输出层的内置函数输出最终的预测值.如图2所示.

图2 Bi-LSTM模型结构

Bi-LSTM的隐含层有两个LSTM组成, 分别是前向隐含向量, 后向隐含向量, 将正向输入序列和反向输入序列在网络输出层结合, 则yt为最终输出值:

3 基于Bi-LSTM的结构变形预测

为了确保建筑结构安全, 通过自动化的监测设备对地下空间沉降进行实时监测, 利用采集的结构变形数据, 科学地预测结构未来变形趋势.本文结合Bi-LSTM的优点, 提出一种基于Bi-LSTM的结构变形预测模型.

假设传感器监测的一组数据为XN=[x1,x2,x3,···,xN](N为采样点数), 通过分析结构变形数据和Bi-LSTM模型特点, 确定前M个监测数据为预测模型训练集,后N-M个监测数据为预测模型测试集.

其中,L是模型输入层节点个数,Xtr为训练输入,Ytr为目标输出,XT为测试输入.

对于模型正向LSTM单元, 训练集第i输入Xtr(i),代入式(1)至式(3)中, 得到一组状态输出.

对于模型反向LSTM单元, 训练集第i输入Xtr(i)按照反向顺序代入式(1)至式(3)中, 得到一组状态输出

得到的两组状态输出具有相同的特征维度, 把二者进行拼接得到Hi∈R2×L:

拼接向量通过输出层激活函数处理, 得到第i个训练输出.

模型的训练及测试过程如图3.在模型训练时, 为了防止模型出现过拟合, 在隐含层增加正则化, 模型利用梯度下降算法更新网络权重矩阵和偏置向量.首先,对模型的所有参数初始化; 然后Bi-LSTM提取时间序列的前向和后向信息作为全连接层的输入, 分别计算前向隐含层和后向隐含层的输出, 并通过拼接、线性运算得出权值训练集输出; 其次利用损失函数反向传播, 对模型参数进行更新, 得出最优解; 最后利用测试集数据对训练后的模型进行测试, 把模型预测结果和真实数据进行对比, 通过预测误差评价模型的预测精确度.

图3 Bi-LSTM预测模型

具体步骤如下:

步骤1.把实验沉降数据划分为训练集和测试集,并对数据进行归一化;

步骤2.初始化模型参数, 设置模型输入层节点数,前向、后向隐含层数及节点数, 学习步长和训练轮数;

步骤3.利用训练集数据对模型进行训练, 确定模型最优解;

步骤4.通过测试集数据对训练后的模型进行测试, 利用预测误差评价模型预测精确度.

4 实验

4.1 数据处理

本实验利用国内某隧道沉降数据验证模型的有效性.监测时间为2016年3月10日至2016年12月29日, 经过处理的实验数据为1310个点, 如图4所示.

图4 实验沉降数据

对沉降数据进行归一化, 可以加快梯度下降, 适应激活函数, 减少预测误差, 使其映射到[- 1,1]区间内.再将数据70%划分为训练集, 30%为测试集.归一化具体公式如下:

其中,x为 原始数据,为归一化后的数据,xmin和xmax原始数据的最小值和最大值.

4.2 模型性能评价指标

常用来衡量预测模型性能指标有: 均方误差(Mean Square Error,MSE)、均方根误差(Root Mean Square Error,RMSE)、平均绝对误差(Mean Absolute Error,MAE)、平均绝对百分比误差(Mean Absolute Percentage Error,MARE)等, 在本实验采用RMSE、MAE和MAPE指标衡量Bi-LSTM模型的预测效果.

4.3 实验结果分析

本实验为了检验Bi-LSTM模型的精准度, 利用测试输入数据预测沉降值, 并将预测结果和真实值进行对比, 对比结果如图5所示:

由图5可知, Bi-LSTM模型的预测结果和真实值在整体上拟合度很高, 并且曲线的各个峰值处, 两者的数据值很接近, 预测模型的RMSE、MAE、MAPE分别是0.0890、0.0728和0.0073.综合可知, Bi-LSTM模型预测结构沉降具有良好的准确性.

图5 Bi-LSTM预测结果

本实验把Bi-LSTM模型和WNN、LSTM、GRU模型进行对比分析, 结果如图6所示.WNN模型的预测结果整体上反映了沉降数据的变化趋势, 但和真实值仍存在较大误差.LSTM模型相比WNN模型预测结果具有更高的准确性, 但GRU模型通过对LSTM门结构进行优化, 能够更加有效地保留时间序列有用信息, 预测结果更加接近真实值.基于Bi-LSTM结构变形预测模型的MAPE、RMSE和MAE最小, 拟合度最高, 预测效果最好.充分说明Bi-LSTM模型通过提取时间序列前向和后向的规律, 更加准确地预测沉降数据变化趋势, 弥补了其他模型仅利用单侧信息进行预测的不足, 在实际数据预测中具有更好的可行性.为了明确不同预测方法的具体误差值, 不同的性能比较如表1所示.

图6 不同模型对比试验

表1 模型性能比较

由表1可知, 对比WNN、LSTM、GRU预测模型, 本实验提出的基于Bi-LSTM的结构变形预测模型,预测结果在MAPE、RMSE、MAE三个指标上均为最优结果.实验结果表明本实验提出的Bi-LSTM预测模型和现有预测方法相比, 误差更小, 预测准确性更高.

5 总结

针对现有的结构变形预测模型仅通过时间序列单侧规律进行预测的不足, 本实验提出一种基于Bi-LSTM的结构变形预测模型, 同时提取变形数据前向和后向信息, 预测当前结构变形数据, 提高了预测的准确性.最后通过和现有的WNN、LSTM、GRU模型进行对比, 有效地说明了Bi-LSTM模型具有更高的预测精度,为结构变形预测提供更加科学的依据.