沥青路面车辙LSTM-BPNN特征融合预测模型研究

尚千里，田波，李思李*，权磊

(1.重庆交通大学 土木工程学院，重庆市 400074；2.交通运输部公路科学研究院)

1 前言

由于交通量日益增加和轴载的重型化，沥青路面主要病害之一的车辙变形严重影响道路使用寿命和行车安全。车辙成因有交通荷载、环境气候、路面结构及沥青混合料材料特性等，但主要病源是路面在重载交通和环境温度的作用下，产生水平和垂直应力引起中面层流动而形成的。重复荷载作用下小变形车辙不断积累会导致沥青路面产生永久性变形，造成路面排水性减弱出现积水现象，引起路面抗滑性能、平整度下降，同时伴随着裂缝和坑槽等破坏问题的产生，如不及时发现并修复，会导致路用性能整体下降，影响行车舒适性和威胁行车安全。因此，近年来沥青路面车辙病害的预测及评估方法越来越得到路面研究人员的关注。

研究人员从车辙现象成因出发，运用各种方法对沥青路面车辙进行预测研究并取得了一定的成果。T.F.Fwa等基于c-φ概念开发出了c-φ车辙预测模型，提出采用幂函数关系表达式作为车辙累计变形预测的基本方程；Safwat F等提出了一种黏弹性理论方法用于预测交通荷载作用下沥青路面材料的车辙，可以有效预测在不同加载情况下试件板的车辙累加过程；Masoud K等采用沥青层和粒料层力学本构关系进行路面车辙预测，并通过试验验证此方法可有效预测车辙性能。随着有限元软件展现出数值模拟方面的优越性，令其在道路领域的应用得到普及。Gamil.M.S.Abdullah采用Abaqus软件对经过处理后的泡沫沥青混合料在最佳沥青用量下的车辙过程进行了模拟，并与试验观测结果进行了比较，且利用车轮跟踪试验结果进行了标定，标定后的模型可以很好地预测混合料的车辙性能。李喜等同样利用Abaqus有限元软件建立路面结构不同时间与深度处的温度场，同时考虑交通荷载随时间分布特性，得到车辙与平均气温的相关关系式和平均温度为20 ℃时的车辙与荷载作用次数的拟合公式。

尽管在这一领域已经进行了许多研究，但在某些情况下物理和力学相关车辙问题仍然没有完全解释，用数学方法解释过于繁杂。因此，一些研究者把机器学习算法应用到路用性能预测中，如Hasan Ziari等采用人工神经网络以碳纳米管(CNT)含量、测试温度和加载频率为输入，以复数模量为输出来预测车辙性能；Hongren Gong等通过深度神经网络采用与路面有关的材料、结构、交通和气候的17种特征变量进行车辙预测，并与多项式回归预测结果比对，表明深度神经网络具有更高的预测精确度。考虑到已有研究在神经网络预测时样本容量小、模型精度低等原因，该文在神经网络预测的基础上采用一种名为特征融合LSTM-BPNN的新车辙预测模型。长短期记忆(LSTM)用来学习时序特征，BP神经网络用来学习基本特征，通过注意力机制隐式融合两种类型的特征。注意力机制将通过衡量基本特征的影响自动调整时间序列的权重。

2 算法介绍

2.1 LSTM

作为深度学习算法之一的循环神经网络(Recurrent Neural Networks，RNN)在训练过程中存在着梯度消失的问题。也就是说，当数据序列足够长时，靠后的时间步长的错误很难影响到先前时间步长的计算。这也意味着RNN很难将距离较远的上下文信息关联起来，这个问题也被称为长期依赖问题。经过多年的探索，Hochreiter S和Schmidhuber J两位研究者对RNN的隐藏结构做出了改进，以避免梯度消失问题。于是拥有解决长期依赖问题能力的长短期记忆网络(Long Short-term Memory，LSTM)诞生。LSTM主要由遗忘门、输入门和输出门3部分组成。遗忘门决定上一时刻的隐藏层状态有多少可以保留到当前时刻，它是一个sigmoid函数层；输入门决定了当前时刻网络的输入值有多少保存在隐藏层状态。分为两个步骤，首先，构建sigmoid函数层，即输入门会决定哪些值需要被更新；然后，经过一个tanh函数层处理，作为加入到隐藏层状态的候选值；输出门用来控制层状态有多少输出到LSTM网络的当前输出值。当在t时刻，输入为Xt，前一个隐藏层状态为Xt-1，遗忘门状态为ft，则遗忘门、输入门和输出门三者的数学表达式依次如式(1)、(2)、(3)所示：

ft=σ(Wf[ht-1,xt]+bf)

(1)

(2)

(3)

式中：Wf、Wi、WC、Wo为权重向量；bf、bi、bC、bo为偏置项。

2.2 BPNN

基于前馈神经网络的BP神经网络(Back Propagation Neural Network，BPNN)是最基础的神经网络，其输出结果采用正向传播，误差采用反向传播方式进行。它是一个功能强大的算法模型，为深度学习的发展奠定了基础，并且在很多领域的应用都取得成功。其主要由输入层、隐藏层和输出层构成，且隐藏层根据需要可设置多层，通常为一层结构。BP网络示意图见图1。BPNN的运算过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐藏层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐藏层，最后到输入层，依次调节隐藏层到输出层的权重和偏置，输入层到隐藏层的权重和偏置。

图1 BP神经网络示意图

3 数据来源及预处理

3.1 LTPP数据库

开始于1987年的路面长期使用性能(LTPP)项目是由美国联邦公路局(FHWA)负责运营管理，监测着2 581条试验段的路面性能数据，其中加拿大占141条，美国占2 440条。其制定了受结构设计、气候环境、交通荷载、材料、施工质量和养护水平等因素影响的路面性能研究计划并实施。目前已经建立了世界上规模最大和最全面的路面性能数据库。LTPP项目主要由两部分组成：一般路面研究(GPS)和特殊路面研究(SPS)。GPS通过试验段来研究不同路面类型的一般性能，而SPS均为考虑特定的工程因素而修建的。一般来说，每个GPS和SPS试验段均由152 m的监测部分组成，每端有一个15.2 m的材料取样段。当有足够的数据可用时进行分析，研究不同因素对路面性能的影响，并建立路面性能预测模型用于路面设计和管理。LTPP项目作为一项长期的国家工作，为了满足人们对路面数据的需求，该项目已经投资开发了一个可公开访问的数据库。而且为北美交通运输部门提供了许多研究成果，包括路面新技术、手册指南、新型路面检测方法及设备等。

3.2 数据预处理

3.2.1 样本数据集构建

该文旨在采用深度学习神经网络开发一个沥青路面车辙深度大数据预测模型。为了得到具有良好泛化能力的模型，必须构建一个模型训练和测试所需的数据量庞大且高质量的观测数据集。为此，对从LTPP数据库下载的18 553条车辙深度(Rutting Depth，RD)原始数据和供模型预测的相关数据进行清洗。具体方法如下：

(1)由于模型仅适用于处理数值型数据，但原始数据中路面结构材料为非数值型数据，必须采用独热编码(One-hot Encoding)将非数值型数据路面结构材料转换为数值型数据。独热编码也称为一位有效编码，对于任何给定的状态均通过赋值0、1转化成二进制数串供模型使用。但是编码后的路面结构层数、厚度及各层材料组合过于繁杂，该文采用PCA(Principal Components Analysis)即主成分分析进行降维处理，把组合繁杂的路面结构材料处理为5种路面结构材料。

(2)对于数据稀疏问题，将所有试验路段数据混合在一起，保证了有足够的数据来建立预测模型。

(3)为了回避人为因素影响，保证车辙数据有足够长的序列进行建模，样本数据集构建采用间隔年限2年或以上时间段，定义每次修复施工后车辙深度为初始车辙深度RD0。

(4)对于交通荷载数据的缺失值，用当前公路中的最新数据进线填充，因为试验路的交通量相对稳定。

(5)模型使用所有试验路数据建模，为了区分试验路段，加入了试验路位置数据特征(经度、纬度、海拔)。

(6)删除存在异常的数据点。

3.2.2 特征选取

供建模使用的特征因素分为试验路本身具有的和随时间增长而变化两类。由于长短期记忆神经网络(LSTM)在预测具有时间序列特征时远优于其他神经网络，所以把上述因素特征按照是否具有强时序性分为基本特征和时序特征。基本特征主要是试验路固有的不随时间明显变化的特征，包括路面服役年限和位置信息等。时序特征随时间变化明显，该文时序特征主要采用气候中与温度和降雨有关的特征。特征大致分为路面结构与施工、环境气候、交通荷载和路面性能4大类。特征详细指标见表1。

表1 特征指标统计

3.3 数据宽表

由于RD测量和RD0之间的时间周期不同，所以需要创建具有不同长度的时序特征。但是模型输入端长度是固定的，因此首先提取20年的所有气象特征数据，确保完全覆盖从最近修复施工到RD测量之间的时间间隔。然后删除早于RD0测量时间的气象数据，并使用一个幻数(例如-100)填充到已删除的气候序列中。在经过数据清洗工作之后，该文根据基本特征使用BP神经网络和时序特征使用LSTM神经网络的原则，构建供建模使用的数据宽表如图2所示。

图2 数据宽表

4 LSTM-BPNN特征融合模型建立

4.1 模型介绍

研究LSTM和BP神经网络各自优缺点后，利用各自的优势搭建用于沥青路面车辙预测的LSTM-BPNN特征融合机器学习模型，模型结构见图3。模型左部分为BPNN结构，用来学习不具时序性的基本特征，具有很强的非线性拟合性能，在该模型中将其设置为3层结构，分别为S1输入层，S2隐藏层，S3输出层。模型右部分为LSTM神经网络，用来模拟时间序列特征数据，更好地捕捉具有时序性的气候特征对沥青路面车辙的影响。LSTM结构由遗忘门、输入门和输出门组成。为了使模型预测更具精准性，在LSTM结构中加入屏蔽层，用来屏蔽掉输入值中的无效特征值。

图3 LSTM-BPNN特征融合模型结构示意图

在搭建好BPNN和LSTM神经网络结构后，采用注意力方法使基本特征来影响和改变长短期记忆结构中时序特征的权重a大小，使两神经网络结构进行特征融合。特征融合的输出激活函数f设置为sigmoid函数，则权重输出函数如式(4)所示，LSTM网络的最终输出结果见式(5)。

(4)

(5)

式中：Wa、Wh、Ws为权重矩阵；ba为偏置向量。

(6)

4.2 模型验证

由于原始数据存在数据稀疏、空缺值、异常数据等因素影响建模，遂进行数据清洗工作，并使用清洗后的3 430条记录的车辙深度数据构建用于训练和测试模型的高质量数据集。为了可以充分利用样本数据进行建模，从有限的数据中获得尽可能多的有效信息，以保证预测模型的精确性。该文采用10折交叉验证方法将清洗完成的全部样本数据进行划分，从而得到3 087条记录训练集和343条记录测试集来制作用于输入的数据宽表。其中训练集和测试集的结果如图4、5所示。

图4 训练集预测结果

图5 测试集预测结果

采用决定系数R2和均方根误差(RMSE)指标进行模型评估，评估指标计算见式(7)、(8)：

(7)

(8)

由训练集和测试集的预测结果可证明LSTM-BPNN特征融合模型的有效性，并且模型的预测性能很可观，使用训练集和测试集R2分别达到了0.821和0.796。为了更直观地展示模型的预测效果，现取测试集上100条车辙深度数据的预测值和观测值进行误差分析，结果见图6。

图6 观测值与预测值比对

图6显示：误差绝对值在3 mm以内，由此可见该模型在沥青路面车辙预测性能上表现优异。

5 预测模型性能比对

上述章节已经证明了LSTM-BPNN模型的有效性，为了进一步验证该模型在预测沥青路面车辙方面的优越性，该文选取4种常用的回归预测模型进行预测性能对比试验，分别是极端梯度提升回归模型(XGBR)、梯度下降树模型(GBDT)、纯反向神经网络模型(BPNN)和线性回归模型(LR)。各模型参数的调试训练均采用与LSTM-BPNN模型同样的车辙数据训练集，并用决定系数R2和均方根误差RMSE指标进行模型评估，将4种模型在同样测试数据集上进行回归预测，试验结果见图7和表2。

图7 4种模型预测效果对比

表2 4种模型试验结果对比

从这4种模型的比对试验结果看，表现最差的是线性回归模型，R2仅为0.684。表现最好的是基于决策树的XGBR模型和GBDT模型，二者R2接近，但XGBR模型的RMSE更小，预测性能更稳定。但其预测性能仍低于R2为0.796和RMSE为3.625的LSTM-BPNN模型。LSTM-BPNN模型是在BP神经网络模型的基础上引入在预测时序特征表现优异的长短期记忆网络，并通过注意方法进行融合。使其在预测沥青路面车辙方面，发挥自身网络优势，各司其职，关联耦合。充分捕捉不同类型气候变化与车辙趋势的潜在关联性，从而更加准确地预测未来的沥青路面车辙深度。

6 结论

(1)通过美国LTTP数据库建立了一个新的沥青路面车辙预测模型，该模型是将BP神经网络和LSTM长短期记忆网络使用注意方法进行融合的LSTM-BPNN特征融合模型。经过与其他4种常用预测模型比对表明：该模型预测性能及稳定性均高于其他模型。公路检测部门可利用该模型预测沥青路面车辙的衰减变化，实现在精确的时间点进行修复路面，降低人力检测成本。另外该模型具有一定的泛化能力，只要提供高质量数据集，可进行平整度、抗滑性能等路用性能的预测。

(2)LSTM-BPNN模型虽能实现车辙深度的高精度预测，但其不能像基于决策树的预测模型一样实现特征重要性排序和可视化解释预测过程。在后续研究中可考虑将行业熟知的与预测目标有关的因果关系加入机器学习模型，实现基于行业知识的机器学习而非数据本身的学习。通过这种知识诱导型机器学习可进一步提升路用性能的预测能力。