基于卷积长短时记忆网络的国际平整度指标预测∗

黄凯枫 刘庆华

（江苏科技大学电子信息学院 镇江 212100）

1 引言

中国公路发展非常迅速，在运营和养护过程中很多问题都会影响司机或乘客的体感舒适性。比如路面施工过程中产生的破损和裂纹，或者是较低的平整度（路面的颠簸），更重要的是可能会出现生命安全问题［1～3］，因而路面平整度的检测是路面质量评价必不可少的内容。

在对路面平整度进行评价时，一般采用国际平整度指标（IRI）作为指标［4～5］。国际平整度指标的采集需要依靠激光雷达来完成，激光雷达采集到的距离数据不是离散的也不是独立的，是连续的数据序列，所以在处理的过程中需要考虑时间的特性。Mason 等［6］使用循环神经网络RNN 对CPU 利用率进行预测；孙帆等［7］利用长短期记忆网络LSTM 对短期电力负荷进行预测，结果优于传统的预测方法。

针对以上研究内容，本文将卷积神经网络和LSTM 结合起来对国际平整度指标进行预测，利用卷积神经网络的权值共享优点对雷达距离数据进行特征的提取，突出数据空间上的特征，利用长短期记忆网络提取数据的序列特征，将两者提取出的特征当成一个新的特征输入全连接层一次来获得预测结果，通过将CNN-LSTM 网络与LSTM 网络对国际平整度指标的预测结果对比，得出前者具有更好的预测精度。

2 相关模型理论

2.1 LSTM长短期记忆网络

在数据预测领域，基础的神经网络为RNN 神经网络［8］，它能够将前一时刻从网络层获得的信息传递到下一时刻的网络层，但当输入数据的维度过大时，每次迭代都会在训练过程中输入与前一时刻相关的数据，造成输入数据越发的复杂。随着迭代次数的增加，反向传播过程更加复杂误差项的值会迅速增大或减小，梯度爆炸或消失的情况可能会出现，使得梯度无法完成长时间的传递。LSTM 网络是RNN 网络的优化，成功解决了RNN 在面对维度过高的数据时产生的梯度问题［9～10］，它主要由三个门组成，分别为遗忘门、输入门和输出门。三个门都可控制每个单元的单元状态，而LSTM 的核心部分就是单元状态，网络中的数据信息可以通过单元状态在网络中进行循环，LSTM 的结构图如图1 所示。

图1 LSTM结构图

在图1 中，ft代表遗忘门，由上一时刻的记忆状态Ct-1和t时刻依旧保留的信息Ct共同决定；it代表输入门，t时刻的输入xt由输入门的激活函数共同决定；ot代表输出门，需要确定可以输出的值ht。LSTM网络的计算过程如下：

1）对历史输入信息进行管理，对无用信息选择遗忘，计算公式如式（1）所示。

式（1）中，Wf代表输入门的权重，σ为sigmoid激励函数，bf为遗忘门的偏置项。

2）使用sigmoid函数对输入xt做权重计算获得输入门的值，使用tanh 函数对输入xt做权重计算获得下一时刻需要更新的信息，计算公式如式（2）、（3）所示。

其中，输入门和单元状态的权重用Wi和Wc表示，偏置项分别为bi和bc，C͂t为中间向量。

3）生成新的单元状态。这个过程主要分为两步，第一步为去除旧信息，第二步为使用中间向量添加新信息，计算公式如式（4）所示。

4）计算输出门的值以及为下一时刻的单元状态更新做准备，将激活过的ot值与使用tanh 函数压缩的单元状态相乘得到最终的结果，计算公式如式（5）、（6）所示。

2.2 CNN模型

卷积神经网络是深度学习算法中的一种基础算法，它不对任务进行拆分，直接对损失函数进行优化。卷积神经网络具有局部感知域、权值共享和多卷积核的特点，局部感知域在很大程度上减少了参数的数量，加速网络的训练；权值共享在提高网络学习效率的同时能够减轻数据的过拟合程度；多卷积核的存在能够将不同卷积核得到的特征图进行拼接来获取图像所有的特征信息［11］。

卷积层是卷积神经网络中完成数据特征提取的关键部分。卷积核数量的增多能够带来更加丰富的特征，也可能带来网络更高的复杂度、更长的网络收敛时间和过拟合的风险［12］。池化层能够降低特征信息的维度，保留图像的有效特征，减少参数和网络的计算量，有效避免过拟合。

3 CNN-LSTM模型结构

卷积神经网络与LSTM 网络的混合模型CNN-LSTM 结 构 如 图2 所 示。CNN-LSTM 模 型 的第一部分为CNN 卷积神经网络，用于提取数据的特征，在卷积层后添加池化层防止过拟合和提高运行效率，第一部分包括卷积层和池化层，卷积层采用3×3卷积核，池化层采用3×3平均池化，对于雷达数据，平均池化更能保存数据的特征信息。模型的第二部分是LSTM 网络，通过输入CNN 卷积神经网络提取到的特征来对国际平整度指标进行预测。

图2 CNN-LSTM模型结构框架

4 实验与分析

4.1 数据来源及描述

实验采用的数据集为激光测距雷达采集的10组距离数据，由于在测量过程中不可避免地产生数据缺失的现象，对数据集中进行缺失值处理，在本文中采用K 最近距离邻法（K-means clustering）对缺失值进行填补，其本质是通过找相似来对数据进行填补［13］，缺失值处理后的数据集总共包含4167条距离数据，对数据集作归一化处理来提升泛化能力和训练速度［14］。在数据集中随机选取500 条数据作为测试集，其余部分作为训练集使用。

4.2 评价指标

选定评估指标对预测方法的准确度或精度进行评价。本文使用平均绝对百分比误差（Mean Absolute Percentage Error，MAPE）作为误差指标，计算公式如式（7）所示。它可以消除序列数据中水平单元和计量单元的影响，准确反映误差的相对值［15］，其他常用的评价指标在评价时容易受到序列取值范围的影响，在某些特定条件下不能真正对模型做出评价。

式中，yi为实际值，ŷi为预测值，n为值的个数。

在对模型进行实际测试时，还需要考虑模型的准确度和召回率［12］，准确度和召回率的计算公式如式（8）和式（9）所示。

式中，N表示预测类别数，Pi是某类预测类别正确的数量，反之，Ni是某类预测类别错误的数量，Wj是被识别错类别的数量。

4.3 模型参数设置及训练

搭建模型的整体框架，对模型参数进行配置，进行训练和测试。在配置参数时，初始学习率为0.001，随着迭代次数的增加，学习率逐渐减小5%，损失函数使用MSE 函数，批处理数量为400，迭代次数为10000，使用Adam 优化算法，在网络各层之间设置dropout层，神经元失活比例为0.4，避免了训练过程中过多的参数量和模型过拟合的问题［13］。在本文中，路面平整度一共分为五级，等级由国际平整度指标IRI表示。

4.4 结果分析

本节首先验证CNN-LSTM 模型的有效性，然后将CNN-LSTM 模型与LSTM 模型的预测结果进行对比分析。训练后得到的模型损失值如图3 所示。由于在实际训练时，模型收敛速度较快，所以图中只显示前500 次迭代数据。由图可知，在经过30 次左右迭代后，模型开始收敛，到100 次左右迭代时，模型已经完全收敛，说明该模型在预测路面平整度时有效。

图3 CNN-LSTM模型损失值图

在对准确率和召回率进行测试时，本文使用了混淆矩阵进行表示，结果如图4 所示，图中的横纵坐标分别代表路面原等级和预测路面等级，从图中可以得到，预测模型的准确率为90.61%，召回率为87.89%，满足路面平整度的预测需求。

图4 CNN-LSTM模型预测混淆矩阵图

表1 对比了LSTM 网络、CNN-LSTM 网络的精度，从表格可以看到，CNN-LSTM 网络的平均绝对百分比误差为0.3488，小于LSTM 模型，说明CNN-LSTM 网络对路面国际平整度指标具有更好的预测能力。

表1 模型预测结果评价指标对比

在观察模型对于路面国际平整度指标的预测结果时，分别选取了50个样本数据和500个样本数据来对真实值和预测值进行对比，将LSTM 网络和CNN-LSTM网络的预测结果进行对比。LSTM网络的预测结果如图5 所示，CNN-LSTM 网络的预测结果如图6 所示。从图中可以观察到，CNN-LSTM 模型对于平整度指标的预测的准确度更高，预测结果的曲线图更加平滑，预测值和真实值的拟合程度更高，说明对于路面平整度指标来说，CNN-LSTM 网络具有更好的预测效果，能够更加充分地考虑数据之间的相关性。

图5 LSTM模型预测结果图

图6 LSTM模型预测结果图

5 结语

国际平整度的预测对路面质量的评级具有较大的意义，能够为公路养护部门提供智能化决策方向。本文使用激光雷达采集的距离数据，将卷积神经网络与长短时记忆网络相结合，完成了对国际平整度指标的预测，卷积神经网络提取数据的空间维度特征，LSTM网络提取数据的时间维度特征，通过对比LSTM 模型与本文提出的CNN-LSTM 模型，证明了CNN-LSTM 模型的有效性和较好的预测结果。