基于深度卷积神经网络的高速铁路积雪深度判识方法

包 云 ， 李俊波 ， 陈中雷 ， 温桂玉

（1.中国铁道科学研究院集团有限公司 电子计算技术研究所，北京 100081；2.北京经纬信息技术有限公司，北京 100081）

积雪对铁路运输具有重要的影响，可导致道岔不能转动，轨旁设备、接触网受损，甚至列车停运.因此，国内外铁路都非常重视对铁路降雪的监测和降雪天气下的运输管理［1-3］.我国高速铁路建设有自然灾害及异物侵限监测系统，雪深监测是系统的重要功能之一，通过在高速铁路沿线设置雪深监测设备监测固定位置的积雪深度，当积雪深度超过阈值时进行报警，调度员根据规则进行限速设置，指挥列车运行［4］.高速铁路雪深监测设备设置于我国0°等温线（秦岭—淮河）以北地区且近10 年最大积雪深度超过30 mm 的区段.各线路雪深监测点的设置数量不一，且监测范围有限.降雪过程中，由于受到列车运行带雪和风吹雪等因素的影响［5］，轨道上的积雪深度动态变化，因此需要研究铁路沿线积雪深度的动态判识方法.

目前，关于铁路风吹雪的研究较多，包括风吹雪的形成机理［5-6］、模拟仿真［7］以及防治措施等［8-9］，对线路上积雪深度的研究较少.基于图像识别的降雪研究多通过降雪过程中对雪花大小的识别进行雪情分析.王步放［10］采用改进的帧差法、背景差法对降雪视频图像进行分割，判断小雪、中雪和大雪等雪情.朱磊等［11-12］基于视频分析雪粒子的特征并估算降雪强度，预测了无风和风吹雪情况下的雪深.上述研究多考虑无影响或某一种外部因素（如风）影响下静态积雪深度的估计，未考虑列车运行等因素对线路上积雪深度的动态影响，无法实时掌握铁路沿线积雪深度.铁路沿线建设有综合视频监控系统，可实时获取沿线视频图像，尤其是京张、京沪等线路，双侧视频间距达到200 m，可为基于视频图像识别的雪深判识提供丰富的图像资源.目前，气象部门也在研究雪深的智能识别技术，通过在识别点设置视频监测设备和标尺，采用视频读取标尺刻度进行积雪深度识别［13］.但铁路沿线不具备设置标尺的条件，通过综合视频监控系统识别积雪的精确深度较难.本文根据高速铁路雪深监测需求，将高速铁路沿线积雪深度划分为100 mm 以下、100 mm~轨面和大于轨面3 个范围，基于综合视频图像，通过图像分类技术进行积雪深度范围估计，以动态判识轨道上的积雪深度，为列车运行和基础设施运维提供参考.

1 降雪对铁路的影响及雪深监测

降雪和积雪对铁路具有重要影响，降雪导致轨面湿滑，列车制动性能下降.积雪在道岔的可动部位或道床板上冻结，可使道岔积雪或结冰后不能正常转换.降雪导致接触网结冰、机车受电弓挂雪，影响机车受流.黏附雪可能压断牵引供电和信号供电线，导致停电.黏着在车厢底部的雪，在列车高速运行途中坠落，可能砸坏轨旁设备.另外，线路特定地段（如低填浅挖、堤堑过渡地段等）的风吹雪可能导致雪害、雪崩甚至可能造成行车中断［14］.

目前，高速铁路通过在沿线设置自然灾害及异物侵限监测系统监测轨枕中心的积雪深度，当积雪深度达到报警阈值时进行报警，并采集监测点的视频图像.雪深监测点根据各线路历年降雪情况进行设置，平原地区设置间距一般为30 km，山区设置间距一般为20 km，各线路雪深监测点的设置数量不一，如哈大高速铁路（哈尔滨—大连）设置18 处雪深监测点，兰新二线（兰州西—乌鲁木齐）设置1 处雪深监测点，限速范围根据各监测点的地形地貌等情况设置.根据文献［15］，冰雪天气下的列车限速规定如表1 所示.

表1 冰雪天气行车规定Tab.1 Regulations for driving in icy and snowy weather

由于列车在运行过程中会将积雪带走，大风等外部环境也可能导致积雪的动态变化，因此，高速铁路自然灾害及异物侵限监测系统监测的降雪只能代表监测点附近的情况，并不能反映沿线降雪的情况.为及时了解线路上的积雪情况，需要研究铁路线路积雪深度的动态判识方法.

2 雪深图像预处理

铁路综合视频监控系统实时采集铁路沿线视频流，为基于图像识别的雪深范围判识提供了数据支撑.目前，铁路综合视频摄像头不具有夜视功能，夜晚图像的可用性较差，如图1 所示，该图像的雪深识别结果如图2 所示，利用DenseNet-201 深度卷积神经网络模型判断当前雪深值小于100 mm 的概率为81.05%，识别结果的可信度和可用性较差.因此，本文仅采用白天光线较好情况下的图像作为样本.

图1 夜晚综合视频图像Fig.1 Integrated video image at night

图2 夜晚图像识别效果Fig.2 Identification result of the image at night

铁路沿线综合视频监控系统前端采集设备包括设置于轨旁的枪机和设置于铁塔的球机，视频采集范围不同，尤其是设置于铁塔的球机，采集图像范围广，图像背景复杂，图3 为安装于铁塔的球机采集的视频图像，将整张图像作为样本，雪深识别效果如图4 所示，其中，判识场景1 雪深小于100 mm 的概率为73.76%，判识场景2雪深高于轨面的概率为53.32%，识别结果的可用性较差.

图3 复杂场景的综合视频图像Fig.3 Integrated video images of complex scenarios

图4 未分割的复杂场景综合视频图像识别结果Fig.4 Identification results in unsegmented complex scenatios of integrated video images

为减少综合视频图像不相关背景对识别结果的影响，采用U-Net 神经网络将轨道上的积雪图像从综合视频图像中分割出来形成轨道上的雪深数据集，以提高模型识别效果.U-Net 神经网络是一种用于图像分割的卷积神经网络架构，整体网络为U 形结构，主要分为编码器和解码器2 部分［16］.其中，编码器由多层卷积操作组成，可对输入图像进行特征提取和压缩，提高模型的感受野和抽象能力；解码器由多层反卷积操作和跳跃连接组成，可恢复图像分辨率，并融合编码器的低级特征，提高模型的细节还原能力和分割精度.基于U-Net 神经网络的轨道雪深数据集生成过程分为2 个阶段，如图5 所示.第一阶段，使用U-Net 网络学习图像中主要与铁路相关的特征区域，生成掩码（Mask）图像，如图5（b）所示.掩码图像是由纯黑白像素组成的图像，其中白色区域是需要提取的区域.第二阶段，提取白色区域的外接四边形，然后将原始图像与黑白掩码图像进行逐像素乘法，以获取目标切割区域的图像，如图5（c）所示.切割完成后，从切割区域中剪裁相应大小的图像，用于生成雪深数据集，如图5（d）所示.相较于直接使用原始图像进行雪深的识别，基于U-Net 神经网络分割生成雪深数据集的方法能够尽可能地保证识别过程的鲁棒性.

图5 基于U-Net 神经网络的雪深图像分割过程Fig.5 Snow Depth image segmentation process based on U-Net neural network

根据表1 所示的高速铁路列车运行监测以及铁路沿线基础设施维护需求，可将轨道上的积雪深度监测需求划分为雪深在100 mm 以下、100 mm~轨面和高于轨面3 个范围，采用分类法进行图像标注，将图像分为3 个类别.高速铁路自然灾害及异物侵限监测系统雪深图像采集是雪深测量的辅助功能，雪深监测前端采集设备雪深计直接读取雪深值，雪深报警时，系统弹出报警点的视频图像，并保存雪深具体值，进行雪深报警复核，该部分图像可作为参考对综合视频监控系统采集的图像进行标注，部分标注结果如图6 所示.

图6 部分标注结果Fig.6 Partial annotated results

3 积雪深度识别

本文提出的基于视频图像的雪深范围判识属于图像分类，常用的图像分类模型有K 最近邻（KNearest Neighbor，KNN）、支持向量机（Support Vector Machine，SVM）、卷积神经网络（Convolutional Neural Networks，CNN）［17］等模型.由于铁路综合视频监控系统并非为视频图像识别而建设，而是应用于工务、电务、车站、客运、货运、治安等多个场景，所采集的图像背景复杂.CNN 具有较强的自学习能力、容错能力、并行能力以及识别准确率高、鲁棒性强等特点，对包含复杂环境信息及复杂背景的图像有很好的处理效果，在铁路基础设施故障诊断［18-19］、车体图像分类［20］、车号识别［21］等方面具有广泛的研究和应用.

研究采用深度卷积神经网络作为分类模型进行高速铁路沿线雪深动态判识.用于图像分类的深度卷积神经网络有视觉几何组（Visual Geometry Group，VGG）、残差网络（Residual Network，ResNet）、密集连接卷积网络（Densely Connected Convolutional Networks， DenseNet）等.由于可获得的雪深图像有限，尤其是积雪较深的图像，为提高识别的准确率，考虑采用DenseNet-201 预训练模型进行雪深深度范围的判识.

DenseNet 模型每一层的输入来自前面所有层的输出，通过前面所有层与后面层的密集连接，实现特征在通道维度上的复用，极大地缩减了网络的参数量，同时有效缓解梯度消失问题，摆脱了以往通过加深网络层数（如ResNet 模型）或者拓宽网络结构（如Inception 模型）改善网络性能的方式［22-23］，DenseNet 模型的输出为

式中：[x0，x1，…，xk-1]表示将0 到k-1 层输出的特征进行级联；Hk为转换函数.相比于一般深度网络直接依赖于最后一层输出的特征，DenseNet 模型可以融合利用更多低层次的特征，其训练得到的分类器具备更加泛化的分类性能.

DenseNet-201 模型在ImageNet 数据集的一个子集上进行了预训练，学习的数据特征更加丰富，可更好地学到大数据集的普遍特征，因此，能够提供更好的模型初始化和泛化性能. DenseNet-201 模型具有较好的抗过拟合性能，尤其适用于类似于铁路沿线雪深识别这种训练数据相对匮乏的情况.因此，本文选择DenseNet-201 模型作为高速铁路积雪深度动态判识方法.

基于DenseNet-201 模型的高速铁路沿雪深度的判识流程如图7 所示，使用DenseNet-201 模型在ImageNet 数据集上进行预训练，得到的权重作为高速铁路积雪深度分类的初始权重，然后将自建的积雪深度数据集作为输入对DenseNet-201 模型进行再训练，最后将测试集输入到训练后的DenseNet-201 模型中进行结果输出，并进行模型评价.

图7 基于DenseNet-201 的高速铁路沿线积雪深度识别流程Fig.7 Snow depth identification process along high-speed railway based on DenseNet-201

DenseNet-201 结构如图8 所示，模型使用4 个稠密块.

分类器采用Softmax 函数，损失函数的计算式为

式中：zi表示类别i的网络输出；n为类别数；pi表示第i类的概率.交叉熵损失函数为

式中：yi为类别i的真实标签；N为样本总数.

4 实验结果及分析

实验运行环境配置：内存 128GB，CPU 为英特尔 Core i9-9900K@3.60 GHz 8 核，软件环境为Windows 10 操作系统，深度学习框架为Tensorflow，python3.8.5.以某线路一个冬季综合视频的雪深图像为样本，采集下雪时的图像1 086 张，其中，雪深在100 mm 以下的图像418 张，在100 mm~轨面的图像363 张，在轨面以上的图像305 张，80% 作为训练集，20% 作为测试集.训练中采用随机梯度下降（Stochastic Gradient Descent，SGD）优化算法，网络训练参数如表2 所示，识别的准确率和损失值如图9 所示，经过100 次迭代之后，在测试集上的识别准确率达93.57%，损失值为0.360 3.

表2 实验网络训练采用的参数Tab.2 Parameters used in network training

基于同样的数据集，将本文采用的DenseNet-201 模型与VGG-16 和ResNet-50 模型的识别结果进行比较，结果如表3 所示.由表3 可知，DenseNet-201 模型的识别准确率优于VGG-16 和ResNet-50模型.DenseNet-201 模型参数量最小，这是因为密集连接所导致的高内存访问成本和能耗增大，对内存占用大，因此，计算耗时要长于ResNet-50 模型，但是识别准确率更高，考虑到实际应用场景，无论是自然界的降雪、风吹雪还是车带雪导致的积雪积累到一定的深度都需要一个过程，因此，计算耗时是在可接受的范围内.

表3 不同模型结果的比较Tab.3 Comparison of results between different models

综上，建议光线较好时（如白天）考虑使用基于视频图像识别的高速铁路沿线雪深范围识别方法辅助铁路沿线积雪深度的动态判识.当识别的雪深范围大于100 mm 时，识别系统会自动提示调度员调取视频图像进行复核，进一步保障列车运行安全.

5 结论

1） 基于铁路沿线建设的综合视频监控系统采集的视频图像，利用U-Net 神经网络对轨道上积雪图像进行分割，去除综合视频中与雪深识别无关的背景，建立轨道上雪深数据集，可提高轨道上雪深识别结果的可用性.

2） 采用Densenet-201 深度卷积神经网络模型建立轨道上雪深范围动态识别模型，实验结果表明，所建模型对于光线较好情况下的图像识别准确率达93.57%，较ResNet-50 和VGG-16 模型分别提高了2.08% 和4.24%.识别时间虽然长于ResNet-50 模型，但在应用允许的范围内.

3） 作为高速铁路轨道积雪深度的动态判识方法，研究可识别高速铁路线路上由于风吹雪、车带雪等导致的轨道上积雪动态变化，便于掌握铁路全线积雪情况，扩大积雪监测范围.

由于获得的雪深图像有限，本文实验采用的雪深样本数据较少，下一步将继续收集雪深视频数据，同时改进优化识别模型，进一步减少识别时间，提高识别准确率.