机车司机日勤作业安全监控系统研究

林钟雨，吴 潼

（1.同济大学 交通运输工程学院，上海 201804；2.上海市轨道交通结构耐久与系统安全重点实验室，上海 201804）

0 引言

近年来，相对我国铁路安全科技设备的不断发展，人因安全管控的发展相对滞后，使得人因安全风险逐渐成为制约铁路运输安全水平提高的主要因素。目前，铁路机务部门对机车司机的安全行为监督主要依赖传统的乘务班组自查或线下基于音视频数据的事后人工复查，即对于机车司机日勤作业产生的音视频等监控数据采用人工复查的方式进行分析检查。该方法，一方面对特定事件和项点进行查找分析的人力、时间成本高，另一方面因是事后离线分析，难以及时发现司机的不安全行为并提醒纠正以规避可能的事故风险，只能实现事后的责任追究与考核。随着现代数据采集技术、大数据和人工智能技术的不断发展，急需研究开发更新一代的实时、智能安全监控系统，以实现机车司机日勤作业行为的实时、智能监控，有效保障铁路行车安全。

从现有研究成果来看，铁路机车司机行为监控相关研究主要集中在利用传感器信息和特征提取算法针对司机疲劳状态进行识别检测。近几年，随着深度学习技术的发展，不少学者提出了基于机器视觉的机车司机行为识别方法。张瑞芳等、姚巍巍等将机车司机驾驶行为总结为离岗、正常工作、接听电话、挥手、趴睡以及站立6 类，提出基于卷积神经网络进行识别的技术方法。但上述模型算法，一是缺少对机车乘务作业环节的系统梳理，仅将机车司机驾驶行为进行笼统的分类；二是其实际识别的准确率并不理想，对于作业环境复杂、作业环节繁多的机车驾驶作业行为而言缺乏普适应用价值。

本次研究首先通过梳理机车乘务作业标准流程建立相应的司机日勤作业行为的安全监控项点体系，其次根据实时、智能监控等5 项要求初步设计了一套相应的安全监控系统框架，在此基础上针对具体监控项点提出了机车司机作业行为的智能监控实施方案，包括伴随作业过程的项点识别流程设计及具体识别内容的确定、具体项点识别内容的作业行为标准模板的建立、具体项点作业行为满足标准要求与否的实时识别判断方案等，并基于车载音视频和机车LKJ 等多源数据、采用深度学习方法，选择列车驾驶过程中“信号手比确认”这一典型项点进行了实例验证。

1 监控项点体系梳理

机车司机日勤作业具有相对固定、规律的特点，即列车处于何种运行阶段、位于特定行驶位置时所对应的司机驾驶作业行为是确定的。因此，可利用列车运行监控装置（机车LKJ）数据将一次连续的出乘划分为一组离散的作业环节与关键项点，对机车司机日勤作业中涵盖的所有常态项点进行全面梳理，保证关键项点监控识别的全覆盖、不疏漏。

本文以《机车乘务员一次乘务作业标准》作为监控要求设计的主要依据，按照机车司机日勤作业的8 大阶段“出勤—接车—出段—挂车—发车—开行途中—终到入段—退勤”对项点体系进行划分，并依次对除出勤、退勤外的各环节内关键作业内容进行梳理，分析其作业要求及机车司机对应的标准操作，建立关键项点监控体系，部分示例如表1 所示。

表1 机车司机日勤作业关键项点监控体系（部分）

该日勤项点监控体系，覆盖机车司机日勤作业中自接车至终到入段的6 大主要作业阶段16 个关键作业环节，最终得到共计66 个日勤监控项点。其中，接车阶段主要包括“开启系统，核对信息”、“机车试验”以及“制动机试验”等在内的5 大作业环节，共梳理出16 项监控项点，涵盖了司机接车后从录入核对相关揭示信息到完成机车各项性能设备试验的所有常规作业。出段阶段主要包括“库内行走”环节中的“定标打点”、“联系进路”等5 项监控项点。挂车阶段主要包括机车进站后挂载车列并进行相关试验的“连挂作业”、“贯通试验”、“试风试闸”及“列车制动机全部/简略试验”共计4 大作业环节17 项监控项点。发车阶段主要涵盖了机车自始发站以及沿途中间站发车时的“发车准备”、“司机瞭望”以及“出站定标打点”共计3项监控项点。途中运行阶段主要包括“途中运行”、“进站”以及“常用制动”3 大作业环节共17 项监控项点，涵盖了列车常态下途中运行时的所有常规检查、驾驶作业，各中间站、终到站进站时的信号、股道确认作业以及常规制动停车作业要求。终到入段阶段主要包括终到站的“车列摘解”以及最终返回机务段的“入段”2 大作业环节共8 项监控项点，涵盖了列车终到后对车列的摘解操作以及入段后的停车签点、定标打点和机车检查等操作。

2 监控系统框架设计

以上通过对监控项点体系的梳理，明确了机车司机监控识别的系统需求。以此为基础，本次研究构建了机车司机日勤作业安全监控系统框架，如图1 所示。该系统满足作业行为自动分析、实时警示、多源数据融合诊断、系统全面、普适移植的5大功能需求，由数据采集与传输子系统和日勤作业监控预警子系统组成，共同实现对机车司机作业的自动识别与实时警示。

图1 机车司机日勤作业安全监控系统框架

2.1 数据采集与传输子系统

数据采集与传输子系统是机车司机日勤作业安全监控系统的基础。该子系统基于机车车载安全防护系统（6A 系统）、列车运行监控装置（LKJ 系统）等数据采集设备获取列车及机车司机相关信息，通过沿线5G 信号基站实现机车数据与中心处理服务器之间的车地无线高速传输。

其中，视频数据采集自机车6A 系统，包括机车一端、二端驾驶室，一端、二端前方路况、以及机车中部两个视角共6 个视角的视频。音频数据采集自机车司机出勤后全程携带的录音笔。LKJ 数据来源于列车运行监控装置，涵盖了包括列车时速、区段限速、列车运行位置、线路基础设施信息（如：前方信号灯）以及制动风压等一系列列车运行信息。通过车载终端与轨旁基站实现5G 高速数据传输。

2.2 日勤作业监控预警子系统

日勤作业监控预警子系统实现对司机日勤作业全过程中所有关键环节驾驶行为的监控识别。利用中心处理服务器获取的机车音视频及LKJ 数据，参照所建立的日勤作业关键项点监控体系，将司机驾驶行为与对应项点的标准模板进行实时识别比对，并将结果及时反馈以纠正其违规不安全行为。由于目前车地通讯主要通过机车无线通信设备（CIR）实现，往往会产生一定的时间延误。因此系统将在机车驾驶室内加装一块具有无线信号传输功能的信息提示面板。当系统识别出机车司机出现违规行为时，实时将反馈信息通过5G 信号基站传输至车内信息面板，及时提醒司机做出整改纠正。

3 安全监控实施方案设计

在机车司机作业安全监控系统中，除了在宏观层面需要研究设计一个系统、全面的日勤作业项点监控体系外，还需要在微观层面针对每一个关键项点设计相应的监控实施方案，主要包括伴随作业过程的项点识别流程设计及具体识别内容的确定、具体项点识别内容的作业行为标准模板的建立、具体项点作业行为满足标准要求与否的实时识别判断方案等。关于项点识别流程设计和具体识别内容的确定参见以下典型案例部分。项点识别内容标准模板建立和项点作业行为实时识别的主要思路与方法如下：

首先是项点识别内容对应的作业行为标准模板的建立。机车司机作业过程中项点识别内容对应的作业行为标准模板是判断司机是否出现违规违章行为的依据，也是项点监控方案的关键。如何建立一套科学、合理的项点识别内容对应的作业行为标准模板尤为重要。现有应用中，大多是利用单一数据源建立标准模板，但任何单一数据都存在一定的局限性，如：视频数据受限于摄像角度，语音数据受限于环境噪声以及LKJ 数据无法反映信号瞭望等作业。因此，本文提出综合使用音视频及LKJ 多源数据，在列车运行至途中关键作业环节时，结合LKJ 数据中的列车位置等信息，通过多源数据融合互补和深度学习方法建立该特定时刻机车司机特定语音和动作行为的标准模板。以视频动作为例，在采集大量机车驾驶室视频图像的基础上，首先通过人工图像标定筛选出操作动作正确的样本，然后基于深度学习框架对模型进行训练，最终建立起各项点的驾驶行为动作特征标准模板。

其次是司机具体项点作业行为满足标准要求与否的实时、智能识别监控。主要是通过特征提取和标准比对加以实现，具体实现原理和方法与标准模板建立相同。在标准行为模板建立后，实际识别时只需对样本数据完成一次深度学习网络的正向传播过程，提取相应特征并与标准模板对照即可实现自动监控。

4 初步实例验证

本文选取“信号手比确认”典型项点进行监控方案设计。该项点规定：列车运行中，机车司机必须对所有地面主体信号显示全部进行手比确认呼唤（应答），自动闭塞区段分区通过信号显示绿灯，值乘速度120km/h 及以上客运列车、特快货物班列时，只手比不呼唤（带有三斜杠标志预告功能的分区通过信号机除外）。该项作业在列车运行途中高频出现，且作业内容相对重复，易使机车司机厌倦或忽视。

4.1 典型项点识别流程

首先，根据机车LKJ 数据记录的线路基础设施信息（即沿线信号机类型及具体信号）和列车的实时运行位置与运行状态，对列车前方信号机类型、距离进行实时监控，并在进入规定范围时执行对应信号的手比确认作业识别，如图2 所示。

图2 “信号手比确认”项点识别流程与要求

其次，利用机车6A 系统驾驶室内摄像头获取司机驾驶行为的视频数据，依此对“信号手比确认”作业中的手比手势进行识别。当LKJ 装置反馈前方信号为双绿灯、绿灯或绿黄灯时，乘务班组主司机应做出“右手伸出，食指和中指并拢，拳心向左，指向确认对象”的手势；当前方信号为黄灯时，乘务班组主司机应做出“右手拢拳伸拇指直立，拳心向左”的手势；当前方信号为双黄灯或黄闪黄时，乘务班组主司机应做出“右手拢拳伸拇指和小指，拳心向左”的手势；当前方信号为红灯时，乘务班组主司机应做出“右手拢拳，举拳与眉齐，拳心向左，小臂上下摇动三次”的手势。同时利用司机随身携带的录音笔，可对不同信号的语音呼唤内容进行识别。

4.2 数据预处理

采集2019 年11 月8 日凌晨K1555 次列车机车驾驶室监控视频作为样本数据，按照1 帧/秒进行剪辑，共得到14 711 张样本图像。对其进行标定分类和旋转扩样，各类样本统计结果如表2 所示。

表2 样本图像分类统计

其中，“正常驾驶”指机车司机正常驾驶作业，无其他交互干扰动作（立岗、与调度通话汇报、吃零食等）。“手指信号”指司机在信号机前规定范围内通过手指信号进行确认的动作。“拢拳”指司机手指信号后需拳心向左拢拳确认的动作。其他动作包括两类，一是不在本项点识别范围内的其他驾驶交互动作，例如：立岗、CIR 无线通话、巡检等；二是各类干扰小动作，例如挠头、吃零食、伸懒腰等。样本示例如图3 所示。

图3 样本图像示例

4.3 模型配置

选择ResNet50 卷积残差网络作为预训练模型进行迁移学习。其优点在于模型学习所需样本数据量较小，无需花费大量人力、时间进行大规模标定分类，可较高精度实现对“信号手比确认”项点中“正常驾驶”、“手指信号”、“拢拳”和其他动作等多种行为标准模板的建立。

（1）网络结构

为特化该泛用预训练模型，在ResNet50 模型最后的softmax 函数分类FC 层前，新增3 个全连接层用于加强对司机行为图像的特征提取，3 个新增全连接层的维度分别为1 024、1 024 和200，激活函数选择ReLU 函数。为了避免过拟合现象的发生，给各参数权重添加L2 范数约束，L2 正则化参数λ=0.01。

（2）激活函数

以ReLU 函数作为每个卷积层后的激活函数，用于将输出结果非线性转换，见式（1）：

以softmax 函数作为最后一个全连接层的激活函数，用于对所提取的最终特征进行分类，见式（2）：

式中：P(x=j)为样本x 属于第j 类的概率；W为第j 类的参数权重向量；N 为分类类别总数，取N=4。

（3）损失函数

因实验目的为对司机动作图像进行识别分类，因此选择交叉熵损失函数作为模型的损失函数，见式（3）：

式中：L为均方差损失值；N 为样本总数；y为样本i 的真实值；f(x)为样本i 的函数预测值。

（4）优化算法

选取Adadelta 算法作为模型反向传播过程中训练更新参数的优化算法，见式（4）至式（6）：

式中：E[▽θL(θ)]为第t 次迭代梯度的加权移动平均值；E[Δθ]为第t 次迭代参数θ变化量的加权移动平均值；γ 为加权移动平均的权重，通常可取γ=0.9。

4.4 结果分析

实验将包含吃零食、挠头、立岗等其他项点动作及干扰动作在内的图像作为第4 类动作—“其他动作”加入模型进行识别分类，以验证模型的识别准确率和鲁棒性。经迭代优化，最终实现对几类动作图像的较准确分类，测试集的平均识别准确率达到91%。模型迭代的损失函数和识别准确率如图4、图5 所示。

图4 损失函数

图5 识别准确率

分析实验结果，可看出再训练后的模型具备以下几个优良特性：

（1）收敛速度快

模型在训练中迅速实现了损失函数的收敛，主要有两个原因：①预训练模型较为完善，仅需要对模型内参数进行小幅度学习更新以及3 个新增全连接层内参数进行学习便可实现损失函数的收敛；②机车司机对信号手比确认有严格的动作规范，因此“手指信号”、“拢拳”等动作都较为标准，使得每类图像内部一致性相对较高，各类图像之间区分度较高，高质量的样本使得模型的学习较为容易。

（2）一致性良好

从图4 可见训练集和测试集的损失函数保持了较好的一致性，说明模型训练未出现过拟合现象，模型的表现在训练集和测试集上是比较一致的。

（3）准确率高

模型在测试集上的平均识别准确率达到90%以上，具备较为优异的图像识别分类表现，验证了上述司机行为监控方案实施的有效性。

5 结论

本文从系统工程角度，基于机车乘务一次出乘作业流程建立了系统、全面的项点监控体系，初步搭建了满足实时智能要求的安全监控系统初步框架以实现机务作业的自动监控分析和实时提醒纠正，对于铁路机务部门对司机作业行为的监督从事后诊断转向事前防控，保障铁路行车安全有着重要意义。

在具体项点监控方案实施层面，本文针对典型项点案例分析给出了相应的识别流程、明确了识别内容和相应的标准模板要求，并采用ResNet50 深度卷积神经网络，实现了该项点中4 类动作图像的高准确率识别，初步验证了本次研究所设计给出的监控方案的可行性与可靠性，为今后机车司机日勤作业安全监控系统的研究开发奠定了初步的思路与技术基础。