基于视频录制和分析技术的行车作业检索分析系统研究

汤宝伟

安全和高效是行车指挥的两个永恒主题，它依赖于行车指挥设备功能的完备性和调度指挥人员的操作水平。CTC3.0 的应用［1］，在设备安全指挥方面上了一个新的台阶。但在实际的行车指挥过程中，在各种应急情况和非正常情况下，铁路运输部门急需一定的方法和设备能够对实际过程中的违规、不合理操作及时发现，进而通知操作员及时更正，防止安全隐患［2-4］。

基于CTC 报警信息和站场图扫描的行车作业检索分析系统在这方面进行了探索［5］，取得了显著的效果。但其应用存在局限性：一是依赖于CTC 报警信息，目前有些在用的TDCS/CTC 系统或者没有报警信息或者信息不全，因此无法进行行为检索；二是无法对菜单、按钮等操作过程进行记录，不利于对操作行为和习惯进行具体分析；三是没有对多工种的操作场景进行记录和合成，不能进行多业务的综合性分析。为了解决这些问题，需要同现有技术方案相结合，继续寻找新的技术方案。

1 目标方案选择

方案设计的目标是对操作行为能够进行全程全方位记录：诸如操作员在某时刻的语言，在终端上的输入，办理了哪些操作等。在此基础上，再对其操作行为的合理性进行分析。

在全程全方位记录方面，可通过记录键盘点击事件、鼠标点击事件并记录坐标，再使这些事件在相同系统中进行场景还原。然而此方案由于无法获得在事件发生时CTC 系统及外围系统状态，也就无法再现屏幕操作。因此，基于视频录制是唯一的技术选择。而传统的在操作终端上安装录屏软件，由于占用主机系统资源，难免会对生产系统造成影响，因此该方案行不通。而采取外设摄像头的方式，由于安装位置和角度的限制，画面失真和扭曲，效果也不好。经过对视频录制技术的分析，采用把HDMI 信号的输出通过重新编码压缩成视频的方式可以解决这一难题［6-8］。

在完成视频记录的基础上，对视频进行分析是另外一个目标。录屏的海量视频数据，单纯靠人工来分析，工作量大，成本高。而随着云计算的应用，AI 技术的发展，视频的识别和分析算法已经取得了显著的发展［9-10］，在识别率、实时性方面可以满足行为检索的需求。

综上所述，采用基于视频的录制和分析技术，实现对行车指挥行为的记录和分析是可行的，同时也能扩大系统的检索范围。

2 系统结构

如图1 所示，基于视频录制和分析技术的行车作业检索分析系统是在原有行车作业检索分析系统、TDCS/CTC 卫星授时系统的基础上，增加了语音采集、音视频录制、动态图形建模和流程定义、视频分析和视频文件存储管理等子系统。

图1 系统结构图

TDCS/CTC 卫星授时系统用于提供系统时钟，保证不同来源的音视频信号基于同一时钟基准进行视频编码，以便多个终端的录制视频在播放时能够实现同步；语音采集子系统采集工作人员的语音，生成语音记录；音视频录制子系统实现终端操作界面的录屏功能，并通过视频文件存储管理子系统实现文件存贮；视频分析子系统依据识别判定依据，对操作行为进行检索，并通过既有的检索分析系统的报警信息管理子系统进行报警信息管理。

3 主要功能及原理

3.1 音视频录制功能

音视频录制功能是指对车站值班员、调度员等终端进行不间断地屏幕录制，记录终端上所有的操作行为，同时记录工作人员的语音。音视频录制的工作原理如下。

1）获取图像。音视频录制子系统接收终端输出的HDMI 信号，从HDMI 的TMDS 时钟信号、Preamble （控制信息）、Data Island （数据包）、Video Data（视频信息）里面提取图像大小、帧速率信息、RGB 或YUV 通道图像数据，合成完整的RGB图像序列，根据获取TDCS/CTC 系统时钟和图像帧速率，计算图像实际产生的时间并进行标注，把产生的图像序列集进行缓存。

2）获取语音和字幕。音视频录制子系统接收语音采集子系统提供的语音数据，同时把语音转换成文字，用做视频字幕；并根据语音开始的系统时间和语音参数，设置字幕对应的播放时间，根据录音设备ID识别讲话人，并将其加入字幕当中。

3）视频编辑合成。音视频录制子系统根据用户设置的视频图像大小，帧速率、编码器，通过视频分析模块给出的视频录制指令（该指令用于指示合成哪段时间的视频或者全部合成，来节省硬盘空间），把在缓存中的图像序列集、音频、字幕进行视频合成，形成音视频文件。当同一时刻存在多个音频和字幕时，可将音频和字幕加入不同的通道，以保证信息的完整性。

3.2 基于视频的行为分析功能

基于视频的行为分析是指依据单个图像或者图像序列集和语音，对操作员的指挥行为进行检索分析，并给出分析结果，供操作员或管理人员调阅查看。

1）判定依据定义。为了计算机能够在图像中查找特定图像信息，需要对检索目标进行定义。利用动态图形建模、流程定义子系统完成这一功能。动态图像建模是用实际显示的图形来表示信号机、道岔、股道、进路、列车、供电臂、封锁区域、计划图表的各种状态；用一组图形序列来表达列车进路、调车进路建立和进路解锁时，道岔、信号机的前后序列变化，列车移动时轨道区段的变化、车次号的变化等，以便计算机通过图像间的变化来识别具体设备特征。流程定义是对设备故障下的各种非正常操作和调度命令等关键业务操作，以操作步骤的形式来表达，比如要电话通知哪些岗位，做哪些登记，做哪些设备操作，以及这些操作之间的先后关系等。

2）行为分析。视频分析子系统接收来自多台终端的图像序列、语音和字幕，依据判断依据进行识别。通过对图像序列进行扫描，识别报警信息框中的报警信息［11］，提取设备状态信息、操作信息及时间；识别信号设备故障类型及编号，并记录开始故障的时间；识别调度命令拟写、下发、签收操作及调度命令类型，并记录相应时间；对于设备故障的非正常操作，以设备故障时间为起点，识别经过该故障设备办理的接发车进路及时间，识别菜单操作命令、按钮操作命令及时间，依据这些时间在语音文字记录里面提取语音指令，并把这些事件按照时间先后进行排序，形成设备故障情况下的操作动作集合。同时，视频分析子系统还把来自不同终端的操作动作集合进行关联，以分析不同工种间业务的协同。视频分析子系统对操作动作集与正常的操作流程进行比对，形成分析结果。分析结果信息包括操作发生的时间，对应的设备、具体操作、操作人，分析结论以及视频对应的终端ID，通过既有检索分析系统中的报警管理信息子系统，对分析结果进行存储。

3.3 视频文件存储管理

视频文件存储管理子系统按组织把属于同一调度台、车站各个终端对应的多个音视频文件组成一组，并根据时间顺序进行存储。

3.4 行为统计及场景回放

既有检索分析系统中已经实现了行为的统计功能和场景回放功能。在行为统计方面，来源于视频分析的报警可以无差别地与原有系统兼容，进行统计显示。而场景回放功能需要选择一个视频播放器，增加对视频文件播放的支持，而且该播放器需要支持多路视频协同播放的功能，以观看各业务工种间操作的协同情况。

4 应用与技术创新

基于视频录制与分析技术的操作行为检索分析系统，在原有检索分析系统的基础上，进行了以下的应用和技术创新。

1）采用通过HDMI 信号录制视频的方式，解决了在操作终端上安装录屏软件带来的内存、性能、硬盘读写等资源消耗，进而影响生产系统的问题，填补了目前行车记录回放缺乏菜单操作、键盘操作、鼠标操作的空白，对补全现场信息具有重要作用。

2）记录多工种人员的操作行为，并将这些图像、语音基于统一的系统时钟合成视频，把多个相关联的视频分成一组进行存储，解决了现场信息零星分散，缺乏相关性，不易存储管理的难题，有利于全方位对操作行为进行立体综合分析。

3）通过对信号设备、图表等要素进行动态图像建模和标准流程定义，通过语音和图像识别技术检索，能够实时发现不合理的操作行为，解决了现有检索系统与各个厂家数据和协议的耦合问题，具有通用性强、检索范围广和易于拓展的优势。

5 结束语

基于报警信息和站场图扫描的行车作业检索分析系统已经应用于上海局、沈阳局、哈尔滨局、武汉局，在提高车务和调度人员设备操作和应急处理水平方面发挥了一定的作用。而基于视频录制和分析的检索分析系统，是多媒体技术与运输指挥系统的深度融合，符合利用技术保安全的发展方向，其在还原现场指挥真实场景，全方位信息整合方面提供了重要技术支撑，使得检索分析系统迈上了一个新的台阶。