黄骅港智慧车站视频智能化应用研究

陈刚，袁钱芳

黄骅港站作为朔黄铁路中的一个重要节点，也是西煤东运的主要下海通道，在煤炭集疏运体系中有着举足轻重的地位和意义。调车作业是黄骅港技术站的主要作业环节，目前受限于现场系统的建设和工作方式，调车作业主要依靠人工操作，自动化水平低下；关键作业区域无视频覆盖，调车组人员必须现场盯控作业；车站的传统视频通过九宫格方式显示，众多摄像机画面堆砌，作业人员查看监控的效率不高，对翻车机前后的作业情况、车厢小门是否关闭、车厢是否脱轨，以及人员是否闯入作业线路等严重安全隐患，都无法通过视频监控及时发现，难以实现车站智能化全局管控的效果。

随着5G通信技术的普及，以物联网、人工智能等为代表的新一代工业技术快速发展，加速了中国铁路数字化转型［1-3］，同时也为改善作业环境、保障作业安全和实现黄骅港调车作业智能化水平全面提升提供了新的技术手段。本研究通过开发集AR实景可视化［4］和AI视频智能分析于一体的立体防控云防系统来满足现场智能化作业和安全生产的需求。

1 系统架构

智慧车站立体防控云防系统（简称“系统”）由感知层、接入层、服务层和应用层组成，系统框架见图1。感知层是系统采集信息的主要渠道，感知设备主要包括增强现实（Augmented Reality，AR）超级云眼摄像机［5］、雷球摄像机、音视频记录仪等；接入层分为视频接入和数据接入两部分，视频接入服务具备设备接入、视频存储、视频流转发功能，数据接入服务具备数据接入、转换和发布功能；服务层包含基础、数据、视频、通信、安全等管理服务，为上层应用提供服务支撑；应用层包含视频实景地图、调车作业安全监测、车辆状态智能监测等应用。

图1 系统框架

2 功能设计

2.1 视频实景地图

通过安装在车站制高点的AR超级云眼摄像机对黄骅港车站进行全局监控［5］，以视频实景地图的方式显示，同时结合增强现实技术对调车机、股道线路、建筑物、地面道路、设备装置、重点目标等进行标注［6］，画面直观全面。视频实景地图见图2。同时在较低位置设置低点摄像机，以视频标签的方式接入，可通过画中画的方式查看具体画面。在应急指挥场景下，通过高、低视频接力快速找到事发地点的画面，提高指挥效率。

图2 视频实景地图

2.2 调车作业安全监测

1）来车预警。系统通过接收调车自动驾驶控制系统推送的车辆运行信息，在车辆进入某一区段作业时，提前打开该区段的声光报警器，利用报警灯和语音提醒现场作业人员即将有车辆通过，起到预警作用。

2）入侵报警。系统对铁路作业线路提供全天候入侵检测及报警功能。使用智能雷球一体机来实现线路周界防范预警［7］，对入侵目标进行探测，解析出目标的距离、速度、方位等信息。该设备采用相控阵技术的毫米波雷达，同时支持多目标定位、轨迹跟踪，以及多方位联动视频跟踪，通过智能算法分析，在多种模式下滤除误报事件。对入侵事件进行实时多维感知、智能分析和综合判断，确定为入侵行为后触发报警［8］。同时，对上报的报警事件进行视频复核，确认无误后，及时推送给调车自动驾驶控制系统［9］，作为车列紧急制动的判断依据。

3）报警联动。通过毫米波雷达和球型摄像机的联动，实现目标的检测、跟踪和抓拍。系统接收到前端检测设备告警信息的同时，在软件客户端同步弹窗显示现场的实时视频，便于车站管理人员可视化复核。

2.3 可视化调车和车辆巡检

在翻车机房与一度停车位置设置制动缸、拨车机、夹轮器状态确认摄像机，以及道口安全监测摄像机和线路人员入侵监测摄像机。调车组人员可通过视频确认车辆推进线路、道口区域是否可以安全通行，夹轮器和拨车机是否就位等情况，打破原先只能依靠调车组人员沿线行走确认的僵局，提高调车作业的工作效率。通过调取翻车机房的低点摄像机监控画面，可对已完成翻车作业的车辆进行检查，查看车辆的完整性和煤是否清理干净等情况。

2.4 车辆状态智能监测

重载列车货车车厢一端装设旋转车钩，车辆另一端装设普通固定车钩。当车辆进入翻车机位时，翻车机带动待翻车辆旋转，以车钩纵向中心线为轴旋转180°，未进翻车机位的车辆静止不动，被翻转车辆与其连挂的旋转车钩一起翻转，实现不摘车作业，缩短了卸货作业时间。为便于区分辨识，通常在装设旋转式车钩的一端车厢外部喷涂醒目黄色标识，工程现场称之为“黄端”，所有进入翻车机房的车辆必须保持黄端一致，不一致时进行翻车作业会导致车辆脱轨等安全事故。通过翻车机房前后安装的摄像机，利用视频智能分析技术，及时发现黄端不一致、车厢倾斜、小门未关等异常情况，通过弹框的形式提醒作业人员及时处理（见图3），提高作业安全性的同时，也降低了现场作业人员的劳动强度。

图3 车辆状态智能监测

2.5 音视频管理和指挥调度

建设音视频一体化管理平台，对车站内配发的音视频记录仪统一管理，每天的作业视频可通过5G网络进行实时回传。同时，视频实景地图可以显示音视频记录仪（巡检员）的实时位置。图4为视频画面中动态设备的标签，当作业过程中出现紧急情况时，调度人员可通过点击标签直接进入视频通话模式，指导现场问题的处理。

图4 动态设备标签

3 关键技术

3.1 增强现实（AR）技术

增强现实技术也被称为扩增现实，是综合真实世界信息和虚拟世界信息内容的技术。增强现实技术的特点是三维跟踪注册、虚实融合显示和人机实时交互。三维跟踪注册将虚拟场景准确定位到真实环境中，对现实场景中的图像或物体进行跟踪与定位；虚实融合显示构建出文字、图片、音视频、链接等与物理世界结合，使物理世界和虚拟场景合为一体；人机实时交互可使用户快速获取虚实融合信息，并通过语音、按钮、手势等方式交互，实现所见即所得的效果［10］。

系统将AR超级云眼摄像机的实时画面作为现实场景，与车站调车作业、车辆状态、作业音视频等数据、信息标签结合，实现现实场景与虚拟场景的叠加，同时将信息标签注册到实时画面中，对场景中的音视频资源、作业人员进行跟踪定位，并可通过语音、按钮等方式与场景进行交互，形成车站AR实景全息化一张图管理的新模式。

3.2 视频智能分析技术

系统针对车站场景开发的视频智能分析算法，需要适应环境中不同的亮度、天气、工作人员、动物、车辆等因素的干扰，对目标智能识别准确性和报警逻辑抗干扰有较大挑战，无相关应用案例可参考，开发过程中累计策划十几种方案，如货车车号识别、铁路来车检测、货车车厢检测、股道上人员检测、夜间抗飞虫干扰、人体跟随、人体动作识别等。其中，敞车车厢黄端识别为室外全天候使用算法，场景较复杂、干扰项多，极具代表性。

敞车通过翻车机房进行翻车作业的前提条件是车厢黄端必须一致，故需对车厢黄端进行检测。若发现某一节敞车车厢黄端不一致立即抓拍，并结合识别到的车号信息，推送到系统报警中心进行报警提示。敞车黄端一致的检测方法涉及2种模型：敞车车厢和黄端识别采用单阶目标检测模型（You Only Look Once Versions 5，Yolov5）；车号识别采用二阶段文字识别模型［11］（Optical Character Recognition，OCR）。

3.2.1 模型训练

敞车车厢和黄端识别采用Yolov5模型，该模型训练分为样本策划、样本采集、样本增强、模型训练、模型评估5个步骤。

Step 1模型样本策划阶段。首先设计车厢类别，包括列车头、黄端在左车厢、黄端在右车厢、无黄端车厢共4种；同时策划样本特征，特征维度包括目标大小、图像明暗、天气、采集样本的时间段、车厢清洁程度。

Step 2样本采集阶段。根据策划的样本类型和特征，从现场采集用于训练和模型评估的样本数据。

Step 3样本增强阶段。通过图像翻转、图像裁剪、明暗变换、噪声干扰等方法，在采集的样本数据基础上扩充更多训练样本。

Step 4模型训练阶段。采用随机划分策略将训练划分成训练集和校验集。

Step 5模型评估阶段。训练出模型后，使用测试样本测试识别情况，获取模型评估指标，根据评估指标和使用情况，调整或者补充样本，再次训练和评估，最终使模型识别指标达到使用要求，获得敞车车厢和黄端识别模型。

车号识别采用二阶段OCR模型：第一阶段模型是文本区域识别模型，用于识别图片中的文本区域；第二阶段模型是文字识别模型，用于识别第一阶段获取的文本区域中的文本内容。采集现场车厢号图片，标注车厢号的位置和内容，用可微分二值化网络模型训练文本区域识别模型，采用卷积循环神经网络训练文字识别模型，获得车号识别模型。

3.2.2 检测判断方法

1）车号最佳选择方法。车厢从进入画面到离开期间，摄像机会抓拍到多张车厢图片，系统对每张图片进行分析，优先输出被识别频次较多的车号，如果识别频次一致，选择二者中识别置信度较高的结果作为最终结果输出。

2）车厢跟踪方法。两次识别目标属于同一节车厢的条件为：二者的中心距离小于阈值，且后一次识别框中心位置在前一次识别框中心位置运动方向侧。车厢矩形对象跟踪条件见图5。以2车为例，T2时刻识别的2车在运动方向侧，且S1小于阈值，故T2时刻中间车厢为T1时刻的2车。

图5 车厢矩形对象跟踪条件

3.2.3 检测流程

1）敞车车厢与黄端识别：按配置对实时视频流进行抽帧，在抽取的视频帧中通过敞车车厢和黄端识别模型分析目标股道是否存在车厢，若是，把车厢图片加入到车厢跟踪管理器中进行跟踪，并记录黄端信息，预处理流程见图6。

图6 敞车车厢与黄端识别流程

图7 车厢号识别流程

2）车厢号识别：获取车厢跟踪管理器中未处理的车厢图片，利用车号识别模型完成车厢车号的识别后，删除本次车厢跟踪对象，直到所有车厢图片处理完成。

3）识别结果推送：车厢跟踪结束后，选择跟踪过程图像中识别出的最佳车厢号及黄端朝向，推送结果。

4）应用判断流程：系统收到识别结果，判断车厢黄端方向与车列黄端方向是否一致，如不一致，获取本车厢号信息，推送到系统报警中心。

4 结论

本文对智慧车站的视频智能化应用进行研究，针对车站视频覆盖、快捷调用和视频语义化，通过增强现实技术，在视频实景地图上以静态、动态标签的形式进行视频和数据的融合。

通过雷达、球机联动检测线路周界人员入侵，视频智能分析算法检测黄端不一致、车厢倾斜、小门未关等故障，有效解决车辆推进、作业防护、翻前翻后车辆状态检测等场景需要大量人员投入的问题，在减少室外作业人员数量的同时提高了工作效率。

随着视频分析技术的进一步发展，在日常调度作业和应急指挥方面，视频系统查看内容更丰富、操作更便捷、联动更快速、指挥更高效，能为车站提供更多场景的智能应用，为最终实现车站无人化的安全运营提供支撑。