基于多传感技术融合的高速铁路 周界入侵监测技术方案研究

傅荟瑾，郭鹏跃，徐成伟，张万鹏，马 祯

（1.中国铁道科学研究院 研究生部，北京 100081；2.中国铁道科学研究院集团有限公司 电子计算 技术研究所，北京 100081；3.中国铁道科学研究院集团有限公司 北京经纬信息技术有限公司， 北京 100081)

2022年北京冬奥会、冬残奥会以高速铁路为主要交通工具[1]，目前，以京张高速铁路(北京北—张家口)为代表的智能化高速铁路正在飞速发展，高速铁路沿线安全防护也变得至关重要，需要在高速铁路沿线桥头、隧道口、路基地段等易进入重点区段进行周界入侵监测[2]。目前高速铁路周界技防手段主要利用传感技术和电子信息技术[3]， 但是高速铁路周界入侵场景复杂多样，单一技防手段较难实现高速铁路周界重点区域全天候全覆盖监测。基于此，提出“一景一案”的高速铁路周界入侵监测技术方案，面向不同的典型场景，设计基于多传感技术融合的周界入侵监测技术方案，进一步提高高速铁路周界入侵监测水平。

1 高速铁路周界入侵监测技术研究现状

目前，高速铁路周界入侵监测技术前期研究集中于视频智能分析、振动光纤、脉冲电子围栏、红外对射等技术，随着技术的发展及试验的开展，出现了应用红外热成像、毫米波雷达、激光雷达等传感器进行监测的技术，相关技术发展现状如下。

（1）视频智能识别，是通过传统方法或基于深度学习方法实现入侵目标检测。近年来，随着深度学习技术的发展，尤其是卷积神经网络在图像处理中表现出远优于传统方法的识别效果，利用深度学习方法研究视频智能识别已成为主流方式[4]。视频智能识别可在第一时间查看入侵现场视频图像，提高报警响应速度，但是易受外界光影变化、恶劣天气等因素影响，易产生误报。

（2）红外热成像，是通过非接触方式探测目标辐射能量，将其转换为电信号，进一步转换为热图，以灰度级图像或伪彩色图像显示[5]。红外热成像可在无光源条件下对入侵者进行实时监测，受夜间、雨雪、雾霾等影响较光学摄像机小，但图像对比度低，分辨细节能力较差，不适用于精确识别。

（3）毫米波雷达，是指工作在毫米波频段的雷达。毫米波是指长度在1 ~ 10 mm的电磁波，对应的频率范围为30 ~ 300 GHz[6]。毫米波雷达分析回波特征信息，利用空间特征变换以获取目标的大小、形状、材质等特征参数，并将特征参数与已有数据库中目标特征参数比较、辨识与分类。随着毫米波技术的不断发展，识别准确度不断提升，在复杂环境、天气情况下性能稳定。

（4）激光雷达，是通过发射激光束以探测目标特征参数的雷达。首先将探测信号向目标发射，接着比较反射信号与发射信号，获得目标距离、速度、方位、形状等参数，进而可实现对目标的探测、识别和跟踪[7]。激光雷达具有分辨率高、隐蔽性好、抗有源干扰能力强等优点，但会受天气影响。激光雷达识别算法通过不断迭代优化，增强在恶劣天气下的识别准确度。

综上，目前高速铁路周界入侵监测技术已有一定的研究成果，其中基于视频智能识别的方法，在近年来已经成为周界入侵监测领域的主要发展方向，但由于各单一技术均有其局限性，需探索多种传感技术融合的监测方法，提高周界入侵监测准确性。雷达检测精度高，不受光照影响，可以和视频智能识别有效结合，降低漏报率和误报率。雷达与视频智能识别融合的方法在近几年逐渐成为高速铁路周界入侵监测研究热点，故可利用毫米波雷达、激光雷达与视频智能识别，研究多传感技术融合的周界入侵监测方案。

2 场景分析及方案设计

通过对沿线历史事故、入侵案例调研，分析各场景下主要入侵行为，将高速铁路周界归纳为5类典型监测场景：开阔地段的路基段、临近山体的路基段、路堑、隧道口和桥头。不同场景防护区域与入侵行为不同，因此不同场景有不同的周界入侵监测需求，需要研究与场景匹配的周界入侵监测方案。

（1）开阔地段的路基段。路基地段占沿线各类地段的30%，属于易进入区段。此场景中人员入侵为主要入侵类型，主要入侵方式包括攀爬、破坏栅栏、下挖通道等，主要干扰因素包括栅栏两侧植被、夜间环境光等。因此需要对人员入侵行为进行全时段的检测和识别。

（2）临近山体的路基段。此场景易发生山体滑坡、护坡坍塌、山体落石或树木等异物侵限和攀爬、破坏栅栏、下挖通道等人员入侵情况，主要干扰因素包括栅栏两侧植被、夜间环境光等。因此需要对异物侵限和人员入侵行为进行全时段检测和识别。

（3）路堑。路堑因其处于两坡底，容易发生由于护坡坍塌、坡旁落物、堑顶道路的车辆及构筑物掉落等导致的异物侵限和人员翻越线路入侵的情况，主要干扰因素包括线路两侧植被、夜间环境光等。因此需要对异物侵限和人员入侵等行为进行全时段检测和识别。

（4）隧道口。隧道口容易发生山体崩塌引起的大量落石侵限、山体树木植被掉落或者天气原因引起的滑坡坍塌，攀山者出于躲避极端天气、穿越山体等因素的考量，多通过隧道口进入隧道，主要干扰因素包括夜间环境光等。因此需要对异物侵限和人员入侵等行为进行全时段检测和识别。

（5）桥头。桥头是人员入侵桥梁的主要通道，周边环境复杂、人类或动物活动频繁。此场景中人员入侵是主要入侵类型，入侵行为包括攀爬桥头边坡、人为破坏等，主要干扰因素包括栅栏两侧植被、夜间环境光等。因此需要对人员入侵行为进行全时段的检测和识别。

可将5个典型场景分为2大类监测场景，一类是开阔地段的路基段、桥头等主要监测人员入侵的场景，另一类是临近山体的路基段、路堑、隧道口等监测人员入侵与异物侵限的场景。针对第一类场景，摄像机提供了良好的可视化分析结果，毫米波雷达由于其良好的环境抗干扰能力，在夜晚或雨雪等视觉识别下降的情况下，可以很好地弥补人员入侵的检出能力，故该场景采用基于“毫米波雷达+视频智能识别”的融合监测技术方案。针对第二类场景，激光雷达可通过三维点云数据准确获取高精度的物理空间环境信息，可检测静止目标，不受光照影响，结合在晴朗天气条件下识别精准的视频智能识别，实现人员与异物入侵监测，故在该场景下采用基于“激光雷达+视频智能识别”的融合监测技术方案。

3 监测方案

基于多传感融合的技术提出监测方案的技术架构和数据结构，并进行功能设计、性能设计、接口方案和网络方案设计。

3.1 技术方案

3.1.1 技术架构

摄像机实时采集铁路限界内的图像，具备夜晚补光功能，有效提升夜晚场景的识别能力。毫米波雷达实时监测限界内的动态目标，形成二维点云数据。激光雷达实时监测限界内的动态目标和静态目标，形成三维点云数据。雷达与摄像机进行实时同步监测，并将监测到的雷达信号与视频数据发送给雷达与视频分析模块，将识别到的入侵目标进行时间和空间上的对准，采用融合算法对两者的报警数据进行综合评判，并结合场景信息、天气信息等信息作为融合算法的输入条件。毫米波雷达+视频智能识别融合方案的技术架构如图1所示，激光雷达+视频智能识别融合方案的技术架构如图2所示。

图1 毫米波雷达+视频智能识别融合方案的技术架构Fig.1 Technical architecture of millimeter-wave radar + intelligent video recognition fusion

图2 激光雷达+视频智能识别融合方案的技术架构Fig.2 Technical architecture of lidar + intelligent video recognition fusion

3.1.2 数据结构

利用现场毫米波雷达/激光雷达、摄像机等前端探测设备采集的数据实现基于多传感技术融合的高速铁路周界入侵监测，当入侵发生时，前端探测设备产生报警并向服务器发送监测数据，服务器对前端探测设备发送的监测数据进行处理和判断，产生报警信息，服务器对生成的报警信息进行分析、计算和决策，将报警信息、设备状态信息等发送至监测平台。毫米波雷达监测数据如表1所示，其数据包含：接口类型、线路编码、采集时间、目标距离、目标速度、目标方位角等内容。激光雷达监测数据如表2所示，其数据包含：接口类型、线路编码、采集时间、点云位置(X，Y，Z)等内容。

表1 毫米波雷达监测数据Tab.1 Detection data of millimeter-wave radar

表2 激光雷达监测数据Tab.2 Detection data of lidar

视频数据以视频流的形式传输，传输时支持实时传输协议(Real-time Transport Protocol，RTP)。RTP的负载采用基于PS封装的视音频数据或视音频基本流数据。视频流的传输采用RFC3550规定的RTP协议，提供实时数据传输中的时间戳信息和各数据流的同步；采用RFC3550规定的实时传输控制协议(Real-time Transport Control Protocol，RTCP)，为按序传输的数据包提供可靠保证，提供流量控制和拥塞控制。雷达与摄像机数据结构如图3所示。

图3 数据结构Fig.3 Data structure

3.2 功能设计

基于毫米波雷达/激光雷达+视频智能识别的高速铁路周界入侵监测方案可以实现自动监测、报警管理和设备管理等功能，实现对典型场景人员入侵与异物侵限的监测，监测功能如图4所示。

图4 监测功能Fig.4 Detection function

（1）自动监测。主要监测信息为综合视频系统现场采集设备、加装的高清摄像机实时采集现场视频监测信息，以及毫米波雷达、激光雷达实时采集现场的监测信息，利用监测信息实现自动监测。

（2）报警功能。对现场的视频信息进行智能视频分析，与毫米波雷达/激光雷达产生的报警数据进行数据融合和综合评判，生成报警信息，在终端以图形、声音的方式告知值班人员，并支持远程解除。

（3）设备管理功能。可实时监测前端探测设备的工作状态，在终端以文字、图形等形式显示前端探测设备供电及网络状态，设备故障时实时生成设备故障报警信息。

3.3 性能设计

基于毫米波雷达/激光雷达+视频智能识别的高速铁路周界入侵监测方案性能需满足实时性、定位精度、准确性、可靠性、可用性和可维护性等要求。

性能设计指标主要为：在前端探测设备监测范围内从入侵行为开始到产生报警信息所需的响应时间不大于3 s；入侵报警定位误差不大于10 m；统计周期1个月内误报频次不大于0.002条/(km·h)；设备的平均故障间隔时间不小于10 000 h；设备支持7×24 h工作方式；设备的现场修复时间不大于30 min。

3.4 接口方案

接口方案提出了前端探测设备与监测平台间的数据通信流程和通信协议，包括监测数据、报警数据、报警视频、远程实时警告数据、设备状态数据、设备状态变化数据及命令数据等。

3.4.1 通信流程

（1）监测数据。设备向平台发送实时监测信息。

（2）报警数据。设备发生报警时向平台发送报警数据，直至收到平台的报警接收自动确认信息。报警状态持续时，设备周期性发送报警信息，间隔时间可调。

（3）报警视频。报警解除后，设备向平台发送报警开始前15 s至报警结束后15 s之间的报警视频。

（4）远程实时警告数据。发生报警时，平台向设备发送实时警告语音数据。

（5）设备状态数据。设备向平台发送设备状态数据，包括设备通信状态、设备状态等固定频率的数据。

（6）设备状态变化数据。设备向平台发送设备状态变化数据，包括设备通信状态、设备状态等变化触发的数据。

（7）命令数据。平台向设备发送命令信息，设备按照命令信息完成动作后，向平台发送一条该防区的状态信息。命令数据包括布/撤防、报警状态解除及报警阈值设置。在防区状态未变化时，设备每30 s向平台发送1次所有防区的防区状态信息；在某防区状态发生变化时，设备实时向平台发送该防区状态信息。

3.4.2 通信协议

（1）非图像类数据。采用MQTT协议，使用发布订阅模型，按业务内容使用不同主题进行消息传输，通信过程中使用JSON格式进行数据传输。

（2）图像及音频类数据。在基于IP的网络上传输时支持RTP/RTCP协议。

3.5 网络方案

网络传输采用有线网络，带宽不小于2 Mbps，摄像机、毫米波雷达、激光雷达等前端探测设备部署于现场，用于探测周界人员入侵与异物侵限，前端探测设备通过光缆与现场监控单元连接，现场监控单元将监测信息进行处理和判断，产生报警信息并发送至监测平台，现场监控单元通过有线网络与监测平台连接。网络结构如图5所示。

图5 网络结构Fig.5 Network structure

4 关键技术

4.1 基于视频智能分析的目标识别技术

在高速铁路周界入侵监测中，面临着黑夜、环境恶劣等多重影响，选用多目标跟踪ByteTrack作为周界入侵的视频检测算法。

ByteTrack是 基 于tracking-by-detection范 式 的跟踪方法[8]，其检测头采取基于Achor-free的检测算法Yolox，这是因为如果使用Anchor-based的检测算法，目标的ReID特征是在Anchor区域提取，Anchor和目标区域会出现错位问题，这将导致网络训练时存在严重的歧义。同时使用一种简单高效的数据关联方法BYTE，首先利用Yolox的检测结果把目标框结果分为高分和低分，第一次使用高分框和之前的跟踪轨迹进行匹配，第二次使用低分框与之前没有匹配上高分框进行匹配，利用卡尔曼滤波后轨迹之间的相似性，在保留高分检测结果的同时，从低分检测结果中去除背景，实现对遮挡、模糊等困难样本的跟踪。训练方面，在Yolox-x预训练模型的基础上，采用MOT-17，MOT-20，Crowdhuman，Cityscapes，ETHZ等数据集进行训练，使网络提高对入侵人员检测的鲁棒性以及对不同场景、不同天气条件下的泛化性以减少模型的漏报和误报。

4.2 基于雷达的目标识别技术

在临近山体的路基段、路堑、隧道口等高速铁路周界重点防护区段，通过部署激光雷达，划分和确定激光雷达监测区域范围，利用背景差分、聚类等方法对激光雷达采集的信号数据进行自动分析处理，若有异物或人员进入监测区域，监测区域中的点云个数会发生变化，通过背景差分提取前景运动目标，通过目标点云聚类判断是否侵限。

采用基于背景差分的三维点云聚类目标检测算法[9]，通过轨道附近部署的激光雷达，根据雷达设备部署位置、测距范围、扫描视场角，对纳入监测范围的沿线附近区域，进行异物侵限及人员入侵实时监测。标定感兴趣的检测区域，在无入侵的场景下选取一段连续帧的激光雷达三维点云数据，以高斯混合模型为基础，使用5个高斯混合分布对背景三维点云数据进行建模，构建该场景下的背景初始化模型。异物或人员进入监测区域后，雷达反馈实时信号的当前帧点云数据与背景点云数据的变化情况做差分计算，得到前景运动目标。将前景运动目标的点云数据进行滤波处理，滤除周边植被晃动、飞鸟等干扰项信息。基于点云的聚类方法及点云数据的坐标信息，由密度可达关系导出最大密度相连的点云集合簇，设置点云聚类报警阈值，进行报警评判。

4.3 基于雷达和视频智能识别融合的目标 识别技术

基于雷达和视频智能识别融合的目标识别技术实现的总体思路是，对摄像机拍摄的视频序列与雷达采集信号数据进行自动分析处理，包括对场景中感兴趣目标进行特征提取和融合，对目标行为进行分析和判断，与用户定义的判定规则进行对比分析，从而判断场景中是否发生周界入侵事件。

首先，对视频目标识别、雷达目标识别进行并行处理，得到视频识别的目标个数、位置、类别等信息，同时，毫米波雷达采用卡尔曼滤波实现入侵目标跟踪，得到高精度的点云信息，包括目标个数、位置、速度等，从这些信息中提取出每个目标在传感器中位置，并进行目标编号；接着，对雷达与摄像机的相对位置、摄像机外参和内参进行标定，通过标定得到变换矩阵，将目标位置通过坐标变换的方式，转换到世界坐标系[10]；最后，将得到的目标编号、目标位置输入决策算法，决定是否报警。

基于前期的实验数据，针对不同场景的报警数据，得到不同前端探测设备在不同距离、时间、天气下的报警权重，进一步，采用加权求平均的方法得到最终的报警置信度P，计算公式为

式中：i为第i个前端探测设备；ωi为第i个设备的报警权重；pi为第i个设备的报警状态(0或1)。

以良好天气的开阔地段路基场景为例，坐标系变换如图6所示，该场景中采用毫米波雷达和摄像机融合的方式，将雷达坐标系和视觉坐标系均转化到世界坐标系中，得到目标是世界坐标系中的位置等信息。接着基于距离、时间选择不同的报警权重，权重系数通过读取不同的配置文件获得，最终得到报警置信度，将其与报警阈值进行比较，如大于设置的报警阈值，则进行报警。

图6 坐标系变换Fig.6 Coordinate system transformation

试验验证阶段，首先在国家铁道试验中心进行验证，搭建开阔地段的路基段、路堑、隧道口等试验环境，新立杆安装毫米波雷达、激光雷达和摄像机等前端探测设备，在白天与夜晚不同时间下进行人员入侵与异物侵限试验，人员入侵方式以沿线路行走与横穿线路为主，行走方式分为直立行走与弯腰行走。接着选取京张高速铁路南口隧道至居庸关隧道入口处这一段为试验场景，由于试验环境限制，只安装激光雷达与摄像机，试验过程与在国家铁道试验中心的试验相同。每种场景进行100次试验，综合2处试验场景，融合监测识别结果如图7所示，融合监测试验结果如表3所示。

表3 融合监测试验结果Tab.3 Test results of fusion detection

试验结果表明，在 3 种典型场景中，晴好天气的条件下，毫米波雷达与视频融合的监测技术方案，对直立、弯腰行走的人员，在0 ~ 200 m监测范围内可以稳定监测；激光雷达与视频融合监测技术方案对人员监测能够实现零漏报、低误报，对体积为 20 cm×30 cm×40 cm的异物，在 70 m 内可稳定监测；但针对远距离、小目标的监测效果有待进一步提升。

5 结束语

针对高速铁路周界不同场景，研究 “一景一案”的入侵监测方案，提出在开阔路段的路基段、桥头，可采用基于“毫米波雷达+视频智能识别”的监测方案；在临近山体的路基段、路堑、隧道口，可采用基于“激光雷达+视频智能识别”的监测方案。进一步研究基于视频、雷达和多传感技术融合的目标识别技术，并在国家铁道试验中心和京张高速铁路选取部分路段进行了试验，试验结果验证了雷达与视频智能识别融合的监测方案可有效监测入侵行为。下一步可继续开展算法研究，提升对高速铁路周界入侵小目标远距离识别效果。