基于激光雷达+视频的城际铁路周界入侵监测报警技术研究

栗文韬，徐成伟，张万鹏，傅荟瑾，马 祯，杨 雪

0 引言

城际铁路的发展对城市功能的合理布局，如城市规划、交通、经济乃至社会环境等，起到了至关重要的作用，铁路已经成为典型的城际出行方式。城际铁路给人们带来快捷、便利、有序的交通和良好乘车环境的同时，使人们更多地感受到了生活质量的提高。然而，城际铁路系统运营环境复杂，在实际运营期间会受到外界多种因素影响而造成安全风险，一旦发生安全事故，人们在拥挤、封闭的空间内会产生恐慌及混乱现象，更加剧了安全风险发生的概率。因此，城际铁路运营安全尤其重要，亟需加强城际铁路运营安全监测管理，全面提升城际铁路安全防范能力，保障人民出行安全，更好地发挥交通服务功能，实现高效运营。其中，加强城际铁路周界安全防护、实现现代化的安全防范是保障城际铁路运营工作的重点。

铁路周界入侵是指外界目标(人、异物)未经允许进入列车运行区域界限。铁路依靠标准化的作业流程和封闭式的物理护墙来规范旅客的上、下车行为，但也存在少部分旅客异常行为会对列车的正常运营造成安全风险；城际铁路的路基、隧道口、停车场、动车段所等地段势必会受到气象条件和周边环境等因素的影响，增大了探测要求和难度。各类探测器在原理上也存在检测局限性，受环境影响后存在误报和漏报情况，探测距离也会下降。在轨道交通行业的安防系统中，我国城际铁路安防系统亟需更加稳定、可靠的技术防护技术方法和体系。结合我国铁路安防系统的发展现状可知，城际铁路安防技术和周界入侵监测系统的发展方向主要是智能化、系统化、集成化。经过实地调研后，总结我国城际铁路周界入侵技术的发展趋势如下。一是城际铁路周界入侵监测视频图像应更加清晰，拥有更为高清的视频图像，结合智能分析算法，能更为清楚、准确地识别城际铁路列车运行环境入侵行为；二是当前城际铁路周界入侵行为主要依靠视频进行监测，然而视频监测有着自身难以解决和克服的缺陷，结合雷达、红外热成像等其他传感器的独特优势，能使铁路周界入侵的识别效果大幅提升；三是未来城际铁路周界入侵监测的联动控制水平应进一步提高，入侵行为发生后应及时进行定位，并通过多传感技术融合的方式快速识别入侵目标类别。

激光雷达由于其极高的分辨率，获取信息多样(距离、方位、高度、速度)以及不受光照影响等特点，成为轨道交通行业周界入侵监测领域新的研究热点。通过激光雷达采集的点云数据，结合三维点云深度学习算法，辅以视频智能识别技术的复合检测，可以大幅提升识别准确率，实现全时段的周界入侵行为监测和报警功能。

1 研究概述

1.1 激光雷达技术

激光雷达是使用光进行探测和测距的设备，集激光、全球定位系统和惯性导航系统三大技术于一身，能够获得点云数据并生成精准的三维模型。按照探测维度分类，可以分为二维激光雷达和三维激光雷达。二维激光雷达一般平行于轨面进行扫描，三维激光雷达主要进行目标的三维立体扫描和建模。二维和三维激光雷达检测原理图如图1所示。

图1 二维和三维激光雷达检测原理图Fig.1 Schematic diagram of 2D and 3D laser radar detection

可以看出，二维激光雷达只能获取入侵异物的“线状投影”信息，而三维激光雷达可以获得异物“立体投影”信息，通过三维点云的分类和识别算法，可以对入侵异物进行分类，并根据分类结果定制不同的报警输出结果，提高报警信息的准确率。面向铁路实际运营场景，三维激光雷达能够更好地识别入侵目标类型并进行可视化展示，更加适合铁路周界入侵监测的需求；相反，二维激光雷达由于只能获得线状信息，目标立体信息的捕捉能力差，更易出现误报和漏报，因此，在铁路周界入侵技术研究中，三维激光雷达更契合使用需求。

1.2 视频智能识别技术

当前基于视频的目标检测技术已经在许多场景开展应用，包括人脸识别、行为分析、图像分类和无人驾驶等。随着近些年深度学习的发展，目标检测任务也受到了很大的关注，实现目标检测的方法也逐渐丰富，可以将目标检测方法分为基于传统模型的目标检测方法和基于深度学习的目标检测方法。

1.2.1 基于传统模型的目标检测方法

基于传统模型的目标检测方法主要分为目标区域选择、特征提取、目标分类3 个阶段。目标可以出现在图像中任意位置，不同目标在图像中的长宽比不同，目前主要检测的方式是使用不同的滑动窗口扫描整个图像，但由于存在大量的候选窗口，因而计算成本很高。因此，需要先使用特定算法筛选出目标对象可能存在的区域，减少计算资源的使用。为了识别不同的物体，需要提取视觉特征，以提供语义表示，这个特征通常需要手动设计。此外，还需要使用1 个分类器将目标对象从其他类别中区分出来。基于传统模型的目标检测方法取得了一些成果，但由于需要手动设计特征和滑动窗口，使得检测准确性依赖于目标区域选取的正确性和特征提取的有效性。

Viola 等[1]构建稳定且快速的目标检测框架Viola-Jones(VJ)，VJ 检测器通过结合“积分图像”“特征选择”和“检测级联”3个重要技术，大幅提高检测速度。VJ 检测器在人脸识别方面的表现突出，但很难被扩展到其他类型的物体。Dalal等[2]提出方向梯度直方图(HOG)特征，经过实验表明，其在异常人员的检测性能明显优于其他检测算法。Pedro 等[3]提出可变型部件模型(DPM)，它是多尺度、可变形的模型，算法首先计算HOG，然后利用支持向量机训练得到物体的梯度模型并进行分类。李乐等[4]在图像金字塔的尺度层间扩展一些子尺度级填补图像金字塔之间的空白，并使用高斯尺度金字塔生成子尺度图像并在子尺度上提取HOG特征。

1.2.2 基于深度学习的目标检测方法

通过深度卷积神经网络，特征提取变得容易，计算机的算力也足够支撑滑动窗口扫描整个图片。与传统方法不同，基于深度学习的方法由于具有更复杂的网络结构，能够学习到目标更为抽象的特征。Girshick[5]在区域卷积神经网络(R-CNN)和空间金字塔池化网络(SPP-Net)的基础上提出了快速区域卷积神经网络(Fast R-CNN)，Fast R-CNN 能够在同一个网络配置中同时训练检测器和边界框回归器。Ren 等[6]提出了更快速区域卷积神经网络(Faster R-CNN)，引入区域生成网络(RPN)用来生成高质量的检测框，为多尺度目标检测提供实用且准确的解决方案。Lin 等[7]利用深度卷积网络固有的多尺度、金字塔层次结构来构建具有边际额外成本的特征金字塔，提出具有横向连接的自顶向下体系结构，用于构建各种尺度的高级语义特征图，表现出了显著的改进。Xie 等[8]提出了面向对象的检测框架——面向旋转目标检测的区域卷积神经网络(Oriented R-CNN)，它是基于两阶段(Two-Stage)的检测器，在面向对象检测数据集上表现优异。Liu等[9]提出单次多边框检测(SSD)网络，SSD网络采用多尺度特征图进行训练，提升了基于一阶段(One-Stage)的检测器对小物体识别的精度。

Lin 等[10]发现在检测模型训练中图片中出现前景和背景极端不平衡是影响One-Stage 检测器准确度的主要原因，因而设计新的焦点损失(Focal Loss)函数和RetinaNet网络，准确度比其他Two-Stage检测器的准确度更高。Feng 等[11]提出基于One-Stage的行人物体检测和跟踪方法，称为CGTracker，它直接从物体的特征表示中提取物体特征，在MOT17数据集上表现优秀。Ghiasi 等[12]采用神经结构搜索法，在涵盖所有跨尺度连接的新型可扩展搜索空间中发现新的特征金字塔结构——基于自动架构搜索的特征金字塔网络(NAS-FPN)，它与RetinaNet 框架中的各种骨干模型相结合，与最先进的物体检测模型相比，实现了更好的准确性和延迟权衡。Tan等[13]为了方便进行多尺度特征融合，提出加权的双向特征金字塔网络(BiFPN)，还提出复合缩放方法用来统一缩放网络的尺寸大小。铁路应用方面，傅荟瑾等[14]开展基于深度学习的图像目标检测关键技术研究，利用图像预处理方法进行低照度图像增强，改善图像识别易受光照条件影响的问题。董学娟[15]通过准确的高速铁路基础设施视频数据标注，实现视频数据的结构化组织和存储管理，可以为智能视频数据分析提供准确有效的数据集，也为铁路信息资源整合和综合应用开发提供有利条件。

2 技术路线及场景适应性分析

激光雷达可以获得目标距离、方位、高度、速度、姿态、形状等参数，具有极高的分辨率，通过三维点云数据可以准确地获取高精度的物理空间环境信息。结合深度学习算法，实现人员和异物的入侵检测。

为保证城际铁路周界入侵的低误报、零漏报，通过结合激光雷达和视频报警信息融合算法，在保证零漏报的前提下，不断迭代优化监测技术方案，逐渐降低误报率，实现人员和异物的全时域、全天候、无死角检测。激光雷达+视频融合监测技术路线如图2所示。

图2 激光雷达+视频融合监测技术路线Fig.2 Technical routes of laser radar and video fusion monitoring

激光雷达作为基于光学的探测设备，优点如下。

（1）具有极高的分辨率。激光雷达具有极高的距离分辨率、角分辨率和速度分辨率，能够探测到物体更精密的特征。

（2）抗信号干扰能力强。激光的波长短，可以发射角度非常小的激光束，多路径效应小。

（3）获取的信息量丰富。可以直接获取目标的距离、角度、反射强度、速度等信息，生成目标多维度图像。

（4）可以全天时工作。不依赖于外界光照条件或目标本身的辐射特性，只需要发射激光束，通过探测发射激光束的回波信号来获取目标信息。

（5）可以检测动态或静态目标。对于动态或静态目标，激光雷达均可以进行有效监测，满足铁路周界人员和异物的监测需求。

同时，激光雷达在极端雨雾和烟尘影响时，探测性能会出现衰减，因而利用其他技术手段对激光雷达进行辅助是非常必要的。视频智能分析技术在激光雷达产生报警信息后，捕捉入侵位置视频并进行实时分析，复核雷达报警信息，能够有效降低误报的比例。同时，由于激光雷达的灵敏性，也决定了激光雷达+视频融合监测技术不会出现漏报的情况。但研究和试验过程中，存在以下研究难点和亟需解决的问题。①小目标点云数据稀疏问题；②烟尘雨雾等小颗粒干扰引起的误报问题；③激光雷达与视频雷视坐标配准及融合算法问题。

3 面向城际铁路运行场景的激光雷达+视频融合监测技术方案

3.1 总体架构

研究提出激光雷达+视频融合监测技术的总体架构由前端监测/报警设备、监控单元和监测中心3 部分构成。激光雷达+视频融合监测技术总体架构如图3所示。

图3 激光雷达+视频融合监测技术总体架构Fig.3 Overall technical architecture of laser radar and video fusion monitoring

3.2 软件架构

激光雷达对点云数据进行预处理，统一雷视坐标系，形成像素级的雷视融合数据。①通过坐标转换算法将雷达坐标系与铁轨走向重合；通过滤波算法，去除噪声点云。②将目标位置和大小发送给摄像机，定位拍摄目标，通过图像增强和滤波技术对夜间图像补强并进行干扰过滤，分别同时进行目标检测和分类。③进行时空关联目标跟踪，结合外部环境因素，确定雷视置信度，输出报警结果。激光雷达+视频融合监测技术架构如图4所示。

图4 激光雷达+视频融合监测技术架构Fig.4 Technical architecture of laser radar and video fusion monitoring

3.3 功能设计

基于激光雷达+视频的融合监测技术，主要具备数据采集、入侵行为判识跟踪、报警数据上报、声光报警、防区划定、布防/撤防、物联网安全和设备状态自检等功能。

（1）数据采集。采集现场实时数据，并推送监测数据至边缘计算设备。

（2）入侵行为判识跟踪。当发生入侵行为时，产生报警信息，实时跟踪入侵目标。

（3）报警数据上报。监测到入侵行为时产生报警数据，包括报警信息、图片、视频等。

（4）声光报警。产生报警信息时触发声光报警设备，发出示警信号，驱离入侵者。

（5）防区划定。将产生的报警判识数据，转化为报警信息，上报至监测中心。报警信息包括结构化数据和非结构化数据，非结构化数据主要包括点云数据、报警图片和视频。

（6）布防/撤防。支持监控中心对防区布防/撤防操作。

（7）物联网安全。系统硬件、软件及数据受到保护，具备物联网安全措施。

（8）设备状态自检。设备状态周期性自检，异常时发送报警信息并触发声光报警器。

4 关键技术

4.1 激光雷达与视频融合技术研究

激光雷达+视频融合监测技术的实现包括基于像素级数据融合技术和基于决策级融合报警技术。

（1）基于像素级的数据融合技术。基于像素级的数据融合技术框架如图5 所示。①经雷视坐标系标定后的激光雷达点云数据和视频流数据，同时输入目标检测和识别算法模块；②激光雷达将检测到的入侵目标位置和大小信息反馈至摄像机，摄像机根据雷视坐标转换矩阵实现目标的特写抓拍，同时进入视频智能识别阶段；③激光雷达和摄像机分别将报警结果输入至融合报警算法，结合置信度指标输出报警结果。

图5 基于像素级的数据融合技术框架Fig.5 Technical framework of pixel-level data fusion

(2)基于决策级的融合报警技术。使用激光雷达与摄像机进行检测结果融合，可以得到比激光雷达或者相机任一单一传感器更为可靠的结果，提高检测结果的准确率，同时提高检测效率，增强目标检测算法的鲁棒性。基于决策级的融合报警技术框架如图6所示。

图6 基于决策级的融合报警技术框架Fig.6 Technical framework of decision-level based fusion alarm

基于决策级的融合报警技术中主要包含基于激光雷达的点云目标检测方法、基于图像的二维目标检测方法及基于激光雷达与图像的融合决策方法3部分。

①基于三维激光雷达的点云目标检测方法。裁剪全局雷达点云得到防区内的雷达点云数据，并进行背景差分去除后，对点云数据进行坐标旋转，将其从雷达坐标系转至轨平面坐标系，即为雷达坐标系标定算法。后续对轨平面坐标系下的点云数据进行聚类分类等后处理操作。标定前后的点云成像如图7 所示，可以看出坐标系并非铁轨坐标系，经过标定后的点云成像和铁轨坐标系走势一致。

图7 标定前后的点云成像Fig.7 Point cloud imaging before and after calibration

之后进行背景差分计算。在监测区域没有任何障碍物的情况下保存1 帧点云作为背景，后续每帧点云数据与背景点云进行最近邻计算，如果距离小于10 cm则认为是监测区域内的背景点，大于10 cm则认为是动态点。得到差分结果后进行点云分割处理，根据空间、几何和纹理等特征点进行划分，同一划分内的点云拥有相似的特征。K均值聚类算法(K-Means)是最常用的聚类算法，它的基本思想是两个目标的距离越近，相似度越大，在研究中被用来进行点云分割。但是K-Means算法对于离群点和噪音点非常敏感。例如在距离中心很远的地方手动加1 个噪音点，那么中心的位置就会被带偏很远。因此在实际应用中很容易出现目标与地面分割为一类；或是雨雾天气下，目标与周边稀疏雨雾点云分为一类，错误的点云分割结果如图8所示。

图8 错误的点云分割结果Fig.8 Wrong point cloud segmentation results

为了解决K-Means算法的问题，着重验证基于密度的噪声空间聚类算法(DBSCAN)的效果。DBSCAN 算法将特征空间中足够密集的点划分为同一个簇，簇的形状可以是任意的，而且不会划分噪声点的簇。DBSCAN 可以用于各种复杂形状的数据集，能够识别出离群点，非常适合用来检测离群点。基于DBSCAN算法的点云分割结果如图9所示。

图9 基于DBSCAN算法的点云分割结果Fig.9 Point cloud segmentation results based on DBSCAN algorithm

②视频智能识别算法的实现。为了使城际铁路周界入侵视频智能识别算法具备强鲁棒性，研究采用不需要依赖于人工提取特征的深度学习方法。考虑到周界入侵检测需要具备实时性，选择One-Stage 的目标检测算法，即当前应用最广泛的YOLO 系列算法。但YOLO更多的是针对ImageNet，Pacsal VOC和coco等公开数据集，对于周界检测现场场景并不能获得如同实验中那样良好的效果，且无法获得公开数据集同等数量级的标注数据，为了避免过拟合等问题，针对周界场景对YOLOv5的网络进行修改，以确保更为适合，并且使用迁移学习对网络进行训练。

③激光雷达+视频融合算法的实现。融合跟踪算法是对原有激光雷达算法中的障碍物匹配算法的扩展优化。在原有的激光雷达障碍物匹配算法中，由于除了中心点和长宽高以外没有更多的障碍物特征信息，因而只是简单地使用匈牙利算法(Hungarian)对前后帧障碍物进行目标跟踪。在原有匹配算法中存在以下缺点：在前后帧障碍物数量不一致且障碍物间距很近或者多人行走有重叠的情况下，偶尔会发生匹配错误；小目标间歇性检测不到的情况下必然导致匹配失败。为了解决这些问题，融合跟踪算法引入图像作为辅助。

4.2 雨雾等干扰过滤技术研究

在实际使用过程中，激光雷达易受环境中烟尘固体小颗粒的影响。由于烟尘固体小颗粒表面凹凸不平，反射回激光雷达接收器的激光方向存在随机性，因而容易产生误报警。考虑到城际铁路场景下激光雷达过滤烟尘的功能需求，对于烟尘固体等小颗粒的过滤使用帧差法。帧差法是通过对点云图像中相邻2 帧作差分运算获得运动目标轮廓的方法，可以很好地适用于检测环境中固体小颗粒的情况。当监控场景中出现大量固体小颗粒时，相邻帧之间会存在较为明显的差别。通过对比相邻2 帧点云数据，得到2 帧点云图像之间的差值，判断其是否大于阈值，分析点云图像中物体的运动特性，确定点云图像中的小颗粒运动物体。三帧差法是在相邻帧差法的基础上改进的算法，在一定程度上优化运动物体粗轮廓的问题。相比之下，三帧差法比相邻帧差法更适用于物体移动速度较快的情况，如烟尘等小颗粒受大风影响快速运动的现象。

雨雾天气下采集的点云数据会随时间变化，且包含雨雾的点云数据在雷达反射面法线方向的分布符合正态分布特征，分析该特征可以过滤大部分误报。

4.3 雷视坐标系标定技术及工具研究

实现雷视坐标系标定后，可以为算法提供更多的信息，提高算法的准确率和效率。一方面，研究雷视一体化装置降低施工难度，减少施工成本和后期维护成本；另一方面，开发雷视现场标定工具，使利用既有综合视频监控系统实现雷视坐标系标定成为可能。

在现场实际运用过程中，发现雷达设备长时间高功率的运行，会造成雷达点云成像出现略微移动的情况，造成噪音点云的残留。标定偏移实例如图10 所示，蓝色是初始位姿的背景点云，红色是激光雷达经过一段时间运行后的背景点云。

图10 标定偏移实例Fig.10 Example of calibration deviation

为了解决这种情况，引入点云配准算法。点云配准算法指的是输入2 幅点云，输出1 个变换矩阵T，使得两幅点云的重合程度尽可能高。点云配准首先需要知道2 组点云的匹配关系，对于视觉三维点来说，可以通过视觉特征匹配来获取，对于雷达点云，可以通过最近邻匹配来获取。知道点云的匹配关系后，通过粗配准和精配准2 步来计算变换矩阵。粗配准指的是在2 幅点云之间的变换完全未知的情况下进行较为粗糙的配准，目的主要是为精配准提供较好的变换初值；精配准则是给定一个初始变换，进一步优化得到更精确的变换。其中，粗配准存在解析解，精配准通过非线性优化的方式进一步优化结果。

迭代最近邻点算法(ICP)是经典的数据配准算法，通过求取源点云和目标点云之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数，如果误差函数值大于阀值，则迭代进行上述运算直到满足给定的误差要求。

5 结束语

面向城际铁路运营过程中典型场景特点和安全风险隐患，研究提出基于激光雷达+视频的融合监测技术方案，阐述方案的系统架构、软件架构和功能设计。研究充分考虑运行区段中可能遇到的暴雨和强浓雾天气等干扰因素，通过雨雾过滤算法、ICP 配准算法、雷视融合算法降低误报率。研究提出的激光雷达+视频融合监测技术对人员入侵和异物侵限事件均能进行及时有效的监测，并对入侵目标进行捕捉和精确分类，满足城际铁路周界入侵的监测需求。未来，还应不断迭代优化监测技术方案、强化恶劣天气下的周界入侵算法鲁棒性，提升激光雷达+视频融合设备监测的性能水平。