铁路安全视频监控和智能分析系统

王成亮，葛晖

（中国铁路济南局集团有限公司，山东 济南 250101）

0 引言

2016年，原中国铁路总公司（简称总公司）发布铁总建设〔2016〕18号文[1]，对设计时速200 km及以上铁路区间线路视频监控设置提出了明确标准，文件明确要求“单侧线路监视范围不应小于1.5 km”。中国铁路济南局集团有限公司认真贯彻落实总公司关于毫不松懈抓好运输安全的工作部署，积极响应关于加强铁路综合视频智能识别应用技术研究的部署，组织相关部门成立“铁路安全视频监控和智能分析系统设备”课题组，聚焦“行人非法上道、沿线非法施工损坏铁路设备设施、上跨桥及公铁并行区段机动车肇事侵入线路”等长期影响铁路运输安全的问题，联合相关科技开发公司，运用物联网、大数据、人工智能等技术手段，攻克多项技术难题，历时2年成功研发了基于深度学习算法的铁路安全视频监控和智能分析系统。该系统利用视频识别和深度学习等新技术，自动发现影响铁路安全的危险目标，实现无人值守条件下的目标识别和预警功能，能够有效应对铁路沿线的安全威胁。

1 现状分析

截至2018年底，我国高铁营业里程超过2.9万km，伴随着铁路的迅猛发展，铁路周界安全防范成为重点关注的课题。《高速铁路反恐怖行业标准》[2]把高铁运行系统作为防护目标，明确需要运用智能化的视频监控系统与周界入侵报警系统，而且系统应具备“昼夜监视、高清、全覆盖、系统联动、异物侵限监控、智能识别与分析、有效发现、驱赶、防止人为破坏和攀爬翻越入侵”等功能。目前铁路周界安全防范技术主要是利用传感器技术和电子信息技术，对非法侵入周界的行为进行监测，当有人、动物攀爬或穿越预定的防区时，设备产生报警信息。目前大多数周界防范手段都是非可视化防范，如物理阻拦、振动光纤、脉冲电子围栏、光波对射等[3]。总公司于2015年发布《高速铁路周界入侵报警系统总体技术方案》[4]，对上述防范技术进行了应用说明，但这些防范技术在应用后由于误报率高，无法适应铁路沿线、重点区域安全保障工作的需要。因此开发一款误报率低、适应能力强的铁路安全视频监控和智能分析系统势在必行。

2 总体方案与主要组成

基于视频深度学习的铁路安全视频监控和智能分析系统是铁路周界防范最直接、最有效、最可信的方式，具有全天候、无人值守、低误报率等独特优势。系统在满足日常视频监控的基础上，通过在视频画面上设置需要重点监控的周界入侵检测区域，可实现单侧线路1.5 km周界入侵检测功能。系统采用激光摄像机与红外热成像摄像机实现白天和夜晚的连续监控；采用激光摄像机与红外热成像摄像机高精度联动方式，实现区间线路、咽喉等监控的全覆盖；采用前置目标智能识别与检测技术，实现人员入侵、火警等异常情况的智能自动识别，有效克服了人员巡逻带来的巡视空隙缺点，与其他非可视化防护存在的高误报率、低可靠性等问题相比，有效提高了防护准确率和实效性[5]。

系统主要由3部分组成：前端视频采集系统、前置视频分析报警系统、后端综合管理平台（见图1）。

2.1 前端视频采集系统

前端视频采集系统主要包括：激光摄像机、热成像摄像机（可选配语音播放系统等）。

图1 系统组成

前端视频采集系统是整个系统的“眼睛”，主要用于对防护监控区域的全天候连续成像、视频采集。前端视频采集系统由3个用于目标检测的热成像摄像机和2个高精度联动激光摄像机组成（见图2）。热成像摄像机主要实现全天候、大场景目标检测、预警，激光摄像机实现热成像摄像机报警后的细节观察及二次确认。

图2 前端设备及监控区间

2.2 前置视频分析报警系统

前置视频分析报警系统利用热成像摄像机提供目标位置，激光摄像机自动定位跟踪目标，并进行二次判别。2种不同类型夜视摄像设备组合在一起，实现从大场景发现可疑目标，到局部场景把目标拉近放大、检测、跟踪、识别、报警等功能。该系统主要负责将前端视频信号、报警信号以及各种其他数据进行智能分析及联动，从而实现目标快速探测识别，保证系统报警信息的时效性[6]。

夜晚越界报警及云台联动视频截图见图3。图中展示了系统远距离夜间成像效果，具备人形目标识别、越界报警及高清激光夜视联动、细节放大等多种信息。

图3 夜晚越界报警及云台联动视频截图

2.3 后端综合管理平台

后端综合管理平台是一套集成化、数字化、智能化的平台，在一个平台下即可实现多子系统的统一管理与互联互动，真正做到“一体化”管理。平台通过Web服务，实现监控区域的划线布防、撤防、更改以及摄像头配置等功能，提高了周界布防的灵活性，设定完成即可生效。

平台自动将告警按重要告警、次要告警、一般告警3个级别进行划分，也可根据用户需要设定告警的具体归属级别，实现对全路所有告警信息和告警视频的订阅、查询，并对系统内部视频内容分析告警信息进行处理，在系统中自动存储告警级别、类型、时间及内容等相关信息。

用户可通过客户端配置相关信息，实现告警信息的短信、声光、弹出图像等方式提示。通过多画面模式，浏览经智能分析后的监控视频信号，也可选择特定位置监控进行单画面浏览，便于用户实现对整体情况的全局监控以及特定位置的重点监控。同时，客户端也可对传送的告警信息进行独立解析，并在列表中显示告警信息。用户可点击告警信息，查看视频分析结果，并作出相应处理。客户端会在本地建立小型数据库，保存最近3 d收到的告警信息，并提供本地信息检索功能。

3 关键技术

3.1 多光谱摄像机集群联动技术

热成像摄像机和激光摄像机联动要求1 500 m处目标定位误差不超过3 m，使用多台固定安装的热成像摄像机覆盖完整的监控范围，检测画面中的所有可疑目标。激光摄像机依据热成像摄像机的检测结果，观测目标细节信息并辨别确认。热成像摄像机得到的是可疑目标在视频画面中的相对位置，而激光摄像机则需要目标的实际空间位置才能够对目标进行定位观测。针对该问题，设计开发了热成像摄像机与激光摄像机空间 位置匹配标定解算算法，通过算法标定解算[7]，可将目标在热成像视频画面中的相对位置准确解算为激光摄像机的物理方位及镜头焦距参数，并利用激光摄像机的高精度伺服系统，准确响应解算参数，定位目标并观测目标，对可疑目标进行识别确认[8]。

空间位置匹配标定解算算法主要采用以下技术：

（1）热成像镜头畸变消除：为了保证空间位置标定算法的精确性，使用棋盘格模板对热成像摄像机进行标定，消除成像设备的光学畸变问题。

（2）空间位置对应：利用仿射变换模型来代表它们之间的差异，通过选择标定点，计算仿射变换参数[9]，将热成像摄像机的画面点与激光摄像机的视场中心点进行对应，实现控制位置对应。

由于采用多热成像摄像机对应多激光摄像机的系统架构来保证监控区域的全覆盖，在实际使用中就存在同一时刻多台热成像摄像机控制单台激光摄像机，或者激光摄像机在响应某台热成像摄像机联动消息过程中，另一台热成像摄像机的联动消息到来等问题，最终造成消息冲突，影响系统稳定性。为解决复杂条件下的命令完整性及命令冲突等问题，设计联动调度子系统，子系统消息队列、信息优先级排序及冗余信息过滤等保证联动系统能够正确执行指令，完成目标识别确认。单联动工作流程见图4，集群联动工作流程见图5。

图4 单联动工作流程

3.2 多光谱变焦系统全天候焦点快速匹配技术

根据需要监测目标的距离，变焦后需要重新聚焦，一般采取手动聚焦或自动聚焦方式。手动聚焦需要人工干预，效率低下且需要人员值守。自动聚焦虽无需人员干预，但其自动聚焦过程存在由模糊至清晰的反复过程，时间一般为3 s左右，该过程对目标的识别会产生严重影响，会导致快速移动目标的丢失。高清可见光成像系统、高清红外变焦成像系统均存在该问题。系统运用光学无热化、智能焦点快速匹配、精密聚焦定位光机电结合技术，通过大量模型建立与分析，实现多光谱变焦系统全天候焦点快速匹配，在不同时刻、不同距离、不同照度、不同温度等条件下，均可直接定位至清晰点，焦点位置匹配快速、精准。

通过使用被动无热化设计方法和变焦距设计方法，使镜头透镜材料的热特性和机械结构件热特性得到合理匹配，温度变化时，它们之间的作用总是相互抵消，像面的位置能够一直保持在常温时的位置。因此可在-40～60 ℃温度范围内、在全焦距段连续变焦时，均可得到良好的像质。

焦点快速匹配技术要求聚焦定位机械传动位置精准，在此采用带位置精准反馈的光电编码器直流减速电机，编码器传动位置反馈精度为0.005 mm，精密传动丝杠与电机轴为一体化设计，保证了焦点位置精准定位、快速响应，光学系统全天候焦点匹配时间≤1 s。

图5 集群联动工作流程

3.3 背景无关嵌入式高清视频目标实时识别技术

基于深度学习算法的目标识别技术不受视频画面背景变化影响，识别明显优于传统的背景建模方法，具有很好的抗干扰能力[10]。

深度学习概念源于人工神经网络的研究，算法通过学习一种深层非线性网络结构，依据目标自身特征做识别计算，通过组合低层特征形成更加抽象的高层，从而表示属性类别或特征，实现复杂函数逼近，具有强大的从少数样本集中学习数据集本质特征的能力，因此系统具有良好的性能指标。系统实际应用时漏报率与误报率测试结果见表1，系统时延测试结果见表2。

表1 系统实际应用时漏报率与误报率测试结果

表2 系统时延测试结果

4 结束语

铁路安全视频监控和智能分析系统自2017年初在京沪高铁德济25号塔上安装，在实际场景下对1.5 km范围内开展全天候、全区间的自动目标检测、跟踪、识别、报警等方面的现场试用。试用结果表明，系统能够有效改善原有监控设备夜间监视能力不足的问题；通过热成像图像智能检测、激光摄像机高精度实时联动跟踪识别，在1.5 km范围内进行无盲区昼夜监控，对高温、雾霾、雨雪等不良天气适应性较强；基于深度神经网络识别算法，开发前置目标智能识别软件，对铁路现场中的人形、火源等目标进行智能高准确率识别和预警，实现对铁路监控区域报警目标快速定位和主动防御。该系统的功能亮点为：智能化程度高、识别目标及时精准、全天候，且对外部自然环境自适应、成像效果好、系统技术设备表现稳定可靠。总之，该系统技术及其设备、资源供应条件比较成熟，在铁路周界安全防范中具有推广应用价值。