基于综合视频监控系统拓展图像智能识别功能的方案研究

娄 昆

(中国铁路设计集团有限公司，天津 300308)

1 概述

图像识别技术，是现代化IT 工程中必不可少的技术之一，早期该技术产生的主要目的就是代替人工进行重复的图像处理工作，借由计算机的算力优势，通过对图像的获取、预处理、特征抽取、筛选、分类及决策的过程，实现对图像的自动化识别。

近年来随着人工智能技术的发展，基于图像特征值卷积的深度学习模型逐渐完善，通过海量图片数据训练后的算法已经能够应用于商业化领域，其识别率、误报率等各项指标已基本满足运营使用单位的需求，且随着图片采集的样本增加，以及通过人工修改对图像、字符、格式等识别错误的修正，其准确率会随着使用时间的增长而逐步提高。

早期建设的铁路综合视频在数字化和智能化方面还有所欠缺，国内铁路综合视频的应用起步晚，但发展速度较快[1]。视频监控技术的发展目前已达到较高水平，已应用于家庭、工业、社交、无人驾驶等各种领域。目前国内摄像机产品线的同质化较为严重，除了在数值、硬件方面的堆砌外，软件优化也成为了主要竞争手段之一。

铁路综合视频监控系统已经进行了大范围的建设，图像识别的应用以及图像分析平台的建设尚未全面开展。铁路客运车站大都设计相应的视频监控系统，目前传统视频监控系统功能有限，传输数据、采集视频、录像存储等功能较为普及，图像智能分析的实景应用尚未被全面开发。为了充分利用视频数据，尽量挖掘有效信息。必须在系统已有功能的基础上增加智能监控部分[2]。如何部署图像识别相关系统，以及怎样在尽可能降低投资的前提下，在既有视频监控平台上拓展图像识别功能，将成为维管单位、设计单位、集成厂商、研发单位等相关单位的主要研究课题之一。

2 综合视频监控系统现状分析

铁路综合视频监控系统采用网络化、数字化视频监控技术建设，由视频节点、视频汇集点、视频采集点、承载网络和终端设备组成。其中，视频节点包括视频核心节点、视频区域节点、I 类视频接入节点和II 类视频接入节点；视频采集主要分布在铁路沿线区间线路和车站；视频节点间的视频承载网络是铁路数据通信网；视频终端包括用户终端（含显示设备）和管理终端。视频节点主要由管理单元、数据分发及转发单元、接入网关单元、告警单元、存储单元等功能模块设备组成[3]，现行标准体系已经淡化功能模块、功能单元的划分，系统具备以上功能即可满足运营使用需求。

现有车站视频监控无法主动提示关注重点，只能被动查看；无法根据区域、人员的位置信息快速定位监控画面，只能通过手动调整切换；不能实时掌握人员区域密度、候乘计划人数等情况，不能合理组织安排旅客候乘。这些问题对客运服务、生产组织、现场作业等都有着不同程度的影响，不利于及时处理生产和服务过程中发生的问题，也给快速预览现场画面、调取视频资源、获取有效作业信息带来一定困难[4]。

目前国内铁路行业综合视频监控系统已经基本实现全IP 化，存储模式主要分为IP SAN 存储模式及云存储模式。根据车站规模及运营管理模式，设置不同等级的视频节点、视频汇聚点，并配置网络设备及承载网络，为不同工点设置的摄像机提供接入条件。传统平台架构无法很好的承载海量数据的联网、存储、实况调阅、多用户并发等需求，从而推动视频监控行业向“云监控”方向快速演进[5]。

3 图像智能识别技术分析

由于近些年在一些公共场所发生过多起恐袭、突发事件，相关运营维护单位对安防的需求不断增长。具备视频智能分析的系统，通过对区域场景的实时监控，将分析结果反馈至运营管理单位，使相关单位可以第一时间响应，极大的提高安全防护等级。目前在铁路行业内，图像智能识别的应用解决方案主要有两类，分别是前端识别及后台智能分析，两种技术各有独自应用场景及技术优劣。

3.1 图像前端识别解决方案

基于视频处理器的前端解决方案可以使视频分析技术采用分布式的架构方式，在此方式下，所有的目标跟踪、行为判断、报警触发都是由前端智能分析设备完成，视频分析单元一般位于视频采集设备附近（或内置于摄像机），这样可以有选择地设置系统，让系统只有当报警发生时才传输视频到控制中心或存储中心，相对于服务器方式，大大节省了网络负担及存储空间[6]。

图像的前端识别主要依赖于前端设备在芯片中集成的应用，图像优化、锐度、亮度等处理能力受到芯片的算力制约，不能进行复杂的场景识别。但是对于字符识别（如车牌号、胸牌代码、证件号码等）、设备工况识别（如钢结构形变、锚栓松脱、故障灯颜色变化）等简易识别功能，其前端芯片的算力已经充分满足运营使用要求。

通过对字符图像的预处理可以使字符图像更加清晰，边缘更加明显，并将每一个字符分割出来便于进行特征提取工作[7]。识别原理主要基于对固定字符的特征识别和通过对像素的特征值处理，其算法较为固定，需要配套的算力也较为有限，所以其识别准确率非常高。

基于前端识别的系统架构较为简单，在需要识别的特定场景部署具备前端识别功能摄像机，通过现场配线箱及传输光/电缆，接入运营维护使用的操作终端即可。通过操作终端上部署的与摄像机匹配的软件平台，即可实现对视频的实时调用及分析结果的实时显示。

基于前端识别的系统架构示意如图1 所示。

图1 基于前端识别的系统架构示意Fig.1 System architecture based on front end identification

其中数据库服务器、分转发服务器为可选设备，操作终端能够配置适配前端采集设备的软件，满足运营使用需求。数据库服务器、分转发服务器为接入综合视频及扩展视频平台相关功能时需要配置的设备。

网络硬盘录像机（NVR）是局部工点视频监控本地组网的首选设备，在视频路数较少的需求场景下，配置简单、调试便捷且具有网络接口，具备外部扩展性。

基于前端识别的视频监控系统，在选配好具备该功能的前端采集设备后，配置统一协议（H.264/265等）或兼容协议的网络硬盘录像机，并在终端上配置软件即可实现。其优点在于配置灵活、投资低，后期实施除现场线缆敷设具备一定难度外，其他方面实施起来难度较低，是场景单一、独立工点的首选方案。缺点在于需要充分考虑设备之间的兼容性，且分析功能不强，对于固定格式的文字尚能满足需求，对于复杂场景的判断等功能则不具备处理能力。

3.2 后台智能分析解决方案

目前国内主要视频智能分析平台的相关研究，大部分基于OpenCV 及类似的跨平台软件库进行开发，其系统架构如图2 所示。

图2 后台智能分析平台网络结构示意Fig.2 Network structure of background intelligent analysis platform

从整体角度观察，采用后台智能分析的视频监控系统主要分为3 级架构，包括前端采集设备、视频AI 分析平台及业务系统。其中前端设备层的设备主要包括NVR、摄像机、交换机等；业务层则是客户的使用端，主要通过在终端上配置软件实现该层级功能。

对于不同的解决方案，供应商的中间架构区别较大，主要包括基础管理、转发服务、控制管理、视频流网关、应用货架等模块，根据算法及调用模块的不同，不同解决方案会配置不同的模块。

对于车站人员密集、流向复杂、场景多样的工况，需要配置功能全面的平台，并根据运营管理单位及责任单位的归属，对设备进行统筹配置；而基站、中继站、区间等简单场景则更需要考虑如何合理规划前端设备的视频流向及分析平台归属，最大化利用分析平台的算力，避免资源的浪费。

4 图像智能识别技术应用现状

图像智能识别技术目前已经较为成熟，无论是前端智能分析还是后台智能分析，面对不同的场景应用，都已经有较为成熟的产品及技术方案。

4.1 前端智能分析应用现状

目前铁路系统内，前端智能分析主要应用在出入人员固定、流量不大的场景，例如综合维修工区院落、公安所亭院落、存车场检修库等，由于不是所有的工程中这些场所的摄像机都纳入综合视频监控系统，且纳入综合视频监控的IP 摄像机具备的分析功能也不能满足运营使用单位的全部需求，除常规的移动侦测、遮挡告警、视频丢失外，人员滞留、周界告警、设备工况分析等功能均需要另行配置性能较高、自带芯片的摄像机，并在管控终端及NVR上部署配套软件。

目前前端智能分析尚未全面普及应用的主要原因如下：首先是目前尚无成熟的图像智能分析的标准颁布，对于系统的功能界定、误报率等没有明确的数据进行支撑，纳入工程建设的依据不充分；其次是运营单位每年的运维经费有限，且目前智能分析的功能可以通过人工巡检的方式进行替代，建设迫切性不强；最后则是随着综合视频监控系统的覆盖范围越来越大，以及网络带宽条件的优化，未来可以通过后台智能分析补强，故前端智能分析补强的工程建设一直没有得到广泛的推进。

4.2 后台智能分析应用现状

后台智能分析的技术方案、解决方案已经非常成熟，虽然没有规范支撑，但是已经在铁路行业内有了多个试点应用，新建工程中如京张高铁、雄安站房内都有相关应用；大西客专沿线部分车站于2020 年新建人脸识别系统以提高铁路公安运营维护效率。且部分功能如视频融合等已经纳入铁路客运服务与生产管控平台中作为可选配功能，待行业标准颁布后，新建工程中将逐步完善相关设计。

除去无规范支撑这一问题外，目前各地方单位未全面自行扩展后台智能分析的主要原因如下：首先是投资问题，后台智能分析对服务器GPU 的性能要求非常高，还需要配置配套的服务器等硬件以及视频分析软件，总投资通常超过运维预算，且新建项目无设计依据，筹措经费困难；其次是设备的部署，由于后台智能分析配套硬件设备的部署位置、用电条件需要提前统筹考虑，部分单位没有扩展安装的条件；最后是责任界面的划分，在部分工程设计中遇到过如下问题，如运营使用单位不能明确车站新增设备是纳入综合视频监控系统，设备放入通信机械室归口电务部门管理，还是按照管控平台配置原则，设备放入信息机房归口科信部门管理，资产的归属问题造成了进度迟缓。

5 图像智能识别补强方案研究

5.1 前端智能分析补强方案研究

目前对于已安装的摄像机做前端智能分析补强的方案较为单一，近些年的新建工程，部分摄像机前期已预留智能分析算法芯片的扩展安装条件，安装后对后台软件进行调试即可，且为了分析的准确率，具备调整条件的前端设备的安装角度、高度等应在配置时进行微调。对于早期不具备扩展功能的摄像机，则需重新采购具备前端智能分析的摄像机，拆除既有摄像机重新安装调试。

综上所述，前端智能分析补强主要工作内容如下：对不具备前端智能分析功能的摄像机，采用加装芯片或更换设备的方式重新配置；在具备条件的情况下，现场设备的安装角度、高度等进行调整，以达到最优分析效果；对NVR 及操作终端进行重新配置，以适配新增设备，配置内容包括软件、IP地址、码率、报警功能阈值等；NVR 和摄像机宜为同一品牌，跨平台的不同设备需保持兼容。

5.2 后台智能分析补强方案研究

基于综合视频监控系统可以通过在视频接入节点的计算机/服务器上安装视频分析软件，对接收到的视频内容进行分析。高速铁路可在基站/直放站/信号中继站/线路所室外、桥梁疏散通道处设置带前端分析功能的摄像机。在车站旅服系统设置视频分析服务器，实现与旅客服务相关的视频分析功能，具体有站台越界入侵检测、人群密度统计、人流态势检测、人脸识别等功能[8]。

智能分析平台可按照核心级、接入级分级设置，其中核心级平台在铁路局配置，车站及其他工点统一设置接入级视频分析平台，其中视频分析服务器、基础数据平台等统筹进行配置，通过将分析平台采用云技术处理，对资源池进行算力优化，可节省设备数量及其他资源配置数量。将接入级平台分析结果、告警图片等重点信息通过数据网上传至核心级分析平台，集中配置存储设备对分析结果、日志报告进行存储。

通常后台智能分析平台只需要调取摄像机采集到的图像，即可进行算法训练，通过对海量图像数据与底库的比对，优化人脸识别、跨镜追踪、头肩检测、OCR 识别、车辆识别、物体识别、场景识别、语音识别等功能，并辅以人工审核，逐步提高识别准确率。

后台智能分析补强主要需要配置以下设备：

后台分析平台服务器：一般采用机架式服务器，核心级平台可根据业务体量采用小型机、刀片式服务器，用于配置分析平台应用软件及综合视频网管软件，实现软件层级调用综合视频的功能。

后台分析算法服务器：一般采用机架式服务器，根据摄像机的路数及功能需求，集中配置GPU，承担图像智能分析的核心计算功能。此设备通常发热量较大，对机房环境要求较高，配置时需要充分考虑既有机房的环境条件是否满足需求。

其他的根据具体功能配置便携式维护终端、手持移动终端等。

综上，后台智能分析补强的主要工作内容如下。

统计需要纳入智能分析平台的摄像机路数、码率，根据拟采购的平台计算设备的配置需求；

配置视频分析服务器等硬件设备，并接入视频节点汇聚级交换机，调试获取综合视频图像码流；

由运营管理单位明确图像分析需求，对智能分析平台的软件功能进行定义，并提供图片库对智能算法进行训练调试；

由于通信机械室、信息机房及其他类型机房归属于不同维管部门，对口的设计专业也有所不同，后台扩容设备的部署位置需在前期规划、确定，以便于在设计、建设阶段充分考虑设备安装条件及网络条件；

核实归属于同一分析平台的前端设备是否具备接入同一平台的条件，包括但不限于视频格式、分辨率等。

6 项目前期建设建议及工程设计经验总结

6.1 项目前期建设建议

由于视频智能分析的相关技术标准、产品标准等尚未正式颁布，在工程中广泛应用仍存在一定距离，为了后期扩展视频智能分析功能时尽可能的减少投资、优化方案，工程的前期建设中需要做好一定的预留，并统筹进行考虑。

视频采集点的设置：由于视频智能分析需要采集大量的样本进行深度学习，优化其算法，车站内的摄像机位置需要充分考虑远期视频智能分析的设置要求，对人员密集区域、站台聚集区域等可考虑适当增加摄像机的数量，以确保采集图像的完整性，以最大程度的降低系统识别的误报率。安检口、检票口等可能涉及人脸识别应用场景的区域，摄像机的安装高度及安装角度应充分考虑对面部图像采集的完整度，包括但不限于宽动态、白平衡等，特殊场景如楼道、地道等昏暗处需考虑摄像机的夜视功能。

运营管理单位的责任需提前明确：由于视频分析平台目前主要算力集中在显卡内，相关计算资源设备的用电、发热量都较大，设备配置位置需要按照铁路机房标准进行建设，不同单位需明确设备运维责任单位后，统筹规划设备的部署位置及运营维护界面。在责任、分工界面不明确的情况下，整体方案、架构都无法准确部署，后期维管单位调整后存在设备资源浪费的风险。

即时需求和延时需求的分类：建议运营使用单位充分研究哪些功能对实时性要求较高，按照即时需求标准对前端图像进行实时传输及分析；其他可延后处理的，可通过在云存储平台设备附近加装分析算力设备，对已存储的图像数据进行调用分析，通过局域网传输图像数据，通过数据网上传分析结果，降低对带宽的要求，提升工作效率。

6.2 工程设计经验总结

结合试点工程设计、建设过程中出现的问题及运营使用单位反馈，总结如下。

摄像机安装时，尽量安装在固定的地方，摄像机的防抖动功能和算法本身能对相机抖动进行一定程度的补偿，但是过大的晃动还是会影响到检测的准确性；不具备宽动态功能的摄像机，需要避免逆光设置；为了让目标更加稳定和准确，建议实际场景中目标尺寸在场景尺寸的50%以下，高度在场景高度10%以上；避免玻璃、地砖等反光场景；在白天和夜间环境下，摄像机成像质量清晰、对比度好，如果夜间光线不足，需要对场景进行补光，保证目标会通过照亮的区域；像机设在通道正前方，正面抓拍人脸，左右偏转＜10°，上下偏转＜10°；架设高度h宜为2.0～3.5 m；摄像机的俯视角度α=10°。

7 总结与展望

随着OTN、光缆直连、5G 等技术的广泛应用，未来带宽紧张的情况会得到极大改善，也为视频分析平台的建设提供更好的平台，但是目前场景分析的功能仍然是各大厂商根据自己对铁路行业的理解，提出产品需求并进行生产，与实际铁路运营使用的需求仍有一定差距，如何在运营使用中对算法进行及时的调整，如何处理告警并规范化应急预案，仍然是未来运营使用中需要解决的主要难题。智能分析平台如何充分利用综合视频及其他视频系统的前端采集设备，以尽可能的减少投资，也会是建设环节中的重要考虑因素。