视频结构化平台在地铁线网系统中的应用

刘东方 倪建剑 徐国坚

摘要 文章结合杭州地铁线网视频结构化平台建设，分析了人脸比对、ReID（行人重识别）、聚类、大数据，整合监控视频、图片中的各项关键信息，进行数据汇集、解析中心、布控比对、人员聚档、技战应用等模块的集成和高度融合，以此构成了视频结构化平台。重点阐述了视频结构化平台在地铁线网系统中发挥的广泛作用和重要作用，以及未来展望。

关键词 杭州地铁线网；轨迹分析；计算机视觉；人脸识别；ReID；聚类

中图分类号 U29-39文献标识码 A文章编号 2096-8949（2024）05-0004-03

0 引言

在以往的城市轨道交通系统中，主要利用各站点的监控摄像头，通过抓拍到的图片进行简单的人脸识别和比对，找出重点布控的人员。单纯的人脸识别系统虽然相比传统依靠人工查看的方式有了一定进步，但是面对海量的数据分析和技战应用，仅依靠人脸识别应用是远远不够的[1]。杭州地铁线网系统中的视频结构化平台，按照杭州地铁轨道线路情况，通过国标协议汇集了各线路系统视频流和图片流。通过对视频流和图片流数据进行解析，结合ReID（行人重识别技术）、人脸识别、人脸比对、聚类、技战法等诸多计算机相关的图形学、人工智能、大数据处理分析等最新技术手段进行海量数据的采集、定位、预处理、身份确认和查找后进行训练、碰撞。提供重点人员属性分析、行动轨迹分析和研判，使得地铁公安用户可以在地铁运行线路图上直观地查看重点人员目标在地铁中的人员聚类档案、人脸、人体属性，站点出入活动轨迹等。该文对平台架构和技术应用做出具体论述[2]。

1 数据汇集

汇聚模块通过多种国标和私有协议的对接，实现杭州地铁线网数据的分级整合、汇聚及共享。将各线路级数据接入线网视频结构化平台。

图片流接入：在GA/T 1400的标准上提供多源、多级数据的接入、存储、共享、分析，以及对外标准化接口服务的能力，从不同厂家的线路级结构化平台中接入需要的站点抓拍数据。汇聚模块通过MQ消息的方式将图片流数据传输至结构化解析模块。

视频流接入：实现《安全防范视频监控联网系统信息传输、交换、控制技术要求》（GB/T 28181—2011）规范，满足公安视频图像信息应用系统等相关标准要求，将需要的站点视频流信息接入至线网视频结构化平台。

通过以上国标协议以及其他私有协议的对接，使得线网结构化平台拥有了获取各站点抓拍数据的能力。分布式解析服务将开始对视频流和图片流进行解析。对于解析后的人脸数据、人体结构化数据和聚类、告警等分析结果，汇聚模块具备统一汇聚对外推送能力，以便上级级联系统做进一步应用。

2 分析流程

如图1所示，为平台技术架构图。

2.1 解析中心

解析中心集群由多个算法引擎构成的解析节点组成。

图片流解析：解析服务器根据汇聚过来的人脸、人体抓拍图片进行解析，提取人脸、人体相關属性和特征。

视频流解析：相对于单个静止的图像，视频流序列能够提供更多的信息，即从视频序列中确定是否存在人脸并对其进行准确定位和保持跟踪状态。追踪到的同一个人有大量图像可供使用，通过视频序列的时间连续性和识别对象身份的一致性为人脸识别提供信息；基于视频序列的空间轨迹和概率模型进行匹配识别，将识别出的人脸、人体序列相关联，因而其具有更好的鲁棒性。

将人脸id、人体id、人脸属性、人体属性、设备信息、抓拍时间、经纬度等相关信息批量插入数据库和Elasticsearch中。特征文件的写入和存储采用分层存储，即本地+远程集中式的方式，通过一致性hash进行路由分片（分片Key），满足大数据量保存和快速检索的需要。

2.2 调度模块

调度模块根据服务器资源动态调整各台视频流运行开启次序、运行路数、运行显卡分配，进行资源负载均衡。

服务器在后台接收不同客户端的cuda调用，将调用请求在队列中进行优先级排队，当有两个及以上视频流任务需要运行时，通过任务优先级标识优先开启优先级较高任务。相同优先级情况下，对比任务预估消耗资源和剩余显卡资源，计算最优分配。

当有任务运行完成后，通知服务端，服务器从任务队列中匹配新的任务并发执行。当剩余资源不足以执行启动任务时，需在队列中等待。

运行过程中服务端会对显卡运行状况（剩余显存、使用率等）持续定时采样，保证GPU资源利用均衡，减少任务之间的冲突，提高整体运行性能。

2.3 布控比对

布控比对服务可以根据需要把布控人员的信息（包含姓名、性别、身份证号、人脸照片等信息）加入布控任务。然后按照时间、地点、相似度报警阈值等信息，关联需要布控的视频流或图片流，对重点人员进行布防。系统对比任务中的人脸特征数据实时比对，如果人脸的相似度达到设定的报警阈值，系统会通过邮件、短信、系统弹窗方式通知管理人员，采取进一步处理措施。根据现场实际需要加入布控的人员，可通过系统进行现场拍照采样或者上传照片等多种方式一键加入布控任务。

人脸识别布控系统还具备丰富的人脸属性检测功能。在大多数环境下均能准确判别性别、年龄，戴眼镜、口罩等各种人脸属性，不受面部表情、胡须和发型变化的影响，以增加布控比对的准确度。

2.4 人员聚档

人脸聚档服务根据人脸图像数据中的相似度指标，在视频提取人脸轨迹级的特征来表征人物，将大量的人脸图像分为不同的组别，其关键在于设计有效的特征表示方法和相似度度量方法。通过对监控画面中的人脸进行聚类，可以快速识别出潜在威胁和异常行为，提高安全性能。聚档服务通过将解析模块发送的人脸特征加载至GPU进行人脸聚类，通过关联关系检索，可查看对应人体属性及图片链路。帮助地铁运营进行人流量统计、客户分析等工作。在满足法律法规的前提下，还可以进一步应用于大规模数据挖掘研究，如人脸数据集的建立、人脸特征的提取等。随着技术的不断进步，人脸聚类技术将迎来更多的发展机遇和挑战。

2.5 技战分析

大数据服务器通过获取以上解析比对等结果，相当于全地铁范围内做检索等大数据分析应用。结合杭州地铁轨道线路地图，关联的站点详细位置，出入口，站台等，通过计算出的站点位置进行轨迹划线，渲染人员行走动态效果，运营人员可以较为直观地查看轨迹线路，为地铁轨道交通的治安防控、刑侦破案、反恐防暴等工作提供有力支撑。

3 技术应用

人脸识别：人脸识别是身份识别，而人脸属性结构化是表征人脸的生物与非生物特性，包括性别、年龄、表情、是否戴口罩等，通过解析人脸图像特征，获得可视化的属性特点，更直观地验证身份。我们的人脸属性算法，采用多任务学习框架，每一个属性都有独立的属性分支，同时，搭配注意力机制与多尺度机制，能准确地定位不同属性的聚焦位置，更有效地提取人脸属性信息，提高在监控场景下人脸属性识别的准确度，对人脸结构化属性搜索及定位提供了极大的便利[3]。

ReID：ReID是属于图像检索的一个子问题，不同于人脸识别技术利用人脸图像特征来完成检索比对，它是指在多摄像设备网络下对行人进行检索，利用步态动作、身体特征等更为全面的信息来识别人物，可实现行人的相机检索，解决人脸较小或者模糊情况下无法比对的问题。然而，由于ReID需要从不同摄像机拍摄的图像或视频中找出同一个人物，而这些摄像机所覆盖的范围彼此并不重叠，导致缺乏连贯的信息，而且不同画面中人物的姿态、行为甚至外观（比如正身、侧身、背身）会发生较大变化，不同时间、不同场景、光照、背景和遮挡物各不相同，摄像机的分辨率也有高有低，人物在画面中出现的位置有远有近，这些都对ReID技术提出了极大的挑战。针对行人姿态变化，环境光照以及局部遮挡等问题，构建了以Resnet为骨干网络的多尺度模型，实现人体部件细粒度特征融合，结合数据增强方法和特殊训练策略，实现人员的精确匹配。ReID技术和人脸的技术可以做一个补充，当能看到人脸的时候用人脸的技术去识别，当看不到人臉的时候用ReID技术去识别，可以延长行人在摄像头连续跟踪的时空延续性。因此，无论单独使用还是与人脸识别相结合，ReID都能发挥更大的应用价值。

人员聚档：聚类算法以密度聚类为基础，搭配上层在线聚类，采用Region-Master模式进行区域与主体的聚类信息交互，并引入了“一类多核”的思想，兼具聚类准确性和完整性。同时，对特征比对进行了矩阵加速优化，可支持千万级规模的聚类，大幅拓展了聚类的应用性。由此形成人员档案信息并进行实名认证关联，档案容量支持1 000万实时聚档性能。通过人员档案的抓拍关联轨道交通地图，可以实时查询档案人员轨迹情况。

4 结语

上述技术在结构化平台的落地和发展，有效提升了地铁公安用户针对人员管控和安全防范的力度和效率。伴随着AI、云计算和大数据等“新基建”技术的快速发展，地铁轨道领域越来越多的技术落地，人工智能展现出了数据赋能的强大驱动力，为未来地铁新线建设和既有线改造系统中的视频分析相关内容的建设提供了有益参考。

随着城市公共交通规模逐渐增大，日益增长的客流给运营安全和运营效率带来巨大挑战。在更侧重于运营的当下，基于以上技术衍生出的翻越闸机、打架斗殴等应用场景分析会更多。当识别出这样的行为之后可以采取智能措施，比如自动报警等，这有非常大的社会价值。很多场景所需的算法模型已经相对成熟，并且在其他行业已有应用案例，对地铁的运营会有很大的助力。

参考文献

[1]李辉， 石旭， 张京晶， 等. 新基建背景下智能视频分析技术与智慧地铁建设融合应用研究[J]. 现代城市轨道交通， 2022（9）： 21-27.

[2]李鹏程. “城市轨道交通智慧警务”课程建设构想[J]. 铁道警察学院学报， 2018（2）： 122-124.

[3]章柏幸， 苏光大. 人脸成像特性研究及人脸归一化的目标[J]. 光电子·激光， 2003（4）： 406-410.