道路交通视频监控设备数据结构化效能评估及组合应用

冯 睿, 邓袁钦

(长沙市公安局交通警察支队, 湖南 长沙 410006)

1 概况

视频监控最初以模拟视频的形式出现在综合安防领域，随着算法的演进和技术的革新，视频监控步入信息化快速发展阶段，多米诺效应式地转变为网络高清视频形式[1]。2012年公安部颁布《安全防范视频监控联网系统信息传输、交换、控制技术要求》(GB/T 28181-2011)，推动了视频监控系统向数字化、高清化方向的迅猛发展。道路交通视频监控系统作为视频监控系统的一个应用分支，既是公安交管部门智能交通建设中的基础业务系统之一，也是道路交通管理视频管控工作中获取重要信息来源不可或缺的一项技术。一直以来，“前端摄像机采集、后台存储交换、中心指挥应用”三步曲是各大制造厂商和应用单位的“制式”模式，这导致了工作人员在较长的一段时间里，只会单纯地通过键盘控制巡查道路交通拥堵状况，抓拍违法车辆；或通过定点定时方式调阅历史录像查找嫌疑车辆。应用上仅仅基于过车数据、时空分布轨迹、违法统计等做简单的情报信息分析，这些技术智能化程度较低，并不能充分挖掘视频图像数据潜在的价值。

视频结构化技术于2010年开始推广应用，该技术采用时空分割、特征提取及对象识别等手段，将视频信息转换为计算机可直接处理的文本信息[2]。视频结构化技术技术主要围绕“结构化数据”和“非结构化数据”进行视频数据处理。结构化数据是指关系数据，即存储在数据库里，可以用逻辑关系结构来表达实现的数据；非结构化数据是指不方便用数据库逻辑关系表来表现的数据，包括各种格式的办公文档、文本、图片、图像及音频信息等。可以简单的理解视频结构化技术就是将图形图像转变为计算机可直接分析的信息，这些数据信息具有5V的特点：Volume(海量)、Variety(多样)、Velocity(高速)、Veracity(可信)和Value(有价值)。在公安实战领域中，这些结构化信息又可进一步转化为情报信息，从而实现基于视频结构化的视频数据向信息、情报的转化过程[3]。

近年来，部分安防厂商利用海量视频资源，依托智能分析平台完成了非结构化视频数据向结构化描述信息的转换，产出了“以图搜图”、“事件检测”、“视频摘要”、“人脸识别”等一系列视频结构化分析成果。基于算法分析，将视频监控图像进行视频结构化处理，形成有价值数据积累，在减少数据存储空间、缩减人力成本的同时，推动了视频监控的实战应用效能。

视频结构化技术发展至今，在道路交通视频应用领域，主流的需求有2个： ① 依托所得数据，如人员信息(性别、面部信息、年龄范围、身高、穿着等)、车辆信息(车牌、车型、颜色、车饰等)和行为信息(越界、徘徊、聚集等)，根据时间、空间等多个维度进行数据筛选、特征提取与对象识别，并结合地图跟踪轨迹，开展缉查布控工作。随着前端设备智能化程度越来越高，这些原本要经过后台服务器处理才能得到的信息，目前在前端就能直接完成。② 将智能分析后的数据信息通过图表等形式展现，如违法类型分布、违法数量分布，以及在不同时段内统计汇总交通拥堵状况等[4]。

视频结构化技术处理后得到的情报信息在道路交通领域如何同其他信息系统进行标准数据交换、互联互通及语义互操作，一直受到道路交通管理者的关注。本文在道路交通视频数据信息的基础上，研究视频结构化技术的数据分析效果，并基于处理后得到的情报信息拓展其实际应用领域。

2 道路交通视频结构化技术分析与应用

2016年初，长沙市公安局交警支队启动了智能交通管理系统(第3期)项目建设，搭建了“融合原有视频监控、增加电警视频流、多方位对接社会面交通视频资源”的视频联网共享平台，集成模拟及高清球机视频、电子警察相机视频流等各类视频资源4600多路，不但实现了在视频联网共享平台进行统一查阅和调用，还收集到了海量的视频资源。但如何使用这些海量的视频资源，是智能交通视频监控建设者和指挥调度人员面临的一道难题。

2017年伊始，尝试对智能平台收集到的海量视频数据进行拓展分析。一是将现有资源按照设备类型及像素等级进行分类，筛选出具备开展深入分析条件的设备；二是利用目前行业内主流视频结构化智能算法，对不同设备产生的视频图像进行实时或历史分析；最后分析结果，比对效果，并拓展应用。

2.1 设备类型及像素等级分类

按照设备类型分，目前支队共有道路电视监控球机、电子警察枪型相机、鱼眼相机3类。因建设年份不同，设备性能也略有差异。按照像素等级分，球机主要由模拟、720P、1080P 3类设备组成；电子警察枪型相机主要由500万、600万、700万像素3类设备组成。

当前，模拟球机属于淘汰产品，因此不纳入实验分析的范畴。而200万像素1080P的电视监控球机和700万像素1080 P电子警察枪型相机，是目前国内交管行业应用最多、最广泛的设备类型，具备一定代表性。因此，本文以这3种设备为研究对象，开展实验分析。

2.2 视频结构化实验结果与分析

选取了“枫林广场”200万像素1080P球机1套；“枫林路与麓山路交叉口” 700万像素1080P电警相机1套，“枫林路交警科技大楼顶” 200万像素1080P鱼眼相机1套，以“在同一时间段内，对同类型不同参数的设备进行视频结构化，比对数据项的产量及准确率情况”的方式开展实验分析。分析工作分为3个步骤: ① 对不同性能参数的设备进行视频结构化后，对比其数据质量(捕获率)，图像数据质量是直接关系到结构化数据是否可用的关键标准之一;② 比较不同性能设备获取的数据效果，即对比不同设备结构化产出数据的种类和准确性；③ 综合不同设备的视频结构化优势缺陷，探索数据结合应用的可行性。表1为不同设备实际捕获数据的数量及有效数据的数量。在数据质量对比时，直接以准确的车身颜色识别情况作为数据有效与否的判断标准。结果显示：700万像素1080P电警相机的性能最好，因为其准确率最高；在200万像素设备中，电视监控球机在捕获的数据质量方面要远超过鱼眼相机；鱼眼相机捕获数据的性能最差。所以，像素越高、分辨率越大的设备，捕捉到数据的质量越高。

表1 不同相机的捕获率设备类型捕获数据/次有效数据/次有效率/%电视监控球机19810151.01电子警察枪型相机17312270.52鱼眼相机000

表2为不同性能设备获取的数据效果。可以看出，在数据种类方面，电子警察枪机视频图像结构化后产出数据种类最多，电视监控球机次之，鱼眼相机无结果。电子警察枪机分辨率较高，角度合适，捕获率及图像质量高。而普通电视监控球机，分辨率不高，视场角较大，同时因工作需要随时处于受控转动的状态，导致一方面不会长时间盯住某一个位置，另一方面目标的像素较低，识别难度大。鱼眼相机会因为物理位置关系，距离太远、视角太广，而无法获取目标，并不适合做结构化分析。

表2 车辆结构化数据捕获量设备类型过车数量/辆车牌号车身颜色车辆类型车辆品牌识别量/个识别率/%识别量/辆识别率/%识别量/辆识别率/%识别量/辆识别率/%电视监控球机19800.0016281.8116080.8017085.85电子警察枪机1737845.0817299.4217098.2616997.68鱼眼相机000000000设备类型过车数量/辆车辆子品牌车辆方向车牌类型车牌颜色识别量/辆识别率/%识别量/辆识别率/%识别量/辆识别率/%识别量/辆识别率/%电视监控球机19816683.831981000000电子警察枪机17316293.641731004727.164727.16鱼眼相机000000000

表3为不同设备结构化产出数据的准确性。结果显示：电视监控球机和电子警察枪机在数据产出正确率方面要远超鱼眼相机；与电视监控球机相比。电子警察枪机检测内容更多，大部分数据内容的正确率高于电视监控球机，尤其是车牌信息。但有个别数据准确性低于电视机监控球机，如在“车辆方向”项目准确率上，电视监控球机几乎高于电子警察相机百分十以上。电视监控球机“270°旋转、镜头变焦灵活”的劣势却也是它的优势，可以在人工或者自动设置干预下跟紧目标，识别出更准确的数据。

表3 不同相机产出的结构化数据准确率设备类型过车数量/辆车牌号车身颜色车辆类型车辆品牌准确量/个准确率/%准确量/辆准确率/%准确量/辆准确率/%准确量/辆准确率/%电视监控球机1980010162.3513181.8811265.88电子警察枪机1733544.8712270.9312573.5311065.09鱼眼相机000000000设备类型过车数量/辆车辆子品牌车辆方向车牌类型车牌颜色准确量/辆准确率/%准确量/辆准确率/%准确量/辆准确率/%准确量/辆准确率/%电视监控球机19874.2215176.260000电子警察枪机1733018.5211667.054595.744493.62鱼眼相机000000000

综上所述，不论是球机、枪机还是鱼眼，都有各自的优缺点。电子警察枪机可检测分析的内容更多，借助当下流行的深度学习技术，甚至可以达到检测出车窗标识物(年检标、遮阳板、纸巾盒、挂坠、摆件)的程度，因拍摄角度固定不动的物理特性，决定了其只能“卡点”而无法“机动”。与电子警察相机不同，电视监控球机则具备灵活的检测范围，利用本身旋转可控的特点，借助人工或自动设置可干预分析出更精准的车辆结构化数据，能够在一定范围内独立完成对目标物体的检测与跟踪。鱼眼相机则更为特殊，虽然无法分析出任何数据，但其特有的广角视频画面能够获取更大、更广的监控范围。

当前不同设备间的视频结构化技术应用瓶颈是如何对视频有效信息的高效提取，以及如何同其他信息系统进行标准数据交换、互联互通及语义互操作，解决设备多而散、数据不直观、数据应用不清晰等一系列问题。

3 视频结构化技术应用的拓展分析

通过分析，揭示了不同设备在视频结构化后的缺陷与优势，在道路交通管理上，如何通过结构化数据的互相结合，筛选淘洗有效的关系数据模型，发挥出可视化指挥调度的最大效力，是城市交管部门面临的新挑战。目前，已经有一些安防商家推出了这一概念的雏形产品，例如：枪球联动、AR鹰眼、全局相机等，但受限于技术本身的发展，还没有实现全面的、成熟的功能应用。

在道路交通视频结构化技术及情报数据的应用方面，可以从以下4个方面进一步挖掘深度、开拓应用领域。

3.1 多种设备的数据融合

充分利用现有电子警察、监控球机、卡口、鱼眼等视频监控设备，采用视频结构化技术分析视频图像，获取有价值的车牌号码、行驶方向等结构化数据。按照“点 — 线 — 面”的模式，探索数据交互和服务交互的问题。通过将同区域内的不同结构化数据进行融合，力争使原本孤立的视频点，转变为综合性的数据岛。

3.2 视频大数据转化为大情报

视频结构化的本质就是将杂散的视频数据变为有逻辑统一的数据模型[5]。在道路交通管理应用上，视频结构化的核心，是数据模型向情报化的转变，这个转变分为两个阶段：首先要研究更强大、更全面的视频结构化建模算法，将所得数据进行全面智能分析和清洗，筛选具备潜在价值的数据，建立相关数据模型；然后将数据模型与业务需求相结合，支撑交通流量监测、交通路况研判、警卫线路可行性分析等工作，逐步解决视频监控数据向视频情报的转化。

3.3 人车关联与建档

当前视频结构化技术已经能够采集、分析并建立较为全面的人脸与人体数据模型、车辆数据模型[6]。在此基础上，已经建立并记录一人一档、一车一档的视频结构化处理平台。因此，如何将人车进行关联，分析出结构化模型并建档应用，将是道路交通研究的新方向、新趋势。

3.4 视频结构化持续优化，抗环境干扰

视频结构化算法对环境比较敏感，受环境干扰大，光线、杂物、恶劣天气、晃动都会影响实际效果。随着计算机视觉前沿技术的日益成熟，深度学习、高性能计算、海量数据训练、多维信息结合、大数据挖掘分析、目标跟踪等技术都将快速推动视频结构化分析技术、算法效果的逐步提升，以达到根据不同的复杂环境对视频数据精准高效地自动学习和过滤的目的。

4 结语

随着技术的进步，视频监控在现代社会中的重要性不言而喻。进一步提取视频中的有价值信息，充分利用非结构化数据和结构化数据的互补特性，能够产出更多智慧化更高、实战性更强、展示性更好的产品。目前，视频结构化技术已经成为相关领域的基础技术，特别是兴起的智能网联、自动驾驶技术已经开展了大面积技术验证。但总体来说，在交管部门的应用还不够深入。下一步应该结合交管实际需要，以“组合+创新”的方式，解决视频单一、数据孤岛、应用分离的具体问题，推动道路视频监控应用和交管科技手段的快速发展，为提高城市道路交通治理能力提供更多技术支撑。