视频结构化技术视频数据的“赋能者”

□ 文 /高靖

随着城市视频监控系统的大规模部署,视频监控探头已深入城市各个毛细血管，在公安天网、智能交通、政府监管、企业运营等各行各业产生大量的监控视频数据。以公安天网建设为例，一个中小型城市部署安装一万路高清前端探头，按三个月为一个存储周期，则需要36PB存储空间，相当于两个淘宝帝国的存储需求。而庞大的视频数据存储在存储设备中，属于低密度，低价值，往往只有在需要调阅的时候才能艰难的发挥其作用。

然而随着边缘计算、云计算、大数据技术的不断深入，面向大规模实时视频监控数据和历史视频图像数据的处理方式也进入了更深层次的演变：

实时视频在传输过程中，通过边缘计算，提供就近计算和服务，对视频流数据进行实时的时空信息标注，字符提取、特征提取，目标分类，结构化标注等图像处理工作，并快速传输给中心计算处理。

计算中心对海量前端传输回来的视频图像数据，提供云计算能力，快速高效并发的对这些初步结构化的信息进行二次加工，精细化的分类和细节化结构化信息，形成时空维度的目标动态数据。

大数据技术则依据业务逻辑，模型，规则等方法，对动态数据与自身档案库存放的静态数据进行进一步的碰撞，合并，筛选，快速输出业务期望的结果。

因此，边缘计算，云计算提供的是两种不同方式的视频结构化手段，大数据技术，则是对视频结构化后产生结果的进一步归纳总结。

视频结构化技术介绍

视频结构化技术在安防行业，特别是视频监控行业中得到了广泛的应用，主要的应用场景有：一，运动目标结构化描述，代表技术视频浓缩摘要技术；二，车辆结构化描述，代表技术车牌识别，车型车系识别等；三，人脸结构化描述，代表技术人脸检测和人脸识别。

运动目标结构化描述提取视频中的运动目标（人、车和物）及它们的属性（颜色、速度、大小、方向、类型等）；主要应用于平安城市等监控范围较大的场景；

前景检测技术

首先利用连续输入的图像序列，训练得到一个背景图像，如下图：

然后把需要检测的视频数据中的一帧图像和背景图像进行比对，获取差异的像素点，然后对这些像素点进行连通性标记，这些标记的区域就是目标，根据标记区域，可以把目标从图像中抠出来；

最后，使用第一帧图像标记的区域（即初始的目标）作为跟踪的初始值，然后对这些目标进行跟踪，形成连续的跟踪轨迹，即获取到目标的运动轨迹序列。

视频摘要和浓缩技术

利用前景检测技术，可以把视频中运动目标提取出来，其中包含目标运动轨迹序列和目标图像序列，同时识别出这些目标的属性（颜色、速度、大小、方向、类型）；在提取目标的过程中，可获取到目标出现和消失时图像数据在文件中的偏移位置；

视频摘要技术，使用某种策略，在目标图像序列中取一张图片代表这个目标，以图片的方式把所有目标展示给用户；用户可以根据条件（颜色、速度、大小、方向、类型）查找目标，查找到的结果是符合条件的目标的图片，且可以观看目标出现前后的原始视频，因为在目标提取过程中，已经获取到目标出现和消失时图像数据在文件中的偏移位置；

视频浓缩技术是对视频内容的一个简单概括，以自动或半自动的方式，通过对视频中的运动目标进行算法分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合，生成新的浓缩后视频的一种技术；

下图中，input video表示原始视频，videosynopsis表示浓缩视频。在原始视频中，在t1时候出现一个人，在图t2时候出现一只鸟，通过视频浓缩技术，可以把不同时候出现的目标合并到同一时候出现，这样大大节省浏览视频的时间；

事件报警，用户首先设定某些规则（如，括绊线入侵、区域入侵、穿越围栏、快速移动、徘徊检测、逆行检测等），如果视频中的目标触发了这些规则，就抓拍一张图片并附带报警信息上报给用户；而事件报警中的大部分事件，也都是基于前景检测检测出来的运动轨迹实现的。事件报警一般用于实时视频的分析。

车辆结构化描述

车辆结构化描述是提取视频中车辆的属性，如车牌、车型、车辆品牌、车系、年检标、挂件、纸巾盒等，主要应用于交通场景，车辆在画面中必须满足一定的尺寸识别效果才比较好。

2010年左右，主流的车辆结构化技术是视频卡口抓拍技术，与传统的线圈抓拍技术效果一样，车辆一经过摄像机监控范围的某个位置，就会产生一张包含该车辆的图片。单单只抓拍的车辆的图片还不能满足用户的需求，用户对自动识别车牌号码的需求很大；接下来的几年，随着很多公司对车牌识别技术研发投入的加大，车牌识别技术迅速发展，准确率大幅提升；卡口摄像机在抓拍车辆的同时自动识别出车牌，并把这些结果发送给后端保存；于此同时，电子警察摄像机也慢慢的发展起来了，电子警察摄像机除了识别车牌号码，还能获取车牌颜色和车身颜色；利用车辆跟踪技术，结合信号灯的信号，对车辆的行为进行判断（如，闯红灯、逆行、压线、违章变道和不按车道行驶等），如果车辆违章，就会抓拍多张图片，作为车辆违章的证据；

近年来，对车辆的结构化描述越来越精细，能够获取车辆的品牌、车系、年检标、挂件、纸巾盒等信息，其中车型车系的识别涵盖了绝大多数的品牌和子品牌。 用户可根据目标车型的各项指标（如车型、车牌、车牌颜色、车辆颜色车牌号以及卡口、拍摄时间等）设置搜索条件，查询车辆信息。 利用这些结构化信息，可以侦测出假牌车、套牌车、故意遮挡、污损车牌、拆卸车牌等违法行为。

目前，对车辆的车型车系等信息识别过程是在后端服务器中执行的，前端摄像机产生的卡口图片传输到后端服务中，进行二次识别；在不久的将来，车型车系等信息的识别应该会移到前端执行，只把识别结果（即结构化信息）传输到后端服务器，由后端做其它更深层次的应用。

人脸结构化描述

人脸结构化描述是提取视频中人的属性，如这个人是谁、性别、年龄、戴眼镜、胡子、戴帽子、戴口罩等信息，主要应用于人脸卡口场景，人脸在画面中的像素必须足够大；现在人的结构化描述的主要技术是人脸检测和人脸识别。人脸检测就是利用人脸检测算法从视频中检测出人脸的位置和大小；人脸识别分为三个步骤：一，根据检测的结构抠出人脸小图；二，从人脸小图获取特征码（用特征向量来表示人脸图像）；三，与人脸库（如，历史库、布控库等）比对。人脸识别系统如下图：

在企业、住宅的安全管理中，对一些敏感人员布控，一旦发现可疑人物进去，系统自动报警，并提示安保人员；可应用公安、司法和刑侦，针对一些人员密集区域（如车站、地铁站、机场等）的关键出入口、通道等卡口位置坐人脸识别，实现搜捕嫌疑犯、逃犯等；在重要通关口岸的身份验证，主要实现对进出口岸人员和电子护照及身份证等信息的核实和确认。

视频结构化的产品化探讨

一方面随着GPU/FPGA等人工智能AI芯片的演进和技术发展，及深度学习框架在工程化技术方面的成熟，AI芯片和前端IPC的融合是大势所趋；另一方面在各地实际项目中建设边缘节点（含多维感知接入、存储和视频智能解析），对视频和多维数据进行就近的存储、清洗和结构化分析，有效的降低大量视频流对网络和集中式的数据中心的要求。视频结构化的前移是未来的一个重大方向，前端监控探头，计算节点将不断的升级，融入大量视频计算能力，对视频图像非结构化信息实现实时，敏捷的结构化处理。支持提供包括车辆二次分析卡口、人脸识别卡口、多目标提取卡口等多样化智能安防产品。

中心产品将前端小型存储，中心计算集群能力进一步升级，搭载深度学习技术和人工智能算法技术，提供GPU集群化的云计算产品，实现对海量数据强大而高效的并行计算，达到能分析人、车、行为多种价值特征的高品质产品。

支持提供：

◆人员：颜色、大小、方向、速度、性别、年龄段等；

◆车辆：品牌、子品牌、年款、车牌，颜色、类别、车检标、遮阳板、挂件、摆件、整车图片特征等标签对象，能识别近百余种品牌上千种车型等；

◆行为：安全带、打手机、走路、骑电动车/摩托车、骑自行车、骑三轮车等。