视频结构化技术在安防行业的深度应用

□ 文/周井泉

随着科技的进步，视频监控领域的技术也在不停进步，已经从传统的预览、回放发展到在视频中智能提取有效目标信息，也就是视频结构化技术。

视频结构化技术已成为安防行业非常流行的技术。所谓的视频结构化技术，简单理解就是通过智能分析算法，从原始视频文件中自动检测场景中的运动目标，包括人员目标和车辆目标，并分析提取该目标的属性信息，如人员性别、是否背包、是否戴帽子等，以及车辆颜色、车牌号码、车辆品牌等。

视频结构化技术模块

视频结构化技术融合了机器视觉、图像处理、模式识别、机器学习等最前沿的人工智能技术，随着深度学习技术的发展和硬件设备性能的提升，基于GPU架构的深度学习应用方案已经相对比较成熟。视频结构化分析的过程可以简单理解成三个模块：目标检测、目标跟踪和目标属性提取。

目标检测过程是从视频中提取出前景目标，然后识别出前景目标是有效目标（如：人员、车辆、人脸等）还是无效目标（如：树叶、阴影、光线等）。在目标检测过程主要应用到运动目标检测、人脸检测和车辆检测等技术。

目标跟踪过程是实现特定目标在场景中的持续跟踪，并从整个跟踪过程中获取一张高质量图片作为该目标的抓拍图片。在目标跟踪过程中主要应用到多目标跟踪、目标融合以及目标评分技术。

目标属性提取过程是对已经检测到的目标图片中目标属性的识别，判断该目标具有哪些可视化的特征属性，例如人员目标的性别、年龄、着装，车辆目标的车型、颜色等属性。目标属性提取过程主要应用基于深度学习网络结构的特征提取和分类技术。

视频结构化评价指标

目标的检出率

目标检出率在视频结构化产品的应用中意义非常重大，被关注的目标在某个场景内出现而未被检测到，直接导致整个视频结构化分析结果无效，并且误导用户以为目标确实没有出现过，而目标是否出现又是事先未知的，需要回到原始的办法——人工看视频查找。导致目标漏检的原因很多，包括目标过小、光照不足、运动模糊、目标出现时间过短等因素。

目标识别准确率

想要通过属性检索快速锁定所关注的目标，就必须要求属性判断准确率高。然而，对于那些成像质量不好或者尺寸过小的目标，往往很难准确的判断其属性（即使肉眼也很难分辨）。属性判断有误导致检索应用中没有把关注的目标检索出来，同样会导致检索工作无效。

算法的鲁棒性

由于治安场景情况非常复杂，这就需要算法在各个场景下都能适用。在不同的场景具有良好的鲁棒性，不至于在某些场景效果较好，但是在另外的场景效果很差。

视频结构化技术的优势

降低案件侦破的时间成本

在以往的案件侦破过程中，刑侦人员为了通过视频获取到嫌疑犯可能出现的地点，需要夜以继日地通过人工查看相关的视频内容，从中找到嫌疑人在哪些地点出现过。视频查看工作是案件侦查过程中必不可少的，也是效率最低、最费时的工作。

2015年，周克华案件侦破过程中，为了找到周克华的活动线索，民警花了两个月时间，查看了近30万GB的视频，才最终发现了周克华的线索，30万GB的视频，相当于80万部高清视频，其工作量可想而知。

然而，利用视频结构化技术，提前对治安监控的视频进行目标以及对应属性的提取。一旦案件发生，民警只需根据嫌疑犯的特征，就可以从结构化图片库中检索出所有与嫌疑犯特征相符的目标图片，然后再从这些检索结果中去查找嫌疑人的照片，定位嫌疑人的活动轨迹。在一般的案件侦破过程，刑侦人员需要从在几十上百个点位的24个小时的录像中查找嫌疑犯目标，但是利用视频结构化技术只需要从几百上千张的结构化图片中去查找嫌疑犯，极大的降低了刑侦破案的人力资源和时间资源，大大提高了办案效率。

降低视频存储压力

在以往的视频监控应用中，需要把所有前端相机的录像进行储存。对于公安部门而言，一般需要存储1-3个月的视频，一个普通二线城市的视频点位就有上万个，对后端的存储空间提出了很高的要求。虽然视频编解码技术的发展，有效缓解了视频存储的压力，但是没有从根本上解决视频存储问题。

视频结构化技术，通过提取视频中有效信息图片进行保存，剔除无效信息，可以极大地提高设备存储的利用率。举个简单的例子：对于一个偏僻的道路卡口场景，夜间8个小时有700辆汽车通过，8个小时的录像相当于约70万张图片（按1秒25帧计算）视频结构化的分析的结果，而理论上有700张有效的车辆图片即可，两者相差1000倍的数据量。因此，视频结构化技术让存储设备的利用率提高了1000倍。

视频结构化技术与其他技术的关系

与大数据技术的关系

在安防行业，所谓的大数据通常是指视频大数据。然而，传统的视频大数据的数据量非常大，而且存在大量的无效信息和冗余信息。如何有效地提取视频大数据中真正对客户有价值的信息，就是视频结构化技术所能体现的价值。从大数据和视频结构化两者关系来看，视频结构化技术属于大数据的应用，视频结构化技术从视频大数据中提取出所有的目标信息，并把这些目标信息以图片的方式进行存储，将视频大数据转换成图片大数据。

与智能分析技术的关系

在安防行业，视频结构化技术同样属于智能分析技术，可以理解为对原有智能分析技术的补充。原有的智能分析技术是通过事先定义异常事件规则，然后对视频中目标运动行为进行智能分析来判断是否属于异常事件。它更多的是关注于事件本身，例如是否有人员目标进入到某个区域，是否有车辆目标出现违法停车或者非法变道等。智能分析的主要应用是异常事件实时布控，确保异常事件发生后第一时间能告知用户。而视频结构化技术是将视频场景中的运动目标检测出来并提取该目标的可视化特征。它更多的是关注于目标本身，例如车辆目标的颜色和类型，人员目标的性别、年龄、着装等。视频结构化技术的主要应用是目标的追踪，搜索出目标可能出现的所有位置，生成目标的活动轨迹。当然，视频结构化技术也可以和原有的智能分析技术结合应用。例如通过实现录入，可以对人员和车辆的图片进行实时目标布控，当布控人员或车辆出现在监控画面中时可以第一时间告知用户，人脸卡口的实时报警系统就是其中最为典型的一个例子。

视频结构化技术的现状

随着视频结构化技术在安防领域的兴起，越来越多的公司开始在视频结构化技术领域投入研发资源。其中，海康威视在视频结构化实战应用中走在队伍的前列，海康威视已经推出了自己的视频结构化产品——猎鹰，该产品基于高密度的GPU硬件方案，并采用国际领先的深度学习网络框架的人工智能学习算法，单台设备支持40路实时视频结构化分析或40倍历史录像结构化分析。猎鹰所采用的先进算法在复杂的治安场景下仍具有良好的适用性，精确捕获各类场景中出现的目标和目标属性。设备支持多目标按属性进行检索，筛选出用户所关心的目标，提高用户的查询效率。

视频结构化技术存在的问题

现阶段，视频结构化技术的应用场景除了人脸卡口场景和车辆卡口场景，最多的应用场景还是治安场景。由于人脸卡口和车辆卡口对于前端相机参数和相机的安装规范和场景的选择都有非常高的要求，因此在实际应用中可以最大程度的避免外界干扰对算法性能的影响。然而，对于治安场景而言，相机安装没有统一规范，应用场景复杂多样，前端相机性能参差不齐。因此，视频结构化技术在治安场景下的实际应用中还面临着许许多多的问题。主要包括：

治安场景覆盖范围大，场景目标尺寸过小。特别是大场景下远处的目标，即便是肉眼也很难辨认，目前的算法对于这类目标的检测效果比较差，更别说提出该目标的属性信息；

场景中遮挡问题。视频结构化技术完全依赖于视频图像，一旦目标被遮挡，那算法也无能为力。在治安场景下，往往存在树叶、树木、建筑物的遮挡，或者是大目标遮挡小目标等情况；

低照度问题。对于卡口场景，夜间会有相机的补光措施。但是，对于普通的监控相机一般是不具备补光功能，因此在夜间或者照度很低的情况下，往往容易出现目标检测不到或者目标属性无法提取的情况；

运动模糊问题。在某些情况下，场景的光照不是特别充足，由于相机的曝光时间设置较长或者目标运动速度较快，会导致目标出现非常严重的运动模糊。针对这类模糊的目标，检测效果往往比较差；

人员过于拥挤的场景。对于某些场景，如火车站广场，人员非常拥挤，人员之间的遮挡非常严重。对于这类场景对于算法的效果影响也非常大。