视频智能检索应用与发展浅谈

视频检索主要是依赖于视频算法对视频进行预处理，通过对视频内容进行结构化处理，提取出视频内容中的有效信息，进行标记或者相关处理后，然后可以通过各种属性描述进行快速检索。

应用背景

在过去的十几年间，安防行业建设由模拟向数字化转化，数字化以DVR 和DVS为代表。数字化之后，实现了远程视频实时监控，解决了监控系统“看得见”的问题。近几年，随着高清视频监控的逐步推广和普及，视频监控市场已经朝着“看得清，看得明”方向发展。同时，全国各地的平安城市、平安乡镇建设如火如荼，前端的视频探头成千上万，后端的录像存储更是无法用数量来衡量。现有监控建设中的录像数据应用已然陷入困境：

第一，海量视频数据堆积。

近年来，中国视频监控市场受平安城市建设，北京奥运会，上海世博会，广州亚运会，深圳大运会等大型活动的安保项目以及各行业视频监控需求快速增长等因素的刺激和拉动，取得了快速发展，整个市场规模迅速扩大。我们预计，随着各项政策的继续开展和深化，以及交通、教育、金融等各个行业用户的安防意识的不断增强，未来视频监控市场仍将保持强劲增长的态势。面对数以万计的前端摄像头存储下来的海量视频数据，如何快速查询和检索成了目前最大、最棘手的问题。

第二，人工查看效率低下。

由于人类的生理局限，长时间专注于单一视频画面，过程单调、乏味，容易造成视频侦查人员注意力低下，产生视觉疲劳，严重影响审看效率。

因为人眼的视觉疲劳，极易忽略掉重要的目标线索，造成“过眼不过脑”的情况。美国圣地亚国家实验室的研究表明，人对于单调的事物无法长时间的集中注意力，人眼注意画面超过22分钟的时候，则有95%的画面会被忽略。因此，一段视频往往需要花费更多的时间进行重复审看，大大增加了工作量，并且还是无法完全避免遗漏和误差。这是人工无法避免的视觉误差。

目前的现实情况是，被迫使用人海战术进行视频检索和查看。通常一个案件需要审看周边几十个摄像头、前后数天的视频，所审看的视频量时常达到数百上千小时。在目前的人工查看模式下，传统的方法需要从头到尾顺序播放，往往需要数倍于原始视频的时间才能审看完成，因此需要大量人员连续加班数周进行视频的审看。为了规避遗漏和误差，很多刑侦队采用加大人力投入的方法。但是经过实践证明，这种方法吃力不讨好，仍然解决不了根本的问题。

技术基础

视频检索主要是依赖于视频算法对视频进行预处理，通过对视频内容进行结构化处理，提取出视频内容中的有效信息，进行标记或者相关处理后，然后可以通过各种属性描述进行快速检索。

因此视频检索最主要的是利用视频检测算法对视频进行结构化描述，目前已经在相应的产品中得到应用的算法主要有以下几种：行为分析算法、车牌识别算法、车辆颜色识别算法、车标识别算法、车型识别算法、人脸检测识别算法、人体特征识别算法等。其中人体特征识别又包括人的年龄、性别、身高、衣服颜色、是否戴眼镜等特征信息的识别。

目前在视频检索中已经得到比较成熟应用的算法技术是行为分析算法、车牌识别算法、车辆颜色识别算法、人脸检测识别算法等。

应用现状

目前市场上出现了各种类型的视频检索产品，但总体分为两大类，一类是单机式的视频检索终端，另一类是整体系统级的检索应用。这两种产品形态在功能上基本相似，只是在一些细小的功能方面有一些差别。单机式的检索终端主要满足客户的一些现场零时性的视频检索需求，而终端服务器类型的主要是满足整体监控系统视频检索应用的需求。

单机式视频检索终端一般为一台工业级笔记本进行处理。设备如下图所示：

系统级检索应用则需要各种分析服务器和管理服务器来完成相应的工作，系统主要是软件应用，对巨大的视频数据进行智能分析，数据挖掘同意应用管理的一套独立系统，包含服务器端软、硬件模块和管理软件，服务器提供核心处理和各种应用服务，客户端软件提供用户交互应用界面，各模块之间通过IP网络进行通信、协同工作。一般来说物理架构和模块架构如下图：

主要功能

1）目标图例查看

通过自动化的智能分析预处理，将杂乱无章、毫无逻辑的监控视频内容进行梳理，自动获取视频内部的事件及目

产品名称 功能描述智能视频录像分析管理系统（C/S）视音频智能分析应用界面，事件编辑、智能检索、图像增强处理，历史信息查询、视频文件上传、目标查看、浓缩、预处理等功能录像视频存储服务器 录像视频相关数据存储智能元数据存储处理器 智能分析结果（元数据）结构化存储智能分析管理服务器 对智能分析任务进行管理、分发智能分析执行服务器 对智能分析任务的执行，支持集群模式，支持快至上百倍的分析能力图片存储服务器 用于存储智能分析出的图片资源转码服务器 将多种格式码流转成统一格式的录像文件图像增强服务器 图像增强服务

各服务器具体功能描述：标的关键信息，并根据这些信息生成视频内容及索引。刑侦人员可以通过查看目标图例，就可在几分钟内，查看数个小时视频中包含的所有目标，并确定其行为，完成对视频中信息的甄选。视频查看人员查看这些视频索引，就如同看一本书的概述及目录一样，既可以快速的了解视频的内容，也可以快速定位到视频中所需要重点关注的片段。

2）目标视频段点播下载

在审看视频中，刑侦人员通过对案情的分析，根据所有关注目标的一些特征，通过设置智能排查规则的方式，即可快速定位到刑侦人员所关注的目标及视频片段上，并达到秒级响应，而不用再需要花费大量的时间重新分析整个视频，可以把时间和精力放到有价值的视频内容审看上。

3）智能浓缩播放

基于智能分析技术的新型视频播放方式，它能根据用户的意愿自动控制播放速度，将涉案视频中真正有用的证据、线索内容进行慢速的播放，用户不关注的内容采用快进播放的方式进行浏览。这种方式极大节约了审看人员的浏览时间，加快了视频内容的审看速度。

4）目标特征类型过滤查询

系统可以对目标图例或排查结果的类型进行过滤，在目标结果较多的情况下，系统支持将目标中的类型进行分离，进一步缩小关注范围，比如人、颜色等。

5）视频中人脸提取

通过智能分析预处理以及人脸检测算法，将监控视频中的人脸进行整理汇总，获取视频内感兴趣目标的相关信息，并根据这些人脸信息生成索引。相关人员可以通过查看人脸图示，就可在几分钟内，查看数个小时视频中包含的所有目标，并确定嫌疑目标，也可观看该目标在整个视频中的存在片段与运动轨迹。

6）图片人脸快速检索

在外部获取非常有价值的包含嫌疑人脸的图片，想在大量的视频源中查找出这个嫌疑人其他信息，这时候用户可以将图片导入系统中，系统会自动检出这张图片中所有人的头像，用户可以按相似度进行排列，选取相关片段进行再次分析，获取有效信息。

7）车牌目标快速提取

通过自动化的智能分析预处理以及规则下的智能排查，将监控视频中的内容进行整理汇总，获取视频内感兴趣目标的相关信息，并根据这些信息生成索引，主要是以车牌信息呈现。相关人员可以通过查看车牌图例，就可在几分钟内查找到目标车牌，并可观看该目标在整个视频中的存在片段。

系统可对目标图例或排查结果的类型过滤，将车牌信息列出，用户可以自行选择关注的车牌图片，观看大图，这样就可以获取车牌对应的车辆信息（车身颜色，车牌号码，车型）。

系统将视频分析处理之后，显示出车牌信息，用户在诸多图片中找出重点关注的车牌，可以将此车牌相关的视频片段导出，以作为重点依据。

视频检索技术应用的总结与展望

海康威视的视频检索系统采用高效智能分析算法技术（周界防范、人脸、车牌），保证分析信息的全面和准确，同时系统采用集群化计算方式，可提供几十上百倍以上的快速分析能力，并可根据应用需要进行线性扩展，提高计算能力。在视频资料录入的同时，自动对视频中的目标信息进行格式归一化与智能预处理分析，提取视频中目标的相关信息作为智能元数据保存至数据库中。之后的相关操作，如智能审看、智能检索等等就不用再做复杂的解码以及智能分析的工作，而是直接从智能元数据中提取，大大提高了工作效率。

根据智能元数据信息，可对目标及目标细化特征等视频内容级别进行筛选，如颜色、人/车分类等。用户还可根据实际情况的需要自定义设置不同的周界防范规则，通过在数据库中对元数据进行检索提取触发规则的目标信息，达到快速检索的目的，极大地提高了效率。

在今后的发展中，视频数据深化应用会越来越成熟。主要从以下几方面得到深入应用：

1、基于特征的检索功能更加完善反应。

基于特征的检索功能，在目前的应用系统中已经初步实现了简单的人车等信息区分，后续的应用将对更加多的特征进行分类，用户可以通过这些特征快速的从视频中找到相应的事件和所需的信息。这些特征主要分人的特征和车的特征：如人的脸部特征，体毛特征，衣服颜色，高度，发型等特征。车的特征：主要是车牌、车型、车身颜色、车标等特征。

2、关联检索应用。

当各种特征识别和检索等都达到一定的应用，同时结合各种地理信息平台，系统能够结合公安刑侦的实际应用，通过各种视频分析，检索，线索分析，视频关联，行踪分析等，形成一套以案情发展为主线的，关联各种有效视频信息的检索应用。这是视频数据挖掘和深度应用，在不久的将来必将成为现实。

3、为视频建立事件和特征索引。

巨大视频数据的有效管理也将是未来的一个难题。如何将视频信息有效的建立一套管理系统，能够快速、方便、准确地找到有效事件和有效信息，将改变目前这种现状。以后的视频数据都会通过视频特征提取技术，为每一个有效的视频数据打上数字标签，建立以有效事件及有效特征为索引的视频管理系统。这样的管理系统能够将同一类型的视频数据进行分类管理，也能够方便的找出各种类型的事件和各种特征的人物和车辆等。

随着技术的发展和人类不断的探索，在不久的将来，这些技术必将成为现实。