通用视频图像分析处理应用框架的设计

章亚

（云南省政府采购和出让中心综合服务处，昆明 650118)

通用视频图像分析处理应用框架的设计

章亚

（云南省政府采购和出让中心综合服务处，昆明 650118)

在处理视频的过程中，经常需要对特定视频流进行一系列连续分析处理，并依据处理结果进行视频内容的分析研判。基于实际需求设计包括图像获取部分、图像分析部分、规则判断部分三部分的视频图像分析处理框架，同时，考虑图像处理算法的封装，使得同一张视频帧的处理结果可以在多个应用中使用，提高开发特定应用时的开发效率及稳定性。

视频处理；视频分析；视频分析应用框架；智能分析；处理框架

0 引言

随着安防建设的快速发展，以视频监控为主的安防策略被广泛应用，当前，各个小区、街道、路口，甚至办公居住场所内都安装了大量的视频监控设备，传统的视频监控系统已经成为了公安部门抓获犯罪分子的利器、维持社会安定的重要手段。但同时，如何有效地完成对视频的分析处理，提高视频的利用效率成为了当前的一个主要的研究内容。

智能视频分析处理本身是计算机图像视觉技术在安防领域应用的一个分支，是一种基于目标行为的智能监控技术。区别于传统的移动侦测（VMD，Video Motion Detection）技术，智能视频分析首先将场景中背景和目标分离，识别出真正感兴趣的目标，去除背景干扰（如树叶抖动、水面波浪、灯光变化），进而分析并追踪在摄像机场景内出现的目标行为。

在视频图像分析应用领域，实际处理过程中经常需要对来自某个视频流的一系列图像进行连续的分析处理，并将处理结果按照某种规则进行判断，从而获得有用的信息。对于某一个特定的视频图像分析应用来说，这个过程中一般需要定制开发的主要是以下三个部分：图像获取部分（完成视频对接，如针对网络流媒体、Morhan等引入通用媒体访问UMA[1]）、图像分析部分，完成视频帧的分析处理，今年来这部分的研究也非常广泛[5～8]；规则判断部分，根据分析处理的结果和应用规则进行研判，如在民用、银行、机场等公共场所的应用[9～10]，在政府、军事中的应用[11～12]。但是将这三个部分连接起来的部分则相对固定。例如说，图像获取模块获取到图像后如何将其送入图像分析模块；同一张图如果提供给多个算法进行处理；同一个处理结果如何提供给多个规则分别进行评判等。这些中间环节，可重用度很高。如果能够将这整个过程中变化及非变化部分进行抽象，并使用接口进行隔离，设计开发出一个通用视频图像分析应用框架[13]，可以有效提高开发特定应用时的开发效率及稳定性。本文即是在这种应用要求下提出的。

整个通用视频图像分析应用框架设计目标包括：

●通用性。只要是处理一个连续的图形系列，并在满足某种规则时触发某种动作的应用都可以使用这个框架。

●方便性。特定应用只需实现图像获取、图像分析、规则判断三个部分中需要实现的部分，可以快速实现及测试。

●扩展性。图像获取、图像分析、规则判断这三个模块通过接口与框架连接在一起，在这些模块内部可以使用任何底层技术框架。例如说，图像分析部分可以使用OpenCV或其他算法库。

总体设计思路：

将不变部分的功能实现为框架的骨架，将变化部分功能设计为可拔插的模块，中间用接口进行隔离。

1 框架实现

在这里，采用MS VC++2010环境及OpenCV库来实现框架主体。

整个框架主要分为视频源（Video Source）、视频源管理器（Video Source Manager）、视觉处理器（Vision Processor）、视觉用户（Vision User）、视觉用户管理器（Vision User Manager）五个部分。

由于VC++没有接口（interface），因此采用抽象类（abstract class）来代替接口，以下所提到的接口都是抽象类。

1.1 视频源（Video Source）

视频源主要功能就是提供连续的视频图像系列。需实现IVideoSource接口。IVideoSource接口定义如下：

视频源对象（CVideoSource）继承了并实现了IVideoSource接口，因为从视频流中获取图像与视频设备及厂商有关，在这里为了提高重用度，将具体的图像获取部分的实现留在框架外部，通过在创建视频源时将获取图像的函数指针传入视频源对象，由视频源对象按一定的帧率来获取连续的图像系列。

1.2 视频源管理器（Video Source Manager）

视频源管理器是个静态类，负责管理视频源对象的创建、使用及销毁。

Video Source Manager的定义如下：

1.3 视觉处理器（Vision Processor）

视觉处理器封装了特定的图像处理过程，需要根据应用的要求进行定制开发。Vision Processor需实现IVisionProcessor接口。

IVisionProcessor接口定义如下：

IVisionProcessor接口最主要的目的就是处理图像。各类处理算法的处理器都应实现该接口，在框架中提供了一个实现IVisionProcessor接口的抽象类CVisionProcessor，该类将实现一些图像处理的公共操作，然后特定算法的视觉处理器类则继承CVisionProcessor抽象类，并实现其特定的功能。如：运动目标跟踪处理器CBlobTrackProcessor、人脸识别处理器CFaceDetect-Processor等。

1.4 视觉用户（Vision User）

视觉用户是封装了特定的规则判断过程，需要根据应用的要求进行定制开发。VisionUser需实现IVisionUser接口。

IVisionUser接口定义如下：

IVisionUser接口最主要的目的就是对图像处理的结果应用规则判断。各类应用规则判断都应实现该接口，在框架中提供了一个实现IVisionUser接口的抽象类CVisionUser，该类将实现应用规则判断的公共操作，然后特定应用规则判断的视觉用户类则继承CVisionUser抽象类，并实现其特定的功能。如：运动目标跟踪用户类CBlobTrackUser、人脸识别用户类型CFaceDetectUser等。

1.5 视觉用户管理器（Vision User Manager）

视觉用户管理器是个静态类，负责管理视觉用户对象的创建、使用及销毁。

CVisionUserManager的定义如下：

2 结语

本文给出了包括视频源（Video Source）、视频源管理器（Video Source Manager）、视觉处理器（Vision Processor）、视觉用户（Vision User）、视觉用户管理器（Vision User Manager）五个部分的通用视频图像分析处理应用框架，对于高效地完成视频分析处理具有一定的实用价值。

[1] Morhan R,Smith J R,Li C S.Adapting Multimedia Internet Content for Universal Access.IEEE Transactions on Multimedia,1999,1（3）：104～114

[2] Chang S F,Verto A.Video Adaptation：Concepts,Technologies and Open Issues,Proceedings of the IEEE Special Issue on Advances in Video Coding and Delivery,2005,93（1）：148～158

[3] ISO/IEC.Information Technology：Multimedia Framework Part 7：Digital Items Adaptation（2100027），2004

[4] Vetro A,Timmerer C.Digitalitem Adaptation：Overview of Standardization and Research Activities.IEEE Transactions on Multimedia, 2005,7（3）：418～426

[5] Tsai,LW,et al.Vehicle Detection Using Normalized Color and Edge Map[J].IEEE Transactions on Image Processing，2007,16（3）：850～864

[6] Pereira,F,Sun,NT.Special Issue on Video Surveillance[J].IEEE Transactions on Circuits and Systems for Video Technology，2008, 18（8）：1001～1005

[7] NGHIEM AT,et al.ETISEO,Performance Evaluation for Video Surveillance Systems[C].IEEE International Conference on Advanced Video and Signal Based Surveillance.London,UK.2007：476～481

[8] 孔晓东.智能视频监控技术研究[D].上海：上海交通大学，2008

[9] 张曙光.智能视频监控在公共安防中的应用研究[J].天津：信息系统工程，2011，07：58～59

[10] Stringa E,Regazzoni CS.Real-Time Video-Shot Detection for Scene Surveillance Applications[J].IEEE Transaction Son Image Processing，2000,9（1）：69～79

[11] Collins RT,et al.Introduction to the Special Section on Video Surveillance[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：745～746

[12] Doucet A,et al.Particle Filter for State Estimation of Jump Markov Linear Systems[J].IEEE Transactions on Signal Processing.2001, 49（3）：613～624

[13] 徐农.智能视频监控系统的分析与设计[D].北京：北京邮电大学,2012

Design of Processing Application Framework of the General Video Analysis

ZHANG Ya
（Government Procurement and Transfer Integrated Service Center，Yunnan Province,Kunming,650224）

In the processing of video,often needs a series of continuous analysis of treatment on specific video streams,and based on the results of the process makes the judged analysis.Based on actual demand,designs a framework including image acquisition part,image analysis part,judge rules part.At the same time,by the package of the image processing algorithm,as a result to the analysis of the frame can be used in multiple applications,it can improve the efficiency of the development and stability of the application.

Video Processing;Video Analysis;Video Analysis Framework;Intelligent Analysis;Processing Framework

1007-1423（2015）01-0065-05

10.3969/j.issn.1007-1423.2015.01.015

章亚（1965-），男，河南周口人，硕士，工程师，研究方向为系统结构、软件工程

2014-11-18

2014-12-05