HSV下的基于图像内容的监控视频检索方法

史云静，郑海波，韩小萱，李 洁，朱秀昌

（南京邮电大学 江苏省图像处理与图像通信重点实验室，江苏 南京 210003）

HSV下的基于图像内容的监控视频检索方法

史云静，郑海波，韩小萱，李 洁，朱秀昌

（南京邮电大学 江苏省图像处理与图像通信重点实验室，江苏 南京 210003）

随着构建平安城市活动的推进，大量的高清化、数字化的监控已经逐渐遍布于大街小巷，随之而来的是监控视频快速大量涌现，如何有效存储、管理和利用海量的监控视频成为研究热点。基于内容和语义的视频检索技术成为一种可行的海量信息检索技术，并成为越来越多学者的研究对象。在HSV空间下进行非归一化量化图像彩色信息并以此构建等价的局部二值模式作为基于内容的视频检索图像特征，同时提出了一种新颖、简单的直方图相似性度量方法检索目标图像，检索结果更加符合人们的主观视觉感受。

监控视频；视频检索；非归一化量化；局部二值模式；直方图；相似性度量

基于内容的视频检索利用底层视觉特征进行检索，底层视觉特征分为全局特征和局部特征，常用的全局特征有颜色特征[1]、纹理特征、形状特征等。当然也有学者将颜色和纹理等信息综合起来进行基于内容的图像检索，如S.Nandagopal⁃an等人[2]提出的特征是将颜色、纹理和边缘直方图描述子（Edge Histogram Descriptor，EHD）联合起来，而 Agarwal等人[3]则是将图像先进行离散小波变换，然后再提取EHD。还有其他学者提出了一些其他特征，如Lee等人[4]设计了一种MPEG视频段快速检索方法，他们利用的特征是相邻像素亮度差分量化直方图（Adjacent Pixel Intensity Difference Quan⁃tization，APIDQ）。这种特征计算复杂度不高，同时对运动和光照不敏感。Liu等人[5]利用底层的颜色信息，结合边缘方向提出了一种微结构描述子（Micro-Structure Descriptor，MSD）作为图像检索时的特征。Asha等人[6]基于局部特征描述子（Speeded Up Robust Feature，SURF）方法，利用随机降度的方法降低存储的复杂度来达到基于内容的视频检索。

局部二值模式（Local Binary Pattern，LBP）是由Ojala等人[7]首次提出的用来描述图像局部纹理特征的算子，本文将图像的彩色信息与局部纹理信息结合起来构建彩色局部二值模式特征，将提取到的彩色局部二值模式特征进行直方图统计，同时还提出了一种度量该直方图相似性的方法，最终达到行之有效的基于图像内容的视频检索。

1 视频检索系统框架

一个视频检索系统包括的关键模块有视频库、摘要库的生成、特征库的生成、语义库的生成、数据库管理系统、用于管理各个数据库之间的映射关系、检索算法、B/S或C/S模式的通信框架，并且各个模块需要配合好，完成整个检索过程。视频检索系统框架图如图1所示。

图1 视频检索系统框架图

视频是一种层次结构，包括帧（视频流的基本单位，每一帧就是一幅图像）、镜头（指摄像机不间断拍摄的一组图像帧序列）、场景（语义上相关并且在时间上相邻的若干镜头组成一个场景）、视频（由各个场景组成视频）。层次结构如图2所示。

图2 视频层次结构示意图

而监控视频又有其特殊性：监控视频的背景变化缓慢，监控视频有较大的冗余，监控视频中最有用的信息一般是运动的人或车辆等。同时，监控视频的压缩格式一般比较局限于.mp4等几种常见的格式。因此，监控视频处理时，可以先将视频进行浓缩形成视频摘要，大大压缩视频的数据量。

2 HSV下非归一化彩色量化

本文选择在HSV彩色空间[8]下进行处理，结合彩色空间量化方法[9]采用非归一化的彩色空间量化方法[10]。通过对HSV彩色空间特点的研究发现，彩色空间主要可以分为3部分，分别是白色、黑色和彩色。当颜色的饱和度小于0.2或亮度大于0.8时，人眼会忽视彩色信息，感知为灰度。当亮度小于0.15时感觉为黑色，只有当饱和度大于0.2且亮度在0.15至0.8时人们可以感知到彩色信息。基于此Liu等人[11]将色度分为8个域，饱和度和亮度分别划分为3个域，最终彩色信息量化成72级（8×3×3=72）。计算机至少需要7 bit表示Liu的这种量化方法，然而7 bit最多可以表示128种量化级，显然Liu的量化方法在同等存储大小下未能充分利用像素信息。考虑到计算机存储的单位是字节，一个字节可以表示8 bit，为方便存储，本文用8 bit量化，可以量化出256种色彩。考虑到人眼对于亮度信息和色度信息比较敏感，所以本文将色度和亮度分为8个域，而饱和度分为4个域，具体量化方法为

将HSV空间下的图像按上述域量化后再将彩色特征按式（4）构建为一维的特征，取值范围在0～255。

式中：H，S和V分别表示HSV空间下像素的色度、饱和度和亮度值，Y表示非归一化后的像素值。

3 彩色局部二值模式

原始的LBP算子[12]在3×3大小的窗口内，将邻域内8个像素灰度值与中心像素进行比较，像素值大于中心像素值则标记为1，否则为0。利用3×3邻域内的8个点生成反映该区域的纹理信息的8 bit无符号数，即为LBP值，如图3所示。

图3 原始LBP算子示意图

其后研究人员不断对其改进、优化，提出了LBPP，R算子（半径为R的圆形区域内含有P个采样点）、LBP旋转不变模式、LBP等价模式以及LBP旋转不变的等价模式等。

本文对视频图像先进行颜色空间的转换，然后在HSV空间下对视频图像进行色彩非归一化量化，形成融合彩色信息的二维图像，接着对该图像进行LBP模式提取，并对各种模式进行直方图统计，从而得到包含颜色及纹理信息的基于内容检索的图像特征。算法流程框架如图4所示。

图4 算法流程框架示意图

4 直方图相似性度量方法及实验结果

1）直方图相似性度量方法

获得图像特征后要对特征进行匹配，找出最相似的图像或原图，这就涉及到如何选取相似性度量方法。常见的直方图相似度量方法有如下3种[13]：

式中：hQl和hDl表示查询图像和视频图像的第l个特征个数，HQ和HD表示查询图像和视频图像特征的直方图，L表示特征可取值的个数。

直方图相交法虽然简单，但是其忽略了比重大的特征，信息利用不全。对数似然的方法因为进行了对数运算可以压缩比重大的特征，但由于乘法运算的存在，当检索图像的有些特征比重为零时会直接忽略该特征对全局的影响。卡方的方法运算比较复杂。本文提出了一种既能起到对比重大的特征进行压缩又不会丢失某些特征，同时复杂度也不高的度量方法，定义如下

式（8）中lg算式中的加1是为了避免lg算式中出现为0的情况，当两幅图像特征的直方图越接近时，M值越小，完全相同时M为0。

2）实验结果

本次实验的计算机配置为：Inter（R）Core（TM）2 Duo CPU T5670@1.8 GHz，主频1.79 GHz，2.0 Gbyte内存，Win⁃dows 7操作系统，编程环境和运行平台为MATLAB7.11.0。选取的视频数据类型包括高速公路监控视频、室内监控视频及大街上监控视频3类，视频总大小约15 Gbyte。笔者对视频先进行摘要生成，然后对生成的摘要进行特征提取生成特征库，最后对特征库进行匹配检索得到检索图像所在的视频及其相似的视频帧，显示最相似的6幅视频帧，并列出前10幅最相似视频帧。

图5～7分别是灰度空间和HSV空间下非归一化LBP3种模式特征的检索结果。可以发现彩色特征检索结果比灰度特征检索结果更好，当然虽然3种彩色LBP特征都能检索出原图，但彩色LBP等价模式特征除了可以检索出原图外，其检索出的其他相似图像也更加符合人们的主观感受。

图8从左到右、从上到下的3幅实验结果图分别是彩色等价模式特征下3种相似性度量方法（直方图法、对数似然函数法及本文提出的相似性度量方法）的检索结果。实验结果可以看出，本文提出的直方图相似性度量方法检索出的结果更加令人满意。

5 总结

图5 灰度空间下和HSV下非归一化利用LBP旋转不变模式作为特征的视频检索结果（截图）

图6 灰度空间下和HSV下非归一化利用LBP旋转不变的等价模式作为特征的视频检索结果（截图）

图7 灰度空间下和HSV下非归一化利用LBP等价模式作为特征的视频检索结果（截图）

图8 彩色等价模式特征下3种相似性度量方法检索结果（截图）

本文对HSV空间图像的彩色信息进行非归一化量化后构建新的拥有色彩信息二维图像同时结合局部纹理信息利用等价二值模式生成彩色LBP特征进行直方图统计，并利用本文提出的直方图相似性度量方法来实现基于图像内容的视频检索，结果表明这种方法更加符合人们的主观感受。未来也可以考虑将一些其他的特征综合起来构建特征库。

[1] WANG J，KONG B，JIA Q L.Color-based image retrieval[J].Computer Systems&Applications，2011，20（7）：160-164.

[2] NANDAGOPALAN S，ADIGA B S，DEEPAK N.A universal model for content-based image retrieval[J].World Academy of Science，Engineering and Technology，2008（22）：644-647.

[3]AGARWAL S，VERMA A K，SINGH P.Content based image re⁃trieval using discrete wavelet transform and edge histogram de⁃scriptor[C]//Proc.2013 International Conference on Information Systems and Computer Networks（ISCON）.[S.l.]：IEEE Press，2013：19-23.

[4]LEE F，KOTANI K，CHEN Q，et al.Fast search for MPEG video clips from large video database using combined histogram features [C]//Proc.World Congress on Engineering.London：[s.n.]，2010：1-8.

[5]LIU G H，LI Z Y，ZHANG L，et al.Image retrieval based on mi⁃cro-structure descriptor[J].Pattern Recognition，2011，44（9）：2123-2133.

[6] ASHA S，SREERAJ M.Content based video retrieval using SURF descriptor[C]//Proc.2013 Third International Conference on Advances in Computing and Communications（ICACC）.[S.l.]：IEEE Press，2013：212-215.

[7] OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Trans.Pattern Analysis and Machine In⁃telligence，2002（24）：971–987.

[8]DONALD H M，PAULINE B.Computer graphics[M].[S.l.]：Publish⁃ing House of Electronics Industry，2004.

[9] WANG T，HU S M，SUN J G.Image retrieval based on color⁃space[J].Software，2002，13（10）：2031-2036.

[10] LI X Q，CHEN S C，SHU M L，et al.A novel hierarchical ap⁃proach to image retrieval using color and spatial information[C]// Proc.Third IEEE Pacific-Rim Conferenceon Multimedia（PCM2002）.[S.l.]：IEEE Press，2002：16-18.

[11]LIU J L，KONG D G，ZHAO H W，et al.Image retrieval based on weighted blocks and color feature[C]//Proc.2011 International Conference on Mechatronic Science，Electric Engineering and Computer（MEC）.[S.l.]：IEEE Press，2011：921-924.

[12] XUE X L.Research about access control system based on face recognition[D].Chengdu：Southwest Jiaotong University，2011.

[13] AHONEN T，HADID A，PIETIKAINEN M.Face description with local binary patterns：application to face recognition[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2006，28（12）：2037-2041.

责任编辑：闫雯雯

Method of Surveillance Video Retrieval Based on Image Content in HSV

SHI Yunjing,ZHENG Haibo,HAN Xiaoxuan,LI Jie,ZHU Xiuchang
（Image Processing and Communication Key Lab,Nanjing University of Posts and Telecommunications，Nanjing 210003，China）

With the advancement of building Peace City activities,a large number of HD(High Definition)and digital monitors has been gradually spread all over the streets,followed by lots of surveillance videos rapidly.How to storage,manage and use the vast amounts of surveillance videos effectively becomes a research hotspot.Video retrieval technology based on the content and semantic becomes a feasible method to search information from huge videos,and attracts more and more scholars and researchers’attention.In this paper,color information of images in HSV space with non-uniform quantization method is utilized and local binary pattern ia used as content based video retrieval image features.Besides,a novel but easy method is proposed to measure the similarity of two images' histogram to retrieval the target image and the result conformed to the people's subjective visual perception better.

surveillance video;video retrieval;non-uniform quantize;LBP(local binary pattern);histogram;similarity measure

TN991.73

A

10.16280/j.videoe.2015.04.005

2014-08-21

【本文献信息】史云静，郑海波，韩小萱，等.HSV下的基于图像内容的监控视频检索方法[J].电视技术，2015，39（4）.

国家自然科学基金项目（61071091）