基于多属性层次识别的车辆视频检索系统设计研究

顾思思

（湖南科技学院电子与信息工程学院，湖南 永州 425199）

基于多属性层次识别的车辆视频检索系统设计研究

顾思思

（湖南科技学院电子与信息工程学院，湖南 永州 425199）

交通监控视频中车辆的有效检测和实时跟踪，是车辆行为分析和识别的前提，也是智能交通系统（ITS）的核心内容和关键技术。本文在深入分析当前车辆属性识别方法以及车辆视频检索关键技术的基础上，结合交通监控视频的自身特点，从应用的角度出发，设计一款融合车牌、车身颜色、车型等多个车辆外观属性进行层次识别的机动车辆检索系统。该系统可为用户提供多种查询方式，从而实现交通监控视频中相关机动车辆的准确检索。

多属性；层次识别；交通监控视频；车辆检索

1 引言

车辆视频检索系统是基于内容的视频检索技术（Content-based Video Retrieval,CBVR）在交通视频监控领域的重要应用，它可以按照人们的需求，通过车辆检测、车辆属性（颜色、车标、车牌、车型等）识别等技术手段，在众多的视频库中自动寻找到满足要求的目标车辆，从而有效缓解基于人力的检索与视频大数据之间的矛盾。目前的交通监控视频车辆检索系统多采用单一的基于车牌识别技术。汽车牌照作为汽车身份的唯一标识，在作为视频检索条件时能更准确地实现某一具体车辆的自动识别，但其面对套牌、无牌或是车牌遮挡等问题时却束手无策。

2 系统的设计要点

为弥补传统基于车牌识别或是基于单一识别方法在使用时的局限性，本文提出采用融合车辆的车牌、颜色、车型等多个外观属性来进行共同识别的车辆检索方法。因此，本系统需要对车辆视频检索匹配各阶段的关键技术进行研究和分析，以切合系统需求进行优化改进，寻求最佳解决方案。

2.1 关键帧的提取算法

视频由大量的帧组成。关键帧是指能够反映镜头内容的一帧或者几帧，关键帧选取的好坏将直接关系到后续特征提取的效果和最后检测结果的准确性以及系统的实时性。关键帧的检测通常有基于镜头分割的方法、基于内容信息平均的方法、基于特定对象的方法和基于聚类的方法等几种。本系统的首要任务就是寻找一种适合的关键帧检测和提取方法，不仅要能够对有效的运动车辆信息进行关注和提取，还要能够对非机动车辆的信息进行有效的屏蔽，同时还要考虑提取算法的时间和空间复杂性。

2.2 图像预处理算法

通常情况下，从交通监控视频中提取到的关键帧图像，难免会受到一些外部环境或是摄像机自身的影响而产生噪声。因此，在提取特征之前对摄像头获取的车辆图像进行预处理是十分必要的。常用的图像预处理方法有图像平滑、图像灰度化、图像均衡化、图像分割、图像边缘检测以及图像归一化等。本系统需设计适合的图像预处理流程，以消除图像中所夹杂的噪声对后续特征提取的干扰。

2.3 车辆颜色识别、车型识别以及车牌识别算法

车辆颜色、车型以及车牌的识别算法众多，它们针对不同应用场合各有所长。本系统研究的是基于车牌、车身颜色、车型等多个车辆外观属性层次识别的机动车辆检索系统，其中车身颜色与车型识别的目的是为了生成类别标签以缩小后续检索范围。因此，选择查全率和查准率高的识别方法显得尤为重要。而车牌识别是在车身颜色与车型匹配的基础上进行的进一步检索，系统需对待检测对象和与其同颜色同车型的所有车辆进行车牌识别，为了不影响系统的检索效率，应优先选择计算量小实时性高的识别算法。

3 系统设计方案

3.1 系统整体设计方案

参照传统的基于内容的视频检索系统构成框图，本文所设计的检索系统拟由以下三部分组成：数据库生成系统、查询/检索系统以及数据库，其系统总体框架如图1所示。

图1 系统总体框架图

系统的检索流程是：当往视频库添加一段视频流时，数据库生成系统会自动地对这段视频进行关键帧提取并进行车辆颜色和车型的识别，并将生成的标签连同关键帧图片信息一同保存到图像库中。查询系统面向用户提供查询界面，当用户需要进行检索时，通过查询系统来提交相应的查询条件。本系统提供以输入的文本标签信息为条件的基于文本语义的查询和以车辆图像或视频作为输入条件的基于内容的查询两种方式。对于基于文本语义的查询，系统只需将输入信息与图像库中各图片的标签进行匹配，找到符合条件的车辆图像作为结果反馈。对于基于内容的查询，如果输入为图片则直接进行颜色和车型识别，然后根据识别结果进行图像数据库的标签匹配，以缩小下一步的检索范围。接着根据能否对输入图片定位车牌来决定下一步是进行车牌识别还是特征提取：若为车牌识别则需对待检测图片以及与其同标签的图像数据库中所有车辆图片进行车牌定位、车牌矫正、字符分割等操作，再最终通过训练好的BP神经网络对车牌字符进行识别，对比识别结果并反馈用户；若为特征提取则对待检测图片以及与其同标签的图像数据库中所有车辆图片进行特征因子提取、归一化处理，然后进行相似性计算，并以计算结果为依据将符合条件的车辆图片作为结果反馈。如果查询系统选择基于内容检索的输入为车辆视频，处理的流程则是在以上以图片为检索条件的步骤之前再多加一步视频关键帧的提取。

3.2 本系统视频关键帧提取方案

交通监控视频通常拍摄机位固定、场景镜头上不存在人为的后期剪辑，因此，一段交通监控视频可以视为一个镜头。本系统采取的方式为将不同的视频段作为一个连续的镜头来处理，以降低视频处理的复杂程度。然后根据交通监控视频中车辆运动特征明显的特点，选择基于车辆运动特征进行关键帧提取方法：在运动目标检测上，考虑到基于混合高斯模型的背景差分法易受光照、天气等因素的影响，而帧间差分法又常常会检测出空洞的缺陷，拟采用将二者检测结果进行互补的方法；接着选用基于加权顶帽变换算法来对运动目标进行阴影去除；最后通过在图像中设定水平虚拟检测线来实现关键帧的触发提取。

3.3 本系统的车辆颜色识别方案

本系统用于颜色识别的车辆图像是从实景拍摄的车辆视频中获得，因此易受自然光线中光照强度和光照偏移的变化。为了减少它们的影响，本系统选用五种颜色直方图作为颜色特征用于车辆的颜色识别，分别是：rg颜色直方图、Opponent颜色直方图、Transformed颜色直方图、Lab颜色直方图和颜色矩。车辆颜色识别算法拟采取的步骤是：训练过程首先对训练数据库中的所有图像提取这五种颜色特征，接着进行RBC编码，进而提取FC特征，然后利用事先对颜色类别标定标签训练出SVM模型。而测试过程则要将所有的测试图像进行相同的特征提取，再通过训练出的SVM模型对测试图像进行颜色识别。

3.4 本系统的车型识别方案

车辆前脸图像，简称“车脸”，与人脸一样都具有各自独特的特征，包含很多有用的信息。车脸特征显著且结构性较强，外形轮廓突出立体，有利于分类的特征提取，可以识别出车辆品牌型号。因此，本系统采用基于车脸特征的车型分类方法。首先以车脸检测矩形与车辆检测矩形的相对比例作为经验值，对传统的Adaboost分类算法进行改进，从而训练出车脸检测器以定位车脸。然后选取车辆的散热器隔栏、车灯区域作为ROI提取特征，使用特征直接集成的方式组合成特征向量。最后训练融合多特征识别的车型分类器进行车型识别。

3.5 本系统的车牌识别方案

车牌识别过程主要包括车牌定位、车牌校正、车牌字符分割和字符识别。本系统采用结合垂直边缘检测和车牌颜色对检测以及用车牌几何特征进行连通域分析的方法来完成车牌的定位，用Radon变换完成车牌校正，用基于垂直投影及字符宽度经验值的方法进行字符分割，用训练好的BP神经网络完成字符的识别。

4 结束语

本文在研究车辆监控视频特点以及车辆检索相关技术的基础上，提出使用一种综合运用车辆的车牌、颜色、车型等多个车辆外观属性作为共同的识别条件进而对视频数据库进行层次检索的方法，以弥补传统基于车牌识别或是基于单一识别方法在使用时的局限性，实现交通监控视频中相关机动车辆的准确检索。本系统的实现不仅能为城市的交通规划提供第一手的数据，还可为交管部门和公安部门追查违章和肇事车辆提供极大的便利，具有较强的现实意义和乐观的发展前景。

[1]鲁建飞，谢振平，刘渊．融合多重Bayesian决策的多视觉视频车辆快速检索算法[J]．小型微型计算机系统，2015，32(05)：1122-1126．

[2]张子龙，薛静，乔鸿海等．基于改进SURF算法的交通视频车辆检索方法研究[J]．西北工业大学学报．2014，32(2)：297-302．

[3]连捷．基于图像的车辆区域检测及车辆品牌型号识别技术研究[D]．南京：东南大学，2013．

[4]笪东旭．基于车脸识别的套牌车检测方法研究[D]．西安：西安电子科技大学，2013．

[5]]Pan C，Bai X，Liu W Y．Vehicle color recognition on urban road by feature context[J]．IEEE Transactions on Intelligent Transportation System．2014，15(5)：2340-2346．

[6]Lin Y L，Tsai M K，Hsu W H，et al．Investigating 3-D model and part information for improving content-based vehicle retrieval[J]．IEEE Transactions on Circuits and Systems for Video Technology．2013，23(3)：401-413．

Research on the Design of Vehicle Video Retrieval System Based on Multi-attribute Hierarchical Recognition

Gu Sisi
(Hunan University of Science and Engineering,Yongzhou 425199,Hunan)

The effective detection and real-time tracking of vehicle in traffic surveillance video is the premise of vehicle behavior analysis and identification,and also the core content and key technology of intelligent transportation system (ITS).By analyzing the current key technologies of the vehicle attribute recognition method and vehicle video retrieval, combining with the own characteristics of traffic surveillance video itself and for the purpose of application,this paper designs a vehicle retrieval system which fuses the license plate,body color,vehicle models and other vehicle appearance attributes for hierarchical recognition.The system can provide users with a variety of search methods,so as to realize the accurate retrieval of relevant vehicles in traffic surveillance video.

multi-attribute;hierarchical recognition;traffic surveillance video;vehicle retrieval

TP391.41

A

1008-6609(2017)07-0014-03

顾思思（1982-），女，湖南永州人，硕士，CCF会员，研究方向为计算机视觉、图像处理与模式识别。

湖南省教育厅一般科研项目，项目编号：17C0678；永州市科技局指导性科技计划项目，永科发[2015]9号，项目编号：13；湖南科技学院计算机应用技术重点学科资助。