一种多维特征融合的车辆对象同一性匹配方法

刘加运,李玉恵,李 勃,严 明

(1.昆明理工大学 信息工程与自动化学院,云南 昆明 650500;2.云南省智能交通系统工程技术研究中心 智能图像处理研究室,云南 昆明 650224)

一种多维特征融合的车辆对象同一性匹配方法

刘加运1,2,李玉恵1,2,李 勃1,2,严 明1,2

(1.昆明理工大学 信息工程与自动化学院,云南 昆明 650500;2.云南省智能交通系统工程技术研究中心 智能图像处理研究室,云南 昆明 650224)

基于图像的车辆匹配是图像匹配在智能交通领域内的具体应用。为了实现车辆对象的快速匹配，文中提出一种多维特征融合的车辆对象同一性匹配方法。该方法分为两个阶段进行。第一阶段先对车辆对象进行初步筛选，提取车辆对象的颜色特征和车型进行快速匹配，计算特征向量的欧氏距离，排除最不可能相似的车辆对象；第二阶段根据摄像头物理条件及视频编码格式对车辆的局部特征、感知哈希特征进行加权多比较，进行车辆的同一性精细化匹配。这样第一阶段匹配完成后，第二阶段简化为只在车辆大类内匹配，缩小了匹配范围。实验结果表明，该方法能够有效缩小车辆匹配范围，匹配到最有可能和目标车辆是同一车辆的准确率较高。

特征融合；同一性；图像匹配；局部特征；感知哈希特征

1 概 述

随着社会的不断发展，交通环境变得日益复杂。目前，交通监管部门对违法车辆的处罚主要是通过车牌识别系统对违法车辆在道路卡口进行拍照取证，进行事后法律责任追究工作。但是，部分路口没有高清摄像头，或者监控视频质量较低难以达到车牌识别的要求，另外还有部分驾驶员不挂车牌或对车牌进行遮挡来逃避处罚，这些情况加大了交通监管部门的执法难度。因此，基于图像的车辆匹配方法就成为智能交通系统中必不可少的组成部分。

基于图像的车辆匹配是图像匹配在智能交通领域内的具体应用，国内外研究人员将图像匹配的方法应用到车辆匹配，已取得一定成果。例如，Hsu Chao-Yung等[1]提出改进的SIFT(Scale Invariant Feature Transform)算法，该算法利用尺度不变特征进行匹配，准确率较高。但是该方法计算量较大，匹配结果对图像的质量要求较高，实时性较差。Yan Bo等[2]提出了一种基于3D模型的车辆匹配方法。该方法提取车辆的形状大小及角度，对车辆全身进行匹配。这种方法无法专注于车身的特定区域，难以区分过于相似的车辆对象。这些方法使用的是一维特征进行车辆匹配，难以全面描述车辆全身特征，对道路交通复杂环境下视频中的车辆匹配效果不尽如人意。

颜色特征是图像最直观而明显的特征，具有一定的稳定性，对噪声、图像大小、方向和分辨率等的变化具有很好的鲁棒性[3]。目前对车辆颜色识别主要有两种方式：对车辆整体颜色进行识别及提取车辆感兴趣区域(Region Of Interest，ROI)进行颜色识别。例如Wu Y T等[4]通过对图像进行分割获取目标车辆，再删除干扰区域获得目标车辆颜色最明显区域，接着使用支持向量机(Support Vector Machine，SVM)对车辆进行分类，进而识别车辆颜色。但是该方法识别黑、银、绿三种颜色正确率较低。

车型是刻画车辆对象的基本特征之一，用车型特征进行车辆对象的同一性匹配可以提高匹配的效率和准确性。一般来说，考虑到人类的视觉感知，从图像处理层面上，可以将车辆分为大型车、中型车、小型车三种类型。例如戴光明等[5]使用弹性松弛袋算法提取视频关键帧，从而提取目标车辆的车长特征，获得车型识别。但是该方法提取关键帧时建立的背景含有噪点，且无法避免反向车道车辆的影响。

车辆的局部特征是指图像中不受视角变化、旋转变换、尺度变换等影响的特征。由于文中的工作以视频为基础，且智能交通系统在不同监控点安装的摄像头高度、角度也不尽相同，使用局部特征对车辆进行匹配可以避免这些客观因素的影响。蔡佳等[6]对SURF(Speeded Up Robust Features)算法进行改进，能实时提取图像中均匀分布且更具健壮性的特征点，算法复杂度低、实时性强。感知哈希算法对图像的低频特征(如颜色、纹理等)进行比较，可以避免图像的压缩、噪声、旋转等影响，提高车辆匹配的准确率和效率。孙锐等[7]提出一种基于SIFT和主成分分析(Principal Components Analysis，PCA)的感知哈希方法，使用哈希归一化相关值来确定图像间的相似度，对图像旋转、光照变化、图像滤波具有较好的稳健性。

由于车辆图像本身包含丰富的信息，使用一维特征对两个车辆对象进行匹配往往缺少足够的区分信息，效果不理想。基于以上研究，文中提出一种融合车辆对象的颜色、车型、局部特征、感知哈希特征的匹配方法。由于文中的工作主要是在“大数据”视频资源中对车辆对象进行匹配，对实时性有一定要求。因此，该方法分为两个阶段进行。第一阶段对车辆对象进行初步筛选，提取车辆对象的颜色特征和车型特征，计算特征向量的欧氏距离，排除最不可能相似的车辆对象。文中在图像的颜色特征提取方面，利用文献[4]的方法提取车辆明显区域，再遍历每个像素在HSV颜色空间分量上的值，最终确定颜色特征。在车型特征提取方面，对文献[5]提取关键帧的方法进行改进，从而提取目标车辆的车长特征，获得车型识别。第二阶段根据摄像头物理条件及视频编码格式对局部特征和感知哈希特征进行加权多比较，输出匹配结果。这样第一阶段匹配完成后，第二阶段简化为只在车辆大类内匹配，缩小了匹配范围，提高了匹配效率。通过两阶段的匹配，可以缩小目标车辆的匹配范围，为交通监管部门快速检索目标车辆提供帮助。

2 特征提取

2.1 颜色特征

根据公安部的机动车辆颜色分类标准，车辆颜色根据基色可以分为十种。提取车辆明显区域后，根据不同车辆的颜色分布，遍历每个像素在颜色分量上的H,S,V值。

由式(1)计算所有像素所属的最大值即为车辆的颜色特征。

Fcolor=f(H,S,V)=

(1)

2.2 车型特征

为了准确提取运动车辆对象的关键帧，对弹性松弛袋算法[5]进行如下改进：

(1)为避免监控视频中字幕等干扰因素的影响，对视频进行感兴趣区域划分；

(2)为避免视频中反向车道内车辆的影响，在视频感兴趣区域、所研究车道中车辆特征最为明显的范围内，建立一条与道路方向垂直的直线，即虚拟线，如图1所示。

图1 视频中的虚拟线

文中采用最小二乘拟合算法拟合出车辆对象的最小外接矩形及车辆质心坐标O(x,y)，并计算车辆的质心坐标到虚拟线直线方程l:Mx+Ny+Q=0的距离。若质心坐标在该直线方程上，则将此帧作为车辆对象的关键帧。再提取目标车辆的车长特征C，由文献[5]的车辆轮廓周长提取方法及文献[8]的车型统计方法，经过统计得到如式(2)判断车型的数学描述。

(2)

2.3 局部特征

车辆的局部特征是指图像中不受视角变化、旋转变换、尺度变换影响的特征。SIFT是一种鲁棒性好且具有尺度不变性的特征点检测方法，但算法复杂度高、实时性较差。SURF算法是对SIFT算法的改进[9]，以查找高斯差分金字塔图像的极大值来寻找特征关键点位置，算法速度远快于SIFT且更加稳定。

SURF构造的金字塔图像采用的是DOG图像，图像中某个像素点的Hessian矩阵行列式为[10]：

(3)

由于尺度的不同，极值点与极值点之间的距离会很大。为了保持稳定性、精确关键点的位置，需要进行插值运算，如式(4)所示。

(4)

接着确定每个关键点的主方向，以保证旋转不变性。建立特征向量描述子后，即获得了关键点的位置和尺寸，如图2每个圆圈代表关键点，圆圈中心为关键点位置，圆圈大小为关键点尺寸。

2.4 感知哈希特征

感知哈希算法PHash(Perceptual Hash)是将图像中的结构、明暗等特征通过变换转为64级灰度，通过每个像素的灰度与平均值比较构成可比较的64位字符串指纹，然后用汉明距离度量法进行相似性比较[11]。感知哈希算法利用图像的低频特征(如颜色、纹理等)进行比较，可以避免图像的压缩、噪声、旋转等的影响。

图2 车辆对象的SURF局部特征

提取感知哈希特征方法如下：

(1)缩小图像尺寸。使用高斯核快速去除高频特征及细节，得到8*8像素图像，只保留结构、明暗信息，摒弃不同尺度的影响。

(2)简化色彩。将图像转换为64级灰度图像，即只含64种颜色。

(3)计算灰度平均值。对图像进行离散DCT变换，计算8*8像素的灰度平均值：

(5)

(4)比较像素的灰度。将每个像素的灰度与计算得到的灰度平均值进行比较，如果灰度值大于或等于平均值，则设置该维为1，反之为0。

(5)计算哈希值。将比较结果组合在一起(组合方式不限定)，构成64位整数，则为该图像的指纹。

(6)对比图像指纹。使用汉明距离度量法比较两图的距离(经过实验统计，两图相似的距离为22)，得到归一化的感知哈希特征相似度距离SimPHash'(p,i)。

感知哈希算法直接提取图像的低频信息，没有环境及复杂背景的影响，匹配效率大大提高，且算法复杂度低[12]。

3 特征融合

颜色和车型特征侧重于对车辆整体的描述，局部特征侧重于车辆对象的关键点描述，感知哈希特征侧重于车辆对象的低频特征。如果仅仅使用一种特征进行车辆对象的同一性匹配，对图像的描述维度低，准确度不高。车辆对象间的同一性匹配是复杂对象间的比较，文中将使用复杂对象分解的相似性度量思想进行特征融合。

由于上文提取的特征物理意义完全不同，且各特征对应的相似度取值范围也不同，若进行直接匹配则会出现偏差，因此需要对其进行归一化操作。高斯归一化方法[13]是一种实用的归一化方法，其特点是少量超大或超小的元素值对整个归一化后元素值的分布影响较小。以下需要对车辆对象的颜色特征、车型特征、局部特征进行归一化，感知哈希特征已在上文进行归一化。

3.1 特征归一化

使用欧氏距离计算两个车辆对象颜色特征的距离。令Hp(k)和Hi(k)分别为目标车辆和待测车辆的颜色特征。取H(黑色)=1，H(灰色)=2，H(白色)=3，H(红色)=4，H(橙色)=5，H(黄色)=6，H(绿色)=7，H(青色)=8，H(蓝色)=9，H(紫色)=10。取H(大型车)=1，H(中型车)=2，H(小型车)=3。则目标车辆p和待测车辆i的颜色特征、车型特征的欧氏距离为：

(6)

归一化的颜色特征、车型特征相似度距离如式(7)，即完成颜色特征与车型特征在[0,1]区间内的归一化。

(7)

3.2 尺度归一化

使用SURF算法提取车辆对象的局部特征后，即得到一些关键点。以两个车辆对象关键点之间的欧氏距离作为局部特征匹配的相似度准则。令两个车辆对象关键点分别为Keyp和Keyi，则目标车辆p和待测车辆i的局部特征欧氏距离为：

(8)

使用基于k-d树的近似最近邻搜索算法(BBF)在欧氏空间中寻找各特征向量的最近邻和次近邻[14]。如寻找距离目标车辆的一个关键点p最近和次近的待测车辆的关键点i'和i''，再计算p与i'和p与i''之间欧氏距离的比值。如果比值小于阈值(文中取0.45)，则匹配成功，记(p,i')为一对匹配点，否则记匹配失败。

令Op与Oi分别为提取到目标车辆图像及待测车辆图像的局部特征点数，使用BBF算法匹配成功的个数为OMatched，则目标车辆图像及待测车辆图像的相似度如式(9)，归一化后的局部特征相似度距离如式(10)。

(9)

(10)

3.3 特征融合

文中提出的方法分为两个阶段进行。第一阶段对车辆对象进行初步筛选，提取车辆对象的颜色特征和车型特征，比较颜色相似度距离和车型相似度距离。只有当Simc'(p,i)<2&&Simt'(p,i)<1时，两车辆对象才有可能相似。再对局部特征和感知哈希特征进行加权多比较，如式(11)所示。

SimAll(p,i)=λSimk'(p,i)+(1- λ)SimPHash'(p,i) λ∈[0,1]

(11)

其中：λ为局部特征的权重；(1-λ)为感知哈希特征的权重。

一般情况下，默认将两种特征平均分配，各占0.5权重，然后根据视频拍摄高度、角度及视频编码格式的变化调整权重的比例，如果视频的拍摄角度不同，则加大局部特征的权重。这样就可以对车辆匹配动态调整权重，以反映不同特征的不同重要性。最后根据待测车辆序列内车辆对象的相似度大小找出最相似的车辆。

4 同一性匹配算法

综上所述，提出多维特征融合的车辆对象同一性匹配算法的总过程：

(1)参照颜色特征和车型特征提取方法，分别提取目标车辆和待测车辆的颜色特征和车型特征，按式(7)计算出颜色相似度距离和车型相似度距离。只有当Simc'(p,i)<2&&Simt'(p,i)<1时，进行步骤2，否则认为匹配失败。

(2)参照局部特征和感知哈希特征提取方法，分别提取目标车辆和待测车辆的局部特征和感知哈希特征，按式(10)计算出局部特征相似度距离Simk'(p,i)和感知哈希特征相似度距离SimPHash'(p,i)。

(3)对局部特征和感知哈希特征进行加权多比较，按照公式(11)求出两幅图像最终的相似度SimAll(p,i)。

(4)同一性判定。根据目标车辆和待测车辆的总相似度，SimAll(p,i)值越大，则认为此待测车辆越有可能和目标车辆是同一车辆。

5 实验与分析

实验数据来自交警总队高速公路两个监控点12小时内的监控视频，它们具有不同的拍摄视角及视频压缩格式。用文中提出的方法对该视频进行关键帧提取，获得两组车辆图像。

从第一组车辆图像中随机选取100个作为目标车辆，分别与第二组随机选取的300张图像进行匹配，找到最有可能相似的车辆对象，并与局部特征匹配法、感知哈希特征匹配法进行比较。实验如图3所示，匹配结果见表1。

图3 实验车辆对象

车辆对象颜色车型局部特征匹配感知哈希特征匹配文中方法1红色-0.310.37-2灰色30.480.4420.4613白色10.2880.32-4灰色30.640.570.6095白色20.3620.518-

由表1可见，使用局部特征匹配法和感知哈希特征匹配法对此组实验也能较好地匹配出正确车辆，但是每个车辆对象的最高相似度值所使用的匹配方法不同，车辆对象4的局部特征匹配结果比感知哈希特征匹配结果大，特征融合时如果平均分配权重，得到的最后相似度会比局部特征的匹配值小。通过对照片所对应视频的分析，发现车辆对象4对应的视频拍摄高度、角度比视频编码格式更具影响作用，因此特征融合时不是简单1:1融合，需要加大局部特征的权重，且对同一视频监控点的所有视频关键帧的车辆对象使用同一权重比例系数，以保证匹配结果的准确性。

通过实验，一般情况下，局部特征加权取值0.5～0.55，哈希特征加权取值0.45～0.5。将匹配结果与实际结果相比，四种结果如表2所示。

表2 匹配结果表述

使用准确率来衡量匹配成功或失败的准确性，用查准率来判断所有匹配成功中实际正确的比例。由于查准率的大小与实验样本有关，且实验的数据量较大，因此也可作为一个衡量指标。即准确率=(Q1+Q4)/(Q1+Q2+Q3+Q4)，查准率=Q1/(Q1+Q3)。

表3 匹配结果性能比较

由表3可见，使用文中方法进行车辆对象同一性匹配的准确率和查准率都较高。因为文中方法第一阶段对车辆对象进行初步筛选，排除了颜色、车型差距很大的对象；在第二阶段对车辆对象进行精细化匹配(不同情况下用不同权重)。虽然使用另外两种方法对实验数据进行匹配也取得了较好的效果，但是根据实验数据的特点对两种特征进行加权多比较会得到更高的准确率。综合对比，文中提出的方法匹配效率更高、准确率更高。

6 结束语

针对车辆对象同一性匹配问题，文中提出一种多维特征融合的匹配方法。实验结果表明，该方法相比于采用一维特征的匹配方法，能有效缩小目标车辆的匹配范围，匹配到最有可能和目标车辆是同一车辆的准确率较高。但文中所讨论的方法仅涉及对车辆匹配的研究，在实际应用中还需要建立“高速公路道路卡口模型库”。下一步研究工作主要是根据所建立的“高速公路道路卡口模型库”中的道路及监控设备特点，自适应调节多维特征加权比较的权重比例。

[1]HsuCY，KangLiwei,LiaoHYM．Cross-cameravehicletrackingviaaffineinvariantobjectmatchingforvideoforensicsapplications[C]//ProcofIEEEinternationalconferenceonmultimediaandexpo．SanJose,CA:IEEE,2013:1-6.

[2]YanBo，WangShengjin，ChenYoubin，etal．Deformable3-DmodelbasedvehiclematchingwithweightedHausdorffandEDAintrafficsurveillance[C]//Procofinternationalconferenceonimageanalysisandsignalprocessing．[s.l.]:[s.n.],2010：22-27.

[3]HanJ,MaKK.Fuzzycolorhistogramanditsuseincolorimageretrieval[J].IEEETransactionsonImageProgressing,2002,11(8):944-952.

[4]WuYT,KaoJH,ShihMY.Avehiclecolorclassificationmethodforvideosurveillancesystemconcerningmodel-basedbackgroundsubtraction[C]//ProcofPCM2010.Berlin:Springer,2010:369-380.

[5] 戴光明,张全元,包建全.一种车型特征提取的新算法[J].武汉大学学报:信息科学版,2009,34(10):1155-1158.

[6] 蔡 佳,黄攀峰.基于改进SURF和P-KLT算法的特征点实时跟踪方法研究[J].航空学报,2013,34(5):1204-1214.

[7] 孙 锐,闫晓星,高 隽.基于SIFT和PCA的图像感知哈希方法[J].电路与系统学报,2013,18(1):274-278.

[8] 李世林.基于视频的道路交通参数提取方法研究[D].重庆:重庆大学,2014.

[9] 李宏荣,李晓明.基于SIFT,PCA-SIFT和SURF特征检测方法的研究[J].太原师范学院学报:自然科学版,2012,11(3):74-76.

[10] 刘瑞祯,于仕琪.OpenCV教程—基础篇[M].北京:北京航空航天大学出版社,2007.

[11] 牛夏牧,焦玉华.感知哈希综述[J].电子学报,2008,36(7):1405-1411.

[12] 曾 勇.图像感知哈希算法及应用[D].杭州:浙江理工大学,2012.

[13]NastarC，MitschkeM，MeihacC．Efficientqueryrefinementforimageretrieval[C]//ProceedingsofIEEEcomputersocietyconferenceoncomputervisionandpatternrecognition．SantaBarbara，California：IEEEComputerSociety，1998：547-552．

[14]ZhanHongliang，ZhongDi．Aschemeforvisualfeaturebasedimageretrieval[C]//ProcofSPIE.Shanghai：[s.n.]，2010：369-380．

A Vehicle Object Identity Matching Method of Multidimensional Feature Combination

LIU Jia-yun1,2,LI Yu-hui1,2,LI Bo1,2,YAN Ming1,2

(1.Faculty of Information Engineering and Automation,Kunming University of Science and Technology, Kunming 650500,China; 2.Intelligent Image Processing Lab,Yunnan Intelligent Transportation System Engineering Technology Research Center,Kunming 650224,China)

Vehicles based on image matching is image matching in the specific application in the field of intelligent transportation.In order to achieve quick matching for vehicle object,a method of vehicle object identity matching based on multidimensional feature combination is proposed.This method can be divided into two stages.First,the vehicle object is carried on the preliminary selection,extracting color features and models for fast matching,calculating the Euclidean distance of feature vector to exclude the impossible similar vehicles.Then,according to the physical condition of camera and video coding format,the local features of the vehicle and perceptual hash features are compared to complete the vehicle’s identity matching.After completion of the first phase matching,the second phase is simplified to only within the vehicle types match,narrowing the scope of the match.The experimental results show that this method can effectively reduce the vehicle matching range,and match to the most likely to be the same as target vehicle with high accuracy.

feature combination;identity;image matching;local feature;perceptual hash feature

2015-09-01

2015-12-07

时间：2016-03-22

国家自然科学基金资助项目(61363043)

刘加运(1990-)，男，硕士研究生，研究方向为智能计算与图像处理；李玉惠，教授，研究方向为数字水印、图像处理；李 勃，教授，研究方向为图像处理与智能计算。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1522.100.html

TP391

A

1673-629X(2016)04-0167-05

10.3969/j.issn.1673-629X.2016.04.037