一种基于多类特征融合的车辆识别方法

王左帅 谭德荣 徐艺 侯汝红 王立志

摘  要： 为研究融合多类特征形成的新特征对车辆识别准确率的影响，首先对图像的方向梯度直方图（HOG）特征、不变矩特征和灰度共生矩阵特征进行特征提取，并对HOG特征采用主成分分析法（PCA）进行降维;利用极差变换法对三类特征进行归一化处理并采用线性融合法进行融合构成新的特征。实验结果表明，基于上述三类单一特征的车辆识别准确率分别为51.39%，59.72%和75%，识别准确率较低;基于融合后形成的新特征的车辆识别准确率达到了97.22%，识别准确率有了较大提高，验证了多类特征融合在提高车辆识别准确率方面的有效性，对研究道路交通安全具有重要意义。

关键词： 车辆识别; 特征提取; 特征降维; 特征融合; 归一化处理; 交通安全

中图分类号： TN911.73?34; U471.15                 文献标识码： A                  文章编号： 1004?373X（2020）01?0031?04

A vehicle recognition method based on multi?class feature fusion

WANG Zuoshuai， TAN Derong， XU Yi， HOU Ruhong， WANG Lizhi

Abstract： In order to study the influence of the new features formed by the fusion of multi?class features on the accuracy rate of vehicle identification， the image features of histogram of oriented gradients （HOG）， invariant moment and gray level cooccurrence matrix are extracted and the principal component analysis （PCA） is used to reduce the dimension of the HOG feature， and the three kinds of features are normalized by using the extreme difference transformation method and are fused by using the linear fusion method to form the new features. The experimental results show that the accuracy rates of vehicle identification based on the above three kinds of single features is 51.39%， 59.72% and 75% respectively， which means they are all low; the accuracy rate of vehicle identification based on the new features formed by fusion is 97.22%， which indicates it is greatly improved. This research result verifies the effectiveness of the method of multi?class features fusion in improving the accuracy rate of vehicle identification， and the method is of great significance to the study of road traffic safety.

Keywords： vehicle recognition; feature extraction; feature dimension reduction; feature fusion; normalized processing; traffic safety

0  引  言

机器视觉因其具有探测范围广、道路信息完整等优点，被广泛应用在无人驾驶的车辆识别中[1]。在基于图像的车辆识别中，特征提取及识别方法是影响车辆识别效果的两个主要因素，从特征提取的角度分析，车辆识别方法可分为基于纹理特征、基于形状特征和基于颜色特征的三大识别方法。文献[2]提出一种基于颜色特征的车辆识别方法，用于夜间的车辆识别;从识别方法的角度分析，车辆识别方法又可分为基于AdaBoost、随机森林和SVM等分类器的识别方法。文献[3]提出一种基于类Haar特征和改进AdaBoost分类器的车辆图像识别算法，以解决当前基于SVM分类器或级联分类器存在的分类识别性能不足以及传统基于AdaBoost算法的训练所需时间过长的问题;文献[4]提出一种基于梯度方向直方图特征和支持向量机的前向车辆识别方法，用于解决汽车安全驾驶辅助系统中的前向車辆实时识别问题。

虽然前人在车辆识别方面已经做了大量工作，但由于任何单一特征都不能全面描述图像信息，使得车辆识别准确率不高的问题依然存在，针对这一问题，本文选取了在模式识别方面广泛采用的HOG特征[5]、不变矩特征[6]和灰度共生矩阵特征[7]作为本文要提取的三类特征，提出一种融合图像多类特征并结合SVM分类器的车辆识别方法。

1  特征提取及特征融合

1.1  HOG特征提取与降维

1.1.1  HOG特征提取

HOG特征是一种图像局部区域的特征描述子。以[（x，y）]表示输入图像的像素点，则图像中像素点的梯度计算公式为[8]：

[Gx（x，y）=H（x+1，y）-H（x-1，y）] （1）

[Gy（x，y）=H（x，y+1）-H（x，y-1）]  （2）

式中：[Gy（x，y）] ，[Gx（x，y）]，[H（x，y）]分别表示图像中像素点[（x，y）]处的水平方向梯度、垂直方向梯度和像素值。像素点[（x，y）]处的梯度幅值和梯度方向的计算公式分别为：

[G（x，y）=Gx（x，y）2+Gy（x，y）2] （3）

[α（x，y）=arctan Gy（x，y）Gx（x，y）] （4）

HOG特征提取过程如图1所示。

1.1.2  HOG特征降维

为了消除数据间的大量冗余，提高图像处理的效率，对提取的HOG特征进行降维，本文采用主元分析法（Principle Component Analysis，PCA）完成HOG特征向量的降维操作，采用该方法既可消除特征间的冗余信息，降低特征空间的维数，也能保留图像识别所需的信息。

设有[n]幅原始图像，每幅图像提取[p]维特征，则此原始特征集可用下面的数据矩阵表示：

[X=x11x12…x1px21x22…x2p????xn1xn2…xnp=x1，x2，…，xp] （5）

将新的综合变量由原来的变量[x1，x2，…，xp]线性表示，得：

[y1=u11x1+u12x2+…+u1pxpy2=u21x1+u22x2+…+u2pxp?yp=up1x1+up2x2+…+uppxp]   （6）

满足[u2i1+u2i2+…+u2ip=1，i=1，2，…，p]。

设[λ1，λ2，…λp]为特征向量[u1，u2，…，up]所对应的非0特征根，则[i=1mλi（i=1pλi）-1]定义为前[m]个主成分[y1，y2，…，ym]的累计贡献率。为保证较高的识别率，本文将累计贡献率阈值设为99%，经过Matlab计算得到376维的HOG特征向量。

1.2  不变矩特征提取

由于车辆在行驶过程中经常受到光照、遮挡、震动等因素的影响，因此本文选用具有平移、灰度、尺度、旋转不变性的不变矩特征作为特征融合中的一类特征[9]。

对于一幅[M×][N]的数字图像[f（x，y）]，其[p+q]阶几何矩[mpq]和中心矩[μpq]分别定义为：

[mpq=y=1Nx=1Mxpyqfx，y] （7）

[μpq=y=1Nx=1Mx-xpy-yqfx，y] （8）

式中：[p，q=0，1，2，…];[x]和[y]代表图像的重心。

归一化的中心矩定义为：

[ηpq=μpqμ00ρ] （9）

其中[ρ=p+q2+1]。

然后，利用二阶和三阶归一化中心矩构造7个不变矩，将这7个不变矩组合成一个7维向量，就得本文所求的不变矩特征向量。

1.3  灰度共生矩阵特征提取

灰度共生矩阵是一种通过研究灰度的空间相关特性来描述纹理的常用方法，本文采用能量（ASM）、对比度（CON）、相关（COR）、熵（ENT）和均匀度（IDM）5个参数来表征灰度共生矩阵的特征，其求解公式如下：

[ASM=xyP（x，y）2] （10）

[CON=xy（x-y）2P（x，y）] （11）

[COR=xy（x-r）（y-s）P（x，y）σrσs] （12）

[ENT=-xyP（x，y）lgP（x，y）] （13）

[IDM=xy11+（x-y）2P（x，y）] （14）

式中：[P（x，y）]为灰度共生矩阵;[r]，[s]，[σr]，[σs]分别为[yP（x，y）]与[xP（x，y）]的均值与标准差。

经过上述步骤，本文提取特征的特征参数及维数见表1。

1.4  归一化

由于同一图像的不同特征之间在数值上存在很大的悬殊，为避免因上述原因对图像识别结果造成不利影响，本文采用极差变换法进行特征标准化：

[f： u→v=u-uminumax-umin] （15）

式中：[u，v∈Rn;umin=minu;umax=maxu]，经极差变换有[vi∈0，1，i=1，2，l，…，n，]消除了量纲的影响。

1.5  特征融合

设提取的一幅图像的HOG特征、不变矩特征和灰度共生矩阵特征的特征向量分别为[[a1，a2，…，an]]，[[b1，b2，…，bk]]，[[c1，c2，…，cm]]，将其进行融合，得融合的特征向量[V]：

[V=[a1，a2，…，an，b1，b2，…，bk，c1，c2，…，cm]]

将所提一幅图像的376维HOG特征、7维不變矩特征、5维灰度共生矩阵特征的特征向量按上述方法串联，得388维的融合特征向量。

1.6  SVM分类器

SVM是一种机器学习方法，因其具有良好的泛化能力及较高的分类精度特点[10]，本文选用SVM作为分类器，支持向量机的体系结构如图2所示。

图2中，[K]为核函数，本文采用多项式核函数：

[KX，Xi=ΓXTXi+Γp，     Γ>0]    （16）

2  仿真实验

为验证本文所提方法的有效性，利用Matlab 2012a进行仿真实验。本次实验共收集了872幅图像，其中车辆样本数据436幅，非车辆样本数据436幅，所有图像都归一化为30×30像素大小，部分车辆和非车辆样本数据如图3所示。

为避免车辆和非车辆样本数据、训练和测试样本数据之间的相互影响和干扰，影响实验结果的准确性，首先将872幅样本数据按照车辆训练样本、车辆测试样本、非车辆训练样本、非车辆测试样本分成样本数分别为400，36，400，36的四类样本数据。经特征提取和降维操作之后得376维的HOG特征向量，7维的不变矩特征向量和5维的灰度共生矩阵特征向量。

所提取的三类特征数据在归一化之前存在较大差异，以车辆图像为例，其特征的部分数据见表2。采用极差变换，本文车辆图像特征的部分数据归一化为[0，1]区间之后的数据见表3。

实验采用有监督学习方法，实验之前首先对872个数据进行类别标签标记，本文中车辆样本标签记为1，非车辆样本标签记为0。本次实验共分两组，分别是单特征实验和融合特征实验。

对于单特征实验，首先利用归一化后的三类特征的训练数据分别进行SVM模型的训练，得到相应的SVM分类器模型，然后将三类特征的测试数据输入训练好的SVM分类器中，测试结果如图4所示。

在图4中，用“○”表示实际测试样本，“*”表示预测测试样本，实验最理想的结果是实际测试样本和预测测试样本完全重合，这将表明基于SVM的分类器完全识别出了正负样本。本次实验中实际测试样本72个，其中正样本（车辆图像）和负样本（非车辆图像）分别各占36个。图4a）显示基于HOG特征的正负样本识别效果差且具有将测试样本识别成正样本的倾向性;图4b）显示基于不变矩特征的正负样本识别效果差且具有将测试样本识别成负样本的倾向性;图4c）显示基于灰度共生矩阵特征对正负样本的识别虽没有明显的倾向性，但是其识别效果同样不理想。

对于融合特征实验，首先用融合后的800个车辆和非车辆训练样本训练分类器，最后将72个融合后的测试样本数据输入已训练好的SVM分类器模型中，测试结果如图5所示。

在图5中，除了正负样本各有一个识别错误之外，实际测试样本和预测测试样本基本完全重合，反映了基于多特征融合方法在车辆识别方面的有效性。

将单特征实验和融合特征实验结果进行统计见表4。

3  实验结果分析

由图4，图5和表4可知，基于融合特征的车辆识别方法相比单一特征的车辆识别方法在识别准确率方面有了很大的提高，达到了97.22%。之所以产生这种结果，是因为上述两种方法所提取的图像信息的全面性不同。提取的HOG特征是图像的边缘特征，不变矩特征是图像的形状特征，灰度共生矩阵特征是图像的纹理特征，无论提取的是图像的HOG特征、不变矩特征还是灰度共生矩阵特征都只是图像的一个方面的特征，提取的信息量不足，当图像中某一方面的特征不明显时，基于这种单一特征的车辆识别方法在识别的准确性方面无法给予保证，导致车辆识别准确率低。而将提取的图像的上述三类单一特征融合成新的特征再进行车辆识别，克服了基于单一特征进行车辆识别的缺点，提高了识别的准确率。

4  结  论

本文提出将多类特征相融合组成新的特征方法，相比单一特征的车辆识别方法能够提高车辆识别的准确率，识别结果稳定可靠。本文只选了图像的3类特征进行车辆识别特征融合，在实际应用中如能加入更多、互补性更强的图像特征，使得对一幅图像的信息采集更加全面，将进一步提高车辆识别的准确率，另外，也可以探索结合不同分类器的方法进行车辆识别，本文的研究对研究道路交通安全具有重要意义。

注：本文通讯作者为谭德荣。

参考文献

[1] 徐艺，谭德荣，郭栋，等.面向车辆识别的样本自反馈式级联检测方法[J].长春理工大学学报（自然科学版），2017，40（3）：48?53.

[2] 杜滕州，曹凯.基于单目视觉的夜间车辆识别方法[J].计算机工程与应用，2014，50（17）：160?163.

[3] 文学志，方巍，郑钰辉.一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法[J].电子学报，2011，39（5）：1121?1126.

[4] 李星，郭晓松，郭君斌.基于HOG特征和SVM的前向车辆识别方法[J].计算机科学，2013，40（z2）：329?332.

[5] SALGADO L， CAMPLANI M. Image?based on?road vehicle detection using cost?effective histograms of oriented gradients [J]. Journal of visual communication & image representation， 2013， 24（7）： 1182?1190.

[6] 卢衍泓.基于不变矩特征的车道线图像检测算法[J].激光杂志，2015，36（2）：35?38.

[7] BENCO M， HUDEC R. Novel method for color textures features extraction based on GLCM [J]. Radio engineering， 2007， 16（4）： 64?67.

[8] 曲永宇，刘清，郭建明，等.基于HOG和颜色特征的行人检测[J].武汉理工大学学报，2011，33（4）：134?138.

[9] 赵小川，何灏，缪远诚.Matlab数字图像处理实战[M]. 北京：机械工业出版社，2013.

[10] 陈慧岩，熊光明，龚建伟，等.无人驾驶汽车概论[M].北京：北京理工大学出版社，2014.

作者简介：王左帅（1991—），男，山东菏泽人，硕士研究生，主要研究方向为新能源汽车与智能车辆控制技术。

谭德荣（1963—），男，山东青岛人，博士，教授，硕士研究生导师，研究方向为智能车辆无人驾驶技术。

徐  艺（1989—），男，博士，讲师，主要研究方向为视频与图像处理。