改进的矩特征和随机森林算法车标分类

李芳菊，林 楠

(1.中原工学院信息商务学院 信息技术系，河南 郑州 451191；2.郑州大学 软件应用技术学院，河南 郑州 451191)

0 引 言

车标识别技术[1,2]主要包括两个部分[3,4]，一是车标定位，二是车标分类。本文主要研究车标分类方法。车标分类是一种典型的图像分类技术，主要包括特征提取和特征分类两个环节。在特征提取方面，目前常用的有方向梯度直方图(histogram of oriented gradient，HOG)特征[5]和局部二元模式(local binary pattern，LBP)特征[6]等，在特征分类方面，目前常用的有随机森林[7]、支持向量机(support vector machine，SVM)[8]和深度学习[9]等。如文献[8]采用一种改进的HOG特征描述车标图像，并采用SVM进行特征分类，实现车标图像的分类。文献[9]采用卷积神经网络(convolutional neural network，CNN)来进行车标识别，这样可以避免车标的精确检测和分割过程。文献[10]提出一种基于局部Fisher鉴别分析的车标分类方法，依据车标图像的水平和垂直局部梯度直方图提取特征，采用无监督的主成分分析(principal component analysis，PCA)方法进行特征降维，最后采用有监督的局部Fisher鉴别分析进行车标分类。然后，由于车标图像采集环境和角度差异大，目前车标图像分类方法的分类性能还有待提高。

本文提出一种结合改进Gaussian-Hermite矩特征和随机森林的车标图像分类方法，在图像Gaussian-Hermite矩[11]的基础上提取了Gaussian-Hermite不变矩和鉴别矩两类改进特征，并结合随机森林分类器实现特征的学习和预测，降低车标图像分类的错分率和时间消耗。

1 本文方法

本文提出了一种结合改进Gaussian-Hermite矩特征和随机森林的车标分类方法，主要创新在于改进Gaussian-Hermite矩特征的提取方法。为了便于着重阐述该部分内容，本文不再介绍车标定位相关内容，直接针对裁剪好的车标区域图像研究不同车标的分类方法，实现流程如图1所示。首先，对图像进行光照校正，用于降低采集时光照差异引起的分类误差；接着，计算车标图像的Gaussian-Hermite矩；在此基础上，提取改进的Gaussian-Hermite矩特征，这是本文的研究重点，所述的改进Gaussian-Hermite矩特征包括不变矩特征和鉴别矩特征两部分；最后，采用随机森林分类器对特征进行学习和预测，得到车标分类结果。详细实现过程描述如下。

图1 本文方法实现流程

1.1 光照校正

不同车标图像在采集时受环境光照变化的影响较大。因此，需要对车标图像进行光照校正，降低光照差异对车标分类的影响。考虑到同一类型车标所在的车辆颜色可能是不同的，因此本文仅针对车标的灰度图像进行光照校正以及后续的特征提取与分类。具体地，考虑到车标区域图像的内容比较简单，本文采用简单的直方图均衡法进行光照校正，避免车标图像过亮或者过暗，同时增强图像的对比度。

1.2 Gaussian-Hermite矩计算

(1)Gaussian-Hermite多项式

Hermite多项式的一般形式为

(1)

其中，p∈1，x∈1。

给定一个权重函数

v(x)=exp(-x2)

(2)

式(1)所示的Hermite多项式满足关于权重函数v(x)的正交归一属性，表示为

(3)

其中，δpq为克罗内克符号。

引入一个扩展因子s>0，则通用的Gaussian-Hermite多项式可以表示为

(4)

将Gaussian-Hermite多项式由一维推广到二维，表示为

(5)

(2)Gaussian-Hermite矩

令I(x,y)表示一个连续的图像矩阵，图像的(p,q)阶Gaussian-Hermite矩可以表示为

(6)

计算图像的Gaussian-Hermite矩可以看作是将图像映射到二维的Gaussian-Hermite基函数上。因此，这些矩刻画了图像的局部区域属性。

采用图像的Gaussian-Hermite矩可以重建原图像，表示为

(7)

式(6)假设图像是连续的，而实际上图像是离散的,令G(i,j)表示一幅尺寸为U×V的离散图像，0≤i≤U,0≤j≤V。为了从离散图像矩阵中计算Gaussian-Hermite矩，需要进行归一化处理。采用简单的线性变换将图像的横纵坐标都归一化到[-1,+1]之间，也即-1≤x≤1,-1≤y≤1。这样，Gaussian-Hermite矩可以表示为

(8)

(9)

在本文中，Gaussian-Hermite多项式的最高阶N可以表示为

(10)

其中，Int(·)表示取整运算。α表示一个压缩因子，取值范围为(0,1)。本文取α=0.25。

这样，一幅图像的Gaussian-Hermite矩可以表示为

M=[M00,…,M0N,M10,…,M1N,…,MN0,…,MNN]

(11)

1.3 改进的Gaussian-Hermite矩特征提取

基于图像的Gaussian-Hermite矩，本文提出两种矩特征提取方法，分别是Gaussian-Hermite不变矩特征和Gaussian-Hermite鉴别矩特征，然后将这两类矩特征融合在一起，得到改进的Gaussian-Hermite矩特征。详细介绍如下。

(1)Gaussian-Hermite不变矩特征

为了提高Gaussian-Hermite矩对噪声和图像形变的鲁棒性，本文仿照Hu不变矩的构建思路，提取Gaussian-Hermite不变矩特征，定义为

ρ=[ρ1,ρ2,…,ρ7]

(12)

其中

ρ1=M02+M20

(13)

(14)

(15)

(16)

(17)

(18)

(19)

其中

(20)

(21)

由于阶数越靠前的Gaussian-Hermite矩所表达的图像信息越充分，因此，尽管本文提取的Gaussian-Hermite不变矩特征只用到前3阶Gaussian-Hermite矩，但也可以很好地反映图像类别的差异，同时对噪声和图像形变具有鲁棒性。

(2)Gaussian-Hermite鉴别矩特征

为了区分不同类别的车标图像，我们希望车标图像的类内差异越小越好，类间差异越大越好。基于这一思路，本文借鉴Fisher特征的提取思想，提取Gaussian-Hermite矩的鉴别矩特征，增强特征对不同类别车标图像的区分能力。

假设图像类别数为C，统计训练数据集中每一类图像的Gaussian-Hermite矩均值，表示为

(22)

(23)

统计训练数据集中所有图像的Gaussian-Hermite矩均值，表示为

(24)

(25)

其中，Nall表示训练数据集中图像总数。

于是，训练集中各类图像的类内散布矩阵的(p,q)阶元素可以表示为

(26)

训练集中各类图像的类间散布矩阵的(p,q)阶元素可以表示为

(27)

其中

(28)

对于车标图像分类应用而言，特征的类内差异越小、类间差异越大，越有利于鉴别不同类别的车标图像。因此，本文用类间散布与类内散布的比值作为Gaussian-Hermite矩的鉴别矩特征，表示为

ζ=

(29)

得到Gaussian-Hermite矩的不变矩特征和鉴别矩特征之后，本文将两类特征融合在一起，得到改进的Gaussian-Hermite矩特征。在融合过程中，考虑到Gaussian-Hermite鉴别矩特征的维数偏大，数据运算效率低。而且，Gaus-sian-Hermite鉴别矩特征的维数远远大于不变矩特征的维数，这样不变矩特征对图像分类的贡献将会降低，进而会影响特征分类方法的鲁棒性。因此，本文采用主成分分析方法对Gaussian-Hermite鉴别矩特征进行降维。考虑到Gaussian-Hermite不变矩特征的维数为7，本文将Gaussian-Hermite鉴别矩特征的维数降维至21，也即其维数为不变矩特征维数的3倍，这样Gaussian-Hermite不变矩特征对图像分类的贡献不会有明显消弱，同时Gaussian-Hermite鉴别矩特征的主要信息得到保留，不会影响Gaussian-Hermite鉴别矩特征对图像分类的贡献。最后，本文将Gaussian-Hermite不变矩特征和鉴别矩特征串联在一起，得到最终的28维图像特征，表示为

F=[ρ1,ρ2,…,ρ7,ξ1,ξ2,…,ξ21]

(30)

其中，[ξ1,ξ2,…,ξ21]为降维后的Gaussian-Hermite鉴别矩特征。

1.4 随机森林学习与预测

对于车标图像提取到的改进Gaussian-Hermite矩特征，需要训练一个分类器对其进行分类。目前常用的特征分类方法有支持向量机、神经网络和随机森林等，本文采用随机森林分类器对改进Gaussian-Hermite矩特征进行学习与预测。随机森林分类器实质上是一种集成分类器，其基本单元是决策树。在特征分类时，各个决策树对特征的预测值进行投票，进而得到最终的分类结果。由于各个决策树相互独立，都可以独立进行学习和预测，因此随机森林的学习和预测效率都非常高。同时，随机森林分类器便于实现一对多分类，这对于多类车标的分类而言非常便捷。随机森林的学习与预测实现过程详见文献[7]，本文不再赘述。

2 实验与分析

本文提出了一种结合改进Gaussian-Hermite矩特征和随机森林的车标分类方法，重点是提出一种改进Gaussian-Hermite矩特征，下面先从特征选择方面进行车标分类实验，定量评测本文特征提取方法和其它常用特征提取方法的性能指标。然后从车标分类方面进行对比实验，定量评测不同分类方法的性能指标。通过对比分析综合评价本文方法的性能。详细描述如下。

2.1 实验说明

(1)数据集

数据集是算法评测的依据。车标分类领域目前还未见有公开测试数据集。因此，本文使用自建的数据集进行算法评测。车标图像数据集的构建方法是：先从互联网等场合搜集包含不同车标的车辆图像；然后人工裁剪车标区域的灰度图像，共搜集30类车标，每一类车标包含车标图像100幅。车标图像的高度统一缩放到80，宽度依据实际宽高比例缩放。实验时每一类车标选取前20幅图像进行训练，其余图像用于测试。

(2)评价指标

本文选用两个定量的性能评价指标，一是错分率RCE，表示为

(31)

二是平均分类耗时TC，表示为

(32)

前者用于评价车标分类算法的可靠性，后者用于评价车标分类算法的运算效率。

需要说明的是，分类耗时的统计与计算机处理平台和软件环境相关。本文采用相同的计算机处理平台和软件环境进行对比测试，具体地，计算机处理平台的参数为：CPU 3.6 GHz四核，RAM 8G DDR3；软件环境参数为：操作系统Windows 7 64 bits，集成开发环境Visual Studio 2012。

2.2 特征选择对比分析

本文所述车标分类方法的主要创新在于提出一种改进Gaussian-Hermite矩特征的提取方法，为了验证改进Gaussian-Hermite矩特征对于车标图像分类的有效性，本文采用上一节所述的光照校正和特征分类算法，对比不同特征提取方法的车标图像分类性能。其中，选用LBP[6]、HOG[5]以及Gaussian-Hermite矩[11]3种常用的特征提取方法进行对比，错分率指标对比结果如图2所示，平均分类耗时指标对比结果见表1。

图2 不同特征错分率对比

由图2可见，在其它条件完全相同的情况下，采用本文的改进Gaussian-Hermite矩特征得到的车标图像错分率明显低于其它3种特征，这说明改进Gaussian-Hermite矩特征可以提高车标图像分类的可靠性。由表1可见，改进Gaussian-Hermite矩特征对应的平均分类耗时指标也低于其它3种特征，尽管与经典的Gaussian-Hermite矩相比，本文的改进Gaussian-Hermite矩特征增加了Gaussian-Hermite不变矩和鉴别矩的提取步骤，也增加了PCA的降维步骤，但是改进Gaussian-Hermite矩特征的特征维数远远小于Gaussian-Hermite矩，因此平均分类耗时不仅没有增加，反而略有降低。

表1 不同特征平均分类耗时对比

2.3 图像分类对比分析

下面在相同训练和测试数据集下进行不同方法的车标分类实验，对比本文车标分类方法与目前常用的图像分类方法的性能差异。图3展示了不同方法的车标图像错分率对比结果。表2给出了不同方法的平均分类耗时对比结果。

图3 不同方法错分率对比

方法平均分类耗时/ms文献[8]方法69文献[9]方法131文献[10]方法72本文方法34

由图3可见，本文方法的车标图像错分率是最低的，且明显低于文献[8]和文献[10]两种方法。由表2可见，本文方法的平均分类耗时明显低于其它3种方法，尤其是文献[9]所述方法。因此，本文方法是一种可靠、高效的车标图像分类方法。

3 结束语

本文提出了一种结合改进的Gaussian-Hermite矩特征和随机森林分类器的车标图像分类方法，核心是在图像Gaussian-Hermite矩的基础上，提取改进的Gaussian-Hermite矩特征，包含借鉴Hu不变矩思路构建的Gaussian-Hermite不变矩特征，以及借鉴Fisher特征提取思想构建的Gaussian-Hermite鉴别矩特征，将降维后的两类特征进行融合得到改进的Gaussian-Hermite矩特征。本文采用随机森林分类器对该特征进行学习和预测，在车标图像分类实验中得到了最低的错分率指标，同时平均分类耗时最少，是一种可靠、高效的车标图像分类方法。

参考文献：

[2]YU Ye,NIE Zhenxing,JIN Qiang,et al.Vehicle logo recognition based on randomly sampled pixel-pair feature from foreground-background skeleton areas[J].China Journal of Image and Graphics,2016,21(10):1348-1356(in Chinese).[余烨,聂振兴,金强,等.前背景骨架区域随机点对策略驱动下的车标识别方法[J].中国图象图形学报,2016,21(10):1348-1356.]

[3]Pan C,Yan Z,Xu X,et al.Vehicle logo recognition based on deep learning architecture in video surveillance for intelligent traffic system[C]//International Conference on Smart and Sustainable City,2013:132-135.

[4]ZHANG Li,ZHANG Dongming,ZHENG Hong,et al.Vehicle logo recognition based on convolutional neural network combined with multiple layer feature[J].Journal of Computer Application,2016,36(2):444-448(in Chinese).[张力,张洞明,郑宏,等.基于联合层特征的卷积神经网络在车标识别中的应用[J].计算机应用,2016,36(2):444-448.]

[5]LU Feng,LIU Yun,ZHANG Renhui.Research on detection and recognition method of improved HOG based vehicle logo[J].Optical Communication 2012,36(5):26-29(in Chinese).[鲁丰,刘芸,张仁辉.基于改进HOG特征值的车标检测与识别方法[J].光通信研究,2012,36(5):26-29.]

[6]Song X L,Wang W T,Zhang W W.Vehicle detection and tracking based on the local binary pattern texture and improved camshift operator[J].Journal of Hunan University,2013,40(8):52-57.

[7]Mistry P,Neagu D,Trundle P R,et al.Using random forest and decision tree models for a new vehicle prediction approach in computational toxicology[J].Soft Computing,2016,20(8):2967-2979.

[8]Llorca D F,Arroyo R,Sotelo M A.Vehicle logo recognition in traffic images using HOG features and SVM[C]//IEEE Intelligent Transportation Systems Conference.IEEE,2013:2229-2234.

[9]Huang Y,Wu R,Sun Y,et al.Vehicle logo recognition system based on convolutional neural networks with a pretraining strategy[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(4):1951-1960.

[10]Wang S,Pedagadi S,Orwell J,et al.Vehicle logo recognition using local fisher discriminant analysis[C]//International Confe-rence on Imaging for Crime Detection and Prevention,2013.

[11]Hosny K M.Fast computation of accurate Gaussian-Hermite moments for image processing applications[J].Digital Signal Processing,2012,22(3):476-485.