基于HOG-CNN的高相似度叶片图像识别方法

雷继呈 杨晓滨 罗道兴 上官毅祥 曾森灵

摘  要： 依赖特征工程的传统图像识别技术对高度相似叶片图像识别困难，对此提出一种融合方向梯度直方图（HOG）与卷积神经网络（CNN）的图像识别方法。首先由HOG算子提取叶片图像的局部纹理特征，然后将特征向量导入卷积神经网络进行训练、测试和输出分类结果。通过组合对比试验结果表明，该方法能够有效提高数据的鲁棒性，提高叶片图像的平均正确识别率，比多层感知器（MLP）和支持向量机（SVM）分类器的准确率提高了12%左右，平均准确率达到85%。

关键词： 方向梯度直方图（HOG）; 卷积神经网络（CNN）; 多层感知器（MLP）; 支持向量机（SVM）; 图像识别

中图分类号：TP391          文献标志码：A     文章编号：1006-8228（2019）09-53-04

High similarity blade image recognition method based on HOG-CNN

Lei Jicheng， Yang Xiaobin， Luo Daoxing， Shangguan Yixiang， Zeng Senling

（Ningde Vocational and Technical College， Fuan， Fujian 355000， China）

Abstract： The traditional image recognition technology relying on feature engineering is difficult to identify highly similar blade images. In this paper， an image recognition method based on histogram of oriented gradient （HOG） and convolutional neural network （CNN） is proposed. Firstly， the local texture features of the leaf image are extracted by the HOG operator， and then the feature vector is imported into the convolutional neural network to train， test and output the classification result. The results of combined comparison experiments show that the proposed method can effectively improve the robustness of data， improve the average correct recognition rate of blade images. Compared with MLP and SVM classifiers， the accuracy is improved by about 12%， and the average accuracy rate is 85%.

Key words： histogram of oriented gradient （HOG）; convolutional neural network（CNN）; multilayer perceptron（MLP）; support vector machine（SVM）; image recognition

0 引言

植物的葉、花和果实等器官特征，常被植物学专家用来鉴别植物的重要依据。由于这些器官的特征易于观察和提取，特别是植物的叶片器官。国内、外学者研究植物的叶片形状、纹理和颜色等属性，设计叶片图像特征处理工程，采用机器学习算法，对植物叶片进行识别、分类，研究成果显著。王晓峰等[1]提取叶片轮廓的几何特征和Hu不变矩，采用移动中心超球分类器，对植物叶片的平均正确识别率达到92%;张善文等[2]利用等度规映射（Isomap）流形学习算法、加权主权成分分析（WPCA）和支持向量机（SVM）分类器，有效识别植物叶片;张宁等[3]提出克隆选择法（SCA）和K近邻法（KNN），验证了叶片图像识别中纹理特征的重要性;Monica G等[4]提出不同尺度的叶脉纹理分割算法，结合分类器对三种豆科植物进行分类;王斌等[5]提出了弦特征矩阵（CFM）形状描述子，提取叶片轮廓的几何特征;刘超等[6]利用局部二值模式（LBP）算子提取图像局部纹理特征，结合SVM算法对手指静脉进行识别。基于领域专家的形状特征工程与传统分类器的方法，具有训练样本少、旋转和平移不变性等优点，但仅适用简单背景的图像识别，对于高度相似植物叶片的识别仍旧困难[7]。

随着深度学习算法解决了深层结构优化问题，LeNet-5在手写数字识别取得成功[8]，各类卷积神经网络开始快速发展，并在图像识别上中取得良好效果。为此，文中提出一种基于HOG描述算子与卷积神经网络的高相似度茶树叶片识别方法。

1 相关方法

1.1 局部二值模式（Local Binary Patterns，LBP）

LBP是一种提取图像局部纹理信息的描述算子，具有旋转与灰度不变性优点。其特征提取步骤：首先将图像检测窗口（256*256）划分为16*16的小区域（cell），然后计算每个cell的中心像素点LBP值（见式⑴）及其统计直方图，最后将每个cell的统计直方图连接成一幅图的LBP纹理特征向量。

[LBPxc，yc=i=072is（pi-pc）]        ⑴

其中，[xc，yc]中心像素点，[pi]是周围像素点的灰度值，[pc]是中心像素点的灰度值，[s]是一个符号函数见式⑵。

[sx=1，  x≥00，  x<0]         ⑵

1.2 方向梯度直方图（Histogram of Oriented Gradient，HOG）

HOG是一种用梯度的方向密度来描述图像局部特征的算子，具有几何和光学形变的不变性。首先进行图像灰度化预处理，然后计算各个block的cell单元中像素的梯度强度（见式⑶）与方向（见式⑷）并归一化，连接所有block的描述算子，构建一幅图像的HOG特征。

[Gx，y=Gxx，y2+Gyx，y2]       ⑶

[θx，y=tan-1Gyx，yGxx，y]       ⑷

1.3 支持向量机（Support Vector Machine，SVM）

SVM是一种对线性和非线性数据进行分类的算法，使用合适的非线性映射函数，将训练数据映射到高维上，并搜索最佳分离超平面。根据拉格朗日公式，可将最佳分离超平面改成决策边界，见式⑸。

[dXT=i=1nyipiXiXT+q0]       ⑸

其中，[XT]是检验元组，[yi]是支持向量[Xi]的类标号，[pi]和[q0]是最优化的数值参数，n是支持向量个数。

1.4 多层感知器（Multilayer Perceptron，MLP）

MLP是由输入层、隐藏层、输出层及层间全连接组成的结构， 可以包含多层隐藏层。隐藏层输出Y是输入层向量X与连接系数[W1]的乘积加上一个偏置量[b1]的函数，见式⑹。

[Y=ReLUW1X+b1]            ⑹

其中，函数ReLU是非线性激活函数。输出层是隐藏层输出Y的softmax函数分类，见式⑺。

[fx=GW2Y+b2]           ⑺

其中，函数G是softmax函数，[W2]和[b2]是输出层与隐藏层的连接系数和偏置量。

1.5 HOG与卷积神经网络（Convolutional Neural Network，CNN）算法

通过方向梯度直方图（HOG）提取图像局部特征，作为卷积神经网络的输入层，再次由卷积层进行特征提取，最后由softmax函数分类输出，算法如图1所示。

2 试验数据及分析

2.1 数据集描述

从宁德职业技术学院茶树叶片数据集中，任选八类茶树叶片样本，每类50幅共400幅叶片图像，样本效果如图2所示。从样本数据集随机选择70%样本为训练集，剩余的30%为测试集。

2.2 试验数据

特征描述算子参数设置，局部二值模式（LBP）的半径设置为24、点数设置为8，方向梯度直方图（HOG）的方向梯度设为9、每块cell单元数为2*2、每个cell单元像素为8*8。分类器参数设置，支持向量机（SVM）使用线性核函数、错误项的惩罚系数为100、伪随机数发生器种子设置为42，多层感知器（MLP）的隐藏层设置（50，30）、使用lbfgs优化器。卷积神经网络（CNN）由1个输入层（256*256）、4组特征提取层和1个全连接层堆叠而成，特征提取层是一个批量归一化层、ReLU激活函数、最大池化层和卷积层的连接结构。

组合2种特征描述算子（LBP与HOG）、2种分类器（SVM与MLP），对比基于卷积神经网络模型试验，试验数据表1所示，各类召回率与精准率如表2和表3所示。

2.3 数据分析

2.3.1 描述算子对图像识别的影响

由表1中试验1-4对比可知，局部二值模式（LBP）略优于方向梯度直方图描述算子（HOG）。LBP与HOG算子都能很好提取图像局部纹理特征，且对旋转、平衡的不变性，可抑制光照的影响，但HOG特征描述子冗长，对噪点相当敏感。

由表2的召回率和表3的精准率，可以计算平均F度量值（精度和召回率的调和均值）评价各种模型，如表4所示，HOG+CNN模型优于其它的模型。

2.3.2 HOG与CNN算法对图像识别的影响

HOG+CNN算法能够有效提高茶树叶片的识别率，优于独立的CNN模式，损失值与准确率数据分析如图3所示。

由图3可知，CNN模式收敛速度比HOG+CNN模式更快，但两种模式都能够快速收敛。CNN模式快速收敛时，准确率快速趋于饱和，这是因为样本较少，训练时容易出现过拟合现象。HOG+CNN模式，在训练中期出现了微小波动，这是因为HOG算子提取特征能够有效提高数据鲁棒性，一定程度上减轻了过拟合，试验效果要比单独CNN模式好。

3 结论

针对茶树叶片图像高度相似特点，提出一种融合HOG与卷积神经网络的图像识别方法。首先通过方向梯度直方图（HOG）提取叶片图像的浅层特征，克服图像的旋转、平移和光照的影响，增加数据的鲁棒性和图像特征降维;然后将HOG描述算子提取的局部特征导入卷积神经网络模型进行深层特征提取，由softmax函數分类输出。该方法有效提高了高相似叶片图像识别的准确率，比较支持向量机和多层感知器分类器的平均准确率提高了12%左右，提高了数据的鲁棒性。但是，在样本训练中后期，依然存在数据过拟合现象和图像正确识别率无法提升问题。今后应该从数据增强技术方面深入研究，以提高样本数据的鲁棒性和泛化能力，从而提高图像的准确率。

参考文献（References）：

[1] 王晓峰，黄德双，杜吉祥等.叶片图像特征提取与识别技术的研究[J].计算机工程与应用，2006.42（3）：190-193

[2] 张善文，黄德双.一种鲁棒的监督流形学习算法及其在植物叶片分类中的应用[J].模式识别与人工智能，2010.23（6）： 836-841

[3] 张宁，刘文萍.基于克隆选择算法和K近邻的植物叶片识别方法[J].计算机应用，2013.33（7）：2009-2013

[4] Monica G. Larese，Ariel E. Baya，Roque M. Craviotto， et al.Multiscale recognition of legume varieties based on leaf venation images[J].Expert Systems with Application， 2014.41（10）：4638-4647

[5] 王斌，陈良宵，叶梦婕.弦特征矩阵：一种有效的用于植物叶片图像分类和检索的形状描述子[J].计算机学报，2017.40（11）： 2559-2574

[6] 刘超，王容川，许晓伟等.基于改进LBP的手指静脉识别算法[J].计算机仿真，2019.36（1）：381-386

[7] 曹凤莲.基于深度学习的植物叶片识别方法研究[D].重庆：重庆大学，2017.

[8] P.Haffner，L.Bottou，Y.Bengio，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998.86（11）：2278-2324