基于ResNet50的紫色土图像分类

曾莉

（重庆师范大学计算机与信息科学学院，重庆 401331）

0 引言

紫色土是重庆市分布面积最广的旱地土壤类型，在重庆市粮、油、果、菜等产业发展中发挥着重要作用。不同土属类别的紫色土的保水保肥力不同，全钾、全磷、有机质以及速效养分的含量不同。所以，不同土属类别的紫色土的宜种作物和施肥方案也不同。能正确识别土壤，使用土壤及实行配方施肥，对农业的发展起着重要作用。

传统的土壤分类方法需要依靠专业人士或专门的设备。具有土壤的颜色、质地和结构等知识的专业人士辨识土壤类别的实时性高，却存在一定的主观性，对土壤研究越深，准确率越高，只有长期从事土壤类别研究的专家能达到准确分类的要求。专门的仪器测量土壤中的理化性状（全氮、全磷、有机质、pH、物理粘粒含量、密度等）或光谱特征（反射光谱数据、近红外光谱数据等），通过分析测量信息来进行土壤分类，其检测行为需在实验室进行且操作繁琐耗时。

这些传统的土壤分类方法不适合在田间工作的农业人员使用。在田间工作的农业人员需要的是一个易操作、实时性高的土壤分类解决方案。因此，学者们提出了运用图像处理技术来处理土壤图像，提取出土壤图像有效特征来对土壤进行分类。K.Srunitha等人利用HSV颜色直方图、低通滤波器和Gabor滤波器来提取土壤图像的颜色特征和纹理特征，并用SVM对土壤图像进行分类[1]；Hement Kumar Sharma等人先通过滤波、锐化、去噪等操作增强图像，然后利用小波变换、自相关性和HSV颜色直方图提取图像特征，用SVM对红壤、黑土等大类土壤进行分类[2]。基于人工设计的紫色土图像特征的描述能力有限，易导致紫色土图像分类效果不佳。而卷积神经网络（Convolutional Neural Network，CNN）不需要人工设计紫色土图像特征，是自主地从训练样本中学习特征，并且特征学习与分类器联系紧密，很好地解决了特征提取和分类器选择的难题，在图像分类任务中，能取得很好的效果[3]。

针对现有的 AlexNet[4]、VGG[5]、GoogleNet[6]、ResNet[7]等卷积神经网络对紫色土图像细粒度分类性能不够好的问题，对ResNet50网络结构进行优化，在最后一层卷积层后连接3层全连接层，加强模型的特征表达能力，用SeLU激活函数[8]替换ReLU激活函数，解决模型的零梯度问题，增加有效负值特征信息的学习，同时引入Dropout[9]，避免过拟合现象；再引入迁移学习[10]方法，用ImageNet数据集训练好的ResNet50网络参数初始化优化后的ResNet50网络的卷积层参数，然后用紫色土图像数据集训练网络，微调网络参数，从而提高紫色土图像小样本数据集细粒度分类准确率。

1 基于ResNet50的紫色土图像分类

为了得到更好的紫色土图像细粒度分类效果，对ResNet50网络结构进行优化，在ResNet50网络结构的最后一层卷积层后连接3层全连接层，引入Dropout，并用SeLU激活函数替换ReLU激活函数，同时引入迁移学习方法。

1.1 全连接层

（1）激励函数

全连接层里的激活函数通常运用ReLU激活函数，公式如下所示。

其中，当输入特征大于零时,输出等于输入；当输入特征小于零时,输出为零。当用ReLU激活函数进行训练时,将会丢弃对分类有用的负值特征。

针对上述ReLU的不足，SeLU激活函数[8]被用来解决有效负特征信息丢弃问题，公式如下所示。

其中，当输入特征小于零时,得到一个较小斜率的函数。所以，SeLU激活函数保留了特征负值信息，增加了有效特征信息的学习。

（2）Dropout

当网络较深而训练样本少时，训练所得的网络易产生过拟合现象。

Dropout是Hintion等人[9]提出的，将神经网络单元依照一定的概率暂时从网络中丢弃，其连接权重为0，如图1所示。

图1 Dropout

在CNN的每次训练中，Dropout是随机丢弃神经网络单元的，即随机忽略的隐含层节点都不相同，所以每次训练的网络结构都是不相同的，避免了仅在特殊条件下的某些特征，有效地防止过拟合现象。

1.2 迁移学习

在没有足够多训练样本的情况下，可能出现训练困难、易过拟合的问题。迁移学习可解决小样本分类问题[11]，ImageNet数据集上训练好的模型，在小样本分类任务中共享模型结构和参数，在提高准确率的同时降低配置要求并减少了训练时间。

为了解决紫色土图像数据集小、网络优化困难的问题，基于迁移学习理论，使用在ImageNet数据集上训练好的 AlexNet、VGG16、Inception-v3、ResNet50 模型，将模型参数迁移至紫色土图像分类模型中，即用ImageNet预训练好的模型参数初始化紫色土图像分类模型的卷积层参数，然后用紫色土图像数据集训练紫色土图像分类模型，微调紫色土图像分类模型参数，得到最终的紫色土图像分类模型。

2 实验与结果分析

2.1 紫色土图像数据集

重庆市数字农业服务工程中心提供了在重庆市璧山区自然场景下拍摄的紫色土心土图像数据集，包含了暗紫泥、棕紫泥、灰棕紫泥、红棕紫泥4种土属类别，部分样本如图2所示。

（a）暗紫泥土属

（b）红棕紫泥土属

图2 紫色土图像

2.2 数据集预处理

针对紫色土图像数据集小的问题，对紫色土图像数据集进行扩充。紫色土图像数据集中的图像大多为4608×3456像素。表土受苔藓、杂草等因素影响，颜色不稳定，所以采用紫色土心土图像来辨识紫色土土属类别。在每张原始紫色土图像中截取出2-10张224×224像素的仅包含心土部分的图像，截取图像不重叠，如图3所示。紫色土图像数据集扩充为970张。

图3 截取心土部分

2.3 实验环境

仿真实验硬件环境为Intel Core i7-6700HQ CPU，Windows 10（64bit）操作系统，软件环境为 Python 3.6，开源深度学习框架TensorFlow 1.11。

2.4 实验评价标准

实验评价标准为紫色土图像测试集分类准确率（Accuracy），表示如下。

其中，M为测试集样本总数，N为测试集中正确分类样本数。

2.5 实验结果与分析

（1）基于人工设计特征的实验

为了减少拍摄紫色土图像时光照、遮挡等因素的差异对紫色土图像分类的影响，选择适合的颜色空间来描述颜色特征是必要的。

图4 RGB颜色空间

图5 HSV颜色空间

图4为RGB颜色空间下的紫色土图像，图5为HSV颜色空间下的同一幅紫色土图像。图4（b）-（g）为在RGB颜色空间中，紫色土图像的R、G、B分量图及各分量对应直方图。图5（b）-（g）为在HSV颜色空间中，紫色土图像的H、S、V分量图及各分量对应直方图。

从图4（e）中可以看出，在RGB颜色空间中，紫色土图像的R分量直方图有两个波峰，说明紫色土图像的R分量的像素值明显地分为了受遮挡和不受遮挡两个部分；如图4（b）所示，从紫色土图像的R分量图中也可以直观地看出紫色土图像的R分量受光照和遮挡影响大。同理，紫色土图像的G分量和B分量受光照和遮挡的影响大。因此，不在RGB颜色空间下提取紫色土图像的颜色特征。然而，在HSV颜色空间中，紫色土图像的H分量直方图只有一个波峰，说明紫色土图像的H分量的像素值汇聚在一定范围内，并没有明显地分为受遮挡和不受遮挡两部分；如图5（b）所示，从紫色土图像的H分量图中也可以直观地看出紫色土图像的H分量受光照和遮挡影响小。同理，紫色土图像的S分量也受光照和遮挡影响小。因此，在HSV颜色空间中提取紫色土图像的颜色特征。

实验对不同的基于人工设计的图像特征，分别用SVM分类器（rbf核函数），调节最佳参数，分类准确率见表1。

表1 人工设计特征分类准确率

由表1可知，基于H分量直方图的分类效果较好，准确率为70.8%；基于HS分量直方图的分类效果最好，准确率为74.2%，提高了3.4%。分类效果的好坏很大程度上取决于人工设计特征的有效性。而基于人工设计的紫色土图像特征存在一定的局限性，易导致紫色土图像分类效果不佳。

（2）基于CNN的实验

在 AlexNet、VGG16、Inception-v3、ResNet50 网络的最后一层卷积层后连接3层全连接神经网络。为了避免模型过拟合，在全连接层加入选取阈值为0.5的Dropout层。然后使用在ImageNet数据集上预训练好的 AlexNet、VGG16、Inception-v3、ResNet50 网络参数初始化紫色土图像分类模型的卷积层参数，然后训练模型，微调模型参数，对紫色土图像分类的准确率如表2所示。

表2 CNN分类准确率

结果表明，ResNet50网络对紫色土图像分类效果最好。ResNet用残差连接结构解决了深层网络难以训练的问题，增加网络的深度和性能，能够获得包含更丰富且表达力更强的特征。

（3）基于ResNet50的实验

在上述的ResNet50网络的基础上，用SeLU激活函数替换ReLU激活函数，对紫色土图像分类的准确率如表3所示。

表3 ResNet50分类准确率

实验结果表明，SeLU激活函数学习了特征中的有效负值信息，提高了ResNet50网络对紫色土图像分类的准确率。

3 结语

基于ResNet50的紫色土图像分类研究，对ResNet50模型结构进行优化，在最后一层卷积层后连接3层全连接层，增强模型的特征表达能力，用SeLU激活函数替换ReLU激活函数，增加有效负值特征信息的学习，并加入Dropout层，避免过拟合现象；引入迁移学习方法，用ImageNet数据集训练好的ResNet50网络参数初始化优化后的ResNet50网络的卷积层参数，然后用紫色土图像数据集训练网络模型，微调网络参数，得到最终的紫色土图像分类模型，提高了紫色土图像分类的准确率和效率。通过实验与分析，基于ResNet50的紫色土图像分类效果要优于基于人工设计特征进行紫色土图像分类的效果，提出的基于ResNet50的紫色土图像分类模型为开发基于移动终端的紫色土土属类别识别系统提供模型支持。