基于高光谱融合图像的小麦不完善粒识别

郝传铭，卿粼波，何小海，李晓亮

（1.四川大学电子信息学院，成都610065；2.中储粮成都粮食储藏科学研究所，成都610091）

0 引言

在小麦质量检测过程中，不完善粒比例决定了麦子的批次质量等级。其中，小麦不完善粒有霉变粒、虫蚀粒、破碎粒、病斑粒和发芽粒五种。相比依靠人工检测统计的方法，通过机器视觉技术实现的自动检测方法正在不断地完善[1-3]。在2016 年，梁琨等人[4]利用高光谱成像技术结合波段选择和支持向量机识别算法对小麦霉变粒得到了96%以上的识别率。2017 年，董晶晶等人[5]利用高光谱图像作为数据源在多分类支持向量机识别方法上对于虫蚀粒的识别得到了93%以上的识别率。以上两种方法仅针对单种不完善粒识别，对于其他不完善粒种类的识别率不是很理想。2019 年，刘欢等人[6]利用高光谱图像结合SPA 算法去对不完善粒进行识别，达到了83.2%的平均识别率。2017 年，曹婷翠等人[7]利用改进卷积网络针对完善粒、破碎粒和病斑粒达到了90%的平均识别率。2014 年，陈赛赛[8]改进了BP 神经网络提出了新的小麦不完善粒识别算法。但以上文献均只采用高光谱图像或者高分辨率图像单种数据源进行识别，识别准确率在某些特定种类的不完善粒上并不高。

高分辨率图像对于麦粒有着良好的空间结构信息，而对于不完善粒的识别，利用高光谱成像技术可以在不同的光谱波段下解析成像结果，提升不完善粒识别的效果。本文首先提出了将两种数据源融合的方式识别麦粒，将采集得到的光谱图像集，经过特征波段选择分好三个波段集[11]。并对其进行目标主成分分析数据降维[9]。然后和高分辨率图进行配准融合作为识别的数据源[10]。其次，本文从特征融合的角度出发设计了双层分类网络[11]，利用卷积网络构造特征金字塔进行特征融合提升识别准确率。最后通过对三种图像源做识别准确率对比实验来验证方法的正确性。识别方法充分利用了两种数据源各自的优势，进一步完善了小麦不完善粒识别的方法。

1 图像预处理

1.1 预处理整体方案

首先在高光谱和高分辨图像成像采集完成后，采用分水岭算法对校正图像中的每一粒小麦进行目标分割，从而获得的单粒小麦图像样本，如图1 所示。其次利用互信息和最大信息系数法进行初步的波段选择，进而采用分段PCA 算法对高光谱图像数据降维，使得降维图像能够与高分辨率图像融合。最后采用SIFT算法对两种图像进行精确配准，并进行IHS 变换融合得到最终预处理图像。总体流程如图2 所示。

图1 单粒小麦的高分辨率图像以及其520nm和820nm下的高光谱图像

图2 预处理整体方案

1.2 高光谱图像数据降维

针对高光谱图像数据相关性较强的问题。本文在文献[9]提出的分段PCA 算法的基础上针对目标提取作出改进。通过保存样本图像中小麦和背景二值化区分的模板图像，进而在向量化时，通过模板剔除背景像素点。其次按照波段之间的相关性做分段PCA。算法步骤如下：

（1）高光谱图像向量化。

将所有波段的光谱图转化为长度为m 的一维列向量。S 个波段的列向量组成大小为m×S 的数据矩阵X=[x1,x2,…,xs]。

（2）波段相关性计算，得出强相关的波段范围。

经过计算可以做出相关矩阵灰度图如图3 所示。图中相关性与亮度成正比，三个强相关波段范围如表1所示。从而将X 矩阵拆解为3 个分段矩阵[X1,X2,X3]进行数据降维。

表1 强相关波段范围

（1）计算协方差矩阵。

对于每个分段，波段数目为n，求解该段m×n 的数据矩阵X 的协方差矩阵Cx：

图3 波段相关性图

（2）计算CX的特征值。

从大到小排列n 个特征值λ1,λ2,…,λn，求出特征值对应的特征向量ξ1,ξ2,…,ξn，选择其中的前d 个特征向量来组成投影矩阵p=[ξ1,ξ2,…,ξn]。

（3）分段数据投影。

利用投影矩阵P 对原分段数据进行投影，得到一个m×d 维矩阵Q，Q=[q1,q2,…,qmd]。其中：

qi=PTxi,i=1,2,…,md （2）

（4）拆分还原图像，并对其余的两个波段范围进行PCA 降维。

将d 维主成分构成的数据矩阵按列拆分，填充背景最终得到3×d 张大小为r×d 数据图像。对于d 的选值，可以通过计算图片的累计贡献率的得到。

三个波段范围计算累计贡献率可以得到表2 所示。可以看出第一主成分已经包含波段中的主要信息，本文在每个波段中均取第一主成分来构成最终的高光谱数据源如图4 所示。

表2 三个波段范围特征维数累计贡献率

图4 三个分段下的第一主成分图像及其合成的三通道图像

1.3 高光谱与高分辨率图像融合

（1）图像配准

首先将高光谱图像与对应的高分辨率图像高精度配准。由于经过了波段选择和PCA 数据降维，待配准高光谱图像特征信息不再是单波段下的纹理特征，可以采用基于特征的匹配算法来进行精确配准。分类训练数据集有大量的两种图像源需要配准，本文选用了具有高稳定性和高速性的SIFT 配准算法完成数据配准。配准图像如图5 所示。

图5 高分率图像（左）与高光谱合成图像（右）配准

（2）IHS 变换图像融合

高光谱图像融合通常采用IHS 变换融合[5]方法。在IHS 空间中三个分量具有相对独立性，能够准确定量地描述颜色特征，并对它们分别进行控制。本文中高光谱图像与高分辨率图像的融合步骤如下：

①根据CIE1964 三刺激颜色匹配中，不同波段对于B、G、R 颜色空间中各分量的刺激值。本文中三段光谱范围可以对应到这三个通道中。因此将高光谱图像三个分段的第一主成分分别赋予B、G、R 空间分量，合成一个三通道矩阵M。

②将两种图像均由BGR 空间转换至IHS 空间。

③将高光谱图像M 的I 分量与高分辨率图N 像进行直方图匹配：

s=T(m)=(L-1)∫0mpm(ω)dω （3）

G(n)=(L-1)∫0npn(ω)dt （4）

其中，L 为像素值范围，pm为高光谱图像M 的I分量像素概率密度函数，pn为高分辨率图像的像素概率密度函数。通过n=G-1(s)进行映射完成对高光谱图像的直方图匹配。

④用高分辨率图像替换高光谱图像的I 分量。

⑤替换了I 分量的高光谱图像逆变换至BGR 空间，得到融合图像如图6 所示。对应的高分辨率图像如图7 所示。

2 基于高光谱融合图像的麦粒分类

小麦的分类识别属于细粒度分类，快速准确地将特征区域定位是衡量算法优劣的关键。文献[12]提出的递归注意力卷积神经网络通过三个层级识别子网络和非监督式APN（Attention Proposal Network）裁剪原图逐渐聚焦特征区域，在一些公共数据集上得到了非常好的分类效果。但是，RA_CNN 网络设计了分类损失函数和分割损失函数，通过固定一个子网络的参数来训练另一子网络的参数。这种训练方式，以及其多等级子网络的特点使得这种算法需要大量的数据集来训练，训练难度大而且网络结构复杂难以收敛。因此，裁剪操作子网络不适合需要一一配准的多源麦粒图像细粒度识别。本文借鉴RA_CNN 多层结构的想法，在文献[13]的基础上利用卷积网络在计算过程中得到的多尺度特征图，构造特征金字塔，借鉴FPN 中自顶向下模型融合特征图来构造一层子网络[11]。以对特征区域加深权重的方式，通过两层网络综合分类结果。设计的网络如图8 所示。

图6 6种麦粒的融合图像

图7 6种麦粒（依次为常、破、虫、病、芽、霉）的高分辨率图像

图8 分类网络结构图

图8 所示网络分为两层，第一层是VGG-16 卷积网络。这一层网络的作用在于为第二层子网络提供正确的特征检测，对麦粒图像进行初步分类。第二层网络由特征金子塔和另一个VGG-16 卷积神经网络组成。特征金字塔由第一层网络的卷积结构自底向上得到。在这个过程中，经过每一层卷积结构特征图像尺度大小减半，特征维数翻倍。因此在特征金字塔的融合过程中，首先需要对上层进行最邻近上采样将特征图像大小翻倍。同时使用1×1 的卷积过滤器将下层的特征维数升维一倍，然后上下两层特征图像进行融合。但融合之后的图像存在混叠效应，可以使用3×3的卷积来减轻上采样的混叠效应。

最后一层卷积得到的特征融合图像进行降维之后与原图像进行最终的上采样融合，从而加深了特征区域在原图中的权重，如图9 所示。上采样融合能够有效地提高特征区域提取的准确性，从而提高分类识别的准确率。最终将融合后的图像送入第二层卷积网络进行图像分类。

图9 Grad-CAM生成的特征热力图

3 实验结果与分析

3.1 数据集整理

本文针对6 类小麦分别采集高光谱图像以及高分辨率图像各350 颗，并利用图片镜像反转、添加噪声等数据扩增方式扩展样本集，得到每类小麦2000 个样本。其中，训练集、测试集和验证集按照8：1：1 来划分。对于高光谱图像，以5nm 光谱分辨率，采集了样本从420nm 波段到1000nm 波段的光谱图像数据，将116个波段通过互信息和最大信息系数法进行波段选择，保留了50 个波段的光谱信息，并采用本文预处理方法得到6 类小麦融合图像。

3.2 实验结果

对采集到的图像对同一小麦做高光谱图像样本、高分辨率图像样本以及两种图像的融合样本使用本文分类网络进行训练和测试。测试结果如表3 所示。

表3 三种数据源小麦识别对比试验结果

实验结果可知，高分辨率图像能更好地识别破碎粒、完善粒和虫蚀粒三种外观特征明显的麦粒，高光谱图像的空间信息不足，对三种小麦的识别效果较差。因此高光谱融合图像作为数据源对识别效果的提升并不是很高。而针对其他三种不完善粒，虽然区分难度较高，但高光谱图像的分类效果更好，可以看出高光谱的光谱反射信息在这三类麦粒中更具有区分度。其中识别率最低的是霉变粒，该类除了带有霉斑之外往往也同时带有其他种类的特征，存在类间交错，因此其识别率最低。融合之后的图像，结合了两种信息源各自的优势，平均识别率相较于两种单信息源识别分别提高了6.08%以及3.34%，验证了融合信息源可以有效地提高小麦分类效果。

4 结语

本文针对小麦不完善粒识别中，高光谱图像和高分辨率图像作为数据源各自的优势，提出了将两种数据源进行配准作为新的数据源在分类网络中进行训练和识别。利用波段选择和分段PCA 进行高光谱数据降维，使得高光谱图像可以和高分辨率图像进行IHS变换融合。而对于识别算法，在VGG 卷积网络的基础上，通过卷积得到的特征金字塔将特征图像融合进而构造第二层VGG 分类结构来达成加深特征区域权重进行分类的目的。在针对三种图像源样本集进行训练和测试分类结果后，验证了融合图像在分类效果上的提高。为小麦不完善粒识别方案的进一步完善，和小麦品质的测量提供了良好的方法。