基于高光谱图谱融合技术的黄桃损伤程度判别研究

李 斌， 张 烽， 殷 海， 邹吉平， 欧阳爱国

华东交通大学智能机电装备创新研究院， 江西 南昌 330013

引 言

高光谱成像技术虽然起源于遥感领域， 但凭借其图谱合一的优势， 在水果品质与安全检测方面也发挥着至关重要的作用[3-5]。 Tan等[6]提取了苹果损伤区域的光谱数据， 使用标准正态变量(SNV)对原始光谱数据进行预处理， 基于SPA和CARS筛选的特征波长建立了GS-SVM模型， 对四种损伤程度不同的苹果判别正确率达到了95%。 吴龙国等[7]采集了碰伤、 虫眼的灵武长枣高光谱图像， 使用主成分分析(PCA)对图像进行降维， 采用波段比算法对最优主成分图像进行识别， 对各类缺陷的判别率达到了86%以上。 Zhu等[8]利用高光谱成像对苹果碰伤后时间进行分类， 首先采用光谱数据建立了极限学习机(ELM)、 偏最小二乘线性判别分析(PLS-DA)和分类回归树(CART)三种模型， 比较发现， ELM的分类能力最好， 正确率达到了95.97%， 然后利用最小噪声分离(MNF)方法对苹果损伤区域的图像进行识别， 其总体分类精度达到了92.9%。 Li等[9]利用主成分分析(PCA)选择碰伤桃子的特征波长图像， 提出一种改进分水岭算法对未碰伤桃子和碰伤桃子图像进行识别， 其鉴别准确率分别为97.5%和96.5%。 黄锋华等[10]采集油桃缺陷样本的高光谱图像， 结合油桃样本的光谱变量和图像纹理特征建立极限学习机(ELM)模型， 对油桃缺陷的识别率为91.67%。 刘燕德等[11]使用主成分分析(PCA)对黄桃碰伤图像进行降维处理， 运用相关图像处理技术对特征波长下的图像进行碰伤和未碰伤黄桃的定性判别， 其判别准确率达到94.6%。 在上述研究中， 大部分都是单独采用高光谱的光谱特征或者图像特征建立水果碰伤的分类模型， 很少利用高光谱的光谱信息结合图像信息建立黄桃碰伤程度的分类模型。 而且光谱反射率容易受到外界杂散光的影响， 会丢失一部分真实信息， 图像包含的信息量较少， 仅仅只靠几个特定波段的图像很难精准识别[12]。

因此， 为了能够精准识别黄桃在采摘、 包装和运输过程中的碰伤程度， 减小经济损失， 提出一种基于高光谱图像的光谱信息和图像特征对黄桃碰伤程度的分类检测方法。 首先， 分别采集黄桃轻度、 中度和重度碰伤的高光谱图像， 提取碰伤黄桃的光谱信息和图像特征。 基于光谱信息、 图像特征以及光谱信息结合图像特征分别建立偏最小二乘判别(PLS-DA)模型， 将分类正确率作为评价模型优劣的标准， 通过比较模型的分类效果， 选出最优的分类模型用于黄桃碰伤程度的分类检测。 通过对黄桃损伤程度的精准分类， 可根据黄桃的不同损伤程度制定不同的处理方式， 将经济损失降到最低， 同时对黄桃的采后处理提供了科学依据。

1 实验部分

1.1 样品

所有样品均采用“砀山”黄桃， 这些黄桃在4 ℃的温度下贮藏不到2周。 总共使用了180个新鲜、 无损、 形状规则的黄桃， 为了减少黄桃质量和曲率半径对碰伤程度的影响， 所有黄桃样品的平均质量约为(248±5) g， 赤道直径约为78 mm。 在进行碰撞实验前， 对所有黄桃表面进行清洗、 编号并将其在室温为20 ℃、 相对湿度为40%的条件下放置24 h， 以减小温度对碰伤程度的影响。 所有样本随机分成三组， 每组60个黄桃， 利用单摆机构进行碰伤实验。 三组样品分别从40°， 60°和80°的角度碰撞， 以获得不同程度的冲击损伤。 所有碰伤后的黄桃在室温为20 ℃的环境下放置24 h， 使得损伤区域发生褐变。

1.2 碰撞装置

水果碰撞装置是基于单摆原理设计的， 其结构如图1所示。 该装置由支撑架和底座构成， 摆臂是由一根长度为80 cm且不可伸长的鱼线制成， 水果夹具连接在鱼线上。 鱼线的质量很小， 可以忽略不计。 因此， 摆臂产生的转动惯量对黄桃碰撞过程的影响可以忽略。 每个黄桃撞击后， 立即用手抓住， 以防止再次撞击。

图1 黄桃碰撞装置Fig.1 Yellow peach collision device

1.3 高光谱图像的采集与提取

黄桃经碰撞后， 即用高光谱成像系统采集黄桃碰伤面的图像。 高光谱成像采集系统如图2所示， 该系统由一台成像光谱仪， 一台CCD摄像机， 四个卤素大灯以及一个移动平台组成。 光谱范围在397.5～1 014 nm之间， 光谱分辨率为3.5 nm， 相机镜头与黄桃样本的距离为48 cm； 相机曝光时间设置为6 ms； 载物台的前进速度为3 cm·s-1。

图2 高光谱成像系统Fig.2 Hyperspectral imaging system

在对采集的黄桃高光谱图像进行数据处理和分析之前， 由于CCD摄像机中的暗电流和光照不均匀性， 需要对所有原始光谱图像的反射率进行黑白校准。 通过摄像机采集白色校准板获取白色参考图像， 采集镜头被完全遮挡时的图像作为黑色参考图像。 使用采集的黑白图像进行校准， 校准图像由式(1)计算

(1)

式(1)中，Ir为原始高光谱图像，Id为暗反射图像，Iw为白色反射图像。 所有图像校准后， 即可进行下一步的数据处理。

在各位领导、嘉宾、代表的支持与配合下，大会在济南取得圆满成功，在此衷心感谢大家对中物联托盘委工作的大力支持，托盘委也将一如既往为我国乃至全球托盘行业的发展而努力。在国家相关政策大力推动下，大家的支持与共同努力下，托盘行业一定会迈向更加美好的明天。

2 结果与讨论

2.1 光谱信息的提取

使用ENVI4.5软件提取黄桃碰伤区域的光谱信息， 在每个黄桃的受损区域选取100×100像素的区域作为感兴趣区域， 并将感兴趣区域的平均光谱作为黄桃的光谱特征[13]。 图3(a)显示了碰伤黄桃的原始光谱， 在704和995 nm处均出现了较明显的波谷， 其中704 nm处的波谷是由于碳水化合物中的C—H键振动收缩引起的， 995 nm处的波谷是由于水分中的O—H键的振动收缩引起的[14]。

为了能更直观的观察不同碰伤程度黄桃光谱信息的差异， 计算每组黄桃光谱反射率的平均值， 得到不同损伤程度的平均光谱曲线， 如图3(b)所示。 从平均光谱图中可以看出， 损伤黄桃的光谱平均反射率明显低于健康黄桃的光谱平均反射率， 这是由于碰伤黄桃的果肉细胞被破坏， 细胞壁发生破裂， 释放一部分水分， 并且碰伤越严重， 释放的水分也随之增加。 此外， 不同损伤程度的黄桃样本虽然具有相似的光谱曲线趋势但是其光谱反射率在同一波段明显存在差异。 这表明黄桃是否受损以及受损程度均可以从黄桃平均光谱曲线上反映出来。

图3 黄桃光谱曲线(a)： 所有黄桃样本的原始光谱曲线； (b)： 碰伤和未碰伤黄桃的平均光谱图Fig.3 Spectra of yellow peach(a)： Original spectra curves of all yellow peach samples; (b)： Average spectra of damaged and undamaged yellow peach

2.2 图像特征的提取

图像特征主要包括颜色特征、 纹理特征、 形状特征和空间关系特征[15]。 在本实验中， 黄桃的碰伤部位会发生褐变， 故使用颜色特征来表征黄桃表面的变化。 又因为碰伤程度越大， 黄桃损伤区域也会越大， 灰度值小的像素点越多， 导致平均灰度值发生变化。 因此， 本研究将黄桃表面的平均灰度值作为图像特征。

2.2.1 特征图像的选取

本研究使用的高光谱成像系统的光谱范围在397.5～1 014 nm之间， 共176个波段， 每个波段都对应一张图片。 因此需要采用相关算法对大量的图像数据进行降维处理。 主成分分析(PCA)能够有效消除高光谱图像的冗余信息， 它是将各波段对应的图像经过线性组合从而形成各主成分图像， 前几个主成分图像就能够包含高光谱图像的大部分信息， 实现数据降维的目的[16-17]。

经过主成分分析后， 获得的前5个主成分图像， 如图4所示。 PC2和PC4完全没有显示出黄桃碰伤特征， PC5图像的中心处与边缘差异太大， PC3图像虽然显示了碰伤位置， 但碰伤区域显示不均匀， PC1图像保留了黄桃的大部分真实信息。 因此， 将PC1图像作为提取信息的主成分图像。

图4 黄桃样本的前5个主成分图像Fig.4 Images of the first 5 principal components of yellow peach samples

根据PC1图像绘制了轻度、 中度以及重度碰伤黄桃的权重系数图， 如图5(a)所示。 根据图中各波长对应的权重系数绝对值大小， 共选择出6个特征波长对应的高光谱图像作为特征图像， 6个波长分别为704， 782， 868， 889， 944和995 nm。 图5(b)显示了不同碰伤程度对应的6个特征波长图像。

图5 特征波长的选取以及对应特征图像(a)： PC1图像光谱权重系数图； (b)： 不同碰伤程度的特征波长图像Fig.5 Selection of characteristic wavelength and corresponding characteristic image(a)： PC1 image spectral weight coefficient diagram; (b)： Characteristic wavelength images of samples with different impact degrees

2.2.2 平均灰度值的求解

挑选出黄桃特征图像后， 需要对特征图像中黄桃区域进行平均灰度值的计算。 图6为黄桃区域灰度直方图的提取流程图， 首先根据PC1图像的权重系数图挑选出特征图像， 然后通过相关软件对特征图像进行二值化， 用得到的图像对特征图像进行掩膜， 掩膜后的图像背景灰度值为0， 黄桃区域的灰度保持不变， 从而达到分离黄桃区域和背景区域的目的， 最后， 运用相关算法对黄桃区域进行灰度直方图的提取。 得到灰度直方图后， 统计黄桃区域的像素点数并且对黄桃区域的灰度值求和， 将总的灰度值除以黄桃区域总的像素点数即可得到黄桃区域的平均灰度值。

图6 黄桃区域灰度直方图提取流程Fig.6 Extraction process of regional gray histogram for yellow peach

2.3 偏最小二乘判别(PLS-DA)模型的建立

在建立模型之前， 用1， 2和3分别表示轻度、 中度和重度碰伤， 然后利用KS分类算法在每种碰伤程度中随机挑选出40个黄桃， 共120个作为建模集， 剩下的60个黄桃作为预测集。 分别采用光谱数据、 图像特征和图谱融合数据建立PLS-DA模型， 用预测集的正确率作为评价模型的优劣。

2.3.1 基于光谱数据的偏最小二乘判别(PLS-DA)模型的建立

图7(a)为基于光谱数据建模的预测集结果图， 预测阈值设为0.5， 当预测值在0.5～1.5之间判定为轻度碰伤， 预测值在1.5～2.5之间判定为中度碰伤， 预测值在2.5～3.5之间判定为重度碰伤。 由图可知， 在轻度碰伤黄桃中， 共有5个黄桃被误判， 其中3个黄桃被误判为中度碰伤， 误判率为25%。 中度碰伤黄桃中共出现5个被误判， 1个被误判成重度碰伤， 4个被误判成轻度碰伤， 误判率为25%。 重度碰伤黄桃中共有4个被误判， 其中3个黄桃被误判成中度碰伤， 误判率为20%。 采用光谱数据建立的PLS-DA模型在预测轻度和中度碰伤黄桃时的误判率较高。

2.3.2 基于图像特征的偏最小二乘判别(PLS-DA)模型的建立

图7(b)是基于图像特征建模的结果图， 预测阈值同样设置为0.5。 从图中可以看出， 三类碰伤程度的预测值分布均不集中在设定范围内， 表明预测效果不理想。 在轻度碰伤程度预测值中， 仅仅只有7个黄桃的预测值在0.5～1.5之间， 其余13个黄桃全部被误判为中度碰伤， 误判率高达65%。 对于中度碰伤程度的预测， 有一半的黄桃发生误判， 其中7个黄桃被误判为轻度损伤， 3个黄桃误判为重度损伤。 重度碰伤程度的预测值误判率为40%， 误判为轻度碰伤的黄桃只有1个， 其余7个黄桃均被误判为中度碰伤。

2.3.3 基于光谱和图像特征融合的偏最小二乘判别(PLS-DA)模型的建立

图7(c)显示了基于光谱和图像特征融合建模的结果图。 为了减小因数据差异过大造成预测精度的降低， 将光谱数据与图像特征归一化后的数据建立模型。 与图7(a)和图7(b)相比， 三类碰伤程度的预测值分布均比较集中， 这表明该预测模型对于碰伤程度的预测效果较好。 其中， 轻度碰伤共有3个发生误判， 2个被误判为中度碰伤。 在中度碰伤预测中， 仅有2个黄桃被误判成轻度碰伤， 误判率仅为10%。 而重度碰伤的预测值全部在2.5～3.5之间， 没有发生误判。

图7 基于不同数据建模散点图(a)： 基于光谱数据建模； (b)： 基于图像特征建模； (c)： 基于图谱融合数据建模Fig.7 Modeling scatter diagram based on different data(a)： Spectral data； (b)： Image feature； (c)： Fusion data

为了能够更直观的比较基于不同数据建立PLS-DA模型的效果， 将各模型预测结果列于表中， 如表1所示。 基于光谱数据建立的PLS-DA模型的总体预测正确率达到了76.7%， 总体误判个数为14个， 对各类碰伤程度的预测精度均在75%以上， 其中对重度碰伤黄桃的预测准确率最高。 基于图像特征建立的PLS-DA模型对碰伤程度的预测精度很不理想， 其总体误判个数高达31个， 总体准确率仅为48.3%， 其中对于轻度碰伤黄桃的识别率最低， 仅为35%。 经分析， 可能的原因有两点： 一是基于图像特征建立模型时的输入变量数太少， 仅仅只有6个， 导致所选取的特征图像并不能包含碰伤黄桃的大部分信息； 二是碰伤区域颜色变化不明显， 导致各碰伤程度的平均灰度值差别不明显， 难以区分。 在今后的研究中可以通过寻找更多的颜色特征来提高基于图像特征建立模型的识别率。 基于光谱结合图像特征建立的PLS-DA模型的误判数明显低于纯光谱数据和纯图像特征模型， 总体误判个数仅为5个， 总体正确率高达91.7%， 预测精度得到大幅度提高， 其中对于重度碰伤黄桃的识别率为100%。 这说明基于图谱融合数据建立的模型在识别黄桃碰伤程度方面具有较大优势。

表1 基于不同数据建立的PLS-DA模型预测结果Table 1 Prediction results of PLS-DA model based on different data

2.4 基于光谱和图像特征融合模型的优化

基于光谱和图像特征建立PLS-DA模型的输入变量数为182个， 虽然平均灰度值是经过特征图像计算得到的， 但光谱数据并没有经过筛选， 含有大量的冗余信息。 为了进一步提高模型的精确度和运行速度， 需对光谱信息进行筛选。 采用竞争性自适应重加权算法(CARS)进行光谱变量的筛选。 图8为CARS筛选光谱变量的过程， 其中采样次数为42时， RMSECV值最小， 表明光谱中的冗余信息被剔除， 从第43次采样之后RMSECV值逐渐变大， 这表明与碰伤程度相关的信息被剔除， 从而将第42次采样获得的变量定为特征波长，共包含34个波段。

图8 基于CARS算法筛选变量过程Fig.8 Process of screening variables based on cars algorithm

将挑选出的光谱数据结合图像特征建立PLS-DA模型， 优化前与优化后的模型预测结果如表2所示。 由表可知， 优化后的PLS-DA模型对轻度碰伤的预测正确率由85%提高到95%， 中度碰伤的预测正确率保持不变， 重度碰伤的预测正确率由100%降低到95%。 但是优化后的模型仅仅使用40个输入变量， 将总体误判个数由5个降低到4个， 正确率也由91.7%提高到93.3%。 表明， 优化后的模型不仅降低了计算的复杂性而且还提高了整体的预测精度， 提高了检测效率， 更加有利于实际应用。

表2 优化前与优化后模型预测结果Table 2 Model prediction results before and after optimization

3 结 论

将高光谱的光谱信息结合图像特征建立PLS-DA模型用于黄桃碰伤程度的分类检测。 在碰伤位置选取100×100像素的区域提取光谱信息， 利用PCA算法挑选出最能表征碰伤黄桃信息的PC1图像， 根据PC1图像的权重系数选择特征图像， 并将黄桃表面的平均灰度值作为图像特征。 分别利用光谱信息、 图像特征、 光谱信息结合图像特征建立黄桃碰伤的PLS-DA模型， 结果表明， 基于光谱信息结合图像特征建立的PLS-DA模型效果最好， 对轻度碰伤、 中度碰伤和重度碰伤的分类准确率分别为85%， 90%和100%， 总体正确率达到91.7%。 为了能够进一步提高PLS-DA模型的精确度和运行效率， 利用CARS算法对融合数据中的光谱数据进行特征波段的筛选。 利用特征波段结合图像特征建立的模型分类预测效果最好， 对轻度碰伤、 中度碰伤和重度碰伤黄桃的预测正确率分别为95%， 90%和95%， 总体正确率达到了93.3%。 总之， 基于高光谱的光谱数据结合图像特征建立PLS-DA模型检测黄桃碰伤程度是可行的， 对黄桃采后分级具有一定的指导意义。