基于高光谱成像的苹果损伤检测方法研究

王 凡，孟翔宇，陈龙跃，段丹丹,3，钱英军

（1.北京市农林科学院信息技术研究中心，北京 100097；2.岭南现代农业科学与技术广东省实验室河源分中心，广东 河源 517000；3.清远市智慧农业农村研究院，广东 清远 511500；4.广东科贸职业技术学院，广东 清远 511500）

【研究意义】近年来，高品质苹果在市场上表现出一定竞争力。一般来说，外观可以直观反映苹果质量，损伤作为影响水果品质的主要指标之一，对保证苹果品质和利润具有重要意义［1-2]。苹果在采摘或运输过程极易因外力作用使其表皮受到机械损伤，仅使用肉眼难于觉察。传统的水果损伤检测主要靠人工进行分类识别，这种方法耗时费力、主观性强，无法满足批量水果的快速实时检测，且不能对轻微损伤加以检测［3-4］。【前人研究进展】伴随科技的发展与进步，无损检测技术开始应用于水果品质检测中。使用较多的检测技术有高光谱成像（HSI）、近红外光谱、红外热成像、核磁共振等［5-8］。光谱分析和机器学习方法对于处理疾病检测中的HSI 数据至关重要，可提取和利用高维数据中包含的有效信息［9-10］。张晋宝等［11］对苹果内外部品质检测方法进行研究，利用高光谱技术对外部损伤进行检测，优选出10 个特征波段做PCA 进行处理识别，最终达到90%的损伤识别率。韩浩然等［12］分别使用PCA、波段比算法、监督分类法等进行模型建立，对鸭梨模型进行识别，PCA 检测正确率达到95%，验证了利用光谱技术可以很好地完成对水果轻微损伤的无损检测。Ding 等［13］以苹果的早期损伤为研究目标，利用高光谱成像技术检测得到400～1 000 nm 光谱范围数据。通过选取特征波长并逐步判别分析，较好地区别1 h 以上的损伤与正常苹果。Dan 等［14］以3 种苹果为研究目标，对其苹果表面缺陷进行检测，识别准确率分别为76%、85%和 95%。【本研究切入点】目前国内外许多研究进行了水果内外部品质检测［15-18］，但多属于苹果内含物质品质检测和破坏性的检测方式，对于无损检测轻微损伤的研究较少。本文利用高光谱成像技术检测苹果的轻微损伤，并使用图谱融合的方法进行处理分析，可为产品在线检测提供一定参考。【拟解决的关键问题】本文应用高光谱成像技术，研究无损检测苹果表面损伤的可能性，通过比值光谱分析损伤与正常区域的光谱响应特性，构建最能准确辨别水果表面损伤的特征光谱指数，基于指数增强图像实现苹果表面损伤的快速无损识别，为高光谱图像技术对水果损伤的在线检测提供依据。

1 材料与方法

1.1 试验材料

2022 年11 月上旬，在北京平谷苹果产区，选择大面积种植的具有代表性的苹果样本，共收集163 个，涵盖3 个品种（红富士、王林、国光）。为避免苹果表面的灰尘杂质等对数据采集造成影响，采集高光谱图像前将苹果清洗，并用75%酒精对其表面进行消毒去污，置于常温室内备用。

1.2 高光谱图像采集

苹果放置室内12 h 后，采集样本的高光谱图像。高光谱图像采集系统由1 个暗箱、1 个升降平台、2 个75W 卤钨灯、2 台风扇、1 个高光谱成像仪和1 台计算机组成，高光谱成像系统示意图如图1 所示。高光谱相机可以检测176 个波长，在395.9～998.1 nm 范围内均匀分布，分辨率为4 nm。苹果样本和相机镜头之间的距离为500 mm，镜头直径为25 mm。图像的空间分辨率为1 000×1 000，所有图像均通过水果的辐射率与白色参考面板的辐射率校准获取绝对反射率。

图1 高光谱成像仪器Fig.1 Hyperspectral imaging instrumentation

1.3 数据分析

1.3.1 高光谱图像ROI 选择 在研究苹果表面损伤的光谱特征时，选择感兴趣区域（ROI）进行光谱信息提取。ROI 从训练集中的每个图像中选取，分别位于正常和损伤区域的中心，避免光谱变化较大的区域，如苹果边缘茎干。在每个水果样品中，对正常和损伤区域两个ROI 的所有像素进行平均，获得代表ROI 的光谱，共获得120 条损伤区域光谱120 条正常区域光谱。

1.3.2 高光谱预处理 基于白色参考的校准只能校正阳光强度和仪器响应的差异。光的空间分布和苹果几何形状的影响必须进一步纠正。在空间不同的照明条件下，基于光谱尺度（例如相对光谱）的校正可能是一种有效策略。研究表明，通过光谱归一化可有效抑制照明差异，归一化反射光谱根据以下公式计算：

式中，Rλ为第λ波长处的相对反射率，n为波长总数。

1.3.3 光谱指数构建 高光谱图像所包含的光谱信息数据量庞大，含有较大的冗余以及非光谱信息。因此选择合理的数据处理方法、寻找最能表征苹果轻微损伤的特征波长的图像非常重要。光谱指数（SI）将两个或两个以上波段的地物反射率或辐射值进行组合运算，以增强目标的某一特性或细节［19-20］。本研究选择常用的两波段光谱指数，通过苹果正常与损伤区域的比值光谱特征分析，构建新型两波段光谱指数，以便更好利用波长包含的信息。构建形式主要有归一化光谱指数（NDSI）、比值光谱指数（RSI）和差值光谱指数（DSI），光谱指数构建的计算公式如下：

式中，Rλ1为高光谱波长为的波段λ1的光谱反射率，Rλ2为高光谱波长为λ2的光谱反射率。

1.3.4 图像处理 根据式（2）～式（4）计算ROI的各特征光谱指数，在ENVI 遥感图像处理软件环境下，基于“波段运算”，获得3 种光谱指数增强图像，统计像素特征值。选取对损伤区域特征具有较强表征能力的指数图像，用于苹果损伤区域的分类识别。

1.3.5 无监督分类 将迭代自组织数据分析算法（ISODATA）作为损伤检测的核心聚类方法。作为一种无监督分类方法，ISODATA 算法的优点是不需要了解聚类的数量，与k 均值聚类方法类似，根据到聚类中心的最短距离将像素分配给聚类，该算法通过迭代合并和拆分实现自适应聚类［21］。

设置ISODATA 无监督分类最小（最大）类数为2（5）个，根据所选特征对每个样品的高光谱图像进行分类。训练后，ISODATA 自动给出最合适的类号。该方法使用最小光谱距离将每个像素分到一类。首先从给定图像提取任意类均值，通过反复分类和重新计算新的类统计信息，然后将其用于下一次迭代，最多持续100 次迭代或直到收敛阈值达到99%［22］。与一些经典的监督统计方法（如判别分析法、回归分析法）不同，该训练过程不定义特定的模型，而只是确定最佳阈值，其简单性可以提高其在损伤检测中的通用性。

1.3.6 准确性评估 为验证分类结果准确性，对高光谱叶图像进行目视解释，并手动提取异常区域的ROI 作为参考。将所提出的方法与参考ROI 进行比较，以确定正确分类和错误分类样本的数量，基于总体准确度进行准确度评估。利用ENVI 5.3 和MATLAB 2018b 软件（MathWorks Inc.，Natick，马萨诸塞州，美国）进行统计分析和建模。

2 结果与分析

2.1 光谱特性分析

从图2 可以看出，3 种苹果的正常与损伤区域光谱曲线特征基本相同且无明显差异。图3 为损伤区域与正常区域在390～1 000 nm 范围的平均光谱反射率曲线和光谱比值曲线。从图3 可以看出，正常区域与损伤区域光谱曲线的大体趋势相同，但苹果受到损伤后，在可见光区域（400～760 nm）有显著差异，随着损伤程度上升，光谱反射率值降低，呈明显负相关。这是因为遭受损伤后，苹果表面组织结构破坏导致色素沉着，水分和活性降低，导致可见光区域光谱反射率降低。

图2 不同品种苹果正常区域与损伤区域的光谱曲线Fig.2 Spectral profiles of normal and damaged areas of different apple varieties

图3 苹果正常区域和损伤区域的光谱曲线Fig.3 Spectral profiles of damaged and normal areas of apples

光谱比值处理能够将作为除数的正常区域光谱特征作为背景压制，而突出其他组分对于混合光谱的影响，通过观察比值光谱曲线可以发现，轻微损伤区域与正常区域的比值光谱曲线在蓝边（490～530 nm）和红边（670～720 nm）区域存在两个峰，且分别在528、676 nm 处达到峰值。对两处光谱反射率进行ANOVA 方差分析结果如表1 所示。损伤区域与正常区域的两处光谱反射率差异均达到0.05 显著水平，光谱反射率有显著差异，说明528、676 nm 处光谱在区分正常区域和损伤区域方面具有一定敏感性。因此，在后期数据处理过程中选取528、676 nm 作为针对轻微损伤区域的特征波段，进行光谱指数的构建。

表1 苹果正常区域与损伤区域光谱反射率显著性差异Table 1 Analysis of significant differences in spectral reflectance between normal and damaged areas of apples

2.2 图像处理结果

图4 分别为3 种特征光谱指数的苹果灰度图像，可以明显观察到正常区域和异常区域的灰度值存在较大差异。通过统计各ROI 损伤区域与正常区域的NDSI、RSI、DSI 的像素值，获取光谱指数的统计特征值（表2）。正常区域的光谱指数特征的平均值与标准差分别为0.72、0.05；而损伤区域的光谱指数特征的平均值与标准差分别为0.14、0.02，两类图像特征在NDSI 增强图像中的像素值具有较大差异。类似地，两类图像特征在RSI 及DSI 增强图像中的像素值平均值与标准差分别为0.42 和0.06，0.08 和0.03 以及0.49 和0.07，0.11 和0.03。由表2、图4 可知，损伤区域与正常区域特征在各SI 增强图像中区分明显：正常区域特征在各增强图像中均具有较高的像素值，其色调表现明亮；相反，损伤区域特征在上述SI 增强图像中均具有较低的像素值，其色调表现灰暗。不同区域建立的NDSI 增强图像像素值的平均值具有较大差异，两类图像特征的NDSI平均值相差0.58。另一方面，建立的NDSI 对损伤区域与正常区域特征具有较强的区分能力。虽然RSI 与DSI 具有类似的性质，但损伤区域特征的RSI 平均值小于NDSI 平均值，表明其提取损伤区域的能力较弱。另外，DSI 提取损伤特征的能力介于NDSI 与RSI 之间，其提取损伤区域的能力相对较弱。

表2 苹果正常区域与损伤区域在NDSI、RSI、DSI 增强图像中的统计特征值Table 2 Statistical eigenvalue of damaged and normal areas of apples in NDSI,RSI and DSI-enhanced images

图4 NDSI、RSI、DSI 光谱指数增强下的苹果高光谱灰度图像Fig.4 Hyperspectral grey-scale image of apple under enhanced spectral indexes of NDSI,RSI and DSI

2.3 损伤检测结果

基于最优光谱指数特征图像，采用无监督分类ISODATA 方法生成分类图像。为便于直观地评估检测结果，图5 展示了ISODATA 可区分样品的二元分类图像。可以看出，苹果样本的损伤区域与正常区域整体上有良好区分。其中，绿色区域表示苹果表面的损伤区域，红色区域为正常健康区域，表明该方法可有效区分苹果表面正常与损伤区域。然而，虽然大多数受损区域被识别和分类，但一些不完美的识别区域出现在苹果外部轮廓周围（蓝色与黄色区域），分类的区域出现错误，可能是由于苹果作为球体表面光照不均匀导致。

图5 基于最优光谱指数特征的苹果表面损伤高光谱图像分类结果Fig.5 Classification results of apple surface damage hyperspectral images based on optimal spectral index features

2.4 苹果损伤判别模型

为进一步验证本研究检测苹果损伤的方法，按照以上步骤对额外80 个苹果样本进行损伤区域检测，其中包含正常苹果40 个、损伤苹果40 个，检测结果如表3 所示。可以看出，40 个损伤的苹果样本中有37 个被正确检测出来，检测正确率为92.50%。40 个正常苹果样本中有40 个被正确检测出来，正确率为100%。

表3 苹果正常区域与损伤区域的验证检测结果Table 3 Verification results of normal and damaged areas of apples

3 讨论

本研究对利用高光谱图像快速检测苹果损伤区域的可行性进行初步探索。为尽量减少外部因素和散射效应引起的变异性，将光谱反射率转换并组合成光谱指数，包括归一化光谱指数（NDSI），比值光谱指数（RSI）和差值光谱指数（DSI）等。其中，NDSI 得到广泛应用，通过结合不同波长如归一化差分植被指数（NDVI）、归一化差水指数（NDWI）和归一化色素叶绿素指数（NPCI）。本文的结果证明了光谱指数在进行图像分割方面的巨大潜力，这与前人的研究结果一致［19，23］。图像识别的传统过程必须与机器学习算法相结合，由于这些模型的复杂性和背景的差异，导致这些模型对于不同的品种通常不稳定。以往研究多根据图像阈值分割结合形态学操作方法实现损伤区域的提取识别，分割阈值的确定往往是有效识别损伤区域的关键，需要人工选取最佳的阈值，且在较大光照差异影响下往往会造成误分割。本研究利用高光谱图像数据中包含的丰富光谱和成像信息，提出的方法使提取目标偏差小，边界光滑，可以区分严重的光照不均匀区域，避免因光照不均匀导致的损伤区域误判。一般来说，该方法可以扩展到具有明确光谱响应特征的水果损伤、疾病的自动识别和诊断。

本研究仅使用两波段光谱信息，数据量小、计算速度快，对损伤区检测也比较准确。此外，将图像分析和无监督机器学习方法结合起来，构建自适应算法，只需通过训练确定特征选择和分类阈值，无需复杂的训练建模，在检测水果表面机械损伤的无损检测领域有较好的发展前途。此外，还可以考虑为相机定制波段，从实际角度来看，有助于开发低成本仪器。

同时，鉴于损伤类型的多样性，未来可能需要识别不同类型的损伤，对于检测方法的特异性也是一种考验。此外，由于高光谱图像获取灯光与传感器的观察方向之间存在角度，苹果作为一个球体表面光照不均匀，平面参考板或许不是理想的漫反射器，完全去除光照的影响几乎是不可能的。因此，后续研究可考虑使用参考球代替传统的参考板。

4 结论

本研究利用高光谱图像技术检测苹果损伤进行研究，对所获得的高光谱图像数据进行比值光谱分析，优选特征敏感波长（528 nm 和676 nm），利用该两波段组合光谱特征指数增强下的图像，通过ISODATA 无监督分类图像处理技术可以有效检测苹果表面的损伤区域。本研究结果表明，基于528、676 nm 的光谱反射率建立的NDSI 对损伤区域及正常区域特征具有较强的区分能力。ISODATA 方法的苹果损伤识别正确率为92.50%，该方法为现实复杂情景下检测苹果表面损伤提供了有效的解决方案，在水果生产和检测的高通量表型分析中具有巨大潜力。