基于近红外高光谱图像的苹果轻微损伤检测

陈姗姗，宁纪锋，彭艺伟，张叶

(西北农林科技大学信息工程学院，陕西杨凌712100)

苹果作为最广泛种植的水果品种之一，是世界上的第二大消费水果，具有丰富的营养价值，因此，其品质的好坏至关重要［1-2］.在人工采摘运输的过程中，尤其是长途运输过程中，苹果易受到碰撞、挤压、摔伤等损伤，轻微损伤在苹果表面没有缺口，肉眼难以发现，经过一段时间后，果肉发生褐变，损伤部位变软，苹果内部的化学成分以及口感味道发生改变，最终导致苹果腐烂变质.起初损伤难于观察，并且在存储、运输处于不恰当的环境下发展很快，因此检测苹果的轻微损伤十分必要.由于苹果表面颜色、纹理的影响以及苹果外部轻微损伤无明显表现，所以基于传统的机器视觉技术和人工可视检测的方法检测苹果的轻微外部损伤非常困难，并且准确率较低.

高光谱技术是近几年在国内外兴起的一项结合传统成像技术和光谱技术的新方法.由于其信息量更大，比基于可见光的图像检测方法具有更大的优势，在农产品品质检测的研究中越来越受到重视［3-7］.Polder等［8］对 396～736 nm 波段范围内的 5个不同成熟度的西红柿进行研究，结果表明，使用高光谱图像比使用RGB图像更有利于对西红柿的成熟度进行判定.Sivakumar［9］在 400～1 000 nm 范围内，使用人工神经网络方法对芒果含水量进行预测，预测相关系数为0.81.洪添胜等［10］通过人工神经网络方法对雪花梨的含糖量和含水率建立预测模型，检测雪花梨的内部品质，同时使用投影图像面积预测雪花梨鲜重，取得了较好的结果.在苹果品质检测方面，Huang等［11］对 60个苹果样本在 400～1 100 nm波段范围内采集光谱图像，使用主成分分析法对苹果损伤在果梗和花萼部分进行分类，结果表明在果梗附近的损伤分类准确率为93.3%，在花萼附近的损伤分类准确率为86.7%.Huang等［12］在500～1 000 nm波段范围采用局部线性嵌入算法(locally linear embedding，LLE)对580个红元帅苹果进行粉质化分类，分类准确率为80.4%.彭彦昆等［13］使用偏最小二乘回归方法(PLSR)在524～1 016 nm范围内对苹果硬度进行检测，相关系数为0.88.这些研究主要基于可见光、近红外的光谱波段，波长范围主要在400～1 000 nm，而国内外基于波长范围在1 100～1 700 nm的高光谱图像技术检测水果品质的研究仍未报道.

本研究主要采用900～1 700nm波段范围的苹果近红外高光谱图像，选择特征波段，通过图像处理方法对苹果的外部轻微损伤进行提取.结果显示，900～1 700nm波段范围对苹果的外部损伤具有良好的分辨性，苹果缺陷检测准确率高.

1 实验材料与设备

1.1 实验材料

实验研究对象为苹果，品种为红富士，从市场上选购，数量共计50个，大小、形状基本一致，表面无机械损伤，其中35个轻微损伤样本，15个正常样本.人工处理损伤样本过程如下:将样本置于距离平整光滑水平面80 cm处，使其自由下落，每个样本摔伤一处，室温放置24 h后，进行高光谱图像采集.

1.2 实验设备

实验设备采用北京汉光卓立公司开发的Hyper-SIS高光谱成像系统.如图1所示，该系统主要由推扫型成像光谱仪(ImSpector，N17E，Finland)、CCD面阵探测器(OPCA05G，日本滨松)、稳压电源箱和暗箱组成.其中暗箱包括4个100 W的白光漫反射型光源和电控位移样品台.数据采集软件为SpectralSENS.高光谱相机测量的光谱波长范围为900～1 700 nm，光谱分辨率为 5 nm，成像分辨率为320×250.

图1 高光谱图像采集系统Fig.1 Hyperspectral imaging system

1.3 图像采集与标定

采集高光谱图像数据前，对高光谱成像仪的参数进行调整，以降低图像噪声，确保拍摄的图像清晰，避免失真.经反复调整，确定成像光谱仪的各参数如下:曝光时间为10 ms，电控位移台移动速度为20 mm·s－1，物距为200 mm，采集到的高光谱图像大小为320×250×255.

图像采集时，对每一个苹果样本进行标号，每次取一个苹果样本，人工置于载物台上，使用线光源照射放置于电控移动台上的样品，样品被线光源照射部分的影像通过镜头被高光谱成像仪捕获，在X轴向上被光谱仪分光，在Y轴上直接成像，从而得到一维的影像以及光谱信息，由电控移动台带动样品连续运行，从而能够得到连续的一维影像以及光谱信息，完成对整个苹果样本图像的采集.

1.4 图像标定

由于苹果表面形状的差异以及光源强度分布不均的影响，导致光谱相机采集到的高光谱图像中存在着较大的噪声.因此，必须对采集到的图像进行校正，以消除噪声影响.保持设备在相同的参数设定下采集样本，用扫描反射率为99%的标准白色校正板得到全白的参考图像W，然后盖上镜头盖，采集全黑参考图像B，根据式(1)计算校正后的图像R.

式中:I为原始采集的高光谱图像，B为全黑标定的图像，W为白标定的图像，R为标定后的高光谱图像.

图2是损伤苹果样本在可见光下的图像与1 160 nm波段下的高光谱图像，从图中可以看出，轻度损伤后的苹果，损伤部位仍不明显，肉眼很难进行观察.因此采用传统的数字图像处理方法具有很大的难度，同时检测得到的准确率往往不高;但在1 160 nm波段下，可看出损伤部位明显呈黑色，与正常部位存在较大差异，使损伤部位通过计算机视觉方法检测提取成为可能.

图2 损伤苹果的可见光图像与1 160 nm高光谱图像Fig.2 Visible image and 1 160 nm band hyperspectral image of a bruised apple

由于近红外高光谱图像在光谱两端噪声较大，使得图像质量不佳.经分析，本文采取光谱范围934～1 661 nm波段的高光谱图像进行分析.通过掩膜法对采集的高光谱图像去除背景，消除背景在数据分析时对研究对象造成的影响.

2 苹果轻微损伤检测方法

苹果近红外高光谱图像比可见光图像提供了更为丰富的光谱信息，包含着对苹果轻微损伤敏感的近红外波段，为进行无损检测提供了可靠的数据.本节基于波段比和不均匀二次差分法，得到能增强苹果缺陷区域的特征图像，从而提出苹果轻微损伤缺陷检测的方法.

2.1 基于波段比的苹果图像缺陷检测方法

波段比(band ratio)算法［14］可以有效地降低由于苹果表面不平整导致的光线反射不均匀的影响，同时增强波段之间的波谱差异，提供单一波段无法得到的独特信息.波段比算法的原理是用2个波段相除从而获得一幅相对波段强度的图像.

式中:BVg和BVh为第g和h波段相同位置像素(i，j)的灰度值;BVr为该(i，j)位置下像素的比值.

根据图中的光谱信息曲线及反复实验确定选择1 060 nm、1 183 nm、1 442 nm(位置如图3 所示)这3个波峰和波谷的波段作为特征波段来波段比运算和分析.

图3 苹果损伤部位与正常部位的光谱曲线Fig.3 The spectral data of the normal region and bruised region of an apple

图4中从左到右依次为1 183/1 060nm、1 442/1 060 nm的波段比运算结果，可以看出，使用波段1 183 nm与波段1 060 nm进行波段比运算，损伤部位与正常部位的差别最大，损伤部位颜色变暗，正常部位颜色发亮，有利于损伤部位的提取，此时波段比算法的运算结果最好.

图4 1 183/1 060 nm和1 442/1 060 nm的波段比结果图像Fig.4 Two band ratio results of 1 183/1 060 nm and 1 442/1 060 nm

由于中值滤波能有效地去除噪声并且能较好地保护图像细节，因此，首先选择5×5大小的模板对图像进行中值滤波，然后再利用 K-均值聚类法［15］对损伤部位进行分割提取，从而完成对损伤部位的检测.K-均值聚类算法是一种广泛使用的聚类算法，主要思想是通过迭代过程把数据集划分为不同的类别，使得评价聚类性能的准则函数达到最优，从而使生成的每个聚类类内紧凑、类间独立，算法对于连续型属性具有较好的聚类效果.从图5中的检测结果可以看出，损伤苹果中的损伤区域通过使用K-means算法可以有效地进行标定，检测结果准确.

图5 损伤苹果的检测结果Fig.5 The detection results of bruised apples

2.2 基于不均匀二次差分的苹果图像缺陷检测方法

由于苹果形状和表面光滑程度造成的反射光线不均匀的影响，采集到的图像中心存在不同程度的亮斑以及噪声.采用不均匀二次差分法［16］消除这种影响.不均匀二次差分方法在二次差分方法的基础上，对中心波段采用相同波段间隔的方式，对中心波段的较高波段和较低波段使用不同的波段间隔，使苹果损伤部位与正常部位的区别更加明显.不均匀二次差分方法的数学表达式为

式中:S″(λn，g)为中心波段下的不均匀二次差分结果图像;S(λn)为中心波段下的原始图像;g1、g2为波段间隔.

实验采用1 064 nm为中心波段下的苹果图像，经反复实验，间隔g1和g2分别为15和80，此时，实验效果最好.对不均匀二次差分的结果图像使用5×5大小的模板进行中值滤波，之后使用阈值分割方法对损伤部位进行检测，实验结果如图6所示，缺陷部分与正常部分准确分割.

图6 不均匀二次差分检测苹果图像缺陷Fig.6 The detection results of bruised apples using asymmetric second difference

3 实验结果与分析

对50个实验样本采集到的高光谱图像进行外部损伤检测.为了验证波段比方法的有效性，本文也采用主成分分析法对苹果的轻微损伤进行缺陷检测，对比结果见表1.

表1 3种方法的苹果缺陷检测结果比较Table 1 The comparison of bruised apples detection results using 3 methods

对实验结果进一步分析可知，采用主成分分析法的苹果轻度损伤检测正确率较低，主要是因为实验样本表面形状和光滑程度的影响导致采集到的高光谱图像存在差异，由于每个主成分图像都是由原始数据中各个波段下的图像经过线性组合而成，每个主成分图像的线性组合中的权重系数不相同，因此，对每个实验样本进行主成分分析后结果并不相同，导致实验结果不太理想.波段比算法可以降低光照反射不均匀的影响，增强波段之间的波谱差异，从高光谱数据中挖掘更多的特征信息.经过波段比运算后的高光谱图像，可加强试验样本中正常部分与损伤部分的差异，以便准确地对损伤部位进行提取.不均匀二次差分方法有效地降低了苹果中心反射形成的亮斑的影响，有利于阈值分割对苹果损伤部位的检测提取，使检测准确率较高.

4 结束语

本文以苹果为研究对象，首次利用900～1 700 nm近红外高光谱图像检测轻微损伤苹果.在该波段范围，对于轻微损伤苹果，缺陷部分与正常部分光谱信息有较好的区分性，为进行损伤检测提供了依据.采用波段比算法和不均匀二次差分算法处理苹果的高光谱图像，提高苹果损伤部位与正常部位的区分度，然后利用K-均值聚类法和阈值分割的数字图像处理方法，对波段比结果和不均匀二次差分结果图像进行损伤检测提取.实验结果表明，不均匀二次差分方法比主成分分析和波段比方法具有更好的轻微损伤检测率，检测准确率达到92%，为苹果轻微损伤的无损检测提供了一种有效的方法.

［1］刘木华，赵杰文，郑建鸿，等.农畜产品品质无损检测中高光谱图像技术的应用进展［J］.农业机械学报，2005，36(9):139-143.LIU Muhua，ZHAO Jiewen，ZHENG Jianhong，et al.Review of hyperspectral imaging in quality and safety inspec-tions of agricultural and poultry products［J］.Transactions of the Chinese Society for Agricultural Machinery，2005，36(9):139-143.

［2］张立彬，胡海根，计时鸣，等.果蔬产品品质无损检测技术的研究进展［J］.农业工程学报，2005，21(4):176-180.ZHANG Libin，HU Haigen，JI Shiming，et al.Review of nod-destructive quality evaluation technology for fruit and vegetable products［J］.Transactions of the CSAE，2005，21(4):176-180.

［3］SUN Dawen.Hyperspectral imaging for food quality analysis and control［M］.［S.l.］:Elsevier，2010:1-98.

［4］BUTZ P，HOFMANN C，TAUSCHER B.Recent developments in non-invasive techniques for fresh fruit and vegetable internal quality analysis［J］.Food Science，2005，70(9):131-134.

［5］洪添胜，李震，吴春胤，等.高光谱图像技术在水果品质无损检测中的应用［J］.农业工程学报，2007，23(11):280-285.HONG Tiansheng，LI Zhen，WU Chunyin，et al.Review of hyperspectral image technology for non-destructive inspection of fruit quality［J］.Transactions of the CSAE，2007，23(11):280-285.

［6］NICOLAII B M，LOTZETZE E，PEIRS A，et al.Non-destructive measurement of bitter pit in apple fruit using NIR hyperspectral imaging［J］.Post Harvest Biology and Technology，2006，40(1):1-6.

［7］单佳佳，彭彦昆，王伟，等.基于高光谱成像技术的苹果内外部品质同时检测［J］.农业机械学报，2011，42(3):141-144.SHAN Jiajia，PENG Yankun，WANG Wei，et al.Simultaneous detection of external and internal quality parameters of apples using hyperspectral technology［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42(3):141-144.

［8］POLDER G，HEIJDEN G W，YOUNG I T.Tomato sorting using independent component analysis on spectral images［J］.Real-Time Imaging，2003，9(4):253-259.

［9］SIVAKUMAR S S，QIAO Jun，WANG Ning.Detecting maturity parameters of mango using hyperspectral imaging technique［C］//American Society of Agricultural ＆ Biological Engineers Annual International Meeting.Portland，USA，2006:9-12.

［10］洪添胜，乔军，NING Wang，等.基于高光谱图像技术的雪花梨品质无损检测［J］.农业工程学报，2007，23(2):151-155.HONG Tiansheng，QIAO Jun，NING Wang，et al.Nondestructive inspection of Chinese pear quality based on hyperspectral imaging technique［J］.Transactions of the CSAE，2007，23(2):151-155.

［11］HUANG Wenqian，ZHANG Chi，LI Jiangbo.Detection of bruise and stem-end/calyx of apples using hyperspectral imagingand segmented principalcomponentanalysis［C］//Amercian Society of Agricultural and Biological Engineers.Dallas，USA，2012:12-1340826.

［12］HUANG Min，WANG Bojin，ZHU Qibing.Analysis of hyperspectral scattering images using locally linear embedding algorithm for apple mealiness classification［J］.Computers and Electronics in Agriculture，2012，89:175-181.

［13］彭彦昆，李永玉，赵娟，等.基于高光谱技术苹果硬度快速无损检测方法的建立［J］.食品安全质量检测学报，2012，3(6):667-671.PENG Yankun，LI Yongyu，ZHAO Juan，et al.Establishment of rapid and non-destructive detection method of apple firmness using hyperspectral images［J］.Journal of Food Safety and Quality，2012，3(6):667-671.

［14］BENNEDSEN B S，PETERSON D L.Performance of a system for apple surface defect identification in near-infrared images［J］.Biosystems Engineering，2005，90(4):419-431.

［15］FORSYTH D A，PONCE J.Computer vision:a modern approach［M］.［S.l.］，Pearson Educacion，Inc:2003:446-450.

［16］MEHL P，CHEN Y，KIM M，et al.Development of hyperspectral imaging technique for the detection of apple surface defects and contaminations［J］.Journal of Food Engineering，2004，61:67-81.