申亚其,李松林,何 杰,闫祖龙,李春林,黄玉萍
(南京林业大学机械电子工程学院,江苏 南京 210037)
随着人民生活质量的逐步提升,消费者对水果质量的要求也越来越高[1]。但水果的内部品质不宜观察,且在采摘、包装和运输过程中,水果很容易受到人工或外界等物理因素的影响,致使其内外部的品质受到损伤[2]。因此,发展准确、快速、无损的检测技术已成为水果品质检测领域重要的研究课题。随着光谱技术的不断发展,高光谱图像技术被逐渐应用于水果无损检测。作为新一代的光电检测技术,高光谱图像技术结合了光谱学、机器视觉、计算机图像学、近红外光谱检测等多学科知识,将光谱技术和传统的二维成像技术进行了有机融合,具有高分辨率、超多波段和图像光谱合一等优点[3],将高光谱图像技术应用于水果品质检测领域具有重要的意义[4]。
高光谱成像技术可以同时得到水果的图像和光谱信息,其中图像信息能够直接反映水果的外部形状特征、颜色、缺陷等情况[5],而光谱数据则可以用于分析水果化学成分含量,如糖度、酸度、可溶性固形物含量等[6-8]。本文主要介绍国内外学者利用高光谱成像技术对水果品质进行无损检测的研究进展,并探讨了该技术未来的发展前景。
高光谱成像系统是20世纪80年代兴起的新一代光电探测技术。一般认为,光谱分辨率在10-1λ数量级的范围内称之为多光谱,光谱分辨率在10-2λ数量级的范围内称为高光谱[9],高光谱成像相对多光谱成像而言具有更高的分辨率[10]。
高光谱检测系统主要由光源、面阵CCD或CMOS相机和计算机软硬件等组成。光源是高光谱成像系统的重要组成部分,为整个成像系统提供照明,其产生的光被检测物体吸收和散射后成为信息的载体,进入相机的入口狭缝,通过相机中的光谱成像仪将光信号映射到二维面阵检测器上,最后根据计算机软件和硬件采集、处理、分析以及存储高光谱图像数据[11]。
根据高光谱图像采集方式的不同,可分为点扫描、线扫描和面扫描三种。点扫描方式每次扫描只能获得一个像素点的光谱,不适用于快速检测,所以点扫描的方式常常被用于检测微观对象。线扫描方式通过每次扫描可以获得扫描线上的光谱,适用于传输带上物体的实时检测,因此该方法是水果品质检测中最常用的图像采集方法。点扫描和线扫描方式都属于光谱域扫描方式,首先获得图像的光谱和一个维度的空间信息,再通过扫描移动,获得另一维度空间信息。而面扫描方式属于空间域扫描方式,可以同时获取单个波长下被测物体两个空间维度的图像信息,其数据采集量大且数据采集时间较长,高光谱成像系统中通常会选择面扫描方式。
2.1.1 机械损伤
水果在收获和运输过程中很容易因为外界的冲击、振动或挤压而出现机械损伤,从而使水果的品级降低并造成经济损失。现在对水果机械损伤的检测多是通过人眼检测,检测精度较低,致使分类不够精准,无法满足消费者对水果质量的要求,而高光谱检测技术以其高精度无损检测的特点正在逐渐取代原有的检测技术。
近十年来,采用高光谱成像技术检测苹果机械损伤的研究已有很多[12-18],韩浩然等[19]利用高光谱成像技术来检测苹果的摔伤,试验结果表明,波段比算法和主成分分析法分类识别正确率为93.3%,适用于苹果摔伤的实时快速检测。Baranowski等[20]采用配备了在可见光和短波近红外(VIS/SWNIR,400~1 000 nm)传感器的高光谱相机、中波近红外(MNIR,1 000~2 500 nm)和红外(IR,3 500~5 000 nm)范围的热成像相机系统来检测苹果的早期瘀伤。结果表明,将VIS/SWNIR、MNIR和IR三个范围结合在一起的模型获得了区分瘀伤和完好组织以及各种深度瘀伤的最佳预测效率,使用广谱范围(400~5 000 nm)进行水果表面成像可以改善对苹果不同深度早期瘀伤的检测效果。Nayeli等[21]利用近红外高光谱成像系统检测芒果的机械损伤,采用了五种分类方法,在产生损坏后的七天内捕获图像,从而可以有效检测到出现损坏的时刻。结果发现近邻法(k-Nearest Neighbours,k-NN)的分类效果最好,正确分类率可以达到97.90%。林思寒[22]利用PLS和LDA方法结合高光谱成像技术,建立了翠冠梨完好果和不同损伤天数碰压果的PLS-LDA检测模型。结果表明,其机械损伤果和完好果的识别准确率都在90%以上,最高可达97.78%。目前,现有高光谱检测技术的检测精度已经能够满足分类需求,但针对损伤程度的检测模型还较少。
2.1.2 冻伤
冻伤是水果缺陷检测中最常见的指标之一,其早期检测和监测比较困难,为了更早地将有缺陷的水果从营销链中去除,需要一种快速、精确和无损的检测技术。近年来,研究人员针对苹果冻伤方面的研究主要集中在算法优化层面。ElMasry等[23]利用高光谱成像(400~1 000 nm)检测“红元帅”苹果中的冻伤,开发了一种前馈反向传播模型,选择出五个特征波长的光谱作为模型的输入,以普通与冻伤为输出结果,构建了人工神经网络识别模型。结果表明,该模型的平均分类精度达到98.4%。张嫱等[24]搭建半透射高光谱系统,采集样本在400~1 000 nm 波段的图像,利用独立主成分分析法和权重系数法对图像进行处理,建立水蜜桃冷害等级判别模型并进行验证,验证组的总体正确率为91.0%。Pan等[25]建立了一个高光谱成像系统来检测桃子的冻伤,开发了一种人工神经网络(ANN)模型,确定了8个特征波长,并将特征波长作为ANN模型的输入,对完好果和冻伤果进行分类,其分类精度为95.8%。高光谱图像技术结合化学计量学方法在识别冻伤水果方面的研究已有一定进展,检测精度普遍较高,未来可以进行水果冻伤分级识别的在线检测研究,进一步提高检测效率。
2.1.3 成熟度
水果成熟度是决定水果内在品质的关键因素,也是确定水果货架期的重要指标。水果成熟的过程非常复杂,以往所用的传统检测水果成熟度方法局限于人工视觉检测,实验室理化检测等。这些方法不但费时费力,主观性较强,且均需破坏样本才可实现[26-28]。近年来,国内外学者开始研究无损检测技术对水果的成熟度进行判别分析,其中高光谱图像技术以其特有的优势,在水果成熟度方面的研究比较丰富。
Rajkumar等[29]使用高光谱成像技术对香蕉成熟度进行了研究,提前采集水分含量、硬度和总可溶性固体等质量参数,并与光谱数据相关。运用PLS来分析光谱数据,使用预测的残差误差平方和来选择特征波长。实验结果表明,在成熟过程中,香蕉水分含量的变化与不同成熟阶段成线性关系。Zhang等[30]建立高光谱成像系统来对草莓的成熟度进行分类,从成熟、中熟和未成熟草莓的高光谱图像中提取光谱数据,在不同光谱范围内分别建立SVM模型,其中441.1~1 013.97 nm数据集上的SVM模型表现最佳,分类精度超过 85%。Gao等[31]利用高光谱成像系统对草莓的成熟度进行分类,在草莓早期成熟和成熟阶段收集HSI数据,使用顺序特征选择算法(SFS)选择特征波长,同时用AlexNet卷积神经网络(CNN)对早熟和成熟草莓样品进行分类,其测试数据集的准确率为98.6%。
不同的特征选择算法对于最后的分类精度影响很大,对不同水果选择不同的特征算法尤为重要。
2.2.1 硬度预测
硬度是表现水果成熟度和口感品质的一个重要特征,传统的硬度检测方法普遍对样本有损伤,而高光谱成像技术则能够对水果硬度进行快速、无损检测。张巍[32]使用自主搭建的高光谱成像系统(500~1 000 nm),以蓝莓为研究对象,采用连续投影算法(SPA)对特征光谱进行提取,并建立基于全波段-BP神经网络的硬度预测模型与基于SPA-BP神经网络的硬度预测模型。试验结果表明,所建模型都有较好的预测结果,且基于SPA-BP神经网络预测模型的预测结果更好。卢娜等[33]利用高光谱成像系统,获取草莓在400~1 000 nm范围波长的高光谱数据,采用四种方法对光谱数据进行预处理,并建立PLS预测模型,比较不同的预处理方法对预测模型产生的影响。结果表明,经过标准正态变换(SNV)处理后的偏最小二乘(PLS)模型预测效果最好。Reddy等[34]利用高光谱成像和多变量数据分析对樱桃硬度进行预测。结果表明,与偏最小二乘回归法相比,利用高斯过程回归所预测的樱桃硬度精度更高。Xie等[35]使用高光谱成像系统对香蕉的硬度进行预测,设计了一种双波长组合的方法选择出特征波长,基于所选波长,得出RP2= 0.760,RPD= 2.062。结果表明,可以通过双波长组合的方法对香蕉硬度进行分类。在硬度预测方面,Xie等所设计的双波长组合方法检测香蕉硬度时有良好的表现,可以将此方法应用到其他水果的硬度检测上。
2.2.2 可溶性固形物预测
水果中的可溶性固形物(SSC)包括可溶性糖类、维生素、矿物质等[36],是影响水果内部品质的重要因素。罗霞等[37]利用高光谱技术采集火龙果的漫反射光谱,并进行火龙果可溶性固形物的无损检测。应用连续投影算法(SPA)对特征变量进行选择,采用8种方法对原始光谱数据进行预处理,通过偏最小二乘法(PLS)和前馈反向传播神经网络法(BPNN)建立预测模型。结果表明,采用平滑去噪(MAS)进行预处理的模型精度最高,其验证相关系数和交叉验证均方根误差分别为0.863 5、0.679 1。侯宝路等[38]利用近红外高光谱成像技术(400~1 000 nm)检测梨内部的可溶性固形物。采用SPA算法提取梨的有效波长,利用多元线性回归算法(MLR)建立线性回归模型。结果表明,预测可溶性固形物模型的相关系数R为0.898,均方根误差为0.192,检测结果较为准确。Zhang等[39]使用可见光和近红外全透光高光谱成像对橙子中可溶性固体含量(SSC)进行预测,结合了自适应权重加权采样和连续投影算法(CARS-SPA)来选择有效波长,将水果尺寸作为补偿因子,建立了三种与光谱信息相结合的校准模型,包括部分最小平方(PLS)、多线性回归(MLR)和最平方支持向量机(LS-SVM)。结果表明,根据所选的有效波长,新提出的CARS-SPA-LS-SVM模型能够实现对橙子SSC的满意预测。何洪巨等[40]研究高光谱技术在检测无籽/有籽西瓜、青色/黄色甜瓜糖度上的可行性,利用可见/近红外高光谱成像技术,分析不同品种西瓜、甜瓜的光谱反射率对糖度的响应差异,得出在639.3 nm波段其响应最高,在此波段下建模并检验,其建模R2为0.904、检验R2为0.847、相对均方根误差为6.78%。Sun等[41]采用在波长900~1 700 nm范围内的高光谱成像对甜瓜的糖度进行无损检测。使用传统的方法对样本甜瓜进行检测,并建立了四种模型对样本进行预测。结果表明,偏最小二乘回归(PLSR)产生的预测结果最为准确,其R2值为0.80。
在检测水果的可溶性固形物时,使用不同的预处理方法会对检测精度产生较大影响,应在多种预处理方法中选取产生最优结果的预处理方法。
2.3.1 药物残留
水果表面的药物残留不仅极大影响水果的质量安全,还影响果品出口贸易。因此,对水果表面的药物残留进行无损检测十分必要。徐洁等[42]利用高光谱技术,建立距离判别分析模型和贝叶斯判别分析模型,并对哈密瓜表面残留药物的种类进行判别。结果表明,在紫外灯光源的环境中,距离判别法的准确率较高,为94.67%;在卤素灯光源环境中,贝叶斯判别法的准确率较高,为100.00%。Jiang等[43]对苹果农药残留高光谱数据特征进行分析,构建了适用于苹果农药残留检测的AlexNet-CNN框架,并对四种高光谱苹果农药残留的6 144张图像进行检测。结果表明,测试集检测精度为99.09%,单波段平均图像检测精度为95.35%。可见,高光谱成像技术在药物残留检测方面已经达到了很高的精度。
2.3.2 病虫害
病虫害的存在会极大地降低水果的品质,利用高光谱技术可以有效地对水果病虫害进行无损检测,这对水果品质分级具有重要意义。Bart等[44]开发了一种高光谱NIR成像系统来识别苹果上的苦陷症,构建了PLS校准模型,用来区分未受影响的苹果表面和苦陷症。结果表明,该系统可以识别出收获后肉眼不可见的苦陷症,但无法区分苦陷症和软组织。刘思伽等[45]基于高光谱成像技术,提出改进流形距离算法选取3个特征波段并加以分组,建立BP神经网络模型对病害果和正常果进行检测。结果表明,检测苹果病害时光谱相对反射率的最佳组合为700 nm和904 nm波段,其验证集的病害果检测率达到96.25%,正常果检测率95%。Anna等[46]使用高光谱成像技术检测草莓果实中的真菌感染,用两种不同品种的草莓分别接种两种不同的真菌,将未接种的草莓用作对照,选择特征波长并构建监督分类模型。在所使用的四种分类方法中,反向传播神经网络(BNN)模型获得了区分真菌物种的最佳预测精度,接种果与控制果的区分精度高达97%。Wang等[47]开发了一种高光谱反射成像方法(400~720 nm)用于检测枣果实中的外部昆虫损害。使用高光谱成像方法确定枣中的受损区域,运用逐步判别分析法将枣分为有虫侵害型和无虫侵害型,分类准确率约为97.0%。但现有检测技术大多只能检测一种病虫害,少有开发出可以同时检测出多种病虫害的高光谱模型。
高光谱成像技术虽然在水果无损检测方面有较多的应用,但仍存在着一些不足。高光谱的穿透深度不够高,对于果皮比较厚的水果难以检测。反射、透射时需要使用大光源,但光源能量过高又容易损伤水果,如何在无损检测和更深层检测间达到平衡是未来要解决的关键问题;高光谱的图像数据量大,冗余信息多,如何选择特征波长,去除无相关的变量来提升检测效率也是急需解决的一个问题;水果含水率普遍较高,高光谱检测时在1 400 nm后会受到水分吸收峰的影响,如何避免水分吸收峰对检测结果的影响也亟待解决。
针对检测样品方面,现阶段大多数的研究都选取表皮较薄的水果(如苹果、梨、桃子等)进行品质缺陷检测,但对表皮较厚的水果(如西瓜、哈密瓜、椰子等)品质检测仍然较少,高光谱检测技术如何突破检测深度的限制将给这些较厚果皮水果品质检测带来新的应用。在试验设计方面,大多数研究都只针对水果是否存在缺陷进行分级,没有考虑缺陷程度对水果保质期的影响,如水果受到轻微损伤后,在短期内其内外部品质与经济价值波动较小,但储存一定时间后水果品质可能会发生较大改变,因此研究缺陷程度对水果保质期的影响对水果储存及经储存后水果的品质预测具有深远的现实意义。随着计算机技术和图像处理技术等的进一步发展和更深地融合,高光谱图像检测技术在水果品质无损检测领域必将有更加广泛的应用。在高光谱检测应用技术推广方面,由于图像采集和处理速度的限制以及设备成本的制约,高光谱技术在现实生活中还未得到大范围的应用,可以权衡检测准确率与设备成本,开发专用小型化设备以实现高光谱技术的进一步推广。
近年来,高光谱图像检测技术在水果品质的无损检测方面得到了广泛的应用,硬件的设计与实现以及图像处理的算法都取得了进步,检测的准确率逐渐提升,体现出其克服传统分析工具复杂性、繁琐性、破坏性的巨大潜力。但高光谱图像技术还有较多问题值得深入研究,随着科技的进步以及信息时代的到来,此技术必将会越来越成熟,应用前景也将越来越广阔。