马雪涛 , 蒋亚鑫 , 邓定南 , 李浩昌 , 林厚健 , 罗宏炼 , 金扬印
(1.嘉应学院物理与电子工程学院,广东 梅州 514015;2.梅州市智能光电检测应用工程技术研究中心,广东 梅州514015;3.梅州市农业综合服务中心,广东 梅州 514021;4.梅州市鑫农机械制造有限公司,广东 梅州 514471)
柚子为岭南特色水果,主要分布在我国广东、福建、江西等省份,富含丰富的蛋白质、维生素C、有机酸、钙、镁等微量元素营养物质,是一种受广大消费者青睐的柑橘类水果。柚子品质检测分为外观品质检测和内在品质检测。外观品质包括柚子形状、颜色、表皮缺陷等;内在品质包括柚子糖度、酸度、硬度、可溶性固形物含量等。无损检测技术(Nondestructive Determination Technologies, NDT)利用声、光、热、电等手段采集待测物体的特征数据,通过数据传输和处理,实现非接触、无损害的物体特性参数检测,广泛应用于农业、轻工业、材料等领域[1-3]。对柚子品质开展无损检测,有利于柚子采后科学品级分类,推动柚子产业发展,助力乡村振兴。
本文综述了机器视觉检测技术、近红外光谱检测技术、高光谱成像检测技术、核磁共振成像检测技术、深度学习技术等在柚子品质无损检测方面的应用进展,并探讨了拉曼光谱检测技术、电子鼻检测技术、介电特性检测技术、声特征检测技术等应用于柚子品质无损检测的可行性,以期为柚子品质无损检测方面的未来研究提供参考。
机器视觉检测技术利用各种先进传感器获取待测物体图像信息,通过不同算法进行图像数据处理,最终应用于实际测量和控制。
1)在柚子形状检测方面,龚昌来等[4]采用数字图像处理技术实现柚子尺寸检测,柚子横径、纵径平均相对误差分别为2.43%、2.30%;杨冬涛、李燕等[5-6]提出基于轮廓方向特征的柚子果形检测方法。
2)在柚子分级应用方面,云双[7]研究了基于双目立体视觉的柚子空间位姿测量方法,实现了机械臂对柚子的自动抓取;郭辉[8]系统研究了蜜柚的结构特征,建立了基于图像质心的柚子果形特征分析模型,并提出了基于着色率计算的柚子表面缺陷检测方法;孙先成[9]系统研究了柚子的果形特征,建立了基于果形的柚子可食用率无损检测模型;林洋洋[10]搭建了基于双视角点云的琯溪蜜柚三维重建系统,通过三维模型计算蜜柚体积、密度、纵径及横径等外部集合特征参数。
3)在柚子采摘应用方面,谢航[11]提出一种基于色差法和K-mean 法的图像分割技术,并结合深度学习算法Faster RCNN 和YOLOv3,实现了自然环境下树上柚子果实的自动识别;戴宁[12]系统研究了色差法、K-mean 法、Cb 颜色分量法在柚果识别和分割中的可行性,通过计算柚子姿态和质心位置、柚果果梗骨架提取,实现柚子采摘点位置的确定。
近红外(Near Infrared, NIR)光谱是一种电磁波,波长范围为780 nm~2 526 nm。由于含氢基团信息(C-H、O-H、N-H、S-H)在近红外光谱范围可产生不同的特征峰,根据特征峰光谱分布的形状、位置和强度信息,可间接计算待测物体的成分和含量。因此,近红外光谱检测技术被广泛应用于水果品质检测[13]。
1)在柚子品种鉴别方面,姚婉清等[14]通过傅里叶变换近红外光谱仪获取柚子表皮漫反射光谱信息,基于判别分析法建立光谱模型,实现了梅州白柚、红柚、沙田柚三种品种的准确鉴别。
2)在柚子皮果胶含量测量方面,陈华舟等[15]结合分段多元散射校正算法和移动窗口偏最小二乘算法,对柚子傅里叶变换近红外漫反射光谱数据进行处理,优化光谱波段,提高了柚子皮果胶含量预测的准确性。
3)在柚子糖度检测方面,李雄等[16]搭建了近红外漫透射测量系统,提出了基于连续投影法和偏最小二乘法的柚子糖度预测模型,实现了对不同品种柚子糖度的检测;孙潇鹏等[17-18]系统分析了不同光源强度、光源距离、柚皮厚度下柚子漫透射光谱分布特点,验证了在最优光源强度和距离下,柚子糖度预测准确性最高,并开发了一套基于多源信息融合的柚子品质无损检测系统。田昊[19]系统分析了柚子的组织结构特性和光传输特性,建立偏最小二乘法回归预测模型,实现了柚子可溶性固形物含量的在线无损检测,琯溪蜜柚模型、红肉蜜柚模型的预测集均方根误差分别为0.41%、0.57%;Xu 等[20]搭建了可见光-近红外测量系统,采用Savitzky-Golay 法、乘法散点校正法进行数据处理,采用遗传算法进行特征提取,采用偏最小二乘回归进行建模,实现了柚子含水量和粒化率无损检测。
高光谱成像(Hyperspectral Imaging, HSI)检测技术结合了光谱和图像的优势,可同时获取待测物体的光谱信息和空间信息,反映物体的内部和外部特征,已广泛应用于水果品质检测[21]。高光谱成像检测系统一般包括光源、相机、成像光谱仪、计算机等,高光谱成像波段范围一般为200 nm~2 560 nm。高光谱数据采集方式包括点扫描、线扫描、面扫描。
1)在柚子皮果胶含量检测方面,陈华舟等[22]搭建了基于卤素灯照明和近红外光谱仪采集的高光谱成像系统,通过推扫式镜像扫描装置,采集了柚子在1 000 nm~2 500 nm 波段的近红外光谱数据,建立了偏最小二乘法回归预测模型,详细分析了不同系统参数、数据预处理方法对预测模型准确度的影响,最终实现了对柚子皮果胶含量的定量预测。
2)在柚子糖度检测方面,吴爽[23]利用核磁共振技术和高光谱技术,分别获取了柚子的内部图像和漫透射高光谱数据,并结合深度学习算法建立了多种预测模型,实现了柚子的糖度、酸度、粒化率、含水率等参数的定量无损检测。
3)在柚子表皮缺陷检测方面,Ye 等[24]搭建了一个扫描波段为379 nm~1 023 nm 的推扫式高光谱成像系统,对原始数据通过随机蛙跳(Random Frog)算法和主成分分析法确定5 个最佳波长,利用Naïve-Bayes分类器实现了柚子黑斑病的准确识别。
X 射线是一种具有高穿透率的电磁波,波长范围为0.001 nm~10 nm。X 射线成像检测技术利用射线照射待测物体,其内部缺陷引起射线强度的变化,对X 射线强度图像进行数字图像处理,实现对待测物体特性的无损检测,被广泛应用于水果品质检测[25]。
1)在柚子粒化率检测方面,耿一曼[26]系统分析了不同大小、形状、品种柚子的X 射线图像特点,结合灰度变换、锐化等图像处理技术对柚子X 射线图像进行处理,通过判断柚瓣是否开裂、存在白色斑点以及柚皮中是否存在丝状物,实现对柚子粒化率的定量检测。
2)在柚子可食率检测方面,张雨辰[27]对柚子的X 射线图像进行预处理,建立了基于柚子密度、横向果肉占比、纵向果肉占比的可食率预测模型,实验结果表明,红肉蜜柚模型和琯溪蜜柚模型的预测集均方根误差分别为1.99%、1.43%。
深度学习是机器学习的一个重要分支,其本质是利用特定模型进行大数据训练,实现“隐藏”特征的自动提取,已被广泛应用于农业领域[28-29]。
1)在机器视觉技术应用方面,黄杰贤等[30]搭建了BP 神经网络模型,以柚子形状、大小、表面缺陷信息为输入进行训练,实现对柚子的分类,准确率达90%。肖德琴等[31]提出了一种改进的特征融合单镜头检测器神经网络,采用4 000 幅柚子图像进行训练,分析了不同图像类型在不同检测模型下的预测准确率。结果表明:所提模型的柚子采摘目标预测准确率高达93.7%,降低了小目标柚子采摘检测的误检率和漏检率。曾镜源等[32]提出一种基于实例分割的柚子姿态识别和定位技术,搭建了基于Mask R-CNN算法和YOLOv3 算法的柚子目标识别和分割预测模型。结果表明:YOLOv3 模型的识别速度高于Mask R-CNN 模型,但其检出目标数量和定位精度不如Mask R-CNN模型。
2)在近红外光谱技术应用方面,卷积神经网络已应用于近红外光谱数据建模分析中,可减少光谱数据的预处理工作量,并提高预测模型的准确性[33]。吴爽等[34]搭建了基于近红外光谱数据的卷积神经网络(CNN)模型和含有残差块的卷积神经网络(Res-CNN)模型,实现了西瓜可溶性固形物含量定量检测,不同模型的预测集均方根误差分别为0.778 1°Brix、0.710 4°Brix。柚子作为同样的厚皮类水果[35],也可采用基于深度学习的近红外光谱技术实现柚子糖度的定量无损检测。
3)在高光谱成像技术方面,Jie 等[36]利用卷积神经网络(CNN)处理柚子漫透射高光谱数据,训练精度达到88.02%,实现了对柚子粒化率的定量检测[23]。王浩云等[37]提出一种基于3D-CNN 的高光谱成像模型,实现了苹果糖度、硬度、含水量的多参数定量检测,可为柚子的多品质参数测量提供参考。
1)核磁共振(Nuclear Magnetic Resonance,NMR)成像检测技术,是利用原子核磁特性同时获取待测物体的物理和化学信息,通过探测分析物质的分子结构和性质,获取物质内部结构信息的检测技术,被广泛应用于食品质量检测领域[38]。根据所使用的射频场频率高低,可以分为高场核磁共振技术和低场核磁共振技术。王贤达等[39]利用1.5 T 高场核磁共振成像仪获取琯溪蜜柚内部果肉组织影像,实现了柚果汁胞粒化的无损检测和识别。低场核磁共振技术的磁场强度低于0.5 T,可应用于采后水果的水分分析、缺陷鉴别、营养成分分析等品质参数的无损检测[40]。
2)电感耦合等离子体发射光谱技术(ICP-AES)。ICP-AES 技术通过物质在高频电磁场中形成的高温等离子体,实现不同元素的定量检测。董维兵等[41]采用ICP-AES 技术,成功对新都柚和福建蜜柚中22种微量元素进行了测定。
3)电子鼻检测技术。电子鼻检测技术通过气体传感器获取待测物体的气味信息,生成对应的特征图谱,已广泛应用于乳制品、肉类、饮料、果蔬等食品的安全定量检测[42]。颜静[43]利用电子鼻检测技术对四个不同地区的龙安柚挥发性成分进行测定,建立柚子产地来源判别模型,实现了柚子产地来源的定量无损检测,其判别准确率为81.42%。陈远涛等[44]通过电子鼻检测技术获取了水果、蔬菜、肉类的数据,提出一种基于卷积神经网络的食品新鲜度预测模型,分类识别准确率达90%。这类技术为柚子新鲜度的判断提供了技术应用思路。
4)除了以上无损检测技术,常用的无损检测技术还包括拉曼光谱检测技术、介电特性检测技术、声特征检测技术等。拉曼光谱检测技术[45]利用激发光谱和待测物体之间产生拉曼效应,其对应谱峰位置反映了待测物体的分子特征,已广泛应用于食品安全检测,如农药残留检测、添加剂检测、食品掺伪鉴别等。介电特性检测技术[46]可以测量待测物体在电场下的介电参数,不同参数的变化反映了待测物体特性的变化,可应用于水果糖度、成熟度、病变等参数的无损检测。声特征检测技术是通过采集和分析待测物体的声学信号结构特征(如共振频率、梅尔倒谱系数等),可实现果实糖度、硬度、机械损伤等物体特性的定量无损检测。左杰文等[47]搭建了西瓜声学检测系统,结合机器学习算法实现了西瓜糖度检测和分级。以上技术都可为柚子多品质参数的无损检测提供重要理论支撑和技术指导。
柚子是我国的高产水果之一,利用无损检测技术对柚子品质进行多维度测定和分析,有利于柚子品级的准确分类,促进柚子产业的快速发展,提高果农收益,助力乡村振兴。柚子品质无损检测技术的相关研究,也为柚子智能化农业装备的研发提供了指引。本文主要综述了机器视觉技术、近红外光谱技术、高光谱技术、X 射线技术等在柚子品质无损检测中的应用研究进展,并介绍了这些技术与深度学习技术的结合和应用研究。另外,介绍了核磁共振成像检测技术、电子鼻技术、介电特性技术、声特征技术等的原理和应用,可为柚子粒化率、新鲜度、含水量、成熟度等特性的检测提供技术理论支撑。
目前,柚子品质无损检测技术中,应用最多的是机器视觉检测技术和近红外光谱检测技术。机器视觉检测技术主要用于检测柚子的外形、空间位置,实现柚子采摘的目标识别和定位。近红外光谱检测技术主要用于检测柚子的糖度,结合清洗装置和重量分拣装置,实现柚子的品级筛选和分类。将深度学习技术和近红外光谱检测技术结合,可有效提高柚子糖度检测的精度。在应用方面,如何设计便携化、智能化的柚子多品质参数无损检测系统,是柚子品质无损检测研究中亟需解决的关键问题。