基于高光谱反射、透射和交互作用成像模式的蓝莓硬度和弹性模量预测的比较

胡孟晗，董庆利，刘宝林

1. 上海理工大学医疗器械与食品学院，上海 200093 2. 上海交通大学电子信息与电气工程学院，上海 200240

基于高光谱反射、透射和交互作用成像模式的蓝莓硬度和弹性模量预测的比较

胡孟晗1,2，董庆利1*，刘宝林1*

1. 上海理工大学医疗器械与食品学院，上海 200093 2. 上海交通大学电子信息与电气工程学院，上海 200240

构建了高光谱反射、透射和交互作用成像系统对蓝莓的硬度和弹性模量进行无损检测，并对比不同成像模式的预测准确率。反射高光谱图像采用以大津法为核心的算法进行分割，而透射和交互作用高光谱图像利用基于区域增长的算法进行分割。对提取平均光谱分别进行标准正态变量变换(SNV)和一阶SG卷积平滑(Der)，并构建相应光谱的最小二乘支持向量机模型。在全波段模型中，基于SNV预处理反射光(Reflectance-SNV)模型对蓝莓硬度的预测相关系数(Rp)=0.80，相对预测误差(RPD)=1.76；基于SNV预处理透射光(Transmittance-SNV)模型对蓝莓弹性模量的Rp(RPD)=0.78 (1.74)。随机蛙跳算法(Random Frog)可以有效地减少了建模所需的波段数，同时还提高了大部分模型的预测准确率。基于随机蛙跳选择的Der交互作用光(Random Frog-interactance-Der)模型对蓝莓硬度的Rp(RPD)=0.80(1.83)，但该模型建模所需的波段数为140；基于随机蛙跳算法的SNV透射光(Random Frog-Transmittance-SNV)模型对蓝莓弹性模量的Rp(RPD)=0.82(1.83)，同时该模型建模所需的波段数为20。

力学特性；质地；无损检测；随机蛙跳；波段选择

引 言

高光谱成像技术融合了计算机视觉和光谱技术，能够获得待测样本连续的光谱和空间信息[1]。目前，该技术已广泛用于果蔬品质的无损检测[2-3]。由于设备结构简单，高光谱反射成像模式应用最广[4]。此外，漫透射[5]、半透射[6-7]、点散射[8]和交互作用[9]成像模式也已得到较为广泛的使用。其中，高光谱交互作用模式由于设备构架较为复杂，相比于其他模式应用更少，国内目前无这种模式的应用案例。但是交互作用光能够携带待测样本更多的内部信息而亟待研究。高光谱数据结合特征提取[10-11]和模式识别或回归分析构建品质预测模型[12]已成为农产品无损检测研究领域较为常规的研究思路。但已有研究大多采用单模式进行农产品品质的检测和鉴别，多种高光谱成像模式的比较研究还有待开展。

蓝莓(Vacciniumcorymbosum)因其独特的风味和重要的营养价值而深受喜爱[13-14]，其力学特性影响着蓝莓的感官品质、运输及贮藏消耗等[15]。此外，力学性质也是蓝莓育种的重要筛选指标[16]。Leiva-Valenzuela等联合高光谱反射和透射成像模式对蓝莓的硬度进行预测，其预测集的相关系数为0.77[17]。

本研究拟构建高光谱反射、透射和交互作用成像系统对蓝莓的硬度和弹性模量进行预测。利用随机蛙跳算法(Random Frog)[18, 5]对力学指标特异性波长进行提取，然后构建相应的偏最小二乘法支持向量机模型(least squares-support vector machine, LS-SVM)，并比较三种成像模式对蓝莓硬度和弹性模量的预测效果。

1 实验部分

1.1 样本及力学性能测试

反射和透射高光谱成像试验的436个蓝丰蓝莓采摘自中国山东省青岛市；用于交互作用高光谱成像试验的383个蓝丰蓝莓采摘自秘鲁。所有蓝莓样本的高度范围为11～13 mm，人工采摘后3天内运回实验室储藏在4 ℃冷藏柜，并在9天内完成试验。由于试验装置搭建原因，该文只保证了蓝莓品种的一致性，未考虑地域及采摘季节可能带来的差异。

蓝莓的硬度和弹性模量采用TA.XTPlus质构仪(英国—Stable Micro Systems) 进行穿刺操作获得。测试过程中，蓝莓保持径向放置。

质构仪的测试参数： 探头型号P/5.0；负载重50 kg；采集速率500 point per second；触发力值5 g；测前速度2.0 mm·s-1；测试速度1.7 mm·s-1；测后速度5.0 mm·s-1；形变率 80%；保持时间 10 s。所得力学图谱和指标计算方法如图1所示。

图1 蓝莓的穿刺测试曲线

1.2 高光谱反射、透射和交互作用成像系统

搭建的高光谱反射、漫透射、交互作用和点散射成像系统如图2所示。该系统的基本部件包括电子增强CCD相机(electron-magnifying charge-coupled detector, EMCCD)、可见-近红外成像光谱仪(imaging spectrograph)、卤素灯光源(light source)、镜头(lens)、光纤(optic fiber)、冂字型位移平台(mobile sample stage)和线性电动位移控制台(linear travel translation stage controller)。

高光谱交互作用模式在反射和透射的模式上进行搭建，主要增加部件有可调节挡光板(adjustable light shield)、线性聚光镜(focusing mirror)和可调节支架(adjustable holder)。由于蓝莓属于小水果，个体较小，因此高光谱点散射成像模式不适用于蓝莓品质检测研究。

图2 高光谱反射、透射、交互作用三模式整合成像系统

Fig.2 Photograph of hyperspectral reflectance, transmittance, interactance and scattering imaging modes

1.3 高光谱数据采集

将蓝莓样本置于冂字型位移平台，调节位移台速度、相机曝光时间和光源强度等参数，从而获得高质量的高光谱图像。三种高光谱模式的主要成像参数如表1所示。此外，高光谱反射模式的采集角30°，透射模式为20°。采集角为线光源与垂直方向的夹角。由于交互作用光的强度较弱，该模式下的EMCCD相机的增益设置为2 600。由于相机对特定物体存在有效感光范围，实验中对各种成像模式分别截取比较好的波段用于后续建模。

采用式(1)来消除光照不均和成像模块暗电流的影响

(1)

式(1)中：R为校正所得的相对高光谱图像；I为原始的绝对图像；Id为在采集曝光时间下的全黑标定图像；W为全白标定图像；Wd为在校正曝光时间下的全黑标定图像；反射和交互作用模式的a为4，透射模式为2。三个成像模式的校正曝光时间见表1。

表1 高光谱反射、透射、交互作用成像系统的成像和校正参数

1.4 数据处理

高光谱图像和光谱处理操作在Matlab 2009b 软件(美国—The Math Work 公司)中进行。三种高光谱模式下所获得图像的处理步骤如图3所示。由于采集方式的不同，不同成像模式下的高光谱立方体所展现的空间特征也存在较大差异。反射模式相比于其他两种模式更能反映蓝莓的表面品质特征，其在可见光波段的图像与传统计算机视觉的图像一样，因此可采用大津法来获得掩膜，即将蓝莓区域的像素值置为1，背景区域的像素值置为0。透射模式更多地携带蓝莓的内部品质信息。蓝莓曲面和透射线性光与相机采集线的夹角引起的饱和区域会加大图像分割的难度，因而采用两次区域增长算法来进行透射高光谱图像的分割。由于可调节挡光板不能全部阻挡反射光，故交互作用模式携带的表面特征少于反射模式，而其携带的内部信息也可能受到反射光的干扰。此处在区域分割的基础上去除蓝莓区域中心以下的图像，使获得的蓝莓光谱包含更多的内部品质信息。最终，高光谱3模式下的保留区域用于平均光谱的提取。

图3 高光谱反射、透射、交互作用立体数据块的处理矩阵

Fig.3 Image processing matrices of the reflectance, transmittance and interactance hypercubes

对获得的平均反射、透射和交互作用光谱分别进行标准正态变量变换(SNV)和9点一阶二次方SG卷积平滑(Der)。之后采用随机蛙跳算法(Random Frog) 对预处理后的波长进行特征波长提取，从而去除冗余的波长信息。Random Frog选择特征波长的详细步骤参照文献[18-19, 5, 20]。由于将蒙特卡罗算法引入到Random Frog，因此每次运行的结果会有些差别。从波长数10开始以10为间隔计算对应波长数下预测均方根误差(RMSEp)，最优波长个数由最小的RMSEp来确定。

1.5 模型建立及评价

改良的Kennard-Stone抽样算法[21]用于蓝莓样本校正集(calibration set, 75%)和预测集(prediction set, 25%)的划分。然后使用最小二乘支持向量机(LS-SVM)建立蓝莓硬度和弹性模量的预测模型。

所构建的LS-SVM模型采用校正相关系数(Rc)、预测相关系数(Rp)、校正均方根误差(RMSEc)、预测均方根误差(RMSEp)和相对预测误差(RPD)进行评价。

2 结果与讨论

2.1 蓝莓三种成像模式的光谱特征

蓝莓的典型反射、透射和交互作用光谱图由图4所示。由图4(a)可知，蓝莓反射光谱类似于正态分布，其反射峰出现在850 nm。此外，蓝莓对小于680 nm的波段有较强的吸收。蓝莓的透射光谱约在880 nm最大，此后约在970 nm出现峰谷[图4(b)]。交互作用的光谱与透射光谱较为相似，可能由于在该试验环境下，与蓝莓内部组织进行作用的光相比于反射光占据主导。但是，交互作用光谱的最高峰出现在约870 nm，其峰谷出现在970 nm处[图4(c)]。

图4 典型的蓝莓光谱曲线

2.2 全波段的预测模型

基于全波段的蓝莓硬度和弹性模量预测模型如表2所示。总体而言，SNV预处理方法相比于Der法能更好地去除不相关的信息。由表2可知，基于反射SNV光谱建立的模型(reflectance-SNV) 相比于透射和交互作用光谱能够更好地进行蓝莓硬度预测，其模型的Rp(RPD)=0.80(1.76)。文献[23]研究表明，RPD值介于1.4～1.8时表明该模型可用于蓝莓硬度的预测。Transmittance-SNV模型对蓝莓弹性模量的预测较好，其模型的Rp(RPD)=0.81(1.77) ，其次为透射Der光谱[Rp(RPD)=0.78(1.74)]、反射Der光谱[Rp(RPD)=0.71(1.64)] 和交互作用SNV光谱[Rp(RPD)=0.58(1.40)]。

蓝莓的硬度和弹性模量都属于内部品质指标，由以上分析可知，反射光谱相比于其他两种光谱包含更多的蓝莓硬度信息。这可能因为蓝莓的硬度特征与蓝莓的外观品质特征有更高的相关性，如蓝莓的果皮颜色；透射光谱可以较好地反映蓝莓的弹性模量特征，可能是因为蓝莓弹性模量与内部组织结构有更紧密的联系。由于混淆了反射和透射光谱，交互作用光谱对硬度和弹性模量的预测准确率都不如其他两种光谱。后续的特征提取操作也许能提高交互作用光谱模型的准确率。

表2 基于高光谱反射、透射和交互作用成像模式的蓝莓硬度和弹性模量LS-SVM模型

2.3 基于Random Frog的预测模型

采用Random Frog对特征波段进行提取，图5为基于蓝莓反射SNV光谱的硬度和透射SNV光谱的弹性模量的特征波长选择的数量主要过程。由图5(a)可知，蓝莓硬度和弹性模量的最佳波长数量分别为130和20，而对应的波长则可由图5(b)中选择概率的大小来最终确定(表3)。

表3 基于随机蛙跳选择的高光谱反射、透射和交互作用成像模式的蓝莓硬度和弹性模量LS-SVM模型

基于Random Frog选择波段的蓝莓硬度和弹性模量预测模型如表3所示。由表3可知，Random Frog-Interactance-Der模型对蓝莓硬度预测较Random Frog-Reflectance-SNV模型更好，其Rp(RPD)=0.80(1.83) vs 0.77(1.65)，但两个模型所用的波长数都较多(>120)。蓝莓弹性模量可以较好地用透射SNV和Der光谱进行预测，其Rp(RPD)分别为0.82(1.83)和0.79(1.85)。相比于透射Der光谱，透射SNV光谱建模所需的波长更少(20 vs 70)。基于Random Frog选择的透射光谱的RPD介于1.8到2.0间(表3)，故根据文献[22]可知以上模型可以对蓝莓弹性模量进行定量分析。图6较为直观地展现模型的预测效果。由图6可知，Transmittance-SNV模型对弹性模量的拟合效果较Interactance-Der模型对硬度的拟合效果更好。但两模型的校正统计量相差不大(表3)，这也说明了将来需要结合预测与实际结果的分布图对模型预测效果进行更深入分析。

对比表2和表3可知，Random Frog算法可以较为有效地去除冗余信息，进而提升模型的预测准确率。如transmittance-SNV模型对蓝莓弹性模量的Rp(RPD)从0.81(1.77)提升到0.82(1.83)。此外，Random Frog算法还较为有效地去除了交互作用光谱中混杂的反射和透射信息，从而较大程度地提升了模型对蓝莓硬度的预测准确率[Rp(RPD)=0.80(1.83) vs 0.74(1.65)]。

图5 基于随机蛙跳算法的敏感波长选择

(a)： Determination of wavelength number; (b)： Selection of sensitive wavelengths via Random Frog probability

图6 基于随机蛙跳选择光谱的预测值和真实力学指标的散点图

(a): Interactance-Der model for firmness；(b): Transmittance-SNV model for elastic modulus

3 结 论

应用高光谱反射、透射和交互作用成像模式预测蓝莓硬度和弹性模量，并采用随机蛙跳算法提取特征波长。在全波段模型中，Reflectance-SNV模型对蓝莓硬度的预测准确率为Rp(RPD)=0.80(1.76)；Transmittance-SNV模型对蓝莓弹性模量的预测准确率为Rp(RPD)=0.78(1.74)。Random Frog算法不仅有效地减少了建模所需的波段数，还提高了大部分模型的预测准确率。Random Fsog-Interactance-Der模型对蓝莓硬度的Rp(RPD)=0.80(1.83)，但该模型建模所需的波段数为140；Random Frog-Transmittance-SNV模型对蓝莓弹性模量的Rp(RPD)=0.82(1.83)，同时该模型建模所需的波段数为20。

[1] Wu D, Sun D W. Innovative Food Science & Emerging Technologies, 2013, 19: 1.

[2] Zhang B H, Huang W Q, Li J B, et al. Food Research International, 2014, 62: 326.

[3] PENG Yan-kun, ZHANG Lei-lei(彭彦昆, 张雷蕾). Transactions of the Chinese Society for Agricultural Machinery(农业机械学报), 2013, 44(4): 137.

[4] Yang Y C, Sun D W, Pu H B, et al. Postharvest Biology and Technology, 2015, 103: 55.

[5] Hu M H, Dong Q L, Liu B L, et al. Postharvest Biology and Technology, 2015, 106: 1.

[6] ZHANG Ruo-yu, RAO Xiu-qin, GAO Ying-wang, et al(张若宇, 饶秀勤, 高迎旺, 等). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2013, 29(23): 247.

[7] ZHANG Qiang, PAN Lei-qing, WU Lin-wei, et al(张 嫱, 潘磊庆, 吴林蔚, 等). Food Science(食品科学), 2014, 35(4): 71.

[8] Zhu Q B, He C L, Lu R F, et al. Postharvest Biology and Technology, 2015, 103: 27.

[9] O’Farrell M, Wold J, Høy M, et al. Journal of Near Infrared Spectroscopy, 2010, 18: 135.

[10] FAN Shu-xiang, HUANG Wen-qian, LI Jiang-bo, et al(樊书祥, 黄文倩, 李江波, 等). Spectroscopy and Spectral Analysis(光谱与光谱学分析), 2014, 34(10): 2707.

[11] Zou X B, Zhao J W, Povey M J W, et al. Anal. Chim. Acta, 2010, 667: 14.

[12] Pu Y Y, Feng Y Z, Sun D W. Comprehensive Reviews in Food Science and Food Safety, 2015, 14(2): 176.

[13] Gilbert J L, Olmstead J W, Colquhoun T A, et al. Hortscience, 2014, 49: 864.

[14] Huang W Y, Liu Y M, Wang J, et al. Molecules, 2014, 19: 12827.

[15] Li C Y, Luo J W, MacLean D. Journal of the Science of Food and Agriculture, 2011, 91: 1653.

[16] Giongo L, Poncetta P, Loretti P, et al. Postharvest Biology and Technology, 2013, 76: 34.

[17] Leiva-Valenzuela G A, Lu R F, Miguel Aguilera J. Innovative Food Science & Emerging Technologies, 2014, 24: 2.

[18] Li H D, Xu Q S, Liang Y Z. Analytica Chimica Acta, 2012, 740: 20.

[19] Yun Y H, Li H D, Wood L R E, et al. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscop, 2013, 111: 31.

[20] CHEN Li-dan, ZHAO Yan-ru(陈立旦, 赵艳茹). Transactions of the Chinese Society of Agricultural Engineering(农业工程学报), 2014, 30(8): 168.

[21] Galvão R K H, Araujo M C U, José G E. Talanta, 2005, 67: 736.

[22] Viscarra Rossel R A, McGlynn R N, McBratney A B. Geoderma, 2006, 137: 70.

*Corresponding authors

(Received Apr. 8, 2015; accepted Aug. 16, 2015)

Comparison of Predicting Blueberry Firmness and Elastic Modulus with Hyperspectral Reflectance, Transmittance and Interactance Imaging Modes

HU Meng-han1,2, DONG Qing-li1*, LIU Bao-lin1*

1. School of Medical Instrument and Food Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China 2. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai 200240, China

In this study, a imaging system with hyperspectral reflectance, transmittance and interactance was constructed for estimate the firmness and elastic modulus of blueberry. The comparisons of these three imaging modes were carried out. This hyperspectral system could also be applied for scattering modewhile this mode was not suitable for small fruit such as blueberry. The reflectance hypercubes were segmented with the algorithm based on the Otsu method, and the transmittance and interactance hypercubes were processed with the algorithms based on region growing approach. Subsequently, the extracted spectra were pretreated with the Standard Normal Variate (SNV) and Savitzky-Golay of the first derivative (Der), and least squares-support vector machine was applied for the establishment of the corresponding prediction models. The obtained results demonstrated that -reflectance-SNV model could predict blueberry firmness with correlation coefficient of prediction sample set (Rp) of 0.80 and the ratio of percent deviation (RPD) of 1.76 among the models using full spectra. The elastic modulus of blueberry was better estimated by the full transmittance spectra subjected to SNV pretreatment withRp(RPD) of 0.78 (1.74) than the other models. Furthermore, Random Frog selection approach could to some extent reduce the uninformative wavelengths while increasing the prediction accuracy of the established models. Random Frog-Interactance-Der model achievedRp(RPD) of 0.80 (1.83) for blueberry firmness, but the number of wavelength was 140. In the case of blueberry elastic modulus, random frog-transmittance-SNV showed the relatively superior performance compared to the other models, withRp(RPD) of 0.82 (1.83) and fewer wavelength number of 20.

Mechanical property; Texture; Non-destructive testing; Random Frog; Wavelength selection

2015-04-08，

2015-08-16

国家自然科学基金项目(31271896)，上海市科委长三角科技联合攻关领域项目(15395810900)，上海市研究生创新基金项目(JWCXSL1401)，上海理工大学优秀博士生激励计划，上海市东方学者跟踪计划资助

胡孟晗，1989年生，上海交通大学电子信息与电气工程学院博士后 e-mail： humenghan89@163.com *通讯联系人 e-mail： qdong@usst.edu.cn; blliuk@163.com

TS255.3

A

10.3964/j.issn.1000-0593(2016)11-3651-06