加工番茄虫眼及霉变的可见近红外高光谱成像检测

马 艳 张若宇 齐妍杰

(1. 石河子大学机械电气工程学院，新疆 石河子 832000；2. 农业部西北农业装备重点实验室，新疆 石河子 833200)



加工番茄虫眼及霉变的可见近红外高光谱成像检测

马 艳1张若宇1齐妍杰2

(1. 石河子大学机械电气工程学院，新疆 石河子 832000；2. 农业部西北农业装备重点实验室，新疆 石河子 833200)

为了探求一种快速有效识别虫眼和霉变加工番茄的无损检测方法，利用高光谱成像技术，从光谱和图像2个角度对其进行检测。先借助可见近红外高光谱成像系统获取408～1 013 nm的加工番茄高光谱图像数据，提取并分析感兴趣区域的平均光谱曲线进行主成分分析，根据各波段权重系数优选了550，750，900 nm 3个特征波长；然后通过特征波长下图像的主成分分析，选择缺陷部位与正常区域强度对照最明显的第一主成分图像，通过掩模、阈值处理和形态学开运算等图像处理方法对缺陷番茄进行检测判别。虫眼、霉变和正常三类番茄的识别率分别为93.3%，90%，100%。同时利用上述3个特征波长进行波段比图像运算，并选择波段比550 nm/750 nm图像进行缺陷识别，虫眼、霉变和正常三类加工番茄的识别率分别为93.3%，96.7%，100%。研究结果表明，二次主成分分析和波段比检测算法均可以有效地识别缺陷加工番茄。另外研究中仅选用了3个特征波段，数据量大大减少，为搭建开发适于加工番茄缺陷的多光谱在线检测系统提供了可能。

高光谱成像；缺陷检测；主成分分析；波段比；加工番茄

番茄分为鲜食番茄和加工番茄，加工番茄主要用于制酱、制干和加工番茄粉等[1]。

虫眼果和霉变果的检测是番茄表面缺陷检测中重要的两类。目前加工厂主要依靠人工进行番茄分选以剔除虫眼番茄和霉变番茄，生产效率低，劳动强度大且品质难以掌控，同时也难以适应大规模工厂化生产的需要[2]。

高光谱成像技术融合了光谱和图像信息，能对农产品的综合品质进行全面、快速地检测[3-4]。国内外学者利用高光谱成像技术对脐橙[5]、山楂[6]、枣[7]、苹果[8]等农产品表面缺陷检测做了大量研究。在番茄缺陷检测方面，Xing等[9]利用高光谱成像技术(400～1 000 nm)检测番茄的碰伤缺陷，通过相关性分析、偏最小二乘法和遗传算法进行最优波段的选择，研究结果表明，光谱区域640～750 nm最适合番茄碰伤的检测，波段范围735～930 nm适合区分果梗和碰伤缺陷，675 nm波段最有利于区分果梗及番茄正常果皮区域。Jeong等[10]基于高光谱成像技术对裂果番茄进行检测，选取2个最佳波长713.8 ，718.6 nm，正确分类率为91.1%。Lee等[11]基于高光谱成像技术(1 000～1 700 nm)获取224个裂果缺陷番茄高光谱图像数据，利用线性判别分析和支持向量机进行检测识别，结果分别为94.6%，96.4%。目前研究仅针对鲜食番茄的碰伤和裂伤，尚未针对加工番茄的虫眼和霉变缺陷进行系统的高光谱检测和研究。

在此基础上，本研究分别以虫眼和霉变的加工番茄为研究对象，采用高光谱成像系统获取加工番茄可见近红外(408～1 013 nm)范围内的高光谱图像数据，从光谱和图像角度，提取感兴趣区域光谱，绘制平均光谱曲线，并结合主成分分析优选特征波段，利用寻求的特征波段图像进行二次主成分分析和图像波段比运算来对虫眼、霉变两类缺陷进行检测。

1 材料与方法

1.1 材料

加工番茄：新疆石红208，于2015年9月人工采自新疆石河子市农场。样本共计90个，其中正常番茄、虫眼番茄和霉变番茄各30个。将采集的样本用白色纱布将其表面擦拭干净，放入实验室常温条件下12 h，同时保持避光和通风。

1.2 仪器与设备

高光谱成像系统组成见图1。硬件系统主要包括：成像光谱仪(ImSpector V10E-QE型, Spectral Imaging Ltd., Oulu, Finland)、CCD相机(C8484-05G型, Hamamatsu Photonics, Japan)、50 W卤素灯(4盏)、电动位移平台(PSA200-11-X型, Zolix Instruments Co., Ltd., Beijing, China)。整套系统置于一个黑色的密闭柜中，以避免外界环境光的干扰。成像光谱仪光谱范围为408～1 013 nm。

1.3 高光谱图像的采集及校正

在高光谱图像数据采集前，将仪器预热30 min，设定采集模式为无压缩采集，由于物距一定的情况下，CCD相机横向分辨率一定，纵向分辨率由曝光时间和位移台线速度决定，试验中根据光源的照度设定曝光时间以保证图像清晰，同时根据采集到的打印标准圆环横向和纵向直径像素相等，调整好输送装置的速度以避免图像空间分辨率失真[12]。成像光谱仪波长范围为400～1 000 nm，光谱分辨率为2.8 nm。经过多次试验调整及参数优化，最终确定曝光时间110 ms，图像采集速度6.76 mm/s，物距33.5 cm。

1. CCD相机 2. 光谱仪 3. 调焦镜头 4. 卤素灯 5. 样品 6. 位移台 7. 控制器 8. 计算机

图1 高光谱成像系统

Figure 1 Hyperspectral imaging system

为减少系统噪声，高光谱图像采集前按照文献[13]的方法，利用高光谱图像采集软件SpectralCube对系统进行黑白校正。

1.4 方法

1.4.1 特征波段寻求 主成分分析(Principal Component Analysis, PCA)是一种既能对光谱信息进行降维，又可以从众多信息中提取重要信息的处理方法。主成分分析沿着协方差最大的方向由高维数据空间向低维数据空间投影，将原变量(波长)线性组合为一些非相关的新变量(主成分)，并且最大限度地表征了原始数据的信息，既能实现数据的降维，又能消除原始数据中的冗余信息[14-15]。通过坐标变换，依据方差贡献率的大小找到能够代表主要信息的主成分，综合考虑主成分的权重系数大小，来寻求有效特征波段。

1.4.2 图像二次主成分分析 由于多光谱成像系统在线实施的关键是基于少量波段开发出有效的检测算法[16]，因此全波段主成分分析不适合虫眼、霉变番茄的在线检测。本研究尝试利用寻求的特征波段图像进行二次主成分分析，即利用较少的波段进行图像处理，以期提高检测效率。

1.4.3 图像波段比运算 波段比(Band Ratio)算法不但可以有效地降低番茄表面不平整带来光线反射不均匀的影响[17]，还可以增强波段之间的波谱差异，提供一些任何单一波段无法得到的独特信息[18]。其原理是用2个波段相除，从而获得一幅相对波段强度图像，其数学表达式见式(1)。

BVm,n,t=BVm,n,i/BVm,n,k，

(1)

式中:

BVm,n,t——位置t像素(m,n)的比值；

BVm,n,j、BVm,n,k——第j和k波段同一位置像素(m,n)的灰度值。

1.5 数据采集处理分析软件

研究中高光谱图像数据的采集是基于高光谱图像采集软件SpectralCube(Spectral Imaging Ltd., Finland)平台，数据处理分析是基于ENVI4.6(Research System Inc., Boulder, Colo., USA)及Matlab2009b(The MathWorks Inc., Natick, USA)软件平台。

2 结果与分析

2.1 缺陷番茄和正常番茄的光谱特征

将高光谱图像剪裁成600×700像素大小，以消除图像边缘噪声，同时减少数据运算量，通过手动提取番茄感兴趣区域，共得到90条光谱(正常、虫眼和霉变番茄各30条)。将每类番茄光谱曲线进行平均，得到各类番茄的平均光谱曲线。图2为两类缺陷番茄与正常番茄在450～1 000 nm的平均光谱曲线。

图2 3种类型番茄的平均光谱曲线

由图2可知，在450～550 nm时，正常、虫眼、霉变番茄的光谱曲线走势相同；在550～1 000 nm时，正常番茄的光谱值均大于虫眼、霉变区域的，且在750 nm处峰值差别最大，另外，在550～1 000 nm时，霉变番茄与虫眼番茄差异明显。因此，在后续的数据处理过程中，选取550～1 000 nm的高光谱图像数据进行分析。

2.2 特征波长选取

对虫眼、霉变和正常番茄共90条光谱进行了主成分分析。主成分的特征值及贡献率是选择主成分的依据，表1描述了前2个主成分的特征值及累计贡献率。由表1可知，主成分98.63%的贡献率来自前2个主成分，故仅用前2个主成分即可表示三类番茄光谱的主要信息。

表1 特征值和累积贡献率

为此，可以通过各个波段对PC1、PC2权重绝对值大小，来寻求其特征波长。前2个主成分各波段下的权重值见图3。比较该线性组合中的权重系数，如果权重系数绝对值越大，对主成分图像贡献就越大[19]。为了选取最佳的波长组合，必须保证它们的权重系数绝对值尽可能大，因此，综合考虑，优选了550，750，900 nm 3个波段作为特征波长。

图3 前2个主成分的光谱曲线权重系数图

2.3 特征波长主成分分析

基于550，750，900 nm 3个特征波段下的图像进行主成分分析，选择缺陷部位与正常区域强度对照最明显的主成分图像，通过掩模、阈值和形态学开运算等图像处理方法对虫眼、霉变番茄进行识别。图4为3种类型番茄特征波长的前3个主成分图，由图4可知，虫眼、霉变与正常番茄的PC1图像缺陷显著，因此选择PC1图像进行缺陷识别。

图4 基于特征波段的主成分图像

2.4 图像波段比运算

图5为3个特征波长550，750，900 nm两两组合后的波段比图像。由图5可知，波段比图像550 nm/900 nm中番茄的缺陷部位黑白对比明显，但存在亮度不均现象；900 nm/750 nm波段比图像中缺陷部位与正常部位差别明显，但正常番茄部位存在亮斑；550 nm/750 nm波段比运算中的各缺陷部位与正常部位灰度值差异最明显，并且正常番茄表面的亮度均匀，亮斑的影响较少。因此在后续处理中，选择550 nm/750 nm波段比图像进行缺陷的检测识别。

图5 波段比图像

2.5 缺陷番茄识别结果

主成分分析检测算法，选择虫眼、霉变与正常番茄的PC1图像进行缺陷识别。通过构造掩模模板，对其PC1图像进行掩模，经过阈值处理(T=0.75)和形态学开运算对缺陷进行识别。波段比检测算法，选择550 nm/750 nm波段比图像通过掩模，阈值分割(T=0.39)和形态学开运算去除噪声来进行缺陷识别。图6为波段比算法检测流程图。

表2为2种算法对3种类型番茄的检测结果。利用二次主成分分析法，选择特征波长的PC1图像进行缺陷识别，背景分割阈值设为0.75，虫眼、霉变和正常番茄的识别率分别为93.3%，90%，100%；采用波段比(550 nm/750 nm)算法，三类加工番茄识别率分别为93.3%，96.7%，100%；二次主成分分析和波段比检测算法的整体识别率分别为94.4%，96.7%。可见，二次主成分分析和波段比检测算法均可以有效地识别缺陷番茄，并且波段比检测算法优于二次主成分分析法。

图6 波段比算法检测流程图

类型数量识别数PCABR识别率/%PCABR虫眼30282893.393.3霉变30272990.096.7正常303030100.0100.0合计90858794.496.7

† PCA. 特征波段主成分分析； BR. 波段比算法。

3 结论

通过对高光谱数据进行主成分分析，筛选虫眼、霉变和正常加工番茄的3个特征波长，采用二次主成分分析进行识别，整体识别率为94.4%，而采用波段比算法，三类加工番茄的整体识别率为96.7%。可见，基于可见/近红外高光谱成像技术可以有效地识别虫眼和霉变番茄。

本研究仅选择了霉变和虫眼两类缺陷，今后可选取更多缺陷类型进行检测，进一步验证该算法的鲁棒性。另外，研究中二次主成分算法仅用3个有效波段，而且波段比中仅用可见区域550，750 nm 2个波段，为今后搭建缺陷番茄在线多光谱检测系统提供了可能。

致谢：感谢美国乔治亚大学Yu Jiang博士在数据分析和论文细节上给予的指导和帮助。

[1] 李艳, 王建江, 曾沂辉, 等. 多用途加工番茄新品种石红14号的选育[J]. 新疆农业科学, 2008, 45(S1): 121-123.

[2] ZENG Zhong-da, LIANG Yi-zeng, WANG Ya-li, et al. Alternative moving window factor analysis for comparison analysis between complex chromatographic data[J]. Journal of Chromatography A, 2006, 1 107(1): 273-285.

[3] ALTISENT M R, GARCIA L R, MOREDA G P, et al. Sensors for product characterization and quality of specialty crops: A review[J]. Computers and Electronics in Agriculture, 2010, 74(2): 176-194.

[4] 李江波, 饶秀勤, 应义斌, 等. 农产品外部品质无损检测中高光谱成像技术的应用研究进展[J]. 光谱学与光谱分析, 2011, 31(8): 2 021-2 026.

[5] 李江波, 饶秀勤, 应义斌, 等. 基于高光谱成像技术检测脐橙溃疡[J]. 农业工程学报, 2010, 26(8): 222-228.

[6] 刘德华, 张淑娟, 王斌, 等. 基于高光谱成像技术的山楂损伤和虫害缺陷识别研究[J]. 光谱学与光谱分析, 2015, 35(11): 3 167-3 171.

[7] 王婉娇, 贺晓光, 王松磊, 等. 基于高光谱成像技术的灵武长枣常见缺陷检测[J]. 食品与机械, 2015, 31(3): 62-65, 86.

[8] 单佳佳, 彭彦昆, 王伟, 等. 基于高光谱成像技术的苹果内外品质同时检测[J]. 农业机械学报, 2011, 42(3): 140-144.

[9] XING J, NGADI M, WANG N, et al. Wavelength selection for surface defects detection on tomatoes by means of a hyperspectral imaging system[C]//2006 ASAE Annual Meeting.[S. l.]: American Society of Agricultural and Biological Engineers, 2006: 1.

[10] DANHEE J, KIM M S, HOONSOO L, et a1. Detection Algorithm for Cracks on the Surface of Tomatoes using Multispectral Vis/NIR Reflectance Imagery[J]. Journal of Biosystems Engineering, 2013, 38(3): 199-207.

[11] HOONSOO L, KIM M S, DANHEE J, et al. Detection of Cra-cks on Tomatoes Using a Hyperspectral Near-Infrared Reflectance Imaging System[J]. Sensors (Basel), 2014, 14(10): 18 837-18 850.

[12] 郭红艳, 刘贵珊, 吴龙国, 等. 基于高光谱成像的马铃薯环腐病无损检测[J]. 食品科学, 2016, 37(12): 203-207.

[13] 张若宇, 饶秀勤, 高迎旺, 等. 基于高光谱漫透射成像整体检测番茄可溶性固形物含量[J]. 农业工程学报, 2013, 29(23): 247-252.

[14] 李波, 刘占宇, 黄敬峰, 等. 基于PCA和PNN的水稻病虫害高光谱识别[J]. 农业工程学报, 2009, 25(9): 143-147.

[15] 公丽艳, 孟宪军, 刘乃侨, 等. 基于主成分与聚类分析的苹果加工品质评价[J]. 农业工程学报, 2014, 30(13): 276-285.

[16] 苏文浩, 刘贵珊, 何建国, 等. 高光谱图像技术结合图像处理方法检测马铃薯外部缺陷[J]. 浙江大学学报: 农业与生命科学版, 2014, 40(2): 188-196.

[17] 赵进辉, 吁芳, 吴瑞梅, 等. 基于分段主成分分析与波段比的鸡胴体表面粪便污染物检测[J]. 激光与光电子学进展, 2011, 48(7): 166-170.

[18] 蔡健荣, 王建黑, 黄星奕, 等. 高光谱图像技术检测柑橘果锈[J]. 光电工程, 2009, 36(6): 26-30.

[19] 蔡健荣, 王建黑, 陈全胜, 等. 波段比算法结合高光谱图像技术检测柑橘果锈[J]. 农业工程学报, 2009, 25(1): 127-131.

Detection of insect hole andmildew in processing tomato by visible near infrared hyperspectral imaging

MA Yan1ZHANG Ruo-yu1QI Yan-jie2

(1. Mechanical and Electrical Engineering College, Shihezi University, Shihezi, Xinjiang 832000, China;2. Key Laboratory of Northwest Agricultural Equipment, Ministry of Agriculture, Shihezi, Xinjiang 832000, China)

The quality of tomato products is significantly degraded due to defects on raw processing tomatoes such as insect hole or mildew. This research aims to investigate the potential of using visible/ near infrared (Vis/NIR) hyperspectral imaging for detection of insect hole and mildew on raw processing tomato. Tomato samples were imaged using a hyperspectral imaging system that covers a spectral range from 408 to 1013 nm. To images, region of interests (ROIs) were manually selected to extract mean spectra on every individual samples. Principal component analysis (PCA) was performed on the extracted spectra to select three optimal wavelengths (550, 750, 900 nm) for defects detection. PCA and pair-wise band ratio analysis were conducted on the spectral images using the optimal wavelengths to generate PC and band-ratio images, respectively. Masking, threshold-based segmentation, and morphologic operations were applied on the generated images to identify defective areas on the tomato surface. The accuracies of identifying insect hole, mildew, and healthy tomato achieved 93.3%, 90%, and 100% in the PC images, and 93.3%, 96.7%, and 100% in the band-ratio images, respectively. Therefore, the Vis-NIR hyperspectral imaging could be an effective approach for detecting insect hole and mildew on the surface of raw tomatoes. In addition, online detection system could be benefit by using the wavelengths of 550 nm and 750 nm.

hyperspectral imaging; defect detection; principal component analysis; band ratio; processing tomato

国家自然基金项目(编号：61565016)；兵团国际合作项目(编号：2015AH003)

马艳，女，石河子大学在读硕士研究生。

张若宇(1980—)，男，石河子大学副教授，硕士生导师。 E-mail：ry248@163.com

2017—04—12

10.13652/j.issn.1003-5788.2017.06.027