基于近红外相机成像的红提串缺陷检测

高 升

(青岛理工大学信息与控制工程学院，山东 青岛 266520)

褐斑及损伤腐烂果为红提葡萄常见的表面缺陷，直接影响着葡萄植株的生长发育、产量品质、商品价格、营养价值[1-2]。传统的外部品质检测方法为人工根据经验进行检测，存在劳动强度大、主观性强、标椎不统一等诸多弊端。

目前，机器视觉被广泛应用于水果外观品质的检测研究[3-6]，杜永忠等[7]设计了一种基于机器视觉的圣女果表面缺陷检测方法，并建立了对大小的分级，该分级系统综合分级准确率为98.4%。王昭[8]利用机器视觉技术对樱桃的表面图像信息进行提取，并根据图像处理算法实现对樱桃表面缺陷的识别。邵志明等[9]提出了一种基于近红外相机成像技术和图像阈值分割方法的苹果表面早期损伤检测方法。针对葡萄外部品质的研究，陈英等[10]采用投影面积法等方法计算果穗大小和形状参数，利用机器视觉技术设计了葡萄检测分级系统，果穗颜色和大小分级的准确率分别为90.0%和88.3%。袁雷明[11]利用机器视觉和近红外光谱等技术对巨峰葡萄的内外品质进行快速无损检测，并实现品质的分级。周文静等[12]利用机器视觉技术开发了可判别葡萄果穗成熟度的算法，实现了果穗成熟度的判别。肖壮等[13]提出了一种基于机器视觉的尺寸分级方法。施行等[14]提出基于机器视觉检测的分级方法，实现整串红提的紧实度无损检测和分级，对130串红提串进行紧实度检测与分类，分级正确率达到94.6%。Min等[15]利用机器视觉技术建立葡萄大小识别模型，模型的准确率接近90%。Kaburlasos等[16]利用机器视觉技术实现了葡萄成熟判别。以上研究主要集中在葡萄果粒尺寸、果串形状、果粒颜色、果粒纹理、果穗紧实度、成熟度等方面，而对红提葡萄表面缺陷果的研究还未见报道。

研究拟融合近红外相机成像的近红外和彩色图像信息建立褐斑及损伤腐烂检测方法，以期为红提葡萄分级挑选提供参考。

1 材料与图像采集系统设计

1.1 试验材料

红提样本试验当天采于湖北省武汉市当地葡萄园。共采集120串红提串，其中表面有缺陷的样本90串，表面完好的样本30串。挑选表面有缺陷红提串60串作为训练集，每串葡萄正反两面拍照，共得到120张样本图像，该样本用于缺陷模型的建立。对所建模型进行验证实验时，剩下的样本(30串完好红提串，30串具有表面缺陷的红提串)作为测试集，用于所建模型效果的检验。

1.2 图像采集系统设计

丹麦JAI公司生产的型号为AD-080GE，像素为1 024×768，双通道近红外相机(分辨率为1 024×768，帧率为30 fps，能同时采集彩色(Red-Green-Blue，RGB)图像和近红外(near infrared，NIR)图像。镜头为日本Kowa公司生产的型号为LM6NC3的镜头，分辨率为120/100。飞利浦T5环形荧光灯光源，环形灯管直径为16 mm，外径为245 mm，功率为32 W。

为避免外界光线的干扰，利用不锈钢的制作采集的暗箱，暗箱尺寸大小为600 mm×400 mm×400 mm。暗室右侧面安装环形光源，近红外相机和镜头安装于环形光源的中间位置。红提葡萄串通过顶端的挂钩悬挂于可移动的平台上，可移动平台可通过手动调节移动平台调节葡萄串与镜头的距离。

2 缺陷检测技术方法或原理

由图2(a)和图2(d)可以看出，在褐斑和损伤腐烂红提串RGB图像中，红提串颜色为紫红色，与背景的黑色颜色差距不大，且红提串中果粒之间的颜色差距较小，果粒边缘不太清晰，且红提串表面的果粉与红提串缺陷均呈白色，颜色相互干扰，较难进行区分，果梗部分呈绿色与背景颜色差距明显，能够清晰地被区分；NIR图像中红提串部分为白色，背景为黑色，两者在颜色上差距很大，从图2(b)和图2(e)可以看出，果粒的轮廓明显，但其果粒与果梗颜色相近，故在RGB图像中进行果梗的去除，NIR图像中进行果粒的轮廓提取。图2(c)和图2(f)中的红框为褐斑红提串局部放大图和损伤腐烂红提串局部放大图，残缺呈现为圆形或条形的凹坑，两种表面缺陷均在NIR图像中更为明显，因此选择在NIR图像中进行分析研究。

1.红提串 2.暗箱 3.红提串挂钩 4.计算机 5.环形光源 6.近红外相机和镜头

图2 红提串缺陷原始图像

2.1 褐斑及损伤腐烂的轮廓图像提取

2.1.1 边缘检测及二值化 在葡萄串的NIR图像中，既包含葡萄果粒轮廓明显，又包含表面缺陷的轮廓信息。对NIR图像利用Soble算子处理后可以清晰提取出葡萄果粒褐斑及损伤腐烂处的边缘，效果较好，故采用Soble算子提取葡萄轮廓，Soble算子边缘检测处理后的图像如图3(b)所示。然后采用最大类间方差法(OTSU大津法)获得自适应阈值，得到褐斑及损伤腐烂葡萄串二值化图像如图4(a)和图4(b)所示。

图3 Soble算法边缘检测

2.1.2 去除红提串轮廓 经过以上处理，已获得清晰的红提串轮廓，其中褐斑及损伤腐烂的轮廓是要提取的对象，需去除葡萄果粒的轮廓以及果梗，仅留下褐斑及损伤腐烂区域，由于葡萄串果粒外轮廓及果梗基本是一个连通域，其总体面积远大于虫害及残缺，所以可考虑将所有葡萄果粒的轮廓连接起来，去除面积的大连通域便可去除葡萄果粒的轮廓及果梗。闭运算对图像轮廓具有平滑作用，能有效去除图像中的小孔洞，弥补轮廓的缺口和狭长区域，采用闭运算将葡萄果粒轮廓连接之后，通过去除大连通域剔除葡萄果粒的轮廓以及果梗。经过多次试验发现，消除面积的阈值设置为2 500可去除葡萄果粒外轮廓而不对表面缺陷造成干扰。褐斑及损伤腐烂葡萄串闭运算处理后结果如图4(c)和图4(d)所示。

图4 红提串轮廓图片

2.1.3 去除小面积斑点 通过上述处理后图像中只剩下虫害及残缺部分和少量小面积噪声，对于图像中小面积斑点可直接去除。设定去除小面积的阈值为10，可去除像素点小于10的斑点，有效地去除了少量的小面积噪声。

2.1.4 去除果梗 通过以上处理，图像中基本上只剩下虫害及残缺区域和一些小面积噪声，然而对于某些红提串图像中还有一些果梗没有去除，这是由于某些单一果梗未与大连通域连在一起，少量果梗的形状与残缺及虫害无太大差别，所以会干扰到虫害及残缺区域的提取，应予以去除。

由彩色图像可知，果梗的颜色为绿色与葡萄其他位置颜色差别较大，果梗位置G分量占比较大。通过试验对比了G—B、2G—R—B、归一化超绿法(2g—r—b)[13-14]对图像的处理效果，发现2g—r—b提取果梗的效果最好，其中r、g、b的计算式见式(1)～式(3)。

(1)

(2)

(3)

式中：

R——图像的红色分量；

G——图像的绿色分量；

B——图像的蓝色分量；

r——归一化后的红色分量；

g——归一化后的绿色分量；

b——归一化后的蓝色分量。

2g—r—b去除绿色果梗方法：分别提取红提RGB图像的R、G、B三分量值并将其转换为r、g、b，通过2g—r—b的色差计算，提取出果梗的灰度图，通过Otsu阈值法选取出最佳阈值，并将灰度图转为二值图，表面缺陷去除果梗效果如图5(a)和图5(b)所示。

2.2 红提串缺陷的判别模型

通过以上传统图像处理后，已基本提取缺陷区域，但仍然有一些线性果粒边缘没有去除如图5(c)和图5(d)所示，含有线性果粒边缘的褐斑和损伤腐烂红提串在彩色图像中的判别效果如图5(e)和图5(f)所示，部分果粒边缘未与整串葡萄边缘连接起来，所以去除大连通域时未将其去除，且部分线性噪声的面积与表面缺陷的面积相当，无法直接用面积特性进行去除。表面缺陷连通域比线性果粒边缘更趋近于一个圆形或者矩形，在圆形度、外接矩形长宽比和矩形度有一定的区别，但部分边缘信息外形为线条状，与斑点外形类似，直接运用单一形态特征较难实现分类。对破损区域的识别中，已有学者[17]利用连通域的区域圆形度积、区域的长径、短径和长宽比等特征参数来实现对裂纹进行分类。综上提取每个连通域的圆形度、外接矩形长宽比和矩形度3个参数值作为区分线状噪声和虫害及残缺区域的特征参数。从处理后的图像中提取斑点噪声和破损区域共200个，表1为统计的区域圆形度、长宽比和矩形度的参数分布，发现两类区域的各个形状特征参数无法通过设定简单的阈值比较将其区分出来，需要借助分类模型进行识别。

表1 表面缺陷和果粒边缘区域的形状特征参数分布

图5 红提串缺陷判别

2.3 基于BP神经网络模型和支持向量机模型的区域类型表面缺陷判别

将挑选出来的红提串训练集样本(具有表面缺陷的红提串60串)，每串葡萄正反两面拍照，共得到120张样本图像，按照上述图像处理方法分别提取红提串表面缺陷区域并得到每个表面缺陷区域的圆度、长宽比和矩形度信息，一个表面缺陷区域的圆度、长宽比和矩形度特征信息组成一组缺陷区域样本数据，120张照片共得到400组缺陷区域样本数据。校正集和训练集按照3∶1比例将400组样本数据分为300个校正集样本和100个预测集样本，300个校正集数据用于建立分类模型，100个预测集数据用于验证分类模型的准确率。

校正集300个样本，38个判断错误，校正集分类结果准确率达87.33%，预测集100个样本，16个判断错误，预测集分类结果准确率达84.00%。

2.3.2 基于支持向量机模型的表面缺陷判别 支持向量机(SVM)模型被广泛应用于二分类和多维非线性分类问题，SVM的实现原理为利用选择的核函数将输入向量映射到一个高维数特征空间，并在该空间中构造一个最优分类超平面[19-21]。选取RBF核函数，其主要参数包括惩罚参数c和参数g。当均方误差(MSE)为0.076 6时，均方误差较小，模型准确率高，此时惩罚因子c=48.502 9，核函数参数g=0.189 5。

校正集300个样本，32个判断错误，校正集分类结果准确率达89.33%，训练集100个样本，12个判断错误，训练集分类结果准确率达88.00%，表明SVM模型分类效果好于BP模型分类效果，研究选取SVM模型进行分类，表面缺陷和果粒边缘区域类型判别结果如表2所示。

表2 表面缺陷和果粒边缘区域类型判别结果

2.3.3 模型比较与分析 通过两种分类方法建立了两种分类模型，由以上分析得两种模型的准确率均达到90%以上，同时考虑到检测时间问题，BP神经网络模型需要296 ms，SVM模型仅需要252 ms，且BP神经网络所获参数每次都会变化，SVM模型更为稳定，所以SVM模型更能满足快速检测的生产线的要求，故选择SVM模型进行区域判别。

2.3.4 结果验证与分析 通过SVM模型可以对图像中各个连通区域进行判别，将所有标签为1(即线状果粒边缘)的像素置为0即可消除所有线状果粒边缘。褐斑及损伤腐烂红提串通过SVM算法剔除果粒边缘结果如图4(g)和图4(h)所示，褐斑和损伤腐烂红提串在彩色图像中的判别效果如图4(i)和图4(j)所示。

3 实际应用效果

为了验证上述图像处理步骤识别褐斑及损伤腐烂的准确性，进行验证实验，将挑选出来的测试集60个葡萄串(包含30个表面完好和30个表面缺陷)样本，每个样本拍摄正反两次，共拍摄120张图像，正反两张图像都没有褐斑及损伤腐烂的才能判断为完好果串。将需要验证的样本通过上述步骤进行图像处理，得到面积S(二值图像中像素值为1的面积)的值，若S=0时，则判断为完好葡萄串；当S>0时，则判断为褐斑及损伤腐烂。完好葡萄串和褐斑及损伤腐烂分类结果如表3所示。

表3 完好红提串和缺陷红提串分类结果

在验证过程中发现少数完好葡萄的表面斑点较多或葡萄表面附着水珠被误判成了虫害及残缺，所以完好葡萄串的识别率较低。从验证结果来看，研究使用的处理方法效果较好，完好葡萄和褐斑及损伤腐烂的正确识别率分别达到90.00%和93.33%，对总体60个样本的整体识别率达91.67%，满足对葡萄串外部品质快速、高准确率的要求。

4 结论

研究建立的表面缺陷和果粒边缘神经网络和支持向量机分类判别模型，支持向量机模型的判别效果明显好于神经网络模型的判别效果，在针对红提串缺陷和部分果粒边缘的判别中，所提取的圆形度、外接矩形长宽比和矩形度的3个特征，支持向量机更适合分类判别，可为以后线性边缘信息的剔除提供一定的参考。后期可在此基础上深入研究褐斑及损伤腐烂的识别，并结合红提商品的价值、果农的经验建立缺陷(褐斑及损伤腐烂)红提串程度评价体系，直接实现红提串的缺陷程度的评价。并通过该体系，实现红提串缺陷程度的自动化智能分级。