基于条纹投影的苹果果梗/花萼识别方法

蔡家旭，王 飞，奚冬冬，刘 路，2，王玉伟，2，*

(1.安徽农业大学 工学院，安徽 合肥 230036； 2.安徽省智能农机装备工程实验室，安徽 合肥 230036)

我国是苹果生产和出口大国，总体产量位居世界第一[1]。随着经济的飞速发展和社会消费水平的逐步提高，人们对安全、优质苹果的需求越来越大。目前，苹果分级多采用人工或机械的检测方式，其精度和效率均较低，而且容易造成苹果的机械损伤。近年来，机器视觉在水果品质检测中发挥出巨大的优势，逐渐取代了传统人工或机械检测的分级方式[2-4]。现有的机器视觉检测技术通常根据颜色、大小和外观缺陷来对苹果进行分级[5]，其中，针对苹果颜色和大小的检测已经取得比较成熟的应用[6-8]。然而，苹果缺陷检测过程中，其外部缺陷具有与果梗/花萼相似的光学特性，二维图像检测技术难以对两者进行有效区分[9-10]。因此，准确地识别出果梗/花萼区域是确保苹果缺陷检测效果的重要前提。针对苹果果梗/花萼的识别和外观缺陷的检测，国内外学者开展了大量的研究。Throop等[11]设计了一种特殊的机械传输装置，在传输过程中可避免苹果的果梗/花萼出现在相机视场之内，但该装置的定向结构复杂、成本较高，并且无法保证果梗/花萼均在相机视场之外。Leemans等[12]基于k-均值聚类算法开发出一套商业化的苹果分级系统，但该系统并不能有效区分苹果的果梗/花萼与外观缺陷，分级率仅为73%。Zhang等[13]利用进化构造(evolutionary constructed，ECO)特征区分苹果的果梗/花萼与表面缺陷，识别率达到94%，但该技术依赖于所提取的特征，针对不同品种的苹果需要重新训练模型。

结构光投影技术具有非接触、精度高、速度快等优点，近年来不少学者将该技术应用于水果品质检测中。Lu等[14-15]构建了结构光照明成像系统，对苹果的外观品质进行检测与评估；Yang[16]构建了线结构光阵列成像系统，通过曲率分析算法识别条纹图像，进而区分缺陷与果梗/花萼；Zhang等[17]利用近红外线结构光重建苹果的三维面型，通过与标准球模型进行对比，实现了对果梗/花萼的检测，但其识别率受到苹果球形度的影响，且线结构光扫描速度慢，检测效率偏低。

针对目前苹果果梗/花萼检测识别困难的问题，本文结合条纹投影技术提出了一种苹果果梗/花萼识别方法。首先，利用相移条纹投影法重建苹果的相位高度图；然后，采用灰度形态学算法对相位高度图进行填充，得到相位填充图，并将相位填充图与相位高度图相减得到相位差值图；最后，通过对相位差值图进行阈值分割，准确地识别出果梗/花萼区域，以有效避免果梗/花萼区域对苹果缺陷检测的干扰。

1 材料与方法

1.1 条纹投影系统

搭建如图1所示的条纹投影系统，主要设备包括投影仪(DLP Light-Crafter 4500，Texas Instruments，美国)、相机(Basler a2A1920-160ucBAS，Basler AG，德国)、电动旋转台(HT03RA100，北京江云聚力科技有限公司)、丝杠滑台(LYX150-1605，东台路易马丁科技有限公司)和计算机(MECHREVO S1 Pro，Inter Core i5-8265U CPU@60 GHz，RAM 8.0 GB)。投影仪的分辨率为912 pixel×1 140 pixel，相机的分辨率为1 920 pixel×1 200 pixel，镜头的焦距为8 mm，滑轨的有效行程为300 mm。投影仪与相机的夹角约为30°，两者光心连线平行于参考平面，检测场景置于视场前0.4～0.5 m。电动旋转台固定在丝杠滑台上，工作时在xoy平面内旋转，丝杠滑台沿滑轨在y轴方向上做往复运动。

图1 条纹投影系统实物图Fig.1 Photograph of fringe projection system

条纹投影系统的测量原理如图2所示，其大致工作流程如下[18]：首先，通过投影仪投射相移条纹至物体表面，条纹经物体的高度调制会发生变形，同时相机采集到包含物体高度信息的条纹图像；然后，将采集的图像数据传输至计算机，通过条纹分析重建出被测物体的相位高度。图2中C点表示投影仪的光心，D点表示相机的光心，两者光心的连线CD平行于参考平面，相机光轴垂直于参考平面，且相机光心到参考平面的距离等于l。设点H为被测物体的表面上任意一点，该点至参考平面的距离等于h，其与投影仪光心和相机光心的连线分别与参考平面相交于点A和B，则相机所采集的条纹图的数学表达式为

图2 系统测量原理图Fig.2 Principle of measurement system

I(x，y)=a(x，y)+b(x，y)cos[2πfxx+φ]。

(1)

式(1)中：(x，y)表示图像像素坐标；a表示条纹背景强度；b表示条纹调制度；fx为x轴方向上的空间频率；φ表示初始相位。

假设B点和H点的相位分别为

ΦB=2πfxxB+φ；

(2)

ΦH=2πfxxA+φ。

(3)

式(2)、(3)中：xA=OA，xB=OB。

H点与B点的相位差(ΔΦ)为

(4)

由近似三角形△HCD、△HAB可知：

(5)

进而，可推导出被测物体的相位-高度映射关系：

(6)

1.2 解相位

相移算法具有精度高、稳健性强等优势，常用于三维形貌测量。本文采用五步相移法求解条纹的相位分布[19]。一般地，相移条纹上各点光强分布的数学表达式为

Ii(x，y)=a(x，y)+b(x，y)cos[φ(x，y)+δi]。

(7)

式中：下标i=1，2，3，4，5表示相移步数；δi=2πi/5表示相移量(式中i的取值同下标i)；φ表示待求相位，其计算公式为

(8)

通过式(8)计算得到的φ，其取值被截断在(-π，+π]，因此Φ也被称为截断相位，需要对其进行相位展开，计算绝对相位Φ：

Φ(x，y)=φ(x，y)+2πk(x，y)。

(9)

式(9)中：k表示截断相位φ所对应的条纹级次。

本文采用三频法，即分别使用高频、中频、低频3种频率的条纹展开截断相位。其中，低频条纹只有1个周期，所以低频截断相位φl不需要进行相位展开就可以得到低频绝对相位Φl，即Φl=φl。根据低频绝对相位Φl、中频绝对相位Φm、高频绝对相位Φh的数学比例关系，可计算得到中频截断相位φm和高频截断相位φh所对应的条纹级次(km和kh)[20]：

(10)

(11)

式(10)、(11)中：fh、fm和fl分别表示高频条纹、中频条纹和低频条纹的频率。进而，可以计算得到：

Φm(x，y)=φm(x，y)+2πkm(x，y)；

(12)

Φh(x，y)=φh(x，y)+2πkh(x，y)。

(13)

1.3 灰度形态学算法

根据苹果果梗/花萼的凹形特征，本文利用灰度形态学算法对果梗/花萼区域进行填充。灰度形态学[21]是数学形态学的重要内容之一。假设有输入模板图像M和标记图像L，其中L≤M，以一维曲线Mc为例，图3展示了灰度形态学的填充原理。在模板图像M=255-Mc的约束下，利用结构元素E对标记图像L=M-0.5进行重构，直至达到稳定状态ρM(L)。其详细计算公式如下：

图3 灰度形态学填充原理图Fig.3 Schematic of filling operation of grayscale morphology

(14)

(15)

图4展示了果梗/花萼区域的填充示意图，可以看出，利用灰度形态学算法能够填充果梗/花

a、c分别为苹果的相位高度图，及对应的中心线轮廓；b、d分别为苹果的相位填充图，及对应的中心线轮廓；e、f分别为苹果的相位差值图，及对应的中心线轮廓。a， c indicated the phase height image of apples， and the corresponding centerline profile， respectively; b， d indicated the phase filled image of apples， and the corresponding centerline profile， respectively; e， f indicated the phase difference image of apples， and the corresponding centerline profile， respectively.图4 果梗/花萼区域填充示意图Fig.4 Schematic of stem/calyx area filling

萼区域，为相位高度图提供作差对象。根据填充前后相位高度的不同，将相位填充图与相位高度图相减，得到相位差值图，即可合理地剔除非果梗/花萼区域，只保留被填充的果梗/花萼区域，然后通过阈值分割便可以有效地识别出果梗/花萼区域。

1.4 偏转相位

(16)

式(16)中：n=1，2，3，…，N，N表示偏转相位的数量；α、β分别表示x轴和y轴的偏转角度，通过调整α、β能够模拟多角度下参考平面相位的偏转相位；A、B取值为0或1。

(17)

图5 多角度下相位填充示意图Fig.5 Schematic of phase filling under multiple angles

(18)

相位填充图与相位高度图相减能够有效剔除非果梗/花萼区域，只保留被填充的果梗/花萼区域，所以阈值T可在0～0.1中选取。经过多组实验的总结，本文将阈值T设置为0.05。

最后，通过求或运算得到果梗/花萼的识别结果R：

R=S∪X1∪X2…∪Xn。

(19)

式(19)中S表示苹果图像区域的外轮廓边缘曲线。

2 结果与分析

2.1 实验统计结果

为了验证本文提出的果梗/花萼识别方法的有效性，选择40个无缺陷的苹果和20个带缺陷的苹果为实验样本，采用图1所示的条纹投影系统进行检测实验。为了避免人为因素影响样本的随机性，将苹果放置于电动旋转台上，随着电动旋转台和丝杠滑台运动，电动旋转台每次旋转60°，丝杠滑台沿滑轨做往复运动，且每次移动的位移大小随机分布。丝杠滑台与电动旋转台的配合运作，不仅有效地增加了实验样本，而且能够确保果梗/花萼位置的随机性，因此果梗/花萼区域可能位于苹果图像中的任意位置。

实验中每个苹果样本采集5组不同位置的图像，共采集300组苹果图像，具体包括如下4个类别：(1)162组无缺陷苹果图像，出现果梗/花萼；(2)38组无缺陷苹果图像，未出现果梗/花萼；(3)65组带缺陷苹果图像，出现果梗/花萼；(4)35组带缺陷苹果图像，未出现果梗/花萼。

文中选定4个偏转角度α=β∈{π/30，π/60，π/90，π/120}，对所采集的300组苹果图像进行处理，图6展示了部分苹果果梗/花萼的识别结果。可以看出，本文方法能够有效地识别出果梗/花萼区域，且在苹果表面存在缺陷的情况下仍具有很好的识别效果。

为统计上述300组苹果图像的识别率，对识别结果做如下规定：若图像中的连通区域大于1 000 pixel，判别为果梗/花萼区域，认为苹果图像中出现果梗/花萼，否则判别为非果梗/花萼区域，认为苹果图像中未出现果梗/花萼；若果梗/花萼区域中心点与边缘轮廓最近点的欧氏距离小于100，认为果梗/花萼位于苹果图像的边缘区域，否则认为果梗/花萼位于苹果图像的中心区域。

将采集得到的300组苹果图像导入Matlab R2019a软件平台，采用本文提出的方法识别苹果的果梗/花萼区域，平均处理时间为0.207 3 s，即每秒能够检测4～5个苹果。经统计，果梗/花萼识别率如下：类别(1)的平均识别正确率为96.91%，类别(2)的平均识别正确率为100%，类别(3)的平均识别正确率为98.46%，类别(4)的平均识别正确率为94.29%，总体识别正确率为97.33%。由此可见，本文方法在保证工作效率的前提下，又具有识别率高、结构简单、适用性好、稳健性强等优点，能够满足实际生产的需求。

a，苹果原始图像；b，相位高度图；c，带轮廓边缘的相位差值图；d，识别结果图。a， Original apple images; b， Phase height images; c， Phase difference images with edge; d， Recognition results.图6 果梗/花萼识别结果Fig.6 Stem and calyx recognition results

表1 果梗/花萼识别率统计结果Table 1 Statistical results of stem/calyx recognition accuracy

2.2 分析与讨论

结果显示：200组无缺陷苹果图像中有5组被误识别，100组带缺陷苹果图像中有3组被误识别。对产生误识别的原因进行分析：第一种情况，被测苹果的果梗/花萼位于投影仪的投影死角，附近区域被阴影遮挡，导致重建出的果梗/花萼不完整，从而无法识别出果梗/花萼区域。后期，可通过优化投影方向、利用机械装置调整被测苹果的放置角度加以解决。第二种情况，由于缺陷果腐烂严重，在被测苹果表面形成凹陷，以致将表面正常区域误识别为果梗/花萼。苹果的腐烂不仅会形成凹陷，还会由于果肉严重失水导致腐烂区域发黑，从而与无损伤果皮产生明显对比。针对这种情况，可利用相关算法辨识腐烂果，直接将其归为下等果，不予检测。此外，当表面缺陷位于果梗/花萼区域时，本文方法仍可根据果梗/花萼的凹形特征成功识别出果梗/花萼区域，但由于果梗/花萼与表面缺陷位置重叠，因此很难将果梗/花萼与表面缺陷有效地区分开来。

综上所述，本文提出的识别方法具有以下优势：(1)识别结构简单且成本较低；(2)检测前无须挑选样本进行训练，具有良好的适用性和稳健性；(3)不易受苹果形状大小、外部缺陷等因素的影响，具有较高的识别正确率。

3 结论

本文提出了一种基于条纹投影的苹果果梗/花萼识别方法。该方法根据苹果果梗/花萼的凹形特征，利用相移条纹投影技术，通过数学变换和灰度形态学算法，对苹果相位高度图中的凹形区域进行填充，再通过分析处理填充前后的相位差值图，识别苹果的果梗/花萼。选定4个偏转角度，对采集的300组苹果图像进行处理。结果表明，本文方法能够有效识别苹果的果梗/花萼区域，减小果梗/花萼区域对苹果缺陷检测的影响，果梗/花萼的总体识别正确率可达97.33%。当果梗/花萼位于苹果图像的边缘区域时，果梗/花萼仍能被检测出来。与现有的果梗/花萼识别方法相比，本文的识别方法具有实施成本低、适应性好、识别率高等优势，对于苹果外观品质的检测具有重要的现实意义，同时在梨子、桃子等水果检测领域亦具有潜在的应用价值。