基于轮廓坐标系转换拟合的柚子果形检测分级方法

李燕 沈杰 谢航 高广垠 刘建雄 刘洁

摘要： 针对柚子果形和尺寸分级依赖人工经验判断的现状，本研究提出一种采用轮廓坐标系转换拟合、果形特征提取结合方向角补偿算法检测柚子纵、横径尺寸并基于果形指数对柚子形状缺陷进行判断的方法。以CMOS相机、点阵式LED光源、平面镜、计算机、箱体和支架搭建图像采集装置，获取168个不同尺寸与形状等级的沙田柚样本全表面图像数据。选择G-B分量灰度图像进行去噪与分割，利用Laplacian算子边缘检测算法提取果实的边缘像素，采用多项式拟合方式完成直角坐标向极坐标的转换从而简化果形描述，利用特征点极角值补偿样本纵横径的随机方向，继而区别类球形和类梨形两种类型计算柚子的纵径和横径。以广东梅州沙田柚为对象进行试验，结果表明，利用轮廓坐标系转换拟合、果形特征提取结合方向角补偿算法的方法检测柚子纵径的平均绝对误差、最大绝对误差和平均相对误差分别为2.23 mm、7.39 mm和1.6%，横径的平均绝对误差、最大绝对误差和平均相对误差分别为2.21 mm、7.66 mm和1.4%。从柚子轮廓极坐标的拟合函数中提取3个峰值高度、3个波峰宽度和1个波谷值差值7个特征值，利用BP神经网络算法建立柚子果形判别模型并用独立验证集进行验证，形状判别的总识别率为83.7%。本方法能为柚子尺寸和形状的自动化检测与分级提供快速无损方法。

关键词： 柚子轮廓；果形检测；BP神经网络；坐标系转换；图像处理；果形判别模型

中图分类号： S24  文献标志码： A  文章编号： 202102-SA007

引用格式：李燕, 沈杰, 谢航, 高广垠, 刘建雄, 刘洁. 基于轮廓坐标系转换拟合的柚子果形检测分级方法[J]. 智慧农业(中英文), 2021, 3 (1): 86-95.

Citation:LI Yan, SHEN Jie, XIE Hang, GAO Guangyin, LIU Jianxiong, LIU Jie. Detection and grading method of pomelo shape based on contour coordinate transformation and fitting[J]. Smart Agriculture, 2021, 3 (1): 86-95. (

1  引  言

柚子（Citrus maxima （Burm） Merr.）是东南亚地区的主要水果之一，营养丰富，具有保健功效。中国柚子年产量达360万吨且呈逐年增长态势［1］。作为一种体积较大的内部非均质水果，柚子果实形状因品种和生长条件不同呈梨形、近梨形、球形等，其果形特征通常用果蒂、柚颈、果肩、赤道和果顶等部位的尺寸和部位之间比例关系进行描述，如图1所示。

常见的柚子果形缺陷有柚颈过长、不对称、球形和不符合品种特征等。因此，仅以重量值或最大尺寸值为指标进行柚子分级均不能满足按质论价的要求。当前生产中部分加工企业借助通用型果品分级设备依据重量或过筛原理凭果实大小区分档次，不能完全符合柚子分级的特性要求；果园产地分级主要依赖人工，依据柚子大小和形状凭经验粗略处理，不仅劳动量大、效率低下，而且判断标准无法统一。加之中国国内柚子多在山地丘陵地区的中小果园种植，劳动力短缺日益明显，产后综合分级技术缺乏等，这些因素严重制约了柚子产业的效益提升和规模发展。因此，研究一种能够根据柚子果形特点进行自动化检测分级的方法，对于柚子生产具有重要意义［2］。

机器视觉技术在获取待测对象外部品质参数中具有独特优势，能够快速无损地获取果蔬对象的尺寸、颜色和表面缺陷等参数［3］，结合特征信息提取和处理算法鉴别果蔬品质。例如，王红军等［4］探讨了利用机器视觉结合主成分分析法和多元线性回归方法，筛选出权重系数大的图像特征数据，建立了马铃薯质量和形状分级预测模型。王风云等［5］选用双孢蘑菇菌盖直径作为尺寸分级的特征参数，结合全局阈值分割法与寻找最大熵阈值分割法、Canny算子、闭运算、分水岭算法去除图像中阴影部分和柄部干扰，采用最小外接矩形法求得了菌盖直径。黄辰和费继友［6］提出了改进的三层Canny边缘检测算法来提取苹果轮廓，并根据标准矩形工件尺寸来标定像素当量，进而测量果径、面积等特征。Roscher等［7］通过采集自然环境下的葡萄图像，采用Hough检测圆的方法检测所有可能的类球型葡萄，通过颜色、纹理等信息设计分类器，检测出葡萄的数量与果径大小，与人工测量相比，测得的果径平均差值约为1 mm，平均浆果大小与人工测量之间的相关性为0.88，同时可有效降低检测错误率。Oo等［8］将草莓形状简化为风筝（kite），从水果的边界中识别出上、下、左、右四个顶点及任意两个向量之间的夹角，以果实顶点与顶点之间的垂直距离作为草莓的长度，以两侧点之间的距离作为果实的直径。Arendse等［9］利用X射线计算机断层扫描技术将石榴果实生成二维放射图像，通过三维重建，实现对果实长度、直径、果皮厚度等参数的估计。上述研究都是利用果实直径、长度、面积等参数对果实形状进行估计，而果实的果形特征一般凭借人工的经验去判别，果实类型不同判别方法也有很大差别，故而检测果形的方法实现难度较大，相关研究也相对较少。目前较常见的果形特征判别方法有提取轮廓线和三维重建法等。罗陆锋等［10］利用改进K-means聚类方法对葡萄图像进行分割，提取轮廓边缘轮廓和左右轮廓的类圆中心，以中心点为原点建立基于轮廓分析的叠贴葡萄串分界线几何求解和计算模型，通过求解两叠贴葡萄边缘轮廓交界处拐点来实现对双串叠贴葡萄目标分别提取。吴明清等［11］通过提取红枣的二维轮廓特征，由二维图像的轮廓构建三维多轮廓模型，以此检测红枣的形状。Olatunji等［12］利用條件生成对抗网络对生成的大量猕猴桃形状信息进行训练，来真实地重建封闭和完整的猕猴桃表面。

鉴于柚子不完全对称的特性，并且现有的沙田柚分级标准对果形的描述过于笼统，缺乏针对具体果形参数的分类标准，本研究提出通过获取柚子果实全表面图像信息，采用轮廓坐标系转换拟合、果形特征提取结合方向角补偿算法检测柚子纵横径尺寸，并基于果形指数对柚子形状缺陷进行判断的方法，以期为柚子果形检测与分级提供一种快速无损的解决方案。

2  试验材料与装置

2.1试验样本获取

在广东省梅州农业实验站和周边果园选购采收期沙田柚类球形样本81个、类梨形样本54个和形状缺陷（缺乏沙田柚的果形特征［13］）样本33个，共计168个试验图像作为采集用果实样本。对每个样本进行尺寸测量与形状判定后进行编号，并进行图像数据采集。借助可在水平导轨上滑动的两块直角夹板将果实按待测纵轴或横轴方向夹紧后，用数显式游标卡尺对每个样本测量2次取平均值作为该样本的纵径或横径值。样本形状判定依据沙田柚行业标准NY/T 868-2004［13］，通过人工观察与测量沙田柚样本柚颈长度、纵径与横径比例和形状规则度，將试验样本分为3类，样本外观如图2所示。

（a）类梨形：

标准果形

2.2图像采集系统

利用机器视觉和图像处理技术对样本图像的果形特征进行提取和分析具有非破坏性、互容性高等优势。图3为自行搭建的图像采集系统结构示意图。该系统主要包括工业相机、光源、图像采集箱体和计算机等部分。工业相机为CMOS相机（台湾显微1/2.5 MU500，中国），最大分辨率2592×1944 像素，镜头型号XW0612。图像采集箱体外部尺寸80 cm ×60 cm×60 cm，箱体内部布置防反光绒布，消除反射光影响，采用12 W的LED贴片点阵式圆形为主光源及10 W（可调）贴片点阵式辅助光源。箱体内设置相对放置的两块平面镜用于使相机单次拍摄可获取类梨样本的全部表面信息［14］。经分析柚子尺寸范围和前期调试，平面镜尺寸取30 cm × 25 cm，相邻端点间距取20 cm，镜面夹角取120°以保证相机获取的图像能够包含样本全部表面信息。

图像采集时样本放置于样本位，方向随机。利用Minte Camera Platform软件控制相机获取样本图像，并经由数据线传入计算机进行储存和分析。系统所得样本图像如图4所示。

3  特征提取及形状检测

本研究对采集的柚子图像进行预处理操作之后，利用极坐标系代替传统的平面直角坐标系，提取柚子轮廓的特征信息。将柚子按果形分为类梨形和类球形两类，利用极坐标拟合函数峰值的差值检测果实的横径和纵径，通过BP神经网络建立柚子形状判别模型对果实进行分类。图5为本研究技术路线。

3.1图像预处理

由于在拍照过程中，环境变化和噪声干扰均会使得拍照所得的图像特征不明显，故需对图像进行滤波去噪、特征增强等处理手段，实现图像特征突出的效果，方便后续图像识别。比较均值滤波、中值滤波等图像滤波方法，迭代法、最大类间访查法等图像分割方法以及Canny、Sobel、Robert、Laplacian等边缘算子提取算法对样本图像的处理效果。综合考虑轮廓信息提取效果和运算时间，采用基于颜色阈值的分割方法，首先对图像进行高斯滤波平滑图像、去除噪声，在RGB颜色模型下选取G-B色差的图像分割特征描述柚子图像［15,16］，如图6所示。利用最大类间方差法（Otsu法）对灰度图像进行二值化处理，利用中值滤波算法去除二值图干扰噪声像素，经颜色阈值分割后获得与背景分离的目标果实图像，二值图像开运算保持了轮廓大小并填补二值图像中的白色孔洞和细缝，最后借助Laplacian边缘检测算子提取目标图像的有效边缘信息［17-19］，样本边缘提取结果图像如图7所示。

3.2轮廓坐标系转换拟合

图像预处理后所得样本轮廓为自然形状，果实纵轴方向随机。由于柚子果颈和果肩的曲线弧度变化和方向随机分布，使得轮廓曲线在平面直角坐标系中的函数复杂且难于确定纵横轴的方向，纵径与横径长度的计算量大，检测与分级的误差增加。极坐标系属二维坐标系统，可与平面直角坐标系进行相互转换。相较于平面直角坐标系，极坐标系可以简化对于柚子轮廓曲线的描述，故而将轮廓曲线函数从直角坐标系向极坐标系进行转换拟合［20］。利用公式（1）和公式（2）获取柚子质心坐标，选取直角坐标系X轴负方向为极轴方向，极坐标系中横轴表示极角角度，纵轴表示极径，从而实现将直角坐标系中的轮廓转换至极坐标系进行描述，得到样本轮廓信息的极坐标图［21］，如图8所示。通过极坐标图中极径最大峰值可确定柚子的纵径与水平方向的偏移角度。为避免极坐标描述数据计算量过大增加数据处理量和计算时间，采用间隔固定步长选取像素点法缩减数据量。图9比较了步长m在［10, 30］区间内以10个步长为间隔取值的效果，可见当m为20时，有效减少了计算量的同时最大程度保留了柚子果形轮廓信息。

x_d=(∑_(i=0)^d?x_i )?S  （1）

y_d=(∑_(i=0)^d?y_i )?S  （2）其中，xd为质心点X轴坐标；yd为质心点Y轴坐标；S为轮廓总像素数，个。

3.3极坐标曲线拟合

曲线拟合（Curve Fitting）是采用适当曲线函数对待测数据进行描述的方法，并通过拟合后的结果对变量数据进行分析处理，进而获得数据间的变化规律。本研究采用公式（3）所表示的多项式拟合（Polynomial Fitting）方法进行柚子轮廓信息的数据拟合处理。拟合结果以相关系数R和均方根误差RMSE作为评价指标进行评价，其中R越大、RMSE越小则表明拟合结果越好。

y(x,ω)=∑_(i=0)^k?〖ω_i x_^i 〗  （3）其中，xi为输入变量x的i次幂；ωi为第i个输入变量系数；k为多项式最高次数。

3.4纵径和横径的图像检测方法

为提高检测精度，有效减小误差，将样本区分为类梨形和类球形两类。对于类梨形柚子，利用方向角确定柚子纵径方向，再通过计算果实轮廓图像X方向和Y方向的最大距离来确定类梨形柚子的纵横径尺寸大小；对于类球形柚子，采用最小外接矩形法检测其尺寸。类梨形柚子果形在直角坐标系和极坐标系中的轮廓如图8所示，类球形柚子果形在直角坐标系和极坐标系中的轮廓如图10所示。在极坐标系中可以观察到，极径最大峰值和第二个峰值之差的差异最为显著，故利用公式（4）计算极径峰值差值比CZ。随机抽取9个类球形和9个类梨形样本的数据计算CZ的值并用于对比分析，最终确定利用峰值差值比CZ判别柚子类球形或类梨形的分类阈值为0.34。

C_Z=(h_1-h_2)/h_1    （4）其中，CZ为极径峰值差值比；h1为极径最大峰值，mm；h2为极径第二个峰值，mm。

对类梨形样本纵横径尺寸进行检测。首先确定其纵轴方向，然后再计算纵横径尺寸。图11为方向角在-90°~90°范围内的柚子样本二值图像，结合样本轮廓的极坐标图像进行分析可知，样本轮廓最大极径处即为该样本的果蒂位置，故而最大极径值处所对应的极角角度即可用于替代柚子纵径的方向角。

表1列出了对应样本的方向角和极角角度值，利用极角角度替代实际纵径方向角的平均误差为2.55°，表明可利用极角角度来进行柚子纵径方向的估算。以极角角度值進行图像旋转可得果实纵轴垂直向上的轮廓图像，计算该轮廓图像在Y方向和X方向的最大差值即为该类梨形样本的纵径和横径尺寸。

类球形柚子由于纵横径差值较小，以方向角确定纵轴方向的方法并不适用，故采用最小外接矩形法（Minimum Enclosing Rectangle）［22］进行果实尺寸检测。根据柚子质心描绘出柚子的外接矩形，然后让柚子边缘围绕质心进行顺时针或逆时针旋转，每旋转一次便计算一次随之改变的矩形面积，经过360°的旋转后，面积最小的矩形便是此柚子的最小外接矩形，其最小外接矩形的长和宽即可作为样本的纵径和横径。

3.5形状判别模型建立

通过分析样本轮廓极坐标特性，提出选取纵径和横径用于特征描述。首先判别纵径小于152 mm或横径小于142 mm的过小等外果，然后取纵径（H）和横径（D）的比值为果型的判别指数S（S=H/D），若S大于1.1，则说明该样本果颈长度适宜，果形合格［11］。

通过比较随机取样法（Random Sampling，RS）［22］、肯纳德-斯通算法（Kennard-Stone，KS）［22］、基于联合x-y距离的样本集划分法（Sample Set Partitioning Based on Joint x-y Distance，SPXY）［23］三种样本集划分方法的判别效果。RS法操作简单方便，但由于过程随机，难以保证建立模型的稳定性；KS法实现了校正集在空间距离上的均匀分布，但计算量过大；SPXY法与KS法类似，同样利用样本的欧氏距离进行校正集的划分，但同时将x变量和y变量考虑其中，可以覆盖多维空间，增强预测模型效果。综合考虑，选取SPXY法按照校正集样本119个、验证集样本49个划分样本集。利用BP神经网络建立判别模型，通过不断更新网络中的阈值和权重，实现最终输出结果向理想值的逼近。通过比较隐含层节点数为5~10个的网络结构和tansig函数、logsig函数和purelin函数三种不同的节点传递函数对BP神经网络模型建模判别结果的影响，确定最优BP神经网络模型的建立条件［24］，选择隐含层节点数为6，tansig函数为节点传递函数建立判别模型。图像处理和模型建立均利用MATLAB R2014b（MathWorks公司，美国）实现。

4  结果与讨论

4.1轮廓坐标系转换拟合结果

利用公式（1）和（2）对样本轮廓图像由直角坐标系向极坐标系转换后，根据公式（3）进行多项式拟合。表2列出了取不同多项式最高次数时对样本轮廓曲线的拟合结果，可见k取15时，相关系数R为0.9714。k增加到17时，R增加至0.9736，此后k增加而R不变。故取k为17时，此时RMSE为0.0190，运算时间需0.000103 s，能够反映样本轮廓特征并满足处理速度要求。

4.2柚子样本纵径和横径的检测结果

利用数显式游标卡尺人工对168个柚子样本进行尺寸测量，所得纵径范围为100.10~218.22 mm，横径范围为88.74~161.36 mm。利用1张图像数据上的3幅样本轮廓进行图像分析，分别计算主视图、左镜像、右镜像3个方位柚子图像的尺寸大小，选取3者的均值作为该柚子样本最终的尺寸大小计算值，检测计算值与人工测量值间的各项误差如表3所示。横径的平均相对误差为1.4%，纵径的平均相对误差为1.6%。

4.3果形特征模型建立及验证

对拟合函数求二阶导，提取3类果形样本的3个峰值高度、3个波峰宽度和1个波谷值差值共7个特征值用以描述柚子轮廓拟合函数，如图12所示。

样本总量为168个，利用119个校正集样本建立BP神经网络，初始设置网络结构为7-9-1，其中包含7个输入层节点、9个隐含层节点、1个输出层节点，学习速率为0.1，阈值随机产生更新。比较分类模型的判别正确率，6个隐含层节点的网络模型判别准确率达84%，为最高；tansig函数、logsig函数和purelin函数判别准确率分别为84%、80%和52%。确定最优的BP神经网络结构为7-6-1，包含7个输入层节点、6个隐含层节点、1个输出层节点，最优节点传递函数为tansig函数。隐含层每一个节点会对输入层的兴奋有不同的接收权重，从而更加偏向于某种识别模式。该模型输入层与隐含层的权重如下，矩阵的行表示隐含层节点，列表示输入层节点，矩阵中的每一单元可用wij表示，其含义为第i个隐含层节点对第j个输入层节点的权重如下。

[(-0.1446&0.4797&-0.7768&0.6710&-0.0766&0.8888&-0.4414@0.7279&-1.9122&0.0906&-1.2852&-0.0446&1.9385&1.0107@1.7425&-1.4097&0.6493&-0.0689&0.8272&1.4207&-0.7080@-2.1120&-2.3170&1.0909&-0.7888&-0.1764&-1.8285&0.7673@-0.0392&3.7368&0.6586&-3.1757&0.6753&-0.7993&0.7550@1.4191&-0.3585&-0.7487&0.7783&-1.4139&0.3027&1.0698)]

经过最优判别，隐含层与输出层的权重为［-0.6010, 0.6917, 0.3088, -0.5669, -0.8380, -2.2320］；隐含层阈值为［-1.9280, -2.2626, -0.1841, 0.2974, 1.5112, 1.7438］T；输出层阈值为2.2937，即为柚子果形指数。根据柚子实际果形与果形系数的关系，定义柚子果形判别标准为：若输出果形指数在（-∞, 1.5）之间，则该样本为果形标准样本；若输出果形指数在［1.5, 2.5）之间，则该样本为柚颈或果肩过长的第一类果形缺陷样本；若输出果形指数在［2.5, +∞）之间，则该样本为缺乏沙田柚果形特征的第二类类球形果形缺陷样本。

利用所建模型对49个验证集样本进行判别，其结果如图13所示。类别1为29个果形标准的柚子样本，误检数为1个，漏检数为5个；类别 2为 15个果形较规则，果形缺陷较小，柚颈或果肩过长的柚子样本，误检数为 5个，漏检数为2个；类别 3为5个果形缺陷较大，类球形缺乏沙田柚的果形特征，误检数为 2 个，漏检数为1个。综上，计算得到该模型总识别率为83.7%。

5  结  论

本研究采集168个柚子样本的全表面图像数据，利用传统平面直角坐标系转换为极坐标系简化柚子果形轮廓描述，同时消除柚果方向位置随机放置导致的纵横径判别困难，角度校正的平均误差为2.55°。试验样本尺寸检测的纵径平均误差为2.23 mm，平均相对误差1.6%；横径平均误差为2.21 mm，平均相对误差1.4%。处理时间需0.000103 s。

利用样本轮廓的极坐标拟合曲线进行柚子果形描述，提取7个柚子果形特征建立BP神经网络判别模型，确定最佳的网络结构为7-6-1，节點传递函数为tansig函数，模型总识别率为83.7%。研究结果表明，采用轮廓坐标系转换拟合、果形特征提取结合方向角补偿算法进行柚子纵、横径尺寸检测和基于果形指数的形状缺陷判断方法能够实现基于机器视觉的柚子果形指标快速无损检测和分级。

本研究利用机器视觉技术对柚子轮廓信息进行提取，实现了柚子尺寸、果形等参数信息的无损检测，后续可以通过以下途径进一步提高柚子尺寸检测分级应用效果。

（1）在柚子果形检测分类判别方面，将更多深度学习算法，如支持向量机法等，应用到柚子果形的判别，比较不同算法的优劣，寻找更加优越的判别方法，以期提高柚子果形的识别率。

（2）本研究通过主视、左镜像和右镜像三幅图像分别进行柚子果形判别，后续研究可以通过融合三幅图像信息以进行柚子果形的判别。

参考文献：

[1]    马克争, 郑万里, 黄智辉. 平和琯溪蜜柚进入美日澳市场面临的问题与对策[J]. 植物检疫, 2015, 29(6): 60-63.MA K, ZHENG W, HUANG Z. Existing problems and countermeasures of the entrance of pomelo of Pinghe to markets of developed countries[J]. Plant Quarantine, 2015, 29(6): 60-63.

[2]    何文斌, 魏爱云, 明五一, 等. 基于机器视觉的水果品质检测综述[J]. 计算机工程与应用, 2020, 56, (11): 15-21.HE W, WEI A, MING W, et al. Survey of fruit quality detection based on machine vision[J]. Computer Engineering and Applications, 2020, 56 (11): 15-21.

[3]    应义斌, 王剑平, 蒋焕煜. 水果直径和缺陷面积的机器视觉检测[J]. 农业工程学报, 2002, 18(5): 216-220.YING Y, WANG J, JIANG H. Inspecting diameter and defect area of fruit with machine vision[J]. Transactions of the CSAE, 2002, 18(5): 216-220.

[4]    王红军, 熊俊涛, 黎邹邹, 等. 基于机器视觉图像特征参数的马铃薯质量和形状分级方法[J]. 农业工程学报, 2016, 32(8): 272-277.WANG H, XIONG J, LI Z, et al. Potato grading method of weight and shape based on imaging characteristics parameters in machine vision system[J]. Transactions of the CSAE, 2016, 32(8): 272-277.

[5]    王风云, 封文杰, 郑纪业, 等. 基于机器视觉的双孢蘑菇在线自动分级系统设计与试验[J]. 农业工程学报, 2018, 34(7): 256-263.WANG F, FENG W, ZHENG J, et al. Design and experiment of automatic sorting and grading system based on machine vision for white agaricus bisporus[J]. Transactions of the CSAE, 2018, 34(7): 256-263.

[6]    黄辰, 费继友. 基于图像特征融合的苹果在线分级方法[J]. 农业工程学报, 2017, 33(1): 285-291.HUANG C. FEI J. Online apple grading based on decision fusion of image features[J]. Transactions of the CSAE, 2017, 33(1): 285-291.

[7]    ROSCHER R, HERZOG K, KUNKEL A, et al. Automated image analysis framework for high-throughput determination of grapevine berry sizes using conditional random fields[J]. Computers and Electronics in Agriculture, 2014, 100(1): 148-158.

[8]    OO L, AUNG N. A simple and efficient method for automatic strawberry shape and size estimation and classification[J]. Biosystems Engineering, 2018, 170: 96-107.

[9]    ARENDSE E, FAWOLE O, MAGWAZA L, et al. Non-destructive characterization and volume estimation of pomegranate fruit external and internal morphological fractions using X-ray computed tomography[J]. Journal of Food Engineering, 2016, 186: 42-49.

[10]  罗陆锋, 邹湘军, 王成琳, 等. 基于轮廓分析的双串叠贴葡萄目标识别方法[J]. 农业机械学报, 2017, 48(6): 15-22.LUO L, ZOU X, WANG C, et al. Recognition method for two overlaping and adjacent grape clusters based on image contour analysis[J]. Transactions of the CSAM, 2017, 48(6): 15-22.

[11]  吴明清, 弋晓康, 罗华平, 等. 基于多轮廓模型的红枣体积和表面积在线测量方法[J]. 农业工程学报, 2019, 35(19): 283-290.WU M, GE X, LUO H, et al. On-line measurement method for volume and surface area of red jujube based on multi-contour model[J]. Transactions of the CSAE, 2019, 35(19): 283-290.

[12]  OLATUNJI J, REDDING G, ROWE C, et al. Reconstruction of kiwifruit fruit geometry using a CGAN trained on a synthetic dataset[J]. Computers and Electronics in Agriculture, 2020, 177: ID 105699.

[13]  中華人民共和国农业部. 中华人民共和国农业行业标准-沙田柚: NY/T868-2004[S]. 北京: 中国标准出版社, 2007.Ministry of Agriculture of the People's Republic of China. The Agricultural Industry Standard of the People's Republic of China-Shatian pomelo: NY/T868-2004[S]. Beijing: China Standard Press, 2007.

[14]  周竹, 黄懿, 李小昱, 等. 基于机器视觉的马铃薯自动分级方法[J]. 农业工程学报, 2012, 28(7): 178-183.ZHOU Z, HUANG Y, LI X, et al. Automatic detecting and grading method of potatoes based on machine vision[J]. Transactions of the CSAE, 2012, 28(7): 178-183.

[15]  KLEYNON O, LEEMANS V, DESTAIN M F. Development of a multi-spectral vision system for the detection of defects on apple[J]. Journal of Food Engineering, 2005, 69(1): 41-49.

[16]  冯斌, 汪懋华. 基于颜色分形的水果计算机视觉分级技术[J]. 农业工程学报, 2002, 18(2): 141-144.FENG B, WANG M. Computer vision classification of fruit based on fractal color[J]. Transactions of the CSAE, 2002, 18(2): 141-144.

[17]  FU L, GAO F, WU J, et al. Application of consumer RGB-D cameras for fruit detection and localization in field: A critical review[J]. Computers and Electronics in Agriculture, 2020, 177(10): ID 105687.

[18]  王文明. 異源图像边缘提取与匹配算法研究[D].长沙: 国防科学技术大学, 2015.WANG W. Research on algorithms of multi-sensor images edge extraction and matching[D]. Changsha: National University of Defense Technology, 2015.

[19]  BEUVE S, QIN Z, ROGER J, et al. Open cracks depth sizing by multi-frequency laser stimulated lock-in thermography combined with image processing[J]. Sensors and Actuators A: Physical, 2016, 247(15): 494-503.

[20]  张艳玲, 刘桂雄, 曹东, 等. 数学形态学的基本算法及在图像预处理中应用[J]. 科学技术与工程, 2007, 7(3): 356-359.ZHANG Y, LIU G, CAO D, et al. Basic operators of mathematical morphology and application in image preprocessing[J]. Science Technology and Engineering, 2007, 7(3): 356-359.

[21]  刘山洪, 邓彩群. 坐标转换与坐标变换研究[J]. 吉林建筑大学学报, 2016, 33(1): 43-47.LIU S, DENG C. Transformation of coordinate system[J]. Journal of Jilin Jianzhu University, 2016, 33(1): 43-47.

[22]  HE Z, LI M, MA Z. Design of a reference value-based sample-selection method and evaluation of its prediction capability[J]. Chemometrics and Intelligent Laboratory Systems, 2015, 148(15): 72-76.

[23]  GALVAO R, ARAUJO M, JOSE G, et al. A method for calibration and validation subset partitioning[J]. Talanta, 2005, 67(4): 736-740.

[24]  HUANG K. Detection and classification of areca nuts with machine vision[J]. Computers & Mathematics with Applications, 2012, 64(5): 739-746.

Detection and Grading Method of Pomelo Shape Based on Contour Coordinate Transformation and Fitting

LI Yan1, SHEN Jie1, XIE Hang1, GAO Guangyin1, LIU Jianxiong1, LIU Jie1,2,3*

（1.College of Engineering, Huazhong Agricultural University, Wuhan 430070, China; 2.Key Laboratory of Agricultural Equipment in Mid-lower Yangtze River, Ministry of Agriculture and Rural Affairs, Wuhan 430070, China;

3.Citrus Mechanization Research Base, Ministry of Agriculture and Rural Affairs, Wuhan 430070, China）

Abstract: Automatic grading method of pomelo fruit according to the shape and size is urgently needed in the industry since the work mainly depends on artificial judgment currently. In this research, a method, which detected the vertical and horizontal size of pomelo by using contour coordinate transformation fitting, fruit shape feature extraction and direction angle compensation algorithm, while it determined the shape defects based on fruit shape index, was proposed. The image acquisition system was self-designed and built up with a CMOS camera, a dot matrix LED light source, a plane mirror, the computer, a box and brackets. The image data containing whole surface information of Shatian pomelo samples with different sizes and shapes were collected by this system. The G-B component grayscale image was chosen for denoising and segmentation. The Laplacian edge detection algorithm was implemented to extract the edge pixels of the fruit. The polynomial fitting method was applied to converse the rectangular coordinates to polar coordinates so that the fruit shape description was simplified. The characteristic point polar angle value was used to compensate the random direction of the vertical and horizontal diameters of the sample. Then the vertical and horizontal diameters of fruit were calculated after classifying the sample shapes into the spherical and the pear-like categories. For the involved 168 pomelo samples, the average error, maximum absolute error and average relative error of the vertical diameters were 2.23 mm, 7.39 mm and 1.6% respectively, while these parameters of the horizontal diameters were 2.21 mm, 7.66 mm and 1.4% respectively. The fruit shape discriminant model was established by using BP neural network algorithm based on the seven features extracted from the fitting function and verified by independent validation set including 3 peak heights, 3 peak widths and 1 trough value difference. The total recognition rate of shape identification was 83.7%. The results illustrated that the method had the potential to measuring the pomelo size and shape for grading fast and non-destructively.

Key words: pomelo contour; fruit shape detection; back propagation neural network; coordinate system conversion; image processing; fruit shape discriminant model