基于机器视觉的荞麦剥壳性能参数在线检测方法

吕少中 杜文亮 陈 震 陈 伟 苏日嘎拉图

(1.内蒙古农业大学机电工程学院， 呼和浩特 010018； 2.内蒙古工业大学信息工程学院， 呼和浩特 010080)

0 引言

荞麦的粒径、含水率、品种等变化后，砂盘式荞麦剥壳机所需的最佳剥壳间隙和转速等参数都会有所不同。剥壳机出料口混合物中未剥壳荞麦、整米、碎米的相对含量反映了剥壳机的剥壳性能，生产中需要根据这些性能参数来调整砂盘间隙和转速，以达到较高的剥壳效率[1-3]。目前，荞麦剥壳性能参数的检测完全由人工方式实现[4]，其主观性强、工作强度大，生产中常会出现不同工作人员监控同一台荞麦剥壳机而产量和品质相差悬殊的现象。

在花生、向日葵、荞麦以及坚果等需要进行剥壳或去皮处理的农产品加工设备研究中，主要围绕剥壳或去皮原理、关键部件的结构参数、被处理原料的性状及其与加工过程和设备的关系进行探讨[5-7]，目前鲜有利用机器视觉技术对产出物料进行分析、反馈调节加工参数的研究[8]。

机器视觉作为一种快速、无损、精确的检测技术，在农产品籽粒的品质检测[9-11]、分级精选[12]和品种检测[13]中得到了广泛应用。使用图像方法进行农作物籽粒整碎米率检测相关研究[14-15]中，在采集图像前需要对籽粒进行人工摆放，以使籽粒不粘连。国内也有对水稻联合收获机含杂率、破碎率在线监测装置的相关研究[16]。

为了给荞麦剥壳机的自适应最优控制提供反馈信号，本文提出一种对剥壳机组现有机械结构和剥壳流程扰动小、且经济性较好的图像获取方法，采集到清晰无拖影、且无堆积的荞麦籽粒图像。对一幅图像中的3种荞麦籽粒进行背景分割，以解决在线采集图像中的籽粒粘连问题，提高检测准确率。

1 荞麦剥壳机组和试验台架

荞麦剥壳机组和试验台架如图1所示，预分级未剥壳荞麦物料经斗式提升机送入料斗，在重力作用下进入剥壳机进行剥壳处理。在剥壳机出料口末端，吸风分离器将混合物中轻的荞麦壳、小碎米和粉尘分离后，较重的未剥壳荞麦、整米和大碎米(简称剥出物)自落料口落入振动分离筛前端，振动分离筛后端剥出物中的未剥壳荞麦(占出料总量的80%以上)回流至斗式提升机，进入下一次剥壳循环，整米和碎米作为成品分别进行收集。这种轻碾多次的去壳方式以8%～15%的出米率反复进行。未剥壳荞麦循环一次耗时10 min。

试验台架位于吸风分离器落料口和振动分离筛之间，由滑动籽粒托板、LED光源、图像采集装置、节流挡板、振动电机和可调支架组成。

图1 剥壳机组和试验台架Fig.1 Hulling machine unit and experiment platform1.斗式提升机 2.料斗 3.剥壳机 4.落料口 5.振动分离筛 6.吸风分离器 7.光源与图像采集装置 8.滑动籽粒托板 9.节流挡板 10.LED光源 11.工业相机

滑动籽粒托板由600 mm×400 mm的底部托板和上部的籽粒滑动板构成，以20°倾斜角按比例承接部分剥出物自吸风分离器落料口滑动落入振动分离筛前端。滑动籽粒托板上的剥出物在动态滑落过程中由工业相机进行图像采集，作为图像数据源进行后续的处理和分析。籽粒滑动板材质为浅蓝色铝塑板，表面镀二氧化硅涂层以增加耐磨性和光滑度。为了避免滑动中籽粒之间的堆积，滑动籽粒托板上端安装有节流挡板和振动电机，在限制剥出物数量的同时对籽粒进行振动分散。

LED光源在滑动籽粒托板上方平行布置，为600 mm×600 mm×10 mm的带框平板结构，底部正中开4 mm×5 mm方孔供工业相机嵌入式安装，底板除中部开孔处以外，在600 mm×500 mm范围内等间隔布置720个5730型贴片式LED，外覆聚碳酸酯光扩散板。由于剥出物的快速滑落，工业相机的快门时间短，需要强的光照条件配合才能满足采集到的剥出物图像清晰无拖影。此光源给下方滑动籽粒托板表面提供4.37×104lx的光照强度。

工业相机选用大恒MER-302-56U3C型，全局快门，彩色CMOS感光芯片，图像分辨率2 048像素×1 536像素，配用LM6NCM型KOWA定焦镜头，焦距6 mm，最大光圈F1.2。在台式计算机上完成图像的采集、处理和分析，试验使用的台式计算机CPU为i7-6700、内存8GB、SSD硬盘，操作系统为64位Windows 7，图像处理软件采用Matlab 2016a开发。

后期的图像处理与分析需要采集到的剥出物图像具有籽粒分布均匀、数目多而不过度粘连、清晰无拖影等特性，这需要在正式采集图像前确定试验台架参数。经过预试验，确定吸风分离器落料口开度为60 mm，滑动籽粒托板顶部在落料口1/3处接料，节流挡板开度15 mm时，在370 mm×280 mm的视场范围内有均匀分布无堆积的籽粒约900粒。剥出物通过视场的时间为0.25～0.4 s。光源距下方滑动籽粒托板390 mm，镜头距下方滑动籽粒托板310 mm。在前述的光照和物距条件下，工业相机的快门时间设定为300 μs、镜头光圈设定为F1.2时，采集到的剥出物图像清晰无拖影。

在线采集到的滑动籽粒板上剥出物图像如图2所示，籽粒无堆积无拖影，图像亮度不均匀，由于镜头光圈开度最大，导致暗角效应比较明显。后期图像处理时使用经裁剪后的图像，尺寸为1 824像素×1 368像素。

图2 工业相机输出的图像Fig.2 Image from industrial camera

2 图像处理与分析

2.1 图像插值与背景分割

2.1.1插值

试验中使用的工业相机采用前置颜色滤波阵列单图像传感器结构，经内置插值算法插值重建后输出的彩色图像有较为严重的伪彩色和边缘锯齿效应。本文采用带二阶拉普拉斯修正项的边缘自适应插值算法[17]对工业相机输出的图像进行颜色插值重建。算法判断当前像素点是否处于边缘以及边缘的方向，并沿梯度变化小即色彩变化弱的方向进行插值，重建后的彩色图像减弱了籽粒边缘出现的伪彩色和锯齿效应，后续使用全局阈值分割出的籽粒轮廓边缘更为平滑。

(1)绿色通道插值重建

如图3a所示，以估计B5的绿色像素值G5为例，算法定义了带拉普拉斯二阶修正项的水平梯度ΔH和垂直梯度ΔV，计算公式为

(1)

根据ΔH和ΔV的大小关系，算法判断插值的方向，并沿梯度变化小的方向对缺失的绿色像素值G5进行插值运算，计算方法为：

图3 插值示例图Fig.3 Example graphs of interpolation

IF ΔH<ΔV

G5=(G4+G6)/2+(B3+B7-2B5)/4

ELSE IF ΔH>ΔV

G5=(G2+G8)/2+(B1+B9-2B5)/4

ELSE

G5=(G2+G8+G4+G6)/4+

(B1+B3+B7+B9-4B5)/8

END

(2)红色和蓝色通道的插值重建

如图3b所示，以估计B5缺失的红色像素值R5为例，算法沿对角线方向定义带拉普拉斯二阶修正项的梯度ΔN和梯度ΔP，计算公式为

(2)

缺失的红色像素值R5插值计算方式同上。

如图4所示，重建后的RGB图像中籽粒边缘由原来色彩交错变为渐变单一色调，在使用最大类间方差法做背景分割时，边缘处显著减少了分割误差。

图4 插值前后的对比图像Fig.4 Comparison of pre and post interpolation

2.1.2图像背景分割

由于采集的对象是快速滑落的荞麦籽粒，试验中工业相机的快门时间短，镜头的光圈开度最大，虽然提供了强光照，但得到的图像仅满足无拖影，对图像处理而言品质不好，具体表现为图像偏暗、对比度低、噪声大和亮度不均匀。由于图像中包含了黑褐色未剥壳荞麦、表面光滑反光明显的绿棕色整米和乳白色碎米3种荞麦籽粒，导致背景分割中的前景在各颜色分量上灰度范围都很宽。又由于图像中的荞麦籽粒面积较小(小于500像素)，导致粘连分割对造成籽粒边缘模糊的图像滤波操作和造成籽粒边缘变形的形态学操作非常敏感。这3个不利因素导致现有的基于阈值的背景分割方法[18-20]，对试验中所采集到的图像分割效果达不到要求。

对图像中的浅蓝色背景、未剥壳荞麦、整米和碎米进行颜色分布分析，直线采样区域以及对应RGB颜色通道的灰度分布如图5所示，发现碎米2和整米4区域内的B分量比R和G分量始终都低，未剥壳荞麦3的3个分量灰度都位于15附近，互相之间的差值更小，浅蓝色背景1的B分量远大于R分量。

图5 荞麦籽粒RGB灰度分布Fig.5 RGB intensity distribution of buckwheat grain1.背景 2.碎米 3.未剥壳荞麦 4.整米

针对荞麦籽粒具有的特点，本文提出了一种浅蓝色背景下进行N(B-R)灰度变换(N为正整数系数)，然后使用最大类间方差法对剥出物图像进行背景分割的方法。

在N(B-R)灰度变换时，图像中的几种对象发生了如下的变化：

(1)由于蓝色背景的B分量最大，随着N的增大，背景的B-R值逐渐扩大，到最大值255溢出后维持为255不变。

(2)碎米和整米的B-R运算结果为负值，灰度反向溢出至0并维持不变。

(3)未剥壳荞麦B-R的绝对值很小，试验中的平均值为4，随着N的增大，它的B-R值扩大程度远低于背景B-R值的扩大程度，不会和背景产生交集。

(4)由于已经对图像进行了插值重建，籽粒边缘部分不会出现锯齿效应产生的剧烈色彩变化，它的B-R值变化规律与边缘两边内部的变化规律一致。

图6b～6d为选择不同N值时经N(B-R)变换后的灰度图像。可以看出，随着N的增大，背景区域逐渐变亮，光照不均匀和噪声的影响减弱直至消失，而前景中的籽粒对象外形变化不大。在N=4时，利用籽粒和背景的灰度分布进行阈值分割效果比较理想。

由于籽粒边缘内缩会对后续的粘连分割产生有利条件，可以继续加大N的值，在减少粘连程度的同时，小粒径的碎米也不会丢失。本试验中选取N=25，可从图6e箭头1所指处看出小的碎米籽粒没有丢失，箭头2所指处的籽粒边缘内缩使粘连处产生了断裂。使用最大类间方差法将图6e所示的灰度图像二值化，结果如图6f所示。将这两幅图像中虚线框内的局部区域分别放大显示，如图6g、6h所示。从图6g、6h箭头3所指处可以看出，当N=25时，N(B-R)灰度变换方法可使多个粘连籽粒中间的小块背景区域显现出来。在生成距离图像时，如果这些粘连籽粒中间的背景区域未显现，所有的粘连区域内部像素点都只能与外边缘处的背景进行距离计算，从而导致最终得到的籽粒距离图像与实际的籽粒形态及籽粒分布不相符。

图6 图像背景分割Fig.6 Image background segmentation

使用本文的背景分割方法，能够有效克服光照不均匀的影响，在不对荞麦籽粒图像进行滤波和形态学操作的情况下，分割效果可以达到实际使用的要求。

2.2 粘连籽粒分割

粘连籽粒的骨架中包含了粘连点[21]和距离极大值点等可用于辅助粘连分割的特殊像素点，而图像中某些具有特殊属性的像素点可以使用模版搜索的方法[22]进行定位。本文提出一种通过对距离骨架图像进行邻域极大值滤波来提取种子点的方法，这个方法的基本思路是：①两个相互粘连的类圆形籽粒，只要在粘连处有双侧凹点，在距离图像中，两边的籽粒内部必定都会有某个像素点的距离大于粘连处像素点的距离。②籽粒距离图像的最大值点位于脊线上。③脊线与骨架线在籽粒的中部基本吻合。④在由骨架分离出的距离图像脊线上寻找籽粒区域极大值点作为分水岭分割的种子点。

算法描述如下：

(1)求含有粘连荞麦籽粒二值图像的欧氏距离图像和骨架图像，并对欧氏距离图像进行高斯滤波。

(2)将滤波后的距离图像和骨架图像对应像素点相乘，得到距离骨架图像imDS。imDS中原骨架位置像素点的距离值保留，非骨架位置像素点距离值为零。

(3)定义一个元素值全零且与原图像大小相同的标记矩阵imSeed。将imDS中非零像素点的坐标保存在一个M×2的位置矩阵posTemp中，M是imDS中非零像素点的个数。

(4)在imDS中移动一个k×k大小的滑动滤波窗口矩阵wFilter=imDS(X-d:X+d,Y-d:Y+d),d=(k-1)/2，X=posTemp(i,1),Y=posTemp(i,2)。

(5)如果窗口矩阵中心点wFilter[X,Y]值大于或等于窗口中其余像素点的值，imSeed[X,Y]=1，否则imSeed[X,Y]保持原值为0。

(6)i=i+1，如果i小于或等于M则重复步骤(4)～(6)，否则结束。

(7)在imDS中，对被imSeed标记为1的像素点进行遍历，将k×k窗口内出现的距离相同的像素点坐标合并，形成新的种子点坐标，并在imSeed中标记为1，被合并的像素点重新被标记为0，将imSeed保存后作为分水岭分割的种子点标记矩阵。

算法中使用高斯卷积核与距离图像的每个像素点进行卷积，将包含了附近像素点距离值的和作为像素点的距离，目的是减少滑动窗口内具有相同距离的像素点数目。试验中高斯滤波模板和滑动滤波窗口大小相同，标准差为0.3。算法中决定滑动滤波窗口大小的k值为图像中未剥壳荞麦籽粒短轴的1/2，本试验k取值为13。算法中采用位置矩阵posTemp的目的是减少窗口滤波的时间，由于在imDS中只对骨架处的像素点进行滤波，相比对整个图像进行扫描，耗时减少为原时间的1%。

图7为提取种子点和分水岭分割后的图像，可以看出，标注为1、2和3的重度粘连处分割正确，标注为4的重度粘连处由于外形没有收缩凹陷，导致了种子点提取和分割不正确。

图7 种子点和分水岭分割图Fig.7 Seed point and watershed segmentation image

在样本标注过程中统计正确分割籽粒数与总籽粒数的比例。试验对象为8幅在线采集到的荞麦剥出物图像，这些图像经粘连分割后的连通域总数为7 200个，其中错误分割区域数有98个。错误分割区域中包含欠分割籽粒176个和过分割籽粒15个。试验得到的籽粒平均正确分割率为97.4%。

2.3 出料口剥出物成分识别

2.3.1籽粒样本交互式标注

针对试验采集到的荞麦剥壳机出料口连续滑落的混合籽粒图像，设计了一种基于交互方式的籽粒样本标注方法及软件，软件界面如图8所示。

图8 标注软件界面Fig.8 Interface of labeling software

选择标注对象所在的图像后，左侧“整体图像”窗口显示标注对象在图像中所处的位置，右侧“区域图像”窗口放大显示外接矩形框的标注对象以及附近的籽粒。点击右下部未剥壳、整米、碎米和误分割4个按钮或按下按钮对应的键盘快捷按键，可以将当前籽粒对象标注为对应的类型，并继续显示下一个待标注籽粒。本试验设定了一种误分割类型，将粘连籽粒分割时产生的错误分割区域进行标注，在后续的神经网络训练和识别过程中减小由误分割区域产生的噪声干扰。使用这种交互式标注软件，可以进行籽粒样本的快速标注，标注一个籽粒平均用时小于1.5 s。

2.3.2特征选择和BP神经网络识别

试验采集到的图像中荞麦籽粒区域面积较小，并且背景分割造成边缘内缩，粘连分割产生变形，故本试验初选形状特征中的面积、周长、长轴长和短轴长4个尺寸相关特征以及RGB颜色通道的一阶矩、二阶矩和三阶矩共13个特征。随机选取已标注的未剥壳荞麦、整米、碎米各100粒以及50个误分割区域，分别对每种样本的各特征分量取平均值，结果见表1。

表1 荞麦混合物特征Tab.1 Features of buckwheat mixture

由表1可以看出，未剥壳荞麦的二阶矩、碎米的三阶矩与其他成分差异明显。未剥壳荞麦、整米和碎米的一阶矩呈递增趋势且差值较大。由于壳的去除和部分果肉的损失，整米和碎米的4个尺寸特征值表现为减小趋势。粘连分割算法产生的误分割主要体现为对粘连籽粒的欠分割，过分割籽粒数占比较少，因此表1中误分割籽粒尺寸特征均值相对明显偏大，三阶矩也与其他3种籽粒有明显区别。

使用ReliefF特征选择算法对初选的13个特征进行权重分析，结果如图9所示。最终选取编号为5、4、11、13、2、8和10的7个特征用于分类识别。

图9 特征权重Fig.9 Weight of features

使用7-15-4结构的单隐层BP神经网络对剥出物各成分进行分类识别，网络中间层神经元传递函数选择S型正切传递函数Tansig，输出层神经元传递函数选择S型对数传递函数Logsig。对已标注的7 200个籽粒区域(见2.2节)随机排序，每种类型的样本分别各选取一半，3 600个样本作为训练集，另3 600个样本作为测试集。使用训练后的神经网络对测试集进行识别，识别结果见表2。

表2 测试集识别结果Tab.2 Recognition result of test set

由表2可以看出，未剥壳荞麦、整米、碎米和误分割区域的正确识别率分别为99.7%、97.2%、92.6%和51.0%。误分割籽粒由于样本不均衡以及粘连的复杂性，正确识别率较低。由于误分割籽粒在总籽粒中占比较低，为2.6%左右，又由于被错误识别的误分割籽粒已计入其他成分的错误识别部分，所以较低的正确识别率对另外3种籽粒的正确识别率影响有限。

3 试验与结果分析

生产现场除了凭观感和经验的人工方式外，检测荞麦剥壳性能参数较为准确的方式是：收集一段时间内剥壳机出料口排出的剥出物，筛分后称量各种成分的质量并计算之间的比例。这种方式虽然耗时，但能有效避免各种随机因素对测量结果的影响。

由于去除了密度较低的荞麦壳，整米与未剥壳荞麦的容重不同，相同质量下两者籽粒数目差别较大，相同质量下碎米籽粒数目与另外两种籽粒差别更大。基于机器视觉的方法是测量某一个时刻剥出物中各种成分的籽粒数目，因此图像分割的准确率、识别的准确率、剥壳过程本身的随机性以及匀料和取料的随机性都会对检测结果的准确性造成不利影响。

鉴于与传统基于质量的荞麦剥壳性能参数测量方式不同，本文试验以所测得数据的稳定性、区分性、与已有研究成果数据变化趋势的一致性以及是否能够反映剥壳机理为判断依据，分析荞麦剥壳性能参数在线检测方法的可行性。

以单一粒径、不同砂盘间隙这种剥壳工况变化为代表，试验所提出的机器视觉检测方法对出料口剥出物成分比例变化的检测效果。试验中选取经过预分级的4.6～4.8 mm粒径未剥壳荞麦为剥壳物料，砂盘间隙分别设定为4.6、4.8、5.0、5.2、5.4、5.6 mm。由于预试验测得剥出物通过视场的时间为0.25～0.4 s，所以试验中每隔0.5 s采集一帧图像，这样既可以避免图像的重采集，也可以保证有足够的物料模拟荞麦剥壳机真实的剥壳过程。

参考GB/T 29898—2013《粮油机械 胶辊砻谷机》[23]中糙碎率和出糙率的定义，定义机器视觉检测下的荞麦剥壳加工出米率和碎米率计算式为

(3)

(4)

式中η——出米率ε——碎米率

MZ——图像中整米粒数

MW——图像中未剥壳荞麦粒数

MS——图像中碎米粒数

首先使用斗式提升机将预分级后的同一粒径未剥壳荞麦物料送入料斗，达到料位3/4刻度线，并在试验中维持料斗中的物料在这个容量基本不变。然后分4个步骤进行图像采集：①开机空转1 min，排空剥壳机中的剩余物料。②开料斗门，剥壳机给料开始剥壳，运转1 min达到稳定运行状态。③开始以每秒2幅的速度连续采集400幅图像。④停止图像采集，关料斗门，机组继续空转1 min后停机。调整剥壳机砂盘间隙后，按上述4个步骤采集另一组400幅图像，总计采集对应6种不同剥壳间隙的6组图像。

连续对所采集到的2 400幅图像分别进行“插值→背景分割→粘连分割→特征值计算→识别→分类计数→出米率和碎米率计算”的处理。出米率和碎米率的计算结果以组为单位分别存储和进行显示。

由图10和图11可以看出，剥壳间隙逐步增大时，出米率和碎米率都呈下降趋势，这反映出了剥壳间隙在由小变大的过程中，砂盘对荞麦籽粒的碾搓效应由强变弱，导致未剥壳荞麦占比增加。在5.4 mm和5.6 mm两种剥壳间隙时的出米率和碎米率差异都相对较小，这反映了冲击效应取代碾搓效应成为荞麦去壳和籽粒破碎主要因素的细节。

图10 不同剥壳间隙下出米率的变化Fig.10 Variations of unbroken rice rate under different hulling gaps

图11 不同剥壳间隙下碎米率的变化Fig.11 Variations of broken rice rate under different hulling gaps

文献[1]中人工测量了与本试验相同粒径和相同剥壳间隙下的出米率数据，但不同的是其定义的出米率是整米总质量与试验样品总质量之比，将该文献中的出米率数据与图10对比可以看出，在4.6 mm间隙时基本相同，在4.8、5.4、5.6 mm间隙时低约10%，在5.0、5.2 mm时低约20%，整体的变化趋势一致，考虑到其出米率计算式分母中总质量包含碎米、荞麦壳和灰分的因素，实际结果相差更小。

图10中出米率在同一剥壳间隙时相对稳定，不同剥壳间隙差异较为明显，反映出所采用的机器视觉检测方法有良好的工作稳定性和区分度。结合出米率对剥壳机实际运行情况的准确反映以及与人工测量数据的对比，表明试验中测得的出米率数据经滤波处理后可以作为反映剥壳性能变化的指标。

4.6 mm剥壳间隙时,荞麦米破碎严重，虽然经吸风分离器吸走了破碎粒中的小颗粒，但碎米比未剥壳荞麦和整米粒数之和多，又由于吸风分离和荞麦碾搓破碎过程具有一定的随机性，反映在图11中，4.6 mm剥壳间隙时的碎米率波动剧烈。4.8、5.0、5.2 mm剥壳间隙时碎米率虽然比4.6 mm时变化小，但相比5.4、5.6 mm时碎米率的相对稳定和变化平缓，这几个剥壳间隙时的碎米率仍变化幅度较大、差异不明显且有交叠，因此可以看出碎米率不适合作为反映剥壳性能变化的指标。

试验选取一幅含897个籽粒的图像，在前述的软硬件条件下，测量所使用机器视觉检测方法的运行时间。各功能部分的处理时间见表3，运行时间最长的部分是对所有籽粒循环进行特征值的计算，耗时约为2.55 s，平均每个籽粒耗时为2.8 ms，总耗时为4.79 s，满足在线检测的需求。

4 结论

(1)提出的荞麦混合籽粒图像背景分割方法、用于分割粘连的种子点提取方法以及交互式快速标注方法，克服了荞麦剥壳性能参数机器视觉检测中图像品质差、籽粒面积小、且互相粘连的不利因素，图像处理效果满足籽粒识别的需求。

表3 图像处理中各功能模块的运行时间Tab.3 Runtime of functional parts of image processing

(2)在线试验中，处理和识别一幅包含897个籽粒的1 824像素×1 368像素图像耗时4.79 s。未剥壳荞麦、整米和碎米的正确识别率分别为99.7%、97.2%和92.6%。对剥出物成分进行识别和计算后得到的出米率能反映荞麦剥壳加工的工况变化，可为人工调节或荞麦剥壳机自适应最优控制和智能化提供有效基础数据。