红花花丝二维中心点标定方法研究

张天勇，张立新，葛 云，王 欢，刘光欣

石河子大学 机械电气工程学院，新疆 石河子 832000

1 引言

红花是新疆主要经济作物之一，目前以人工采摘为主，虽然国内外学者对红花采摘机进行了相关研究[1-3]，但都离不开人力劳动的参与。随着农业收获领域的快速机械化发展，红花采摘机器人的研制具有重要经济和社会价值，而花丝的准确识别与定位是红花采摘的重要环节。

近年来，基于计算机视觉的果蔬采摘识别与定位方法研究取得显著成果，也成为果蔬采摘机器人研制的热点和难点之一，不仅应用在苹果[4-6]、柑橘、番茄[7]、葡萄[8]等果实中，同时也出现在茶叶、草莓[9]、杭白菊等图像识别中，例如在杭白菊果实的识别中，樊俊[10]等人分析了其颜色特征和纹理特征，提出了一种可以将杭白菊从复杂自然环境中快速分割出来的方法；郭艾侠[11]等人先是提取了荔枝区域的质心、最小外接矩形等特征，然后结合母枝上的Harris特征点来计算荔枝采摘点的二维坐标值，能够满足现有技术要求；张浩[12]等人为了识别自然环境下的茶叶嫩梢，提出了一种运用色彩因子法的主动视觉定位嫩梢的方法，此方法有效地将茶叶嫩梢进行定位。罗陆锋[13]等人对聚类图像分割算法进行改进，并运用点线最小距离约束，解决了葡萄轮廓不规则、果梗颜色复杂多变等因素，提出了一种采摘点定位新方法。

诸如上述研究都是针对一些常见果蔬类作物，其外形轮廓相对平滑、规则。而红花属于丝状团簇类作物，盛开期的花丝呈细管状，橙红色，无数花丝构成球体外形，不规则外形的特点对图像的识别与定位造成一定难度，同时国内外学者对红花花丝图像的识别与定位鲜有研究。本文针对红花盛开期的颜色和图簇状特点[14-15]，提出了一种花丝识别与中心点标定的理论方法，可为红花采摘机器人视觉系统的开发提供理论基础。

2 材料与方法

2.1 图像采集

图像采集选用型号为Canon EOS 760D的数码相机，为避免抖动影响成像质量，采集过程中辅助以相机支架固定，拍摄时与红花成俯视角度，距离为40 cm；同时由于采集后的图像像素过大，处理缓慢，在MATLAB R2015b图像处理软件上进行统一调整分辨率为480像素×640像素。

采集地点在石河子大学试验农场，采集环境为自然光照下的上午11点；红花的开花周期一般为7天，所以采集对象为花开1～7天的红花，共计210张。

2.2 图像分割与轮廓提取

2.2.1 图像预处理

自然环境下拍摄的红花图像会因光照条件的限制以及周围环境的影响存在随机噪声，为消除图像信号干扰，本文在比较高斯、均值、中值滤波器的处理效果后，考虑到不减小图像对比度的同时，又可以降低异常值影响，选用中值滤波对图像进行预处理，以期对孤立噪声进行良好滤波。

2.2.2 颜色特征分析

颜色特征可以将红花与周围背景进行有效区分，常用的颜色模型主要有RGB、HSV和HIS模型等，而RGB颜色模型可以直接将拍摄到的红花图像进行图像数据处理，不需要进行其他模型间的转换，减少图像处理的时间，速度较快。本文在RGB模型下分别对图像的R分量、G分量和B分量进行提取，绘制三维模型图，如图1所示。

通过对比可以看出，在R分量状态下的红花图像，花丝区域颜色阈值高度分布紧密，大小趋于一致，与周围环境差异明显，但由于自然光线的影响，存在与花丝颜色阈值相近的区域，仍需对其作进一步的分割处理。而在提取G分量和B分量的状态下，如图1（b）和（c）所示，区域阈值大小不一，山峰和山谷零散分布，不能完整表示出花丝的轮廓形状，原因是盛开期的红花主要以红色为主，且色素分布集中，而绿色素和蓝色素主要集中在叶子和果球中。

通过对比分析色差R-B、R-G和G-B的灰度直方图和三维模型图（图2）可知，色差R-B和R-G能进一步将红花花丝与周围环境区分，图2（a）和图2（b）显示，花丝区域阈值大小与周围环境差异明显，外形轮廓突出；并且通过二者的灰度直方图可以看出，R-B分量中波峰和波谷分布明显，波峰之间间距更大，更容易区分，也就表明花丝与周围环境在灰度特性上差异明显，根据波谷显示，可以选择一个较为合适的阈值进行分割，确定图像中每个像素点所隶属的区域是花丝还是背景，为后续的阈值分割提供条件。

2.2.3 阈值分割

考虑到花丝在不同开放天数时的颜色差异，以R-B为特征值，运用可自适应确定阈值的最大类间方差法（OTSU算法）进行图像分割，避免了人工取阈值的不准确性[16]。

在分割过程中，以σ2B(T)代表阈值为k时的类间方差，ωi，μi分别为Ci组μi中像素产生的概率和组内所有像素点灰度值的均值，μ为整体图像所有像素点灰度的均值。两组间的类间方差为[17]：

分割后的红花图像如图3（b）所示，可以看出，图像能较完整地保留红花花丝的像素信息，但由于花丝为团簇细条状，存在诸多孤立小点、孔洞和毛刺，要实现花丝进一步识别与定位还需对其进行数学形态学处理。

2.3 花丝轮廓变换

图3（b）显示，分割后的图像外轮廓虽近似为圆形，但花丝由中心向外散开，诸多细条状花丝图像并不连续，图形内部存在孔洞，且背景区域存在孤立小点。利用数学形态学中的腐蚀与膨胀可对上述图像进行轮廓处理[18]，消除孔洞，使图像更加平滑规则。

图1 红花图像R、G、B因子三维模型图

图2 色差分割效果图

图3 Otsu分割效果图

传统形态学处理方法存在计算量大、效率低、效果不理想等缺点，同时由于红花花丝为团簇状，图形轮廓虽类似圆形，但其针状突刺明显，以圆形结构元素为基础的膨胀、腐蚀在处理过程中不仅会增加突刺细条的像素分布面积，改变最外围像素点的分布结构（图4（b）），且存在过腐蚀现象，致使图像内部孔洞增大，像素点缺失（图4（c）），无规则分布，图形对称性降低，而花丝中心点的获取往往需要其具有较好的对称性，所以上述处理并不利于后续花丝图像的二维中心点提取。

图4 形态学处理效果图

本文根据花丝团簇状特征，以开、与、膨胀运算相互结合的形式，提出了一种改进的花丝图像形态学处理方法，具体为选取不同开放天数的花丝二值图像A，以半径不同的结构元素S对其进行开运算，可表示为A∘S=(A ⊖S )⊕S ，记为图像B（图4（d））；然后将原二值图像A与处理后的图像B取交集（图4（e）），记为C=A⋂B；最后对图像C进行膨胀运算并填充，消除棱角和孔洞，如图4（f）所示。在处理过程中，图像会因开运算间接增加花丝的像素点信息，存在棱角突出，图像不平滑等现象，而与原图像进行交集运算后不仅消除了外围突刺，并且还原了原始图像花丝信息，保证了其真实性。通过此方法，极大地保留了花丝原有分布结构，使其更加光滑规则，为后续的中心点定位奠定基础。

2.4 二维中心点提取

红花采摘机器人在采摘红花时，需要进行单株逐个采摘，因此在采摘时必须确定出红花花丝的准确位置。质心法是一种常用的图像定位算法，应用广泛，但其对图像的对称性要求较高，将轮廓变换后图像的黑色背景部分的像素点横、纵坐标分别设为0，白色部分像素点的横、纵坐标分别设为1。对整个图像的像素点进行识别判断，若横坐标像素点i为1，则输出像素点信息，依次累加并计算像素个数，否则为0；同样纵坐标像素点 j依次进行判断并依据结果累加，最后将所得到的像素点坐标进行求平均值，得出花丝坐标的二维坐标值，其公式如下：

式中，i,j为花丝图像像素的横、纵坐标；f0为花丝图像的灰度阈值；Ω为图像中所有像素集合。

由上式可以看出，质心法需对花丝图像像素点进行逐一计算，计算量大，且由图4（c）可以看出，花丝图像内部空隙较多，对称性较差，导致定位误差较大。加权质心是对质心法的一种改进，通过对像素累加过程中的改进来减小计算量，其公式如下：

此时得出的(xk,yk)即为花丝的中心点坐标，记为A1。同时为了改进中心点定位存在的偏差，本文引入最大内切圆法来计算花丝中心点坐标，记为A2，最后取两个中心点的平均值作为最终结果。最大内切圆定位公式如下：

其中xai、yai表示花丝内部像素点的横纵坐标；xbj、ybj表示花丝图像边缘像素点横纵坐标；Di表示花丝内部像素点到图像边缘的最小距离。同时定义最大内切圆半径 R=maxi(Di)，相应的 xai、yai即为中心点坐标[19]，处理结果如图5（b）所示。

图5 花丝中心点标定图

3 实验对比与结果分析

3.1 对比分析

以采集到的开放第二天的花丝为例，运用常规方法和本文所提出的方法进行对比实验，结果如图6所示。在用质心法进行中心点标定的过程中，遍历整个图像的像素点信息，进行求和取平局值，计算量大，而改进的质心法在计算过程中以图形灰度阈值为基准进行运算，减小了运算时间，提高了处理速度；但是花丝图像为不规则图形，会因一侧的图像突出导致中心点偏移（图6（a）），造成定位误差；同时因花丝图像整体为类圆形，最大内切圆法通过在其内部寻找最大内切圆并标记原点，具有一定准确性，但其内部所有边缘点并非全部分布在圆上，同时圆外花丝部分不均匀对称分布，寻求最大内切圆同样会存在中心点的实际误差（图6（b））；而结合改进质心法和最大内切圆法对花丝图像进行中心点定位，取二者平均值，一定程度降低了误差，提高了准确性，图6（d）显示，定位后的图像不仅包含了花丝全部信息，将外围花丝计算在内，保留了图像完整性，而且降低了单一方法对中心点造成的误差，更直观地反映出花丝中心点位置，准确度较高。

图6 不同方法效果对比图

3.2 实验结果与分析

对采集到的1～7天的210张图像运用本文所述红花花丝识别与中心点标定方法进行运算，处理结果如表1和图7所示。

表1 花丝二维中心点标定结果表

由图7可以看出，红花在开放第一天时（图7（a）），花丝逐渐长出，比较稚嫩，随着开放天数的增加，生长态势逐渐饱满，水分增加，待开放第三天时达最佳状态（图7（c）），价值最高，也最适宜采摘；而从第四天开始，如图7（d）所示，原先挺立的花丝开始出现萎蔫现象，第六天时花丝几乎全部萎蔫，水分丢失（图7（f））；第七天时花丝干瘪，分布散乱（图7（g））。整个系列图片显示，花丝的开放可以看作是一个由点到球再到无规则形状的过程，所以在形状上最容易识别的阶段，即开放2～3天的花丝，符合花丝的采摘时间段要求，正确识别率最高（100%）。颜色方面，刚开放的红花主要是以黄红色为主，随着天数增加，红色素逐渐积累，相比较开放第三天，第四天的花丝红色素明显增多，此时花丝的药用价值减弱，红色素提取价值增加，而市场上主要以收购2～3天的花丝为主。

图7 不同时期红花开放图

通过表1可以看出，该方法对开放1～5天的花丝可以较为准确地进行识别与标定，而对第六天（60%）和第七天（53.3%）的具有较大偏差。这是由于花丝在开放2～3天时，其外形轮廓规则，可以近似看成一种圆形，在进行二值图像的形态学处理过程中不会对原有信息进行较大变动，虽然从第四天开始，花丝逐渐萎蔫，红色素增加，但基于最大类间方差法的分割法能够自动确定阈值，分割后花丝的外形轮廓也近似于圆形。而开放第六和第七天的花丝，水分丢失，花丝干瘪，无规则外形，无法准确提取出中心点位置。

4 结束语

（1）在对红花及其背景图像提取R、G、B颜色因子的基础上，利用色差法提取R-B因子，通过灰度直方图比较，能够快速区分红花花丝与周围背景颜色；依据花丝的颜色信息，运用最大类间方差法自动取阈值分割，可有效进行不同开放天数花丝的图像分割。

（2）针对团簇状、无规则外形的花丝轮廓，提出一种改进的形态学处理方法，完整保留了原有花丝像素信息，利于中心点提取；并提出一种改进质心法和最大内切圆法相结合的花丝二维中心点提取方法，提高了准确度。

（3）实验结果表明，本文方法能较为有效地识别出不同成熟度的花丝信息，同时对比常规方法，其准确度更高，尤其是开放2～3天的花丝，准确率达100%，但对第六和第七天的花丝具有偏差，尚不能满足定位要求。