基于导频跟踪的果蔬采摘机器人夜间识别方法研究

林　宏，方华丽，赵同林，禹玥昀

(1.西南林业大学 计算机与信息学院，昆明　650224；河南工业职业技术学院，河南 南阳　473000)



基于导频跟踪的果蔬采摘机器人夜间识别方法研究

林宏1，方华丽2，赵同林1，禹玥昀1

(1.西南林业大学 计算机与信息学院，昆明650224；河南工业职业技术学院，河南 南阳473000)

摘要：为了提高果实采摘机器人在夜间作业的工作效率，提出了一种适用于果实采摘机器人机械手夜间果实定位识别的方法，引入了导频追踪技术，并在此基础上提出了一种基于直接判决的快时变信道估计方法。该方法采用了直接判决算法进行信道估计，根据夜间果实图像的二值化处理阈值，标定发出指令的信道，从而对是否采摘进行快速判决，提高了机器人的工作效率。为了验证该方法的有效性和可靠性，对机械手的夜间作业的效率和准确性进行了测试。通过测试发现：该方法可以快速地对果实进行定位，并通过校正，其有效地降低夜间误操作率，为果实采摘机器人的研究，提供了一种新的可参考的导频技术方法。

关键词：果实采摘；导频跟踪；信道轨迹；二值化；机械手

0引言

中国是一个水果生产大国，用于水果采摘的劳动力占整个生产过程所用劳动力的 1/3 以上。采用机器人进行机械化采摘不仅可以降低人工成本，减少损伤率，还能提高采摘效率。为了在水果成熟期内，尽快完成密集的采摘工作，水果采摘机器人不但在白天能正常工作，而且需要具有夜间工作的能力。虽然国内外对水果采摘的图像识别进行了大量研究，但是对于夜间的水果识别涉及较少。为此，本文对果实采摘的夜间模式进行了探索研究。

在国内外专家学者对夜间水果识别的研究项目中，大部分目的并不是为机器人采摘服务，也没有进行精确识别。然而机器采摘需要保证识别结果的完整并准确定位水果的位置。为了提高果实采摘机器人在夜间的工作质量、缩短作业时间，将导频跟踪技术引入到了机器人的采摘机械手的控制过程中，并根据夜间果实图像的二值化处理阈值，标定发出指令的信道，利用导频跟踪快速判决、快速选择信道，从而实现果实的快速识别和采摘，提高机器人的工作效率。

1机器人夜间识别和导频跟踪原理

果实采摘机器人的工作效率主要取决于机器人机械手的操控，关键技术就是机械手的定位技术。一般的果实采摘机器人都是通过图像识别来对果实进行准确的定位，如图1所示。

图1　果实采摘机器人采摘过程示意图

其中，机械手的控制主要是依据机器人头部的一部高清摄像头，在白天可以熟练地进行工作。在大面积种植时，为了提高果实的采摘效率，需要夜晚也进行采摘，为了实现夜间识别需要对果实图像进行处理，并通过一定的算法提高识别速度，进而缩短采摘时间。据此，本文设计了一种快速的果实定位方法。

图2为机器人果蔬采摘夜间识别快速定位的示意图。首先读取果实夜间模式的图像，然后使用灰度处理得到果实夜间二值化图，根据设定的灰度阈值对图像进行分割；利用图像阈值的标定，采用导频跟踪技术选择发出指令的信道，实现机器人的快速自动化采摘。

图2　机器人果蔬采摘夜间识别原理示意图

2图像分割和导频跟踪算法

图像二值化是指用灰度变换来研究灰度图像的一种常用方法，即设定某一阈值将灰度图像的像素分成大于阈值的像素群和小于阈值的像素群两部分。例如输人灰度图像函数为f(x,y)，输出二值图像函数为g(x,y)，则

(1)

图像的二值化处理就是将图像上的点的灰度置为0或255，也就是使整个图像呈现出明显的黑白效果。采用图像分割技术可以有效地将果实的图像进行分割，并通过分割将果实区域标定为采摘区域。本次图像二值化分割采用的是Bernsen局部阈值法，假设图像在像素点(i,j)处的灰度值为f(i,j)，考虑以像素点(i,j)为中心的(2ω+1)×(2ω+1)窗口，则Bernsen算法的具体过程如下：

1)计算图像中各个像素点(i,j)的阈值T(i,j)，则有

(2)

2)对图像中各像素点(i,j)用b(i,j)值逐点进行二值化，有

(3)

图3　Bernsen方法流程图

根据二值化的阈值结果，可以对果实的采摘区域进行标定，使用导频跟踪技术，选择发出指令的信道，控制机器人机械手的操作，其流程如图4所示。

图4　果实定位的导频跟踪判决

图4果实采摘区域的定位采用的是直接判决算法。该算法是一个递归的算法，在开始算法前，必须得到信道估计的初始值。利用二值化阈值标定值信道估计结果作为直接判决算法的初始值，即作为OFDM帧内第一个OFDM符号的预测值，对系统的定位进行校准；通过多次校准后，对系统进行投放使用，降低系统对果实的错误识别率。

3机器人夜间采摘测试

为了验证所设计的图像分割算法和导频跟踪方法的有效性和可靠性，本研究对机器人夜间作业的效果进行了测试。夜间作业和白天作业有所不同，其主要不同如图5所示。

图5　白天夜间图像对比

相对于白天的图像，夜晚的图像更加适用于二值化图像处理，夜间可以采用标记明显的标识物对主要作物去进行识别，如图6所示。

在夜间作业时，果树为主要作业区，为了提高夜间作业效率，可以对主要作业区进行标记，而机器人可以迅速地对标记物进行追踪，定位后可以对果实进行采摘。果实灰度值处理如图7所示。

图6　果树定位

图7　图像灰度值

由图7可以看出：果实部分的灰度值和背景部分的灰度值存在差别，可以利用果实部分的灰度值范围，有效地将果实图像进行分割，如图8所示。

图8　图像分割

根据图像区域灰度值的不同，可以将果实特征图像进行分割，对分割图像中的果实部分进行提取，然后根据提取的特征阈值，采用导频追踪进行定位。通过多次导频追踪定位得到了如图9所示的导频跟踪误操作率曲线。

图9表示利用导频跟踪技术，使用二值化阈值标定值信道估计结果作为直接判决算法的初始值，对信道进行多次校准，通过3次校准，得到了3次不同的误操作率随时间变化曲线，由图9可以看出：第3次校准后误操作率已经降低到10-3以下，可以满足精确采摘的需要。

图9　导频跟踪误操作率曲线

表1表示通过8次采摘实验，得到的机械手误操作率的结果。由表1可以看出：采用本文设计的导频跟踪方法，可以通过较少的图像分割次数，获得较高的操作成功率，是一种可靠的果实识别方法。

表1　误操作率测试结果

4结论

1)依据图像的灰度处理和二值化方法，提出了一种新的夜间机器人果实机械手采摘区定位的方法，通过将果实二值化灰度阈值区域标定为采摘区域，大大提高了定位的精度。同时，该方法引入了导频追踪技术，提高了机械手的定位效率。

2)为了验证该方法的有效性和可靠性，对机械手的夜间操作效果进行了测试。通过测试发现：该方法可以有效地分割出果实的夜间灰度阈值，并且通过校准后的误操作率较低，满足精确快速采摘的需求。

3)该方法的使用还需要依赖于夜间的照明，但现实环境中由于遮挡及光照不均等原因，照明条件难以保证，因此未来还需要考虑结合苹果的形状等特征识别分割图像。

参考文献：

[1]张铁中,杨丽,陈兵旗，等.农业机器人技术研究进展[J].中国科学,2010,40(Z1)：71-87.

[2]毕坤,赵馨,侯睿锋，等.机器人技术在农业中的应用方向和发展趋势[J].中国农学通报,2011,27(4)：469-473.

[3]周俊,刘锐,张高阳.基于立体视觉的水果采摘机器人系统设计[J].农业机械学报,2010,41(6)：158-162.

[4]宋健,孙学岩,张铁中，等.开放式茄子采摘机器人设计与试验[J].农业机械学报，2009,40(1)：143-147.

[5]赵庆波,赵德安,姬伟，等.采摘机器人视觉伺服控制系统[J].农业机械学报,2009,40(1)：152-156.

[6]蒋焕煜,彭永石,申川，等.基于双目立体视觉技术的成熟番茄识别与定位[J].农业工程学报,2008,24(8)：279-283.

[7]谢志勇,张铁中,赵金英.基于 Hough 变换的成熟草莓识别技术[J].农业机械学报,2007,38(3)：106-109.

[8]周俊,赵高阳,刘锐，等.基于粒子滤波的苹果采摘机器人目标姿态估算[J].农业机械学报，2011,42(3)：161-165.

[9]谢志勇,张铁中.基于 RGB 彩色模型的草莓图像色调分割算法[J].中国农业大学学报,2006,1l(1)： 84-86.

[10]赵鹏,赵德安.双目立体视觉在果树采摘机器人中的应用[J].农机化研究,2009,31(1)：212-214.

[11]王磊,段会川.Otsu方法在多阈值图像分割中的应用[J].计算机工程与设计,2008,29(11)：2844-2845, 2972.

[12]戚继忠,王自强.基于 ARM7TDMI 实现 CF 卡存储的文件系统设计[J].微处理机,2007(1)：114-115.

[13]秦培龙,李国,李艳红.基于S3C44B0X 的 Bootloader 设计与实现[J].微计算机信息,2008(2)：153-155.

[14]谢志勇,张铁中,赵金英.基于 Hough 变换的成熟草莓识别技术[J].农业机械学报,2007,38(3)：106-109.

[15]王东,赵宇,王秀红.一种改进的DFT迭代的MIMO-OFDM系统信道估计算法[J].应用科技,2009(3)：19-22.

[16]徐文颖,张静,董建萍.导频信道估计中的插值算法[J].上海师范大学学报,2007,12(6)：41-46.

[17]陈晖,陈晓光.基于直接判决导频跟踪的OFDM系统快时变信道估计[J].通信学报，2006,9(27)：1-5.

[18]李文见,姬江涛.轮履复合式农业机器人越避障控制研究[J].河南科技大学学报：自然科学版, 2007(8)：57-59.

[19]王仲民,戈新良,唐智强.多传感器信息融合技术研究现状和发展趋势[J].河北工业大学学报,2003, 32(2)：30-35.

[20]国刚,王毅.应用BP神经网络进行手写体字母数字识别[J].人工智能及识别技术,2008(6)：1459-1460.

[21]施少敏,马彦恒,陈建泗.基于BP神经网络的数字识别方法[J].兵工自动化,2006,25(10)：40-41.

[22]许颖泉.用神经网络进行数字图像识别研究[J]. 应用科技,2008(12)：59-60.

Research on Night Identification Method of Fruit and Vegetable Picking Robots Based on Pilot Tracking

Lin Hong1,Fang Huali2,ZhaoTonglin1,Yu Yueyun1

(1.School of Computer Science and Information,Southwest Forestry University, Kunming 650224, China; 2.Henan Polytechnic Institute, Nanyang 473000, China)

Abstract：In order to improve the fruit picking robot in night work efficiency, put forward a kind of picking robot manipulator night fruit location identification method suitable for fruit, and introduces the pilot tracking technology, on the basis of this, presents a method for estimating the direct judgment based on the fast time-varying channels. The method uses the direct decision algorithm for channel estimation, based on the two night of fruit image binarization threshold, calibration instructions on whether the channel, thus picking fast decision, to make the robot work efficiency. In order to verify the validity of the method and the reliability, efficiency and accuracy of the manipulator work at night were tested, found by testing, the method can quickly detect the location of the fruit, and by the correction, can effectively reduce the nocturnal misoperation rate for fruit picking robot, research, and provides a new the reference pilot technology method.

Key words：fruit picking; pilot channel tracking; trajectory; binaryzation; mechanical hand

文章编号：1003-188X(2016)03-0231-005

中图分类号：S225.92;TP242.6+2

文献标识码：A

作者简介：林宏(1981-)，女，云南大理人，讲师，硕士。通讯作者：禹玥昀(1984-)，女，云南凤庆人，讲师，硕士，(E-mail)yuyueyun1984@163.com。

基金项目：云南省教育厅科学研究基金重点项目(2013Z084)；西南林业大学科学基金面上项目(2010MS07)

收稿日期：2015-02-14