一种基于信息融合苹果果实世界定位方法

麦春艳，郑立华，肖昌一，陈　元，李民赞，刘　刚（中国农业大学现代精细农业系统集成研究教育部重点实验室，北京　100083）



一种基于信息融合苹果果实世界定位方法

麦春艳，郑立华*，肖昌一，陈元，李民赞，刘刚
（中国农业大学现代精细农业系统集成研究教育部重点实验室，北京100083）

摘要：构建由Kinect设备、差分GPS设备和陀螺仪组成的信息获取系统，推导RGB图像中苹果果实世界坐标的计算方法。利用Kinect设备获取果园果树RGB图像和深度图像，差分GPS全球定位系统和陀螺仪分别获取Kinect相机位置信息和姿态信息。融合RGB图像和深度图像，利用相对位置定位模型，计算苹果圆心相机空间坐标，融合相机位置信息和姿态信息，利用空间三维坐标转换原理，建立绝对位置定位模型计算苹果世界坐标，对每个果实进行世界空间位置唯一标定。结果表明，果实相对平均定位误差0.035 m，果实绝对定位经度误差0.117 m，纬度误差0.437 m，海拔误差0.145 m。

关键词：Kinect；陀螺仪；差分GPS；信息融合；果实世界定位；坐标转换

麦春艳,郑立华,肖昌一,等.一种基于信息融合苹果果实世界定位方法[J].东北农业大学学报, 2016, 47(1): 74-80.

Mai Chunyan, Zheng Lihua, Xiao Changyi, et al. A world positioning method for apple fruits based on information fusion[J]. Journal of Northeast Agricultural University, 2016, 47(1): 74-80. (in Chinese with English abstract)

随机器视觉技术发展，在精细化农业中得到广泛应用。机器视觉技术对自然条件下果实定位逐渐引起关注[1]。果实生长位置随机性、个体形状差异性和环境复杂性等，增加了果实采摘机器人视觉定位难度。一方面，果实采摘机器人需探测作业区域内果实，确定果实准确位置，作出正确采摘动作。另一方面，对于果园果实估产应用，需在复杂自然条件下识别果实，对果实进行世界坐标绝对定位，确定苹果在世界空间中唯一位置，以避免探测设备不同角度下对同一果实重复计数。

Stajunko等使用双目视觉技术获取苹果、柑橘和番茄等果实形心的三维坐标信息以指导果实机器人采摘[2-6]。但双目视觉方法易受外界自然光照影响。李明喜等提出一种双目彩色图像信息和近红外图像信息融合番茄三维定位方法，解决多目标图像特征匹配不确定问题，利用遗传算法和神经网络算法修正成像过程测距误差，但定位稳定性和精度受双目结构变换影响[7]。Nguyen等和Dong等使用Kinect代替传统双目视觉相机分别获取苹果树和番茄植株的RGB彩色图像和深度图像，并识别和定位果实[8-9]。Wang等开发一套基于立体视觉苹果估产系统，在HSV颜色空间下，利用苹果和树叶颜色区间不同检测果实像素点，结合形态学和定位算法计量树上苹果，但该系统需在夜间且有人工光源和人工背景条件下进行，且未考虑不同角度拍摄相同果实可能多次计数问题[8]。

以上定位方法均属于果实相对位置定位，在基于图像果园果树估产应用中，由于视觉系统视角有限，需对同一株或若干株果树进行多角度信息采集。采集过程中，存在相同果实被重复拍摄情况，如仅基于相对位置定位计量每幅果树图像中果实并将其累加值作为果树产量，将增加果树产量，导致错误估产结果。为解决此问题，本文提出基于信息融合苹果果实世界坐标定位计算方法。利用第二代Kinect RGB-D相机拍摄果树，得到RGB彩色图像和深度图像。根据RGB彩色图像、深度图像和Kinect相机空间坐标系之间坐标映射关系确定RGB图像中苹果圆心在Kinect相机空间坐标系中位置；再结合Kinect相机差分GPS定位信息和空间拍摄姿态信息，利用空间三维坐标转换原理，完成苹果圆心坐标从Kinect相机空间坐标系到世界坐标系转换。该方法可实现果园果实绝对位置定位，获得较为准确的空间位置坐标，可对每个果实在世界空间中进行位置唯一标识。通过计算果实绝对位置，可避免不同角度下信息采集系统对相同果实重复计数。

1　材料与方法

1.1果实定位信息获取系统

为获得果实准确空间位置坐标，实现果实精准定位，搭建果园果实定位信息获取系统，如图1所示，该系统硬件设备包括：第二代Kinect设备（Kinect for windows，微软公司）、差分GPS定位系统（M600 GNSS接收机，司南公司）及数字式三轴陀螺仪（MPU6050，应美盛公司）。第二代Kinect体感设备为3D摄像机，能同时采集目标物体RGB图像和深度图像[9]。采用ToF（Time of flight，飞行时间）主动光源技术，能在自然环境下使用不受外界光照变化影响。基于第二代Kinect具有出色深度信息采集能力、快速获取目标场景RGB-D信息、操作简单、价格低廉等优点，广泛应用于目标物体三维信息获取。为获取Kinect相机世界位置信息，本文采用高精度差分GPS定位Kinect相机。M600姿态定位定向型GNSS接收机是专门为特种设备设计的高精度姿态定位定向设备，采用中国BDS（Bei⁃Dou Navigation Satellite System，中国北斗卫星导航系统）和美国GPS双星五频GNSS板卡，实现在树下、楼群等遮挡较严重和高动态情况下对目标物体快速高精度定位和定向。该定位系统静态差分水平精度为±（2.5+1×10-6D）mm，静态差分垂直精度为± （5 + 1×10-6D）mm。因此，定位精度理论上可满足果实绝对位置定位要求。采用数字式三轴陀螺仪监测Kinect相机空间拍摄姿态，获得其姿态信息，包括仰角、滚角和方向角。

图1系统硬件设备Fig. 1 Hardware devices of the system

1.2果实定位信息采集

选取中国农业大学东校区校内仿真苹果树作为试验对象，使用Kinect相机拍摄，获取自然条件下苹果树RGB图像和深度图像，如图2所示。高精度差分GPS确定Kinect相机世界位置信息，得到相机经纬度及海拔数据；数字式三轴陀螺仪采集Kinect相机拍摄姿态信息，得到相机仰角、滚角及方向角。

图2 Kinect相机图像采集Fig. 2 Images acquired using Kinect camera

1.3苹果相对位置计算

为获得苹果圆心在Kinect相机空间坐标系中位置，首先建立Kinect相机空间坐标系，如图3所示。其中，Kinect相机空间坐标系以RGB摄像头为坐标原点Oc，以右侧为Xc轴正方向，以正上方为Yc轴正方向，以正前方为Zc轴正方向，结果值能够反映目标物体景深情况，坐标系距离（m）。

图3 Kinect相机空间坐标系Fig. 3 Camera space coordinate system of Kinect

Kinect相机采集果树RGB图像和深度图像，利用微软提供软件开发工具包Kinect SDK 2.0以及应用程序编程接口API可获得RGB图像像素坐标系、深度图像像素坐标系和相机空间坐标系三者之间坐标映射关系，鼠标点击RGB图像中果树上一个苹果，即可得到其在RGB图像像素坐标系、深度图像像素坐标系以及相机空间坐标系中的坐标值。

基于Kinect相机苹果相对位置计算流程如图4所示。

1.4苹果绝对位置计算

计算苹果在Kinect相机空间坐标系中位置后，利用空间三维坐标转换原理，融合相机拍摄时的姿态信息和差分GPS定位信息，建立果实绝对位置定位模型，计算果实世界坐标。1.4.1本地经纬度到距离转换关系测定

图4相对位置计算流程Fig. 4 Flow chart of relative positioning calculation

GPS定位系统对待测点的测定值采用经纬度及海拔表示，而Kinect相机空间坐标系中各坐标值使用距离单位表示，由于地球表面是不规则球面，不同地方每一度经度和纬度代表的距离不同[12]。因此，在将Kinect相机空间坐标转为世界坐标之前，将Kinect相机空间坐标系距离坐标转换为经纬度形式，测量当地每度经纬度差和距离（m）间转换关系，才能计算苹果绝对位置。

由于苹果尺寸约束，要判断在不同角度下拍摄的果实是否为同一果实，果实绝对位置定位精确度须小于1个苹果半径（约4 cm）。选用高精度差分GPS完成该项参数测量，测定果实定位地点经纬度和距离转换关系。选择果园中平坦地面作为实验地以避免实验结果受海拔高度影响，选择地面上某一点作为起始点O，使用移动天线测定其经度值Olat和纬度值Olon。第一组实验，保持经度不变，将移动天线分别移至距离起点O10个不同距离处，分别测量纬度值，根据公式（1）求解纬度差到距离转换值Clat：

其中，Plat(i)表示不同距离处纬度值，D(i)表示距离值。第2组试验，保持纬度不变；同理，测定不同距离处经度值，根据公式(2)求解经度差到距离转换值Clon：

其中，Plon(i)表示不同距离处经度值。不同距离处测量经纬度到距离转换值结果见图5。

图5本地经纬度到距离转换值测量Fig. 5 Measurement results of the conversion value of local latitude and longitude to distance

由图5可知，当测量距离较小时，结果波动较大，但随测量距离增加，结果趋于稳定。因距离较小时，测量结果易受细小误差，如人为操作、GPS测量时扰动误差等影响，距离逐渐增大时，人为操作和扰动引入测量误差影响较小，故测量结果趋于稳定。因此，本文选取测量结果中稳定值均值作为本地经纬度到距离转换值，其中，纬度到距离测定转换值Clat为0.03242''·m-1，经度到距离测定转换值Clon为0.04214''·m-1。

1.4.2苹果世界坐标绝对位置定位

为推导出Kinect相机空间坐标系中苹果圆心世界坐标，果园果实定位一般性场景见图6。世界坐标系中：Yw轴指向正北方，与经线平行，Xw轴指向正东方，与纬线平行，Zw轴和本地水平面垂直，正方向与地心引力方向相反。Oc-XcYcZc坐标系是Kinect相机空间坐标系。

图6果园果实定位场景Fig. 6 Fruit location scene in orchard

假设1个苹果P在Kinect相机空间中坐标为Pac(xac,yac, zac)，拍摄相机姿态角度为Ac(α,β,γ)，其中α、β、γ分别表示Kinect相机俯仰角、横滚角和方位角。相机GPS坐标为Pcw(Ncw,Ecw,Hcw)，其中Ncw为纬度，Ecw为经度，Hcw为海拔高度。苹果世界坐标计算步骤为：

①调整Kinect相机空间坐标系，使其与世界坐标系对齐，得到空间坐标系O'c-X'cY'cZ'c，Kinect相机空间坐标系调整变换公式如式(3)所示：

其中，Pac表示Kinect相机空间坐标系中一点，Reversex和Reversez分别表示对当前Xc轴和Zc轴取反，Rx（90°）表示坐标系绕Xc轴顺时针旋转90°。

②融合相机姿态信息和GPS定位信息，根据空间三维坐标系转换原理[13]，由公式(4)得到果实世界坐标：

其中，旋转变换矩阵Rx(α)、Ry(β)、Rz(γ)分别表示调整后Kinect相机空间坐标系分别绕世界坐标系Xw、Yw、Zw轴顺时针旋转角度α、β、γ，表达式分别为：

平移变换矩阵T表示Kinect相机空间坐标系原点Oc在世界坐标系中位置，其表达式如式(8)。

③根据计算得到果园本地经纬度到距离转换关系，根据式（9）将式（4）中计算的世界坐标进一步转换为用经纬度表示的坐标。

完成苹果世界坐标计算，苹果世界坐标由经度、纬度、海拔高度构成。基于信息融合苹果果实世界绝对位置定位方法流程见图7。

图7果园果实绝对定位流程Fig. 7 Flow chart of absolute positioning of fruit in orchard

2结果与分析

2.1苹果绝对定位及其误差分析

本文提出一种基于多源信息融合苹果果实世界坐标定位方法。首先，融合果树RGB图像和深度图像信息，采用相对位置定位模型，实现果实在Kinect相机空间坐标系中定位。然后，在相对位置定位基础上，融合相机拍摄姿态信息和差分GPS定位信息，计算果园当地经纬度到距离之间转换关系，建立绝对位置定位模型，得到果实世界坐标。表1显示图8中苹果树上每个果实世界坐标值计算值、实际测量值及距离误差。

图8苹果树果实世界坐标Fig. 8 World coordinates of fruits in theapple tree

由表1可知，平均定位误差在经度上达0.117 m，在纬度上达0.437 m，海拔上达0.145 m。在果实绝对位置定位方面，绝对位置定位模型在理论上计算误差为0，而在实际果实定位中，由于树叶遮挡等原因，GPS信号接收影响较大，导致可接收信号卫星数量减少，影响GPS定位精度，使绝对位置定位精度波动较大。同时，陀螺仪在实际工作中，也受环境和人为等因素影响产生扰动误差，影响绝对位置定位精度。

2.2苹果相对位置测定及其误差分析

测量图像中各苹果果实之间实际距离，根据各果实经纬度和海拔计算值求解各苹果之间相对距离计算值，表2显示图8中各个苹果果实之间距离计算值、真实值和距离误差。由表2可知，相对定位距离误差为0.035 m。

表1果实绝对定位误差分析Table 1 Analysis of fruit absolute positioning error

比较相对距离计算值和实际值，得到结果如图9，可知，各果实之间距离计算值和实际距离很接近，相关系数达0.9336。因此，相对定位精度可满足果实采摘机器人应用需求。

图9相对定位精度Fig. 9 Relative positioning accuracy

3结论

a.基于Kinect相机可快速实时获取果树RGB图像和深度图像，利用信息融合技术，可解析果实在Kinect相机空间中坐标值，实现果实相对位置计算，相对定位平均距离误差为0.035 m。

b.果实绝对位置定位方面，理论上计算误差为0，实际定位中，经度误差为0.117 m，纬度误差为0.437 m，海拔误差为0.145 m。

c. GPS定位系统定位精度易受果树枝叶遮挡影响，因此绝对位置定位稳定性较差。同时陀螺仪也会受外界环境和人为等因素影响产生扰动误差。提高GPS定位系统及陀螺仪抗干扰能力，增加绝对位置定位稳定性和准确性，有待进一步探讨。

[参考文献]

[ 1 ] Bulanon D M, Kataoka T, Ota Y, et al. A color model for recogni⁃ tion of apples by a robotic harvesting system[J]. Journal of the JSAM, 2002, 64(5): 123－133.

[ 2 ] Stajnko D, Cmelik Z. Modeling of apple fruit growth by applica⁃tion of image analysis[J]. Agricultural Conspectus Scientificus (ACS), 2005, 70(2): 59-64.

[ 3 ]尹建军.基于颜色差异的果实自动识别方法与双目定位技术研究[D].镇江:江苏大学, 2006.

[ 4 ]蔡健荣,范军,李玉良.立体视觉系统标定及成熟果实定位[J].农机化研究, 2007(11): 38-40.

[ 5 ]司永胜,乔军,刘刚.苹果采摘机器人果实识别与定位方法[J].农业机械学报, 2010, 41(9): 148-153.

[ 6 ] Mehta S. S, Burks T. F. Vision-based control of robotic manipula⁃tor for citrus harvesting[J]. Computers and Electronics in Agricul⁃ture, 2014, 102: 146-158.

[ 7 ]李明喜.基于多源图像融合收获目标准确定位研究[D].镇江:江苏大学, 2008.

[ 8 ] Nguyen T T, Vandevoorde K, Kayacan E, et al. Apple detection algorithm for robotic harvesting using a rgb-d camera[C]. Interna⁃tional Conference of Agricultural Engineering, Zurich, Switzer⁃land, 2014.

[ 9 ] Dong J M, Chen W H, Yue H S, et al. Automatic recognition and location of tomatoes based on kinect vision system[J]. Journal of Chinese Agricultural Mechanization, 2014, 35(4): 169-173.

[10] Wang Q, Nuske S, Bergerman M, et al. Automated crop yield esti⁃mation for apple orchards[C]. Experimental Robotics Springer In⁃ternational Publishing, 2013: 745-758.

[11] Catuhe D. Programming with the kinect for windows software de⁃velopment kit[M]. Massachusetts Microsoft Press, 2012.

[12]黎珍惜,黎家勋.基于经纬度快速计算两点间距离及测量误差[J].测绘与空间地理信息, 2013, 36(11): 235-237.

[13]柯金朴.空间三维坐标转换原理及实现[J].江西测绘, 2008(3): 16-20.

A world positioning method for apple fruits based on information fusion

MAI Chunyan, ZHENG Lihua, XIAO Changyi, CHEN Yuan, LI Minzan, LIU Gang(Key Laboratory of Modern Precision Agriculture System Integration Research, China Agricultural University, Ministry of Education, Beijing 100083, China)

Abstract:An information acquisition system was designed and built, which consisted of a Kinect, a differential GPS receiver and an attitude sensor, and a world coordinates calculation approach for apple fruits in a color image was developed depending on this system. The color image and corresponding depth image of fruit tree were taken by the second generation Kinect which was an RGB-D camera, and the world position and the spatial attitude information was obtained by the differential GPS and the digital attitude sensor respectively according to the information acquisition system. Firstly, the camera coordinates of apples' centers were computed by fusing both the RGB and depth information of the color and depth images. Secondly, an absolute positioning model was established according to the three-dimension space coordinate transformation algorithmto calculate the world coordinates of apples, by which the unique world space position of each apple could be acquired. The experiment was carried out, and the results showed that the mean error of the relative positioning was 0.035 m, and for the absolute positioning, the mean distance error of the longitude reached 0.117 m, that of the latitude reached 0.437 m, and that of the altitude reached 0.145 m.

Key words:Kinect; attitude sensor; differential GPS; information fusion; fruit world positioning; coordinate transformation

*通讯作者：郑立华，教授，博士生导师，研究方向为农业信息化。E-mail: zhenglh@cau.edu.cn

作者简介：麦春艳（1991-），女，硕士研究生，研究方向为农业信息化。E-mail: 916205854@qq.com

基金项目：国家自然科学基金项目（31371532）

收稿日期：2015-08-08

中图分类号：TP391.41; S216

文献标志码：A

文章编号：1005-9369（2016）01-0074-07