基于视觉伺服的温室番茄植株主茎跟踪与测量方法

冯青春 王 秀 刘继展 成 伟 陈 建

(1.中国农业大学工学院， 北京 100083； 2.北京农业智能装备技术研究中心， 北京 100097；3.农业智能装备技术北京市重点实验室， 北京 100097； 4.江苏大学农业装备工程学院, 镇江 212013)

0 引言

我国是鲜食番茄的生产和消费大国[1]。近年来，番茄种植管理人工成本不断上涨，已达到总生产成本的35%以上[2]，其中，整枝打叶、授粉、采摘以及喷药等劳动密集环节消耗整个生产周期人力投入的70%以上[2]。因此，研发代替或辅助人工作业的种植管理机器人[3-8]对于番茄种植产业可持续发展具有重要意义。作业对象的视觉信息获取是支撑机器人作业的重要前提[9]。然而，番茄植株丛生交错，作业对象(果、叶、花)沿主茎随机生长、相互重叠遮挡，且植株行间空间狭窄，对其进行大视场图像采集处理存在成像物距小、冗余干扰多的问题。借鉴人工作业方式，跟踪采集其不同区域的离散小视场图像、沿植株主茎对不同作业对象进行搜索是提高作业对象识别和定位效率的有效途径。

对离散视场图像配准和拼接是获取番茄主茎整体形态特征的必要途径。目前，图像配准方法可分为图像特征配准和摄像机姿态配准：图像特征配准通过提取角点[10-11]、轮廓线[12]和区域块[13-15]等特征，基于几何不变原理估计图像之间的运动关系，该方法对图像采集设备要求不高，但提取特征运算复杂、实时性差，多用于非实时图像的融合应用；摄像机姿态匹配通过实时获取摄像机空间位姿参数[16-17]，基于透视成像原理解析不同视角下目标形态的变换关系[18-19]，该方法数据融合精度高、实时性好，但是硬件结构复杂、通用性差。鉴于番茄植株丛生无序、背景复杂多样的特征，需要结合上述两类方法对多视角不同区域图像进行融合，以满足机器人作业视觉信息动态获取需要。

本文面向工厂化番茄智能化管理需求，以作业区域植株图像跟踪采集为目的，研究基于双目云台摄像机的主茎离散区域图像采集伺服控制方法，并通过融合多视角植株图像特征，实现番茄主茎的图像拼接与立体形态测量，从而为采摘、整枝、授粉等作业智能装备的研发提供技术支撑。

1 多视角立体视觉系统设计

1.1 工厂化番茄种植环境

工厂化番茄种植环境如图1所示，番茄种植行距约1 100 mm、株距300 mm。距地面高度600～1 500 mm的区域为番茄整枝、打叶、采摘等管理环节的作业区域。随着植株不断生长，通过释放缠绕于主茎的吊线进行落蔓，使得作业区域相对地面高度保持不变，因此本文以该高度区域内的番茄植株为探测对象。智能管理作业平台以植株行间轨道为支撑进行移动，其视觉系统实时获取两侧番茄植株图像信息。

图1 工厂化番茄种植环境Fig.1 Tomato factory-planted environment

1.2 双目云台图像采集系统

图2 双目云台视觉系统Fig.2 Binocular pan-tilt vision system1.双目摄像机 2.垂直旋转机构 3.水平旋转机构

单株番茄管理作业区域宽300 mm、高900 mm，且该区域番茄主茎呈倾斜姿态，为了避免大视场图像冗余信息干扰，需通过拼接多个小视场图像以覆盖该条形作业区域。如图2所示，图像采集系统包括双目摄像机和二自由度云台机构。鉴于番茄茎秆在近红外波段具有强反射特征[20]，摄像机选用Basler公司acA1300-60gmNIR摄像机，并搭配1/3″ CCD、8 mm焦距镜头和(900±20)nm滤光片，距番茄植株900 mm位置，可获得约宽450 mm、高400 mm视场区域图像。云台可进行垂直和水平旋转，以调整摄像机空间姿态从不同视角采集番茄植株不同区域的图像。

1.3 视觉系统参数标定

视觉系统参数包括摄像机自身透视成像参数和外部结构参数，明确视觉系统参数是根据图像二维数据获取立体视觉信息的必要前提。本文略去双目摄像机参数标定过程[21]，重点描述双目摄像机与旋转云台的坐标转换关系标定。如图2所示，双目摄像机坐标系OCXCYCZC原点OC位于左摄像机感光芯片中心，XC轴和YC轴分别与芯片水平和垂直中心线重合，ZC轴与镜头光心重合。云台坐标系OTXTYTZT中ZT轴为其水平旋转轴，XT轴为其垂直旋转轴，原点OT为两轴交点。若云台依次绕ZT轴和XT轴水平和垂直旋转角分别为α和β，根据欧拉角旋转矩阵[22]表示方法，坐标系OTXTYTZT相对姿态变换矩阵可表示为

(1)

式中RB——旋转矩阵

tB——平移向量

O——维度为3的零向量

(2)

(3)

(4)

将RB代入式(3)，可得tB，从而完成坐标系OTXTYTZT和OCXCYCZC之间转换矩阵T的标定。

2 番茄主茎图像跟踪采集

2.1 图像跟踪采集原理

根据番茄主茎形态变化动态调整摄像机姿态，是番茄植株图像跟踪采集的基本原理。如图3所示，摄像机视场内主茎中心线上端、下端和中间点图像坐标分别为(utop,vtop)、(ubottom,vbottom)和(ucentor,vcentor)。考虑到摄像机自下而上采集番茄植株图像，且图像边缘畸变误差较大，因此以(ucentor,vcentor)为跟踪起始参考点、(ubottom,vbottom)为跟踪目标参考点。同一视场内两个参考点对应的摄像机坐标(xC,yC,zC)和(x′C,y′C,z′C)可由双目摄像机测量得到。

摄像机由姿态i调整为i+1，主茎表面点P需从起始参考点移动至目标参考点，即其图像坐标由(ucentor,vcentor)向下移动至(ubottom,vbottom)。鉴于在小视场区域内植株主茎形态变化有限，可认为在姿态i和i+1下，摄像机视场中图像坐标(ubottom,vbottom)对应的摄像机坐标近似为(x′C,y′C,z′C)。

图3 多视角图像跟踪采集Fig.3 Multi-view image capturing

2.2 摄像机姿态伺服控制

摄像机姿态伺服控制根据参考点在摄像机坐标系中的预期位置，控制云台旋转位移增量进行视觉跟踪。由式(2)可得，摄像机连续姿态下点P的当前坐标(xC,yC,zC)和预期坐标(x′C,y′C,z′C)存在关系

(5)

(6)

将式(1)代入式(6)可得

(7)

3 番茄主茎拼接与测量

3.1 离散主茎图像形态拼接

假定采集图像过程中番茄植株保持静止，则获得的序列图像中主茎的形态变化仅与摄像机的姿态调整有关。相邻姿态所得图像i和i+1存在高度为vcentor-vtop的重叠区域，因此根据重叠像素配准约束可获得不同视角下主茎的图像形态变换关系。

如图4所示，在图像i中设定高、宽分别为h=|vcentor-vtop|和w=|utop-ucentor|的矩形模板域，分别以主茎上端点和中间点为对角点。同理，在图像i+1中设定同样大小的待匹配区域，以主茎下端点(ubottom,vbottom)为旋转原点，以Δθ=10°为步长，依次旋转获得一系列候选区域。鉴于相邻视场主茎相对旋转角度为锐角，因此模板旋转角θ范围为-90°～90°。

图4 相邻视场主茎图像匹配Fig.4 Adjacent view-field images matching

采用像素灰度差值绝对值和(SAD)表示模板区域和候选区域的相似度[25-26]，计算公式为

(8)

式中SAD——像素灰度差值绝对值和

A——匹配区域

M——A区域内像素数量

g(i)——模板区域(u(i),v(i))的灰度

(9)

图像旋转变换后，使两幅图像的起始和目标跟踪参考点重合，即可实现主茎相邻区域图像形态拼接。

3.2 跟踪参考点坐标转换

(10)

(11)

3.3 主茎立体形态参数测量

(12)

式中N——主茎不同区域的参考点总数

图5 主茎立体形态测量Fig.5 Main-stem morphology measurement

(13)

式中 (k1,k2,k3)——主茎空间方向向量

令a=k1/k2、b=k2/k3，化简式(13)可得

(14)

若参考点总数为N，则离散参考点与拟合直线偏差可表示为

(15)

根据最小二乘算法原理，由式(15)分别对a和b求偏导，并令其偏导为零，求解a和b

(16)

4 试验与结果分析

4.1 试验

为了验证番茄主茎跟踪测量方法的实际效果，在北京市昌平区特菜大观园番茄温室内开展了现场试验(图6)。随机选择15株番茄植株，对距地面高600～1 500 mm的管理作业区域内的主茎进行测量。由于视觉系统的视场高度约400 mm，为了覆盖作业区域的主茎高度，设定摄像机云台由水平初始姿态自动调整两次，对每株番茄跟踪采集3幅图像，并对此序列图像中的主茎形态进行拼接和测量。试验过程中，采用Cognex VisonPro图像处理软件，将实时识别离散视场中的主茎像素区域作为跟踪依据，以尽量避免主茎识别算法(本文未涉及)对试验结果的影响。

图6 现场试验Fig.6 Field test

4.2 结果分析

图7 主茎跟踪和拼接偏差Fig.7 Main-stemsplicing deviation

表1 试验结果Tab.1 Test results

图8 人工与自动测量结果相关性Fig.8 Manual and auto measurement results correlation

主茎立体形态参数L、H和ω自动与人工测量值相关性统计如图8所示。由于人工采用软尺可精确贴合主茎，主茎长度的人工测量数据均大于视觉自动测量，二者决定系数为0.993 3(图8a)，最大偏差148.00 mm(相对偏差8.95%)、最小偏差6.00 mm(相对偏差0.69%)、平均偏差46.20 mm(相对偏差3.94%)。主茎高度的人工测量结果与自动测量结果的决定系数为0.842 6(图8b)，测量偏差最大为51.00 mm(相对偏差5.65%)、最小3.00 mm(相对偏差0.37%)、平均18.60 mm(相对偏差2.21%)。受重力作用番茄主茎多呈凹曲线形态，人工测量得到的生长倾角为其两端连线的倾角，而自动测量得到多点拟合直线倾角，因此人工测量的生长倾角均大于自动测量，二者决定系数为0.979 3(图8c)，角度偏差最大7.00°(相对偏差15.56%)、最小1.00°(相对偏差1.19%)、平均4.33°(相对偏差6.58%)。

图9 测量偏差随主茎生长倾角变化曲线Fig.9 Measurement deviations with various main-stem’s inclination

此外如图9所示，对于作业区域内生长倾角较大、直立程度较高的主茎，视觉系统具有较高的测量精度；反之，对于倾斜度较大的主茎测量结果与人工测量存在较大偏差。特别地，对于7号植株其相对地面生长倾角最小，对其形态测量和图像拼接的偏差最大。原因在于，特定作业高度区域内，主茎长度随其生长倾斜程度变大而增加，其上下两端与固定放置的摄像机之间的距离差异相应增大。由于双目摄像机对于远端目标具有更大测量误差，从而导致视觉系统对于倾斜程度较大的主茎测量误差较大。尽管如此，对于广泛应用的吊线落蔓番茄栽培模式，通过精准收放吊线长度，可有效提高番茄植株直立程度，以确保本文视觉系统获得较高测量精度。

5 结束语

根据工厂化番茄智能化种植管理需求，构建主茎图像动态跟踪采集系统，以提高作业对象视觉信息获取效率。基于双目云台摄像机的植株主茎跟踪与测量方法，可以实现其离散区域图像的采集和拼接，并测量其可见区域的长度、高度和生长倾角等立体形态参数。试验表明，在距地面高度600～1 500 mm作业区域内，采用视觉系统对主茎离散参考点的跟踪偏差最大值和平均值分别为25像素和21像素，对相邻视场主茎图像拼接偏差的最大值和平均值分别为8°和3.77°，对主茎长度、高度和生长倾角测量值与人工测量值的决定系数分别为0.993 3、0.842 6和0.979 3，平均测量偏差分别为46.20 mm、18.60 mm和4.33°，最大相对偏差分别为8.95%、5.65%和15.56%，并且对于直立程度高的植株具有更好的测量效果。本研究可为番茄智能化采摘、打叶和授粉等作业目标视觉搜索提供参考。