基于激光视觉的农作物株高测量系统

郭新年 周恒瑞 张国良 柯永斌 苏 军 赵正敏

(1.淮阴工学院江苏省湖泊环境遥感技术工程实验室， 淮安 223003;2.淮阴工学院生命科学与食品工程学院， 淮安 223003)

0 引言

随着我国农业技术的不断发展，智慧农业与精准农业已成为未来发展趋势[1-16]。实现智慧农业与精准农业的前提条件是精准获取农作物相关生长信息，主要包括农作物生长环境信息，如气候、土壤、光照等，农作物生长参数信息，如株高、生长期、长势等。在精准获取农作物相关生长信息的基础上，才能广泛地研究相关信息之间的联系，以及实现信息互联与精准的干预。

在农作物生长环境信息获取方面，相关技术已经得到迅速发展。国内外学者基于传感器及网络构建监测平台，开发了各种采集环境温度、湿度、光照等[3-4]相关信息，土壤水分[5-6]、氮素、磷素、钾素[7-9]等相关信息的检测系统。

在农作物生长参数信息检测方面也取得了长足发展[1,10-16]，如外在参数检测[10]和生长期识别[11]等。然而在农作物株高测量方面，由于测量环境差异大、农作物类型多样等因素，一直没有高精度、自动化、适用于地面观测站的测量方法。现有株高测量方法主要分为主动式测量方法[12-14]和被动式测量方法[15-17]。主动式测量方法主要利用相关传感器主动发射测量信号，如超声、红外等，依靠接收主动测量信号实现测量[12-14]。然而现代测量方法中，基于计算机视觉技术的被动测量手段，已经逐渐成为测量的主要手段，很多学者也将该技术应用到农业领域[15-17]。现有文献表明，在农作物的株高视觉测量中，全自动识别农作物顶点与底点是实现农作物自动化视觉测量的技术难点。

针对视觉测量作物株高技术中存在农作物顶点和底点难以识别的问题，提出一种基于激光视觉的农作物株高测量方法，该方法通过特定步骤的棋盘格标定方法，标定作物底点平面信息，并通过在农作物上主动投射激光，自动识别作物顶点，进而实现自动化实时测量株高参数的目的。

1 系统建模

图1 基于激光视觉的农作物株高测量系统图Fig.1 Diagram of crop height measurement system based on laser vision

基于激光视觉的农作物株高测量系统如图1所示，图中ocxcyczc为相机坐标系，ogxgygzg为农作物底端点水平面对应的地面坐标系，农作物的株高即为农作物在地面坐标系的高度。该系统的数学模型包括相机模型、光平面方程模型和改进的三角测量模型。

1.1 相机模型

(1)

其中

式中K——相机内参数

fu、fv——图像u、v方向的尺度因子

s——u、v两轴向的夹角因子

u0、v0——相机镜头光轴与CCD/CMOS平面的交点坐标

其中，zc为点P在相机坐标系的深度，一般无法通过小孔成像模型直接获得，所以在小孔成像模型中，图像坐标系的一个点对应三维空间中的一条射线。

在凸透镜成像过程中，镜头的变形会导致物点在像平面上成的像偏离理想位置，所以在使用过程中一般采用考虑镜头畸变的非线性模型[17]。本系统中相机内参数和畸变参数共同构成相机参数。

1.2 光平面方程模型

(2)

式(2)即为激光平面方程式。

1.3 改进的三角测量模型

设P为激光平面上一点，p为其投影到图像平面上的对应点。在原始的三角测量模型中，给定图像平面上一点p和激光平面方程π，可求解p点在相机坐标系的对应点P的三维坐标值[18-19]。但本测量背景是测量农作物株高，要求解农作物相对于底端水平面的高度，所以本文提出改进的三角测量模型。

根据三角测距原理，激光条形成的特征点既满足小孔成像模型，又满足光平面方程模型[19]，即

(3)

由此可得激光条打在农作物上特征点的深度值zcl。

设相机的安装高度为zi，相机光轴与重垂线夹角为θ，参数zi和θ的余弦值cosθ共同构成相机安装参数I=(zi,cosθ)。则农作物株高为

h=zi-z′ccosθ

(4)

其中

(5)

式中z′c——农作物顶点在相机坐标系zc轴的值

其中zc0为相机光轴与平行于地面的棋盘格平面的交点在相机坐标系zc轴的值，将此位姿下标定板坐标系定义为世界坐标系，zg0为相机光心点在该世界坐标系下的z轴坐标值。

在基于激光视觉的农作物株高测量系统中，相机内参数K、畸变参数、激光平面方程π和相机安装参数I随着系统安装完成后即固定，为常量，需预先标定；系统工作时，激光条打在农作物上的特征点可通过相应图像处理算法得到，将特征点代入系统模型中运算即可实时测量农作物株高参数。

2 系统标定方法

针对该系统测量模型，系统参数采用对文献[18]中方法加以改进的标定方法。该改进后的标定方法中要求至少有一次将棋盘格标定板置于农作物底端点对应水平面的平行平面上，使地面坐标系与棋盘格平面坐标系平行，以标定出相机参数、相机安装高度zi和光轴与重垂线夹角参数cosθ。另将激光条打在棋盘格平面上以标定激光平面方程π。

2.1 系统标定流程

本系统标定包括相机参数标定、相机安装参数标定和激光平面标定，具体标定流程如下：

(1)拍摄不同位姿下的棋盘格平面靶标图像和相应的打了激光条的图像，要求至少一次将棋盘格标定板置于农作物底端点对应水平面的平行平面上，且拍摄位姿大于等于3次。

(2)利用不同位姿下的棋盘格靶标图像标定相机内参数和畸变参数，本文使用文献[18]中标定方法，该方法可同时得到每个位姿下相机坐标系相对于棋盘格平面坐标系的旋转矩阵R、平移向量t和畸变系数等。

(3)根据棋盘格平面置于农作物底端点对应水平面的平行平面上的外参数等信息，标定相机安装参数。求解相机原点在世界坐标系的坐标，得到相机相对于世界坐标系的高度zg0；测量世界坐标系相对于地面坐标系的高度z0，进而求解相机安装高度参数zi；求解相机光轴与棋盘格平面交点的z轴值zc0，标定相机光轴与重垂线夹角参数cosθ。

(4)根据相机参数和各位姿下的外参数，以及激光条上特征点的信息，标定激光平面方程。通过每个位姿下的外参数，求解靶标平面在相机坐标系的平面方程；求解不同位姿下，打在靶标平面上的激光条上的点在相机坐标系的三维坐标；采用最小二乘法拟合激光平面方程。

2.2 相机参数标定

在张氏方法[18]中，将棋盘格平面所在坐标系定义为标定板坐标系，基于平面约束，相机模型变为

(6)

(7)

通过分解矩阵H，可求解相机内参数K，相机坐标系与标定板坐标系的外参数R、t。文献[18]方法可同时标定出镜头的径向畸变参数k1、k2。

2.3 相机安装参数标定

(8)

由于地面坐标系与世界坐标系平行，从世界坐标系到地面坐标系之间无旋转，仅有z轴上的平移，即两坐标系仅有高度差，设为z0，当世界坐标系与地面坐标系重合时，z0=0。由此可以标定相机安装高度信息为

zi=zg0+z0

(9)

该位姿下，相机光轴与棋盘格平面交点的z轴值zc0可通过如下过程求解：标定板在世界坐标系的表示为π0=(0,0,1,0)，即z=0的平面，将该平面变换到相机坐标系，表示为π1=(a0,b0,c0,d0)，即

(10)

由此，可标定出相机光轴与重垂线夹角参数为

(11)

其特殊形式为，将相机竖直安装，θ=0，zg0=zc0，cosθ=1，此时可直接测出相机距离地面的安装高度zi，则相机安装参数I=(zi,1)。

2.4 激光平面方程标定

将每个位姿下的棋盘格平面在相应标定板坐标系的方程πi=(0，0，1，0)通过式(10)变换到相机坐标系，对应的平面为ωi；激光条在标定板上形成的光点满足相机模型，同时这些光点均满足ωi平面方程，激光点在相机坐标系的坐标为

(12)

其中

Xci,j=(xci,j,yci,j,zci,j)

式中Xci,j——第i位姿下激光条上第j点在相机坐标系的坐标

zci,j——Xci,j的z轴坐标值

在每个位姿下，取j(j≥10)个激光条上点的三维坐标，经过最小二乘法拟合激光平面方程π=(a,b,c,1)。

3 实验结果

本实验基于Canon 700D型相机和领越光电激光器构建基于激光视觉的农作物株高测量系统。系统实物图如图2所示，系统中Canon 700D型相机配IS STM镜头，型号为EF-S 18～55 mm f/3.5～5.6，机身CMOS尺寸为5 184像素×3 456像素，机身对焦设置为手动对焦；功率300 mW的红光激光器，波长655 nm。实验采用一次拍照完成后取出采集图像，用Matlab进行图像处理及测量。

图2 系统实物图Fig.2 Picture of measurement system

3.1 系统参数标定结果

根据1.1～1.3节的测量模型和2.2～2.4节的参数标定方法，利用3幅及以上带有激光条的棋盘格图像，即可标定所有系统参数。实际测试中选取20幅棋盘格图像标定相机内参数和畸变参数，选用2幅置于农作物底端平面上的图像标定相机安装参数，并取均值，选取6幅图像，每幅图像上选取20个在标定板上的激光点标定光平面方程参数。标定板置于水平地面上，标定板的厚度z0=31.20 mm，激光特征点提取采用灰度重心法[19-20]，图3为标定相机过程中的外参数可视图，表1给出了基于激光视觉的农作物株高测量系统各参数的标定结果。

图3 相机外参数可视图Fig.3 Extrinsic parameters visualization of camera

参数标定结果相机参数K=7594.285802578.150807595.78371768.8994001éëêêêùûúúúk1=-0.088797 k2=0.50986光平面方程参数π=(0.0027914,0.0001763,0.00048376,1)相机安装参数I=(2919.3688,0.99995)

3.2 激光点三维重建

如图4所示，本系统使用盆栽模拟农作物进行测量，将激光条打在被测盆栽上，提取光条灰度重心点作为特征点，将光条特征点依据式(3)变换到相机坐标系，进行三维重建，激光点在相机坐标系的三维点云如图5所示。

图4 实测图Fig.4 Practical measurement picture

图5 三维点云重建图Fig.5 Reconstruction of 3D point cloud

3.3 测量结果

所有激光点云中，取在相机坐标系中zc轴坐标值最小的N(N≥10)个点，实验中取10，其均值作为顶点z′c，根据式(4)可得农作物株高h。测量过程中，通过在盆栽底部增加高度模拟农作物的生长，进行了一系列的高度测量。如表2所示，直接测量的模拟植株真值范围为558.00～1 843.30 mm，测量绝对误差最大为28.30 mm，相对误差最大为2.17%。

3.4 误差分析与工程化建议

本系统误差来源主要包括：①系统模型误差：在建模过程中，由系统模型引入的误差。②参数标定误差：系统参数标定过程中引入的误差。③图像处理误差：图像处理过程中引入的误差。

系统模型的误差主要来源于小孔成像模型[18]，在实际测量中可忽略，参数标定误差主要来源于图像处理过程，如标定相机参数时棋盘格角点提取精度不高，光平面方程标定过程中激光条中心点提取精度不高等。因此，未来提高系统精度的方法可以从图像处理角度入手，如研究更高提取精度的激光条中心点提取算法[20]。

表2 株高测量结果Tab.2 Measurement results of crop height

本系统硬件配置适合在环境光线较弱，激光点可有效落到被测作物顶点的野外环境下测量。在实际工程化中，受植物表面对激光的吸收散射及野外环境光的影响，激光线特征不明显时，可采用如下方案解决：①在安全前提下增大激光器功率。②选择早晨或傍晚等环境光较弱时测量。

针对代表株高的茎尖或叶尖面积非常小的问题，以及作物稀疏的测量场景，可采用多线激光[21]或扫描测量[22]的方法。

4 结束语

提出了一种基于激光视觉的农作物株高测量系统，该系统通过使用主动激光器辅助、特定步骤的棋盘格标定，有效解决了一般视觉测量中农作物顶点和底点难以识别的问题，可实现自动化测量农作物株高参数的目的，使得株高测量不必依赖于专业技术人员，将大大提高测量效率与系统的实用性能。该系统精度高，鲁棒性强，具有很高实用价值。

1 LI D, XU L, TAN C, et al. Digitization and visualization of greenhouse tomato plants in indoor environments [J]. Sensors, 2015, 15(2): 4019-4051.

2 MICROBES B. Using depth cameras for biomass estimation—a multi-angle approach [J]. Precision Agriculture, 2015, 15(1): 97-101.

3 杨信廷, 吴滔, 孙传恒,等. 基于WMSN的农作物环境与长势远程监测系统[J/OL]. 农业机械学报, 2013, 44(1): 167-173. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130132&flag=1&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2013.01.032.

YANG Xinting, WU Tao, SUN Chuanheng, et al. Remote monitoring system of crop environment and growing based on WMSN [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(1): 167-173.(in Chinese)

4 KALOXYLOS A, EIGENMANN R, TEVE F, et al. Farm management systems and the future internet era [J]. Computers and Electronics in Agriculture, 2012, 89: 130-144.

5 LATI R N, FILIN S, EIZENBERG H. Estimating plant growth parameters using an energy minimization-based stereovision model [J]. Computers & Electronics in Agriculture, 2013, 98(7):260-271.

6 RICHTER R. Modelling and monitoring urban built environment via multi-source integrated and fused remote sensing data [J]. International Journal of Image & Data Fusion, 2013, 4(1):2-32.

7 刘秀英, 王力, 宋荣杰, 等. 黄绵土风干过程中土壤含水率的光谱预测[J/OL]. 农业机械学报, 2015, 46(4): 266-272.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20150439&flag=1&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.04.039.

LIU Xiuying, WANG Li, SONG Rongjie, et al. Prediction of soil moisture content in air-drying loess using spectral data [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(4): 266-272.(in Chinese)

8 DEBAENE G, NIEDZWIECKI J, PECIO A, et al. Effect of the number of calibration samples on the prediction of several soil properties at the farm-scale [J]. Geoderma, 2014,214-215(2): 114-125.

9 SHAO Y, HE Y. Nitrogen, phosphorus, and potassium prediction in soils, using infrared spectroscopy [J]. Soil Research, 2011, 49(2):166-172.

10 郑立华, 麦春艳, 廖崴,等. 基于Kinect相机的苹果树三维点云配准[J/OL]. 农业机械学报, 2016, 47(5): 9-14.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160502&flag=1&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2016.05.002.

ZHENG Lihua, MAI Chunyan,LIAO Wei, et al. 3D point cloud registration for apple tree based on Kinect camera [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 9-14.(in Chinese)

11 YU Z, CAO Z, WU X, et al. Automatic image-based detection technology for two critical growth stages of maize: emergence and three-leaf stage [J]. Agricultural & Forest Meteorology, 2013, 174-175(12):65-84.

12 高巍, 陈进, 李耀明. 农作物高度自动测量装置的研制[J]. 农机化研究, 2004,26(4): 114-116.

GAO Wei, CHEN Jin, LI Yaoming. Research of the crop height automatic measuring system [J]. Journal of Agricultural Mechanization Research, 2004,26(4): 114-116.(in Chinese)

13 李霞, 王维新, 宋海堂. 基于超声波技术棉株高度自动测量的研究[J]. 农机化研究, 2008,30(6):187-189.

LI Xia, WANG Weixin, SONG Haitang. Research of cotton altitude automation measurement based on ultrasonic technology [J]. Journal of Agricultural Mechanization Research, 2008,30(6):187-189.(in Chinese)

14 张邦成, 张玉玲, 王昕, 等. 超声红外复合测距系统设计[J]. 制造业自动化, 2011, 33(14): 122-124.

ZHANG Bangcheng, ZHANG Yuling, WANG Xin, et al. Design of ultrasonic infrared distance compound measurement system [J]. Manufacturing Automation, 2011, 33(14): 122-124.(in Chinese)

15 李长缨, 滕光辉, 赵春江,等. 利用计算机视觉技术实现对温室植物生长的无损监测[J]. 农业工程学报, 2003, 19(3): 140-143.

LI Changying, TENG Guanghui, ZHAO Chunjiang, et al. Development of non-contact measurement on plant growth in greenhouse using computer vision [J]. Transactions of the CSAE, 2003, 19(3): 140-143.(in Chinese)

16 YU Z, CAO Z, BAI X. Automatic measurement of crops canopy height based on monocular vision [J]. Proceedings of SPIE—the International Society for Optical Engineering, 2011, 8006(2):147-159.

17 蒋普, 耿楠. 基于网络摄像机的株高远程无损测量系统[J]. 农机化研究, 2015,37(4): 68-72.

JIANG Pu, GENG Nan. Crop height non-destructive remote measurement based on IP camera [J]. Journal of Agricultural Mechanization Research, 2015,37(4):68-72.(in Chinese)

18 ZHANG Z. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11):1330-1334.

19 郭新年, 白瑞林, 王秀平, 等. 结构光视觉引导的焊接机器人系统自标定技术[J]. 计算机工程与应用, 2014, 50(19):262-266.

GUO Xinnian, BAI Ruilin, WANG Xiuping, et al. Self-calibration technique for structured light vision guided welding robot system [J]. Computer Engineering and Application, 2014, 50(19): 262-266.(in Chinese)

20 刘子腾, 白瑞林, 王秀平. 基于激光视觉的角焊缝图像特征点提取[J]. 焊接学报, 2016, 37(2):89-93.

LIU Ziteng, BAI Ruilin, WANG Xiuping. Image feature extraction of fillet weld based on laser vision [J]. Transactions of the China Welding Institution, 2016, 37(2): 89-93.(in Chinese)

21 肖华军, 侯力, 游云霞. 一种基于图像融合的多线结构光立体视觉测量方法[J]. 四川大学学报:工程科学版, 2015, 47(3):154-159.

XIAO Huajun, HOU Li, YOU Yunxia. A measurement method of multi-line structured light stereo vision based on image fusion [J]. Journal of Sichuan University: Engineering Science Edition, 2015, 47(3): 154-159.(in Chinese)

22 郭新年, 柯永斌, 王楷, 等. 一种全自动农作物株高测量方法及装置：2017102292830[P]. 2017-04-10.