基于光度立体视觉的蔬菜秧苗叶片形态测量方法

冯青春 陈 建 李翠玲 范鹏飞 王 秀

(1.北京农业智能装备技术研究中心， 北京 100097； 2.中国农业大学工学院， 北京 100083；3.国家农业智能装备工程技术研究中心， 北京 100097； 4.农业智能装备技术北京市重点实验室， 北京 100097)

0 引言

植物叶片形态是其自身生理状况的客观反映[1]。通过叶片长度、面积和倾角等形态特征评估，精确调控光、肥、水、温等植物生长环境因素[2]，是实现农作物精细化高效生产的重要途径。特别是在蔬菜秧苗培育阶段，幼苗生长密集、抗逆性差，需要定期观察叶片外观特征了解秧苗生长状况，以实施相应的农艺管理。我国是蔬菜产销大国，蔬菜秧苗年需求量约6 800亿株[3]，由人工对苗床秧苗生长状况进行判别和管理耗时费力，因此探索研究秧苗叶片形态智能化在线监测技术，对于促进蔬菜种苗高效精细化生产管理具有重要意义。

机器视觉是应用于植物形态非接触在线监测的主要技术手段。目前针对植物叶片形态视觉测量方法研究主要分为被动探测和主动探测。其中被动探测主要针对二维图像信息，研究分析叶片色彩[4-6]、轮廓提取[7-11]以及重叠叶片分割[12-13]等，但无法恢复叶片空间曲面信息；主动探测通过集成激光[14]和结构光[15]等辅助测量部件，与图像信息进行融合以恢复叶片立体信息，测量误差小，但是成本偏高。由于秧苗叶片呈空间簇生聚集、弯曲倾斜生长，因此融合多元视觉信息以恢复叶片空间形态信息，是提高秧苗形态视觉测量准确性和实用性的有效措施。目前基于图像信息获取植物叶片空间形态的相关研究[14-17]，主要以单叶片为测量对象，测量装置复杂、数据冗余量大、实时性差，不易满足苗床秧苗在线测量需要。

本文以辣椒苗为研究对象，从苗床秧苗叶片形态在线自动测量实际需求着手，采用光度立体视觉测量技术手段，通过解析多角度光源照射下的秧苗叶片图像明暗特征，探测叶片空间曲面梯度信息，研究融合立体信息的秧苗叶片长度和面积测量方法，以期为秧苗长势在线监测智能设备的研发提供技术保障。

1 测量方法与系统

1.1 试验装置构成

图1所示为试验装置，4组1.5W 白色面阵(20 mm×20 mm)LED光源均布于500 mm×500 mm×500 mm规格的密封灯箱内。Pointgray FL3- U3- 13S2C型彩色摄像机搭配5 mm焦距镜头，安装于灯箱顶部中心位置。光源对称布置于摄像机四周，光源中心射线汇聚于摄像机视场正下方，待测秧苗放置于摄像机正下方。为了提高秧苗叶片识别效率，灯箱底部安装黑色背景板。以辣椒苗为试验对象，其叶片外接圆柱的直径约60 mm，距灯箱底部100～150 mm。

图1 测量系统示意图Fig.1 Sketch of measurement system 1.摄像机 2.灯箱 3～6.光源 7.秧苗 8.背景板

图2 秧苗叶片图像Fig.2 Seedling leaves image1.逆光朝向叶片 2.背光朝向叶片

1.2 光度立体测量原理

空间位置确定的光源均匀照射于物体表面，物体不同区域反射强度(即对应的图像亮度)受其表面朝向特征约束。如图2所示，为单光源照射下秧苗叶片图像。本文试验系统中光源对秧苗叶片区域的照射立体角δ约10°，在该有限空间内忽略光源照射特性变异，近似认为其在秧苗叶片空间区域内为平行光照射，且照射强度相同，则秧苗叶片反射强度符合约束关系[18-19]

(1)

式中Q——场景反射强度

E——光源照射强度

ps、qs——光源照射方向向量x、y轴分量

p、q——叶片表面观测法向量x、y轴分量

若已知多组光源照射下的叶片图像明暗信息，则可以测算表征叶片空间朝向的表面法向量。

设叶片表面空间点P对应摄像机坐标系下P(x,y,z(x,y))，该点x、y方向切向量分别为

(2)

其中zx、zy分别为叶片表面曲面方程z=z(x,y)对x、y变量的偏导数。

则P点处曲面对应曲面实际法向量n可表示为x、y方向切向量的叉乘，即

n=(1,0,zx)×(0,1,zy)=(-zx,-zy,1)

(3)

因此采用光度立体视觉恢复叶片表面形态的基本原理是基于叶片图像明暗信息获取表面空间梯度向量，即作为观测法向量，通过求解离散空间点观测法向量=(p,q,1)与实际法向量n的最优逼近关系，进而拟合叶片表面空间曲面数学方程z=(x,y)。

2 视觉系统标定

2.1 光源照射向量标定

以不锈钢镜面反射球为标定物，对光源在摄像机坐标系OXYZ下的坐标进行标定。如图3所示，将标定球放置于摄像机视场内，开启4组光源，设P为其中1组光源照射下标定球上的高光点，C为标定球中心点，r为标定球半径，假设已知标定平面与摄像机坐标系的投影变换关系(通过摄像机标定可得)，则标定球中心C和高光点P的空间坐标已知，由光线发射原理可得

(4)

式中L——光源对P点照射方向的单位向量

N——球面单位法向量，即球心与P连线方向的单位向量

R——反射方向单位向量

θ——R与N夹角

其中PP′与N为共线向量，则L为

L=2(R·N)N-R

(5)

图3 光源方位标定Fig.3 Lamporientation calibration

将标定球放置于摄像机视场不同位置，如此重复，得到针对同一光源的多组照射向量Li(αi,βi,γi)及其对应高光点坐标Pi(xi,yi,zi)，则光源射线方程为

(6)

求解多组光源射线交点坐标的平均值，作为光源的空间坐标Pl(xl,yl,zl)。

2.2 图像亮度矫正

鉴于不同LED光源发光色度、强度和空间姿态各不相同，需要对不同光源照射下的图像进行色彩矫正，以克服由光源辐射差异对测量目标成像色彩的影响。将D65(白色)标准色板放置于摄像机正下方(秧苗叶片成像区域)，依次开启4组光源采集标准板图像。根据秧苗叶片成像区域范围，取标准色板图像中心半径500像素圆形区域为色彩矫正采样区域，分别求4组光源照射下该区域标准色板图像色彩分量平均值R′i、G′i、B′i(i=1,2,3,4)。

本文以3号灯照射下标准色板图像色彩为参考，设i号光源对应色板RGB色彩分量的各自矫正系数为JRi、JGi、JBi，则该光源照射下的标准板成像色彩满足

(7)

求解图像矫正前后1号、2号和4号光源与3号光源照射下D65色板图像的Lab色差，统计结果如图4所示。线性矫正系数使得Lab色差值明显减小，并保持稳定，有效保证了不同光源照射下目标图像色彩的恒常呈现。

图4 D65色板Lab色差对比结果Fig.4 Comparison result of Lab distortion of D65 palette

将标定所得矫正系数应用于对应光源照射下秧苗叶片及D65色板图像，矫正处理前后图像色彩如图5所示。

3 秧苗叶片形态测算

3.1 图像亮度解析

为准确解析与叶片反射强度相对应的图像亮度，本文采用在XYZ色彩空间中表征图像色彩信息，该色彩系统中Y分量可独立表示图像亮度[20-21]。根据BT.709色彩标准[22]，数字图像RGB色彩分量与Y亮度分量变换关系为

图5 秧苗叶片及D65色板图像矫正前后对比Fig.5 Comparison of original and corrected images of seedling leaf and D65 palette

(8)

式中Ri、Gi、Bi——秧苗图像红、绿、蓝分量灰度

图6a为色彩矫正后的秧苗叶片彩色图像，求解图像亮度数据后，将其映射为灰度图像，如图6b所示。

图6 图像亮度解析Fig.6 Image luminance extraction

3.2 离散点空间法向量测算

将标定后的光源i的照射向量li设为(psi,qsi,1)，设叶片表面一点对应法向量=(p,q,1)。通过图像亮度矫正，认为4组光源强度E为常数，令E=1。由式(1)可得在不同光源照射下该点图像像素亮度Yi为

(9)

求解M的伪逆矩阵，可得与图像明暗信息相关的观测法向量的最小二乘解=(MTM)-1MTY。

3.3 叶片空间形态估计

图7 叶片平面拟合Fig.7 Fitting leaf plane

探测叶片空间朝向倾角，是基于图像信息测量其立体形态的关键。鉴于蔬菜苗期叶片较短，叶片生长朝向主要取决于叶柄顶端弯曲形态(图7)，叶柄以上叶片主叶脉方向弯曲程度有限，若忽略叶片短轴方向(垂直于主叶脉)弯曲，可近似认为叶片为空间平面，从而可根据主叶脉区域的立体倾角信息评估叶片整体形态。

如图8所示，以叶片长轴中心为起点，其两侧等间距各取2个20像素直径的亮度采样区域。设采样区域m在光源i照射下平均亮度为Yim，由式(9)分别求不同采样区域对应的观测法向量m=(pm,qm,1)。设叶片平面满足方程z=ax+by+c，则采样区域m的中心点(xm,ym,zm)处叶片实际法向量为nm=(-zxm,-zym,1)。由最小二乘原理[23]可得，若观测法向量m与叶片实际法向量nm偏差最小，需满足二者偏差平方和导数为零。

(10)

图8 离散区域亮度采样Fig.8 Luminance sampling on discrete area

其中，平面方程在x和y轴方向偏导数zxm和zym分别为常数a和b，代入5个采样区域的观测法向量m(m=1,2,3,4,5)，由式(10)求解得a=于是叶片垂直(沿摄像机坐标系Z轴方向)倾角ω可表示为

(11)

根据摄像机透视模型可知，在秧苗冠层叶片分布的有限高度范围内，图像尺寸与物理尺寸比例系数可设为k(由摄像机内部参数标定可得)，则叶片空间物理长度L和面积S估算为

(12)

式中l——图像中叶片长轴长度，像素

s——图像中叶片面积，像素×像素

4 试验与分析

4.1 试验设计

为了验证本文秧苗叶片形态评估方法的测量精度，通过光度立体视觉试验系统(图1)，对辣椒秧苗的叶片倾角、叶长和面积进行测量，同时由人工测量作为对照(图9、10)。采用坐标纸测量叶片长度L和面积S。采用激光传感器测得叶片长轴两端点高度差值Δd，其倾角计算为ω=arccos(Δd/L)。试验过程中采用Cognex VisonPro图像处理软件，由人工对秧苗叶片图像长度和面积进行精确测量，依此为依据对秧苗实际形态参数进行测量，以避免叶片像素识别算法(本文未涉及)误差对立体视觉测量精度的影响。

图9 叶片倾角人工测量图Fig.9 Manually measuring image of leaf inclination1.激光测距传感器 2.水平滑台

图10 叶片尺寸人工测量图Fig.10 Manual measuring image of leaf size

试验样本为随机抽取的15～30 d苗龄辣椒秧苗(图11)。其中1号苗为15 d小苗，叶片较小，且分散生长；2号苗苗龄20 d，其中两片叶初现病害，略有卷曲，其他3片叶生长正常；3号苗为30 d壮苗，叶片较大，且生长密集。

4.2 结果与分析

试验测得的17片秧苗叶片形态数据统计如表1所示，包括叶片垂直倾角、叶长、叶面积的视觉自动测量和人工测量结果。由于人工测量秧苗叶片形态过程中，为了方便测量，需要对其施加外部作用力，从而对其自主生长形态造成了干扰，因此表1中秧苗叶片形态人工测量结果也无法真实反映叶片的形态参数，仅作为视觉自动测量结果的对照数据，以评价其测量效果。

由表1可知，与人工测量结果相比，视觉系统自动测量所得秧苗叶片倾角平均偏差为6.29°、叶长平均偏差3.82 mm、叶面积平均偏差56.53 mm2。由于人工测量需要用外力伸展叶片，从而改变其真实形态，因此人工测量叶片长度和面积均大于视觉自动测量结果，且由于2号苗第4叶片和3号苗第2叶片存在15°垂直倾角测量偏差，其长度测量偏差最大值为8 mm，此外2号苗第2、3叶片和3号苗第5、7叶片面积测量偏差较大，最大值为130 mm2。

图11 试验秧苗图像Fig.11 Seedling samples images

叶片序号图像尺寸/像素倾角/(°)叶长/mm面积/mm2长轴长度面积自动测量人工测量测量偏差自动测量人工测量测量偏差自动测量人工测量测量偏差120516458403552530-5190255-65216395105321518-384120-361号苗32722380010732630-4175190-15424216406131032328-5149203-54528729025161512830-2267290-23平均偏差2.80-3.80-38.60128525168393543435-1287320-33215622183120111720-322125-1032号苗318478541225-131725-871163-924357274811833-153540-5256315-59523020668283022427-3207250-43平均偏差9.00-4.00-66.00126125199211922630-4239254-152322320543621153745-8315380-65325521744251692628-2212287-753号苗41501211610731415-1109120-115259233882027-72530-5220350-130634937017201733440-6349405-56715813385817-915150119205-86平均偏差6.86-3.71-62.57总体平均偏差6.29-3.82-56.53

就秧苗整株测量效果而言，由于短苗年龄的1号苗(图11a)叶片生长分散、无遮挡，且叶片伸展充分，叶片反射明暗信息无干扰，视觉系统对其测量精度较高，叶片倾角平均偏差为2.80°、叶长平均偏差为3.8 mm、叶面积平均偏差为38.60 mm2。视觉系统对于2号和3号秧苗叶片的测量平均精度略低，原因在于2号苗第4叶片(图11b)和3号苗第2叶片(图11c)受到上层叶片遮挡阴影影响，其亮度出现突变；2号苗第2、3叶片(图11b)和3号苗第7叶片(图11c)为新叶或病叶，其横向卷曲明显，光源照射下叶片边缘阴影对叶片中心区域亮度造成干扰。以上现象均会导致光源不能对叶片整体进行均匀照射，进而影响叶片反射强度解析，是造成光度立体测量误差较大的客观因素。

鉴于本试验中人工测量的叶片长度和面积数据结果，是在施加外力改变叶片自然伸展状态下测量所得，与叶片真实形态略有差异，即视觉系统自动测得结果与人工测量结果之间偏差，不能准确反映视觉系统自动测量误差。因此本文采用两种测量结果相关性分析，对视觉系统测量精度进行评估。如图12、13所示，自动测量结果与人工测量结果线性关系拟合效果，对于叶片长度和面积，视觉系统自动测量与人工测量结果的决定系数分别为0.936 3、0.866 4。叶片面积测量结果相关性略低于叶片长度测量结果，主要原因在于本文测量方法只恢复叶片长轴方向倾斜信息，忽略叶片短轴方向倾斜和卷曲情况，以简化测量运算过程。因此对于新叶和病叶，其短轴方向倾斜和卷曲程度较大，引入叶片短轴方向的误差对面积测量的影响比较明显。

图12 叶片长度测量结果相关性Fig.12 Auto and manual measurement results correlation on leaf length

此外，叶片图像长度和面积尺寸与人工测量结果的决定系数分别为0.869 2和0.791 4(图12和图13)。因此比较而言，本文视觉系统与人工测量结果具有更好的相关性，其明显改善了秧苗叶片形态评估的准确性，有效克服了二维图像对秧苗形态测量精度不高的问题。

5 结束语

针对蔬菜秧苗长势视觉监测需要，采用光度立体视觉技术获取叶片立体信息，以提高视觉系统对其外观形态的测量精度。通过光源方位测算和图像色彩解析，实现多点光源的照射方向标定和强度差异矫正；基于光度立体视觉技术，融合不同光源照射下秧苗叶片图像Y分量亮度信息，恢复叶片长轴方向离散区域梯度向量，进而拟合叶片空间平面方程，据此测算叶片形态空间测算。试验表明，视觉系统对辣椒秧苗叶片倾角、长度和面积的测量结果与人工测量之间的平均偏差分别为6.29°、3.82 mm、56.53 mm2，其中长度和面积测量结果与人工测量的决定系数分别为0.936 3、0.866 4，且对于叶片伸展充分、分散遮挡的幼龄秧苗测量精度较高。视觉系统明显改善了基于二维图像信息对叶片形态的评估精度，为进一步开发温室苗床秧苗长势智能监测设备提供了重要技术支撑。

图13 叶片面积测量结果相关性Fig.13 Auto and manual measurement results correlation on leaf size

1 张凯,魏敏芝,陈青云,等.黄瓜穴盘苗壮苗指标的初步研究[J]. 华中农业大学学报,2004,35(增刊2):240-244.

ZHANG Kai, WEI Minzhi, CHEN Qingyun, et al. Study on the healthy index of the plug seedling of the cucumber[J]. Journal of Huazhong Agricultural University, 2004, 35(Supp.2): 240-244.(in Chinese)

2 韦泽秀,梁银丽,周茂娟,等.水肥组合对日光温室黄瓜叶片生长和产量的影响[J].农业工程学报,2010,26(3):69-74.

WEI Zexiu, LIANG Yinli, ZHOU Maojuan, et al. Physiological characteristics of leaf growth and yield of cucumber under different watering and fertilizer coupling treatments in greenhouse[J]. Transactions of the CSAE, 2010, 26(3): 69-74. (in Chinese)

3 郝金魁,张西群,齐新,等.工厂化育苗技术现状与发展对策[J].江苏农业科学,2012,40(1):349-351.

HAO Jinkui, ZHANG Xiqun, QI Xin, et al. Present situation and development countermeasures of factory nursery technology[J]. Jiangsu Agricultural Sciences, 2012, 40(1): 349-351. (in Chinese)

4 HUANG Kuoyi. Application of artificial neural network for detecting Phalaenopsis seedling diseases using color and texture features[J]. Computers and Electronics in Agriculture, 2007, 57: 3-11.

5 张彦娥,李民赞,张喜杰,等.基于计算机视觉技术的温室黄瓜叶片营养信息检测[J].农业工程学报,2005,21(8):102-105.

ZHANG Yan’e, LI Minzan, ZHANG Xijie, et al. Nutrition information extraction of the cucumber leaves in the greenhouse based on computer vision technology[J]. Transactions of the CSAE, 2005, 21(8):102-105. (in Chinese)

6 张雷,贺虎,武传宇.蔬菜嫁接机器人嫁接苗特征参数的视觉测量方法[J].农业工程学报,2015,31(9):32-38.

ZHANG Lei, HE Hu, WU Chuanyu. Vision method for measuring grafted seedling properties of vegetable grafted robot[J]. Transactions of the CSAE, 2015, 31(9):32-38. (in Chinese)

7 杨意,初麒,杨艳丽,等.基于机器视觉的白掌组培苗在线分级方法[J].农业工程学报,2016,32(8):33-40.

YANG Yi, CHU Qi, YANG Yanli, et al. Online grading method for tissue culture seedlings ofSpathiphyllumfloribundumbased on machine vision[J]. Transactions of the CSAE, 2016, 32(8):33-40. (in Chinese)

8 FLORA Yuhui, LAI Tsungcheng, LIU Tingyu. An automated growth measurement system for leafy vegetables[J]. Biosystems Engineering, 2014,117:43-50.

9 GISELSSON T M, MIDTIBY H S. Seedling discrimination with shape features derived from a distance transform[J]. Sensors, 2013, 13: 5585-5602.

10 YU Zhenghong, CAO Zhiguo, WU Xi. Automatic image-based detection technology for two critical growth stages of maize: emergence and three-leaf stage[J]. Agricultural and Forest Meteorology, 2013, 174: 68-84.

11 TONG J H, LI J B, JIANG H Y. Machine vision techniques for the evaluation of seedling quality based on leaf area[J]. Biosystems Enginering, 2013, 115: 369-379.

12 孙国祥, 汪小旵，何国敏. 基于边缘链码信息的番茄苗重叠叶面分割算法[J].农业工程学报,2010, 26(12): 206-211.

SUN Guoxiang, WANG Xiaochan, HE Guomin. Segmentation algorithm of overlapping tomato seedling leaves based on edge chaincode information[J]. Transactions of the CSAE, 2010, 26(12):206-211. (in Chinese)

13 JULIO C Pastrana, THOMAS Rath. Novel image processing approach for solving the overlapping problem in agriculture[J]. Biosystems Enginering, 2013, 115: 106-115.

14 张新,赵燕东,郑力嘉, 等.基于三维机器视觉的植物叶片萎蔫预测模型[J/OL].农业机械学报,2014,45(9):260-267. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20140942&flag=1&journal_id=jcsam.DOI:10.6041/j.issn.100-1298.2014.09.042.

ZHANG Xin, ZHAO Yandong, ZHENG Lijia, et al. Prediction model of plant leaf wilting using 3-D machine vision[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9):260-267. (in Chinese)

15 冯青春,刘新南,姜凯,等.基于线结构光视觉的穴盘苗外形参数在线测量系统研制及试验[J].农业工程学报,2013,29(21):143-149.

FENG Qingchun, LIU Xinnan, JIANG Kai, et al. Development and experiment on system for tray-seedling on-line measurement based on line structured-light vision[J]. Transactions of the CSAE, 2013, 29(21):143-149. (in Chinese)

16 王传宇,赵明,阎建河,等.基于双目立体视觉技术的玉米叶片三维重建[J].农业工程学报,2010,26(4):198-202.

WANG Chuanyu, ZHAO Ming, YAN Jianhe, et al. Three-dimensional reconstruction of maize leaves based on binocular stereovision system[J]. Transactions of the CSAE, 2010, 26(4): 198-202. (in Chinese)

17 于合龙,黄浦,苏红宏,等.基于双目视觉的植物叶片三维形态与光照度同步测量[J].农业工程学报,2016,32(10):149-156.

YU Helong, HUANG Pu, SU Honghong, et al. Synchronous measurement of 3D morphology and illuminance of plant leaves based on binocular vision[J]. Transactions of the CSAE, 2016, 32(10):149-156. (in Chinese)

18 谢利民.基于近场照明的光度立体视觉算法研究[D].武汉：华中科技大学, 2015.

XIE Limin. Research on photometric stereo algorithm based on near-field lighting[D]. Wuhan: Huazhong University of Science & Technology,2015. (in Chinese)

19 程岳.基于光度立体的高质量表面重建研究[D].杭州：浙江大学,2013.

CHENG Yue. High quality surface reconstruction using photometric stereo[D]. Hangzhou: Zhejiang University, 2013.(in Chinese)

20 芦碧波,李玉静,王玉琨,等.亮度分区自适应对数色调映射算法[J].计算机应用研究,2018,35(9):1-8.

LU Bibo, LI Yujing, WANG Yukun, et al. Adaptive logarithmic tone mapping arithmetic with luminance regionalization[J]. Application Research of Computers, 2018, 35(9):1-8. (in Chinese)

21 郭惠楠,曹剑中,王华,等.高动态范围数字相机sRGB 色彩空间颜色管理[J].红外与激光工程,2014,43(增刊):238-242.

GUO Huinan, CAO Jianzhong, WANG Hua, et al. Color management of sRGB color space for HDR digital camera[J]. Infrared and Laser Engineering, 2014, 43(Supp.):238-242. (in Chinese)

22 朱磊.色域扩展技术的研究与实现[D].上海：上海交通大学,2008.

ZHU Lei. Design and implementation of gamut extension techniques[J]. Shanghai: Shanghai Jiao Tong University, 2008.(in Chinese)

23 刘志平, 石林英. 最小二乘法原理及其Matlab实现[J]. 中国西部科技, 2008(17):33-34.

LIU Zhiping, SHI Linying. The principle of least square algorithm and its achievement by Matlab[J]. Science and Technology of West China, 2008(17):33-34. (in Chinese)