基于倾斜摄影的玉米种粒三维参数同步测量装置

朱德利，陈兵旗，梁习卉子，杨艳秋



基于倾斜摄影的玉米种粒三维参数同步测量装置

朱德利1,2，陈兵旗1※，梁习卉子1，杨艳秋1

（1. 中国农业大学工学院，北京 100083； 2. 重庆师范大学计算机与信息科学学院，重庆 401331）

为解决脱穗之后的玉米种粒三维特征的获取和分析这个重要而又困难的问题，该研究基于机器视觉技术开发了一种融合三维特征的玉米种粒考种装置。装置通过2块相互垂直的标定板来保留倾斜影像中的空间信息和标定数据，并据此计算三维数据。基于装置的标定数据，用图像处理的方法获取玉米种粒的长度、宽度和厚度数值。通过透视变换，从倾斜摄影图像分别得到水平正摄和垂直正摄的图像；玉米种粒轮廓的长轴和短轴以旋转盘的直径为参考进行计算；玉米种粒的厚度以垂直方向棋盘格标定数据为参考进行计算。按照10 帧/s的帧率和1 280×720的图像分辨率启动图像记录系统。选取180粒不同品种的玉米种粒进行试验。种粒长轴、短轴和厚度测量的均方根误差分别为1.86、1.28和0.741 mm；决定系数分别是0.849 6、0.869 3和0.846 2。使用该装置并配合相应的方法能较为准确的一次性测量玉米种粒的三维参数，该研究可为玉米种粒的精细化考种提供参考。

机器视觉；图像处理；测量；玉米种粒；农业装置；倾斜摄影

0 引 言

玉米作为中国的重要主粮，其品种特性分析判断是农业生产和科研中的重要课题。考种作业即是通过技术手段考查其品种特征特性[1]。研究人员基于计算机视觉技术结合机械、电子等手段针对玉米考种问题已经有一些理论分析及系统实现。针对玉米在穗和脱穗2种状态，分成2种类型的考种模式[2]。其一是针对玉米在穗的考种，主要是玉米还未脱穗前，对玉米穗进行整穗考查，其考查参数包括穗长[3]、穗粗[4]、穗行数[5]、行粒数[6]、秃尖程度[7]、穗质量[8]等；其二是针对玉米种粒的考种，即在玉米从穗上脱粒之后，对玉米种粒进行单独或批量考查，其考查参数包括种粒的长、宽、周长、面积、千粒质量等[9]。相对于传统的基于游标卡尺、卷尺、天平等人工考种而言，这些自动化考种系统在速度、客观性等方面都有较大的技术进步[10]。但是统观已经实现的考种方法和系统，没有能对玉米种粒的长度、宽度和厚度三维特征同时进行有效获取和分析的解决方案。其中部分在穗玉米考种系统能通过旋转玉米穗的方法[11]，用图像处理技术获取每一个种粒的厚度，但是由于种粒还在穗，所以无法通过无损的方法获取其长度和宽度[12]；基于脱穗后的种粒考种方法虽能方便地通过图像处理技术获取种粒的长和宽等参数[13]，但是现有的研究还没有能获取其厚度参数的解决方案，其主要原因是现有采取正面拍摄玉米种粒的方法[14]，获取不了厚度信息。倾斜摄影是近年来在航空摄影测量领域兴起的一种测量方法[15]。它改变了以往正射影像只能从垂直角度拍摄的局限，通过倾斜图像采集装置再配合影像的透视变换进行测量[16]。相对于航空测量来说，玉米种粒考种的测量环境更加可控[17]，因此可以借鉴该理论用于考种领域。本研究设计了一种倾斜摄影配合旋转试验台的自动玉米种粒考种装置，并基于装置的标定数据，试验了用机器视觉技术获取玉米种粒三维参数的测量方法，以期解决玉米考种作业中同步获取种粒长度、宽度和厚度参数的问题。

1 试验装置

试验装置的整体设计原理是，通过倾斜摄影得到玉米种粒的图像，基于装置的标定数据，用图像处理的方法获取玉米种粒的长度、宽度和厚度数值。测量方法是：通过透视变换，从倾斜摄影图像分别得到水平正摄和垂直正摄的图像；玉米种粒轮廓的长轴和短轴以旋转盘的直径为参考进行计算；玉米种粒的厚度以垂直方向棋盘格为参考进行计算。

根据设计原理，装置主要由高清相机、两块相互垂直的标定板、电子衡器及计算机等设备构成，如图1所示。

1）待测玉米种粒放置于步进电机驱动的旋转圆盘上。圆盘采用黑色衬底以便图像处理过程中种粒区域的抽出。水平标定板中间有一个圆孔，圆盘置于圆孔中间。在水平标定板上用线明确的标示出圆盘的外接正方形。该正方形与圆盘的切点及正方形的4个顶点用红色点明确标出。这些点在图像系统中的坐标做为标定数据提供给测量系统，为后续的透视变换提供支持；圆盘的直径作为已知参数亦提供给测量系统，为玉米种粒的长度和宽度测量提供定标数据。均衡考虑玉米种粒的尺寸和考种效率，圆盘的直径设定为200 mm。

2）垂直部分标定板由10×6的黑白棋盘格为主体构成。棋盘格与旋转圆盘的外接正方形对齐，故该棋盘格的每个小方格的边长为20 mm。垂直部分的棋盘格用于为玉米种粒的厚度测量提供定标数据。

3）相机的视角为俯视45°；调节相机与转台的位置，使相机的视场恰好容纳标定板；用1 280×720像素的解析度和10帧/s的帧率采集图像。

1. 三脚架 2.相机云台 3.相机 4.标定板垂直部分 5.标定板水平部分 6.黑色衬底旋转盘 7.步进电机 8.电子衡器 9.铝型材框架 10.步进电机直流电源 11.步进电机控制线 12.质量数据传输线 13.图像数据传输线 14.计算机 15.显示和操作设备

2 测量图像的预处理

2.1 计算垂直正摄和水平正摄图像

当相机垂直于拍摄平面时，物体投影到图像传感器上的图像和物体的真实形状是一致的，如果倾斜拍摄，形成的图像会发生变形，需要通过透视变换来校正[18]。

通常使用齐次坐标的方法表示透视变换[19]。设原始图像像素坐标为（,），表示成齐次坐标为（,,1），对应得到变换后该点的坐标为（,），表示成齐次坐标为（,,），则透视变换可以表示为

在计算完透视矩阵之后一般把矩阵的所有元素都除以33，得到

式中，分别为变换前的像素点的横坐标和纵坐标。

由以上的推导可见，求透视变换的只需要求透视变换矩阵即可，根据该矩阵就能依据某像素变换前的坐标获得该像素在透视图中的坐标位置。

式（3）中共有8个参数，要确定这8个参数的值，需要有8个方程。因此需要4对变换前后图像坐标点。依据此原理，本试验用一次倾斜摄影得到的图像，根据相应的标定获取测量装置的水平正摄图像和垂直正摄图像，然后依据得到的图像获得玉米种粒的三维数据。

试验中根据测量设备的标定获取透视图像的方法如下。

1）从倾斜摄影图像转化为垂直正摄视图图像，以旋转盘的外接正方形标定为基准来确定透视图的新坐标点。其步骤是：

①标定转盘的外接正方形4个顶点分别是(1,2)，(1,2)，(12)，(12)，转盘与该正方形相切且与相机中轴方向一致的切点分别是(12)，(12)，分别取得这些标定点的坐标且存入不同的变量；设垂直正摄视图中对应的坐标点分别是(12)，(1,2)，(12)，(12),设置相应的变量来存储后续的计算结果，如图2所示。

图2 获取垂直正摄图的透视变换坐标方法

②通过比较标定点的坐标，确保2=2,2=2,2=2，以保证测量装置与相机的正确位置。

③点和点的距离作为新的正方形的边长，设边长变量名为，由于、点的纵坐标一致，故=1-1。

④以点为标准计算和两点，其坐标分别是′(1,2-/2)，′(1,2+/2)。

⑤以点为标准计算′和两点，其坐标分别是′(1,2-/2)，′(1,2+/2)。

2）从倾斜摄影图像转化为水平正摄视图图像。基本原理与垂直正摄图像获取方法类似。先取得倾斜摄影图像上的4个特征点，然后计算水平正摄视图图像对应的4个点的坐标值，再结合4对点的坐标值利用透视变换来获取水平正摄图像。根据装置的构造特点，取垂直的棋盘格的第一个黑色正方形的4个顶点为特征点能完成这一标定。

2.2 粘连种粒的分割

为了使玉米种粒的厚度信息能尽可能地被相机采集到，本系统要求在测量前将待测种粒进行离散化操作，消除上下重叠的种粒。尽管如此，也不能排除采集到的图像中有粘连的玉米种粒，故预处理图像时需要对种粒进行分割。本研究引入像素距离测量方法[20-21]，结合分水岭算法[22]进行分割，取得了较好的效果。

首先在转盘标定的基础上确定种粒区域作为图像处理的感兴趣区域（region of interest，ROI），然后对该区域进行二值化操作。由于本研究使用的转盘为黑色衬底，故获取的处理区域灰度图像的直方图会有明显的双峰，使用全局阈值法[23]能获取适于后续处理的二值化图像。对二值图像进行去噪、消除毛刺、填充空洞等预处理操作后，再对像素点进行距离测量，然后结合分水岭算法对图像进行分割。

基于距离计算的分水岭算法流程如图3所示。其原理是[24]：先计算输入二值图像的所有非零元素对其最近零元素的距离；再计算测距图像的梯度；然后根据梯度标识区域，直至没有新的极小区域。当阈值扩展到某一个灰度值，该值会使对应的区域合并时结束，终止的像素位置即对应于分水岭的分割线。

图3 基于距离的分水岭算法流程图

从以上算法的实现过程可知，分水岭算法的关键在于找出分割区域的标识，有多少个标识最终就会分割出多少个封闭区域。通过对玉米种粒的二值化图像的像素点进行距离测量，能保证每个种粒都有一个标识区域。算法的该特性为准确分割多个粘连种粒提供了保证。图4以2个粘连种粒的分割为例，表示了带距离计算的分水岭算法处理过程和结果。

图4 基于距离的分水岭算法处理过程及结果

3 种粒尺寸的计算

3.1 种粒方向的判断和长宽的计算

本系统需要用正确的种粒方向来确定计算种粒厚度所使用的图像帧，宁纪锋等[25]通过计算种粒轮廓的曲率来判断方向，原理较复杂。本研究设计了一种简单的种粒方向判断方法：通过计算玉米种粒轮廓的0阶矩和1阶矩，首先计算出轮廓的形心；然后以距离形心最大的点作为种粒的尖端点；形心与尖端点连线的方向即为种粒的方向。

使用透视变换获得的垂直正摄图像来计算种粒的长和宽。具体测量方法如下。

1）连接轮廓的尖端点和形心点，然后计算这2点决定的直线与轮廓的另一个交点；将点和该交点组成的线段作为长轴；

2）求过形心且垂直于长轴的直线，并计算该直线与玉米种粒轮廓交点，以这两个交点连成的线段作为短轴；

3）以长轴的长度数据作为玉米种粒的长，短轴的长度数据作为玉米种粒的宽。如图5所示。

注：v M为种粒轮廓的形心；N为与形心距离最大的点；L为长轴；S为短轴。

3.2 提取ROI区域所有种粒背面图像

种粒背面图像提取的基本原理是根据每一种粒在第一帧的角度，然后结合测量系统的参数，计算其背部正对相机中轴的图像帧，最后根据坐标关系获取背面图像。操作过程如图6所示。

1）以第一帧图像为基础，按照前述方法对二值图像进行分割后，把第一帧的每一粒种粒进行编号，同时通过种粒方向计算每一种粒相对于相机中轴的角度，并记录该种粒在第一帧中的位置坐标。

2）根据转盘的转速、相机采集图像的帧率等测量系统基本参数，对每一粒种粒分别计算其旋转到背部正对相机的时间，进而获取该时间所对应的图像帧，设其帧号为。

3）从图像序列中取出第帧，根据第一帧每一粒种粒的位置坐标计算旋转到帧后该种粒的位置坐标，设该坐标为。

4）对帧用基于距离的分水岭算法进行二值分割，提取坐标为的分割对象即为该种粒背面正对相机的图像。

由于旋转系统有不可避免的轻微震动，坐标计算过程中也存在一定的误差，故在程序实现时需要把帧中轮廓形心点最靠近坐标的种粒做为目标种粒，可使寻找种粒背面图像的方法更具鲁棒性。

图6 提取ROI区域所有种粒背面图像

3.3 种粒厚度的计算

在种粒长宽数值计算完毕后进入种粒厚度计算程序。以每一种粒的背部图像为基础，计算该种粒在水平正摄视图中的图像，将其做为待求厚度的目标图像。

种粒表面比较光滑，使用图像分割的方法得到其厚度区域是困难的。由于大部分种粒宽度最大处在其种皮背部与胚乳部的交界处。如图7a所示。本研究依据该形状特点，使用水平方向的累计分布图来获取种粒厚度上下边界。

1）在前述种粒分割结果图的基础上，提取被测种粒的二值图像，如图7b所示；

2）计算该二值图像水平方向像素值累计分布数据；

3）种粒的下边界作为其背部的下边界；取累计分布中的最大值所在的位置作为其背部上边界，如图7c所示。

图7 种粒厚度边界的提取和计算

由于透视的关系，该数据还不是种粒真正的厚度数据，故需根据种粒所在的位置，建立空中解析和计算三角形，把上一步测得的数据映射到用于标定的棋盘格平面，从而取得准确的测量结果。

1）如图8所示，设转盘的四条切线组成平面。和两点的连线交于（1,2）点；由于,,,四点的坐标已经标定，故能计算直线和直线的方程，根据两条直线的方程计算点的坐标。

2）设待计算种粒的形心点为(1,2)，可获得、两点确定的直线方程；计算直线和两点的交点，设此点为(1,2)。经点做垂直于直线的线段，其长度为上一步获取的玉米厚度，由此可以确定的坐标1和2。将3点确定的平面命名为。

3）平面中的3点获得后，即可确定空中解算三角形的夹角，设前一步计算得到的玉米图像背部数值为，则映射到棋盘格平面的数值′即可通过解三角形的方法获得。

注： J(j1,j2)为待计算种粒的轮廓形心坐标；b为玉米背部图像的厚度数值；H(h1,h2)为空中解算三角形的一个顶点；x′为映射到垂直标定板的厚度数值；α为空中解算三角形的角度。

4 试验与结果分析

以Microsoft Visual Studio 2010为软件开发工具，结合北京现代富博科技有限公司的ImageSys图像处理平台[26-27]，并使用OpenCV机器视觉算法库[28]完成试验程序的开发。

试验中步进电机带动转盘以10°/s的速度旋转。以10帧/s的帧率和1 280×720像素的分辨率启动图像记录系统。选取鲁单981、农大108、郑单958等3个品种[29-30]作为试验对象，每种玉米60粒，共180粒玉米进行试验。

4.1 变换矩阵计算结果

按照图2的方法进行标定，可以得到获取垂直正摄透视变换矩阵需要的源点和目标点坐标，分别是(62,578)，(749,578)，(115,225)，(685,225)以及′(92,697)，′(715,697)，(′92,73)，′(715,73)。设计算得到的透视变换矩阵为1，该矩阵结果为式（4）。

类似的方法，获取水平正摄透视变换矩阵需要的源点和目标点坐标。计算得到新的透视变换矩阵为2′，该矩阵结果为式（5）。

以图2所示的图像为例，经过透视变换后，得到如图9a所示的垂直正摄图和如图9b所示的水平正摄图。

图9 透视变换后获取的垂直和水平正摄图

4.2 不同玉米品种测量的标准差

选取品种为鲁单981的60个种粒样本放入旋转圆盘，启动图像测量系统。36 s后结束图像采集，进入计算程序。在系统的标定数据的基础上，程序分别计算透视变换矩阵，然后再在垂直正摄图的基础上计算每一种粒的长度和宽度，在水平正摄图的基础上计算每一种粒的厚度。最后对该品种的测量数据进行统计。用同样的流程对农大108和郑单958分别进行测量和统计。表1是这3种玉米种粒测量结果的标准差统计。

表1 不同玉米品种测量的标准差

4.3 测量误差分析

本研究采用人工测量数据与图像测量数据进行对比的方式来进行测量误差分析。使用游标卡尺分别对试验样本的粒长、粒宽及其粒厚进行测量。为了保证人工测量数据的准确性，试验中采用3个不同的试验人员对同一样本进行测量，然后取其平均值作为该份样本的人工测量结果。

把3个品种的180个样本的图像测量结果和人工测量结果统计对比，图像测量的误差如图10所示。从图中可以看出，以人工测量数据为基准，图像测量方法对玉米种粒的长度、宽度和厚度测量的均方根误差分别为1.86、1.28和0.741 mm；图像测量值与人工测量值的决定系数分别为0.849 6、0.869 3和0.846 2。统计结果表明图像测量系统的测量结果与人工测量结果之间具有较高的一致性。

图10 种粒三维参数图像测量误差分析

5 结 论

1）该文设计了一种融合三维特征的玉米种粒考种装置。通过倾斜摄影得到玉米种粒的图像，在标定装置已知信息的基础上，用图像处理的方法获取玉米种粒的长度、宽度和厚度数值，结合电子衡器的数据获取千粒质量。通过透视变换，从倾斜摄影图像分别得到水平正摄和垂直正摄的图像；玉米种粒轮廓的长轴和短轴以旋转盘的直径为参考进行计算；玉米种粒的厚度以垂直方向棋盘格标定数据为参考进行计算。

2）以OpenCV配合Visual studio 2010完成试验程序的开发。选取鲁单981、农大108和郑单958等3个品种为对象，每种玉米60粒，共180粒玉米做为样本进行试验。以人工测量数据为基准，图像测量方法对玉米种粒的长度、宽度和厚度测量的均方根误差分别为1.86、1.28和0.741 mm；图像测量值与人工测量值的决定系数分别为0.849 6、0.869 3和0.846 2。试验证明本方法能较为准确地一次性测量玉米种粒的三维参数，可为玉米种粒的精细化考种作业提供参考。

[1] 王传宇，郭新宇，吴升，等. 采用全景技术的机器视觉测量玉米果穗考种指标[J]. 农业工程学报，2013，29(24)：155―162.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Investigate maize ear traits using machine vision with panoramic photography[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 155―162. (in Chinese with English abstract)

[2] Panigrahi S, Misra M K, Willson S. Evaluations of fractal geometry and invariant moments for shape classification of corn germplasm[J]. Computers and Electronics in Agriculture, 1998, 20(1): 1－20.

[3] 齐江涛，张书慧，牛序堂，等. 穗状玉米测产系统设计与试验[J]. 农业机械学报，2011，42(1)：181―185.

Qi Jiangtao, Zhang Shuhui, Niu Xutang, et al. Design and application of yield monitor system for corn ear[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(1): 181―185. (in Chinese with English abstract)

[4] 王慧慧，孙永海，刘晶晶，等. 基于二维离散小波的鲜玉米果穗成熟度的等级评定[J]. 吉林大学学报：工学版，2011，41(2)：574－578.

Wang Huihui, Sun Yonghai, Liu Jingjing, et al. Evaluation of maturity grading of fresh corn ears based on two-dimensional discrete wavelet[J]. Journal of Jilin University: Engineering and Technology Edition, 2011, 41(2): 574－578. (in Chinese with English abstract)

[5] 王侨，陈兵旗，杨曦，等. 用于定向播种的玉米种穗图像精选方法[J]. 农业工程学报，2015，31(1)：170－177.

Wang Qiao, Chen Bingqi, Yang Xi, et al. Corn ears image selection method for directional seeding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 170－177. (in Chinese with English abstract)

[6] 刘长青，陈兵旗. 基于机器视觉的玉米果穗参数的图像测量方法[J]. 农业工程学报，2014，30(6)：131－138.

Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131－138. (in Chinese with English abstract)

[7] 周金辉，马钦，朱德海，等. 基于机器视觉的玉米果穗产量组分性状测量方法[J]. 农业工程学报，2015，31(3)：221―227.

Zhou Jinhui, Ma Qin, Zhu Dehai, et al.Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221―227. (in Chinese with English abstract)

[8] 杨锦忠，张洪生，郝建平，等. 玉米果穗图像单一特征的品种鉴别力评价[J]. 农业工程学报，2011，27(1)：196―200.

Yang Jinzhong, Zhang Hongsheng, Hao Jianping, et al. Identifying maize cultivars by single characteristics of ears using image analysis[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 196―200. (in Chinese with English abstract)

[9] 王传宇，郭新宇，温维亮，等. 基于计算机视觉的玉米种粒形态测量[J]. 农机化研究，2011，33(6)：141－144.

Wang Chuanyu, Guo Xinyu, Wen Weiliang, et al. The measurement of maize kernel shape based on computer vision[J]. Journal of Agricultural Mechanization Research, 2011, 33(6): 141－144. (in Chinese with English abstract)

[10] 曹婧华，冉彦中，郭金城. 玉米考种系统的设计与实现[J]. 长春师范学院学报：自然科学版，2011，30(4)：38－41.

Cao Jinghua, Ran Yanzhong, Guo Jincheng. The design and realization of corn test system[J]. Journal of Changchun Normal University: Natural Science, 2011, 30(4): 38－41. (in Chinese with English abstract)

[11] 柳冠伊，杨小红，白明，等. 基于线阵扫描图像的玉米果穗性状检测技术[J]. 农业机械学报，2013，44(11)：276－280.

Liu Guanyi, Yang Xiaohong, Bai Ming, et al. Detecting techniques of maize ear characters based on line scan image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 276－280. (in Chinese with English abstract)

[12] 段熊春，周金辉，王思嘉. 面向玉米果穗考种测量的图像标定方法[J]. 农机化研究，2014,36(1)：76－79.

Duan Xiongchun, Zhou Jinhui, Wang Sijia. Image calibration method for the ear of corn measurement system[J]. Journal of Agricultural Mechanization Research, 2014, 36(1): 76－79. (in Chinese with English abstract)

[13] 韩仲志，杨锦忠. 计数玉米穗行数的机器视觉研究[J]. 玉米科学，2010，18(2)：146－148，152.

Han Zhongzhi, Yang Jinzhong. Vision research on the machine of counting ear rows in maize[J]. Journal of Maize Sciences, 2010, 18(2): 146－148, 152. (in Chinese with English abstract)

[14] 刘苗腾，郭新宇，温维亮，等. 基于农学参数的玉米叶片表观建模与可视化方法[J]. 农业工程学报，2017，33(19)：187－195.

Liu Miaoteng, Guo Xinyu, Wen Weiliang, et al. Appearance modeling and visualization of maize leaf with agronomic parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 187－195. (in Chinese with English abstract)

[15] 张军国，冯文钊，胡春鹤，等. 无人机航拍林业虫害图像分割复合梯度分水岭算法[J]. 农业工程学报，2017，33(14)：93－99.

Zhang Junguo, Feng Wenzhao, Hu Chunhe, et al. Image segmentation method for forestry unmanned aerial vehicle pest monitoring based on composite gradient watershed algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(14): 93－99. (in Chinese with English abstract)

[16] Kise M, Zhang Q. Creating a panoramic field image using multi-spectral stereovision system[J]. Computers and Electronics in Agriculture, 2008, 60(1): 67－75.

[17] 闸建文，陈永艳. 基于外部特征的玉米品种计算机识别系统[J]. 农业机械学报，2004，35(6)：115－118.

Zha Jianwen, Chen Yongyan. Recognition system for corn species by exterior parameters[J]. Transactions of the Chinese Society for Agricultural Machinery, 2004, 35(6): 115－118. (in Chinese with English abstract)

[18] Sakai N, Yonekawa S, Matsuzaki A. Two-dimensional image analysis of the shape of rice and its application to separating varieties[J]. Journal of Food Engineering, 1996, 27(4): 397－407.

[19] Keefe P D, Draper S R. The measurement of new characters for cultivar identification in wheat using machine vision[J]. Seed Science Technology, 1986(14): 715－724.

[20] Gunasekaran S, Cooper T M, Berlage A G. Evaluating quality factors of corn and soybeans using a computer vision system[J]. Transactions of the ASABE, 1988, 31(4): 1264－1271.

[21] Ng H F, Wilcke W F, Morey R V, et al. Machine vision evaluation of corn kernel mechanical and mold damage [J]. Transactions of the American Society of Agricultural Engineers, 1998, 41(2): 415－420.

[22] 任守纲，马超，谢忠红，等. 基于分水岭和梯度的蝴蝶兰图像分割方法[J]. 农业工程学报，2012，28(9)：125－129.

Ren Shougang, Ma Chao, Xie Zhonghong, et al. Image segmentation algorithm for Phalaenopsis amabilis based on watershed algorithm and gradient[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(9): 125－129. (in Chinese with English abstract)

[23] 张怡卓，佟川，于慧伶. 基于形态学重构的实木地板缺陷分割方法研究[J]. 森林工程，2012，28(3)：14－17.

Zhang Yizhuo, Tong Chuan, Yu Huiling. Research on wood floor defects segmentation based on morphological reconstruction[J]. Forest Engineering, 2012, 28(3): 14－17. (in Chinese with English abstract)

[24] 李文勇，陈梅香，许树坡，等. 基于分水岭和凸包理论的自然场景下未成熟苹果直径测量方法[J]. 农业工程学报，2014，30(23)：207－214.

Li Wenyong, Chen Meixiang, Xu Shupo, et al. Diameter measurement method for immature apple based on watershed and convex hull theory[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(23): 207－214. (in Chinese with English abstract)

[25] 宁纪锋，何东健，杨蜀秦. 玉米籽粒的尖端和胚部的计算机视觉识别[J]. 农业工程学报，2004，20(3)：117－119.

Ning Jifeng, He Dongjian, Yang Shuqin. Identification of tip cap and germ surface of corn kernel using computer vision[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(3): 117－119. (in Chinese with English abstract)

[26] 张兴会. 基于机器视觉的玉米种子穗选及粒选方法研究[D]. 北京：中国农业大学，2012.

Zhang Xinghui. Method of Ear Corn and Corn Seed Selection Based on Image Processing[D]. Beijing: China Agricultural University, 2012. (in Chinese with English abstract)

[27] 王侨，陈兵旗，寇春荣，等. 基于机器视觉的玉米种粒定向定位摆放装置研制[J]. 农业工程学报，2017，33(11)：19－28.

Wang Qiao, Chen Bingqi, Kou Chunrong, et al. Development of corn seed directional positioning machine based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 19－28. (in Chinese with English abstract)

[28] 宋怀波，张传栋，潘景朋，等. 基于凸壳的重叠苹果目标分割与重建算法[J]. 农业工程学报，2013，29(3)：163－168.

Song Huaibo, Zhang Chuandong, Pan Jingpeng, et al. Segmentation and reconstruction of overlapped apple images based on convex hull[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(3): 163－168. (in Chinese with English abstract)

[29] 宋鹏，张晗，王成，等. 玉米高通量自动考种装置设计与试验[J]. 农业工程学报，2017，33(16)：41－47.

Song Peng, Zhang Han, Wang Cheng, et al. Design and experiment of high throughput automatic measuring device for corn[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 41－47. (in Chinese with English abstract)

[30] 杨曦. 基于机器视觉的玉米穗及玉米粒精选算法研究[D]. 北京：中国农业大学，2014.

Yang Xi. Research on the Selection Algorithm of Corn Ears and Seeds Based on Machine Vision[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)

Apparatus for synchronous measuring three dimensional parameters of maize seeds based on oblique photography

Zhu Deli1,2, Chen Bingqi1※, Liang Xihuizi1, Yang Yanqiu1

(1.100083,; 2.401331,)

It is an important and difficult problem to acquire and analyze the three-dimensional characteristics of maize seeds after the ear removal. In this study, a maize seed measuring device and the corresponding algorithm were developed based on oblique photography. The device was used to store the spatial information and the calibration data which were obtained from oblique photography. Through 2 mutually perpendicular calibration plates, the three-dimensional data were calculated based on the obtained information and data. The center of the horizontal plate was provided with a circular hole whose diameter is equal to that of the rotating disk (200 mm in the experiment). The diameter of the round hole was measured as a constant to provide for the system. It provided calibration data for measuring the length and width of maize seeds. The tangent points on the left and right sides and the 4 vertices of the square were clearly marked with red dots. The stepper motor drove the disk to rotate with the speed of 10 degrees per second. The image recording system started with the speed of 10 frames per second and the resolution of 1280×720. With the support of the device, the length, width and thickness of each maize seed were obtained by image processing algorithm. Horizontal and vertical images were taken from oblique photography images by perspective transformation; long axis and short axis of each maize seed were calculated using the diameter of the disk as the reference; the thickness of a maize seed was calculated by taking the calibration data as the reference. Pixel distance measurement method was combined with the watershed algorithm to achieve better image segmentation results. First, global threshold was used to obtain binary image. Then the distance of 2 pixels in the binary image was calculated. At last combined with the watershed algorithm, the boundary of the region was taken as the watershed. A simple and fast calculation method was designed according to the shape characteristics of maize seed to judge the seeds direction. First the centroid was calculated based on the moments of maize contour, and then the pixel whose distance from the centroid was the maximum was taken as the tip of the seed. The direction of the connection between the center and tip point was the direction of the seed. In this study, the length and width of the maize seeds were calculated based on the vertical orthographic images obtained from the perspective transform. Since the centroid position and the tip position of the maize seed contour had been calculated, the length and width of the seeds could be measured based on these data efficiently. After obtaining the back image of a seed in ROI (region of interest), the thickness was calculated based on the horizontal view from the perspective transformation. The boundary of thickness was obtained according to the horizontal cumulative distribution. An analysis and calculation triangle was established according to the location of a seed. The thickness data were mapped on the checkerboard plane, and accurate measurement results were obtained. Microsoft Visual Studio 2010 was taken as the software development tool, and OpenCV machine vision algorithm library was used to develop the experimental program. The experiment was performed with 180 maize seeds selected randomly. The root mean square errors (RMSEs) of the long axis, short axis and thickness were 1.86, 1.28 and 0.741 mm respectively. The determination coefficients of the long axis, short axis and thickness were 0.849 6, 0.869 3 and 0.846 2 respectively. The results show that this device and method can be used to measure the three-dimensional parameters of maize seeds with a relative high accuracy.

machine vision; image processing; measurement; maize seeds; agricultural equipment; oblique photography

2017-09-18

2018-01-05

国家高技术研究发展计划（2012AA10A501-5）；重庆市教委科技计划（KJ1500320）

朱德利，四川荣县人，博士生，副教授，主要从事机器学习与机器视觉在农业工程中的应用研究。Email：zhudeli@cau.edu.cn

陈兵旗，河南沁阳人，教授，主要从事图像处理与机器视觉方面的研究。Email：fbcbq@163.com

10.11975/j.issn.1002-6819.2018.04.024

TP391

A

1002-6819(2018)-04-0201-08

朱德利，陈兵旗，梁习卉子，杨艳秋. 基于倾斜摄影的玉米种粒三维参数同步测量装置[J]. 农业工程学报，2018，34(4)：201－208.doi：10.11975/j.issn.1002-6819.2018.04.024 http://www.tcsae.org

Zhu Deli, Chen Bingqi, Liang Xihuizi, Yang Yanqiu. Apparatus for synchronous measuring three dimensional parameters of maize seeds based on oblique photography[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(4): 201－208. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.04.024 http://www.tcsae.org