基于图像分析的小麦籽粒高通量表型系统研究

赵华民，葛春静，贾举庆，张淑娟

（1.山西农业大学农业工程学院，山西 太谷 030801；2.山西农业大学农学院，山西 太谷 030801）

小麦作为全球主要的粮食作物之一，其新品种选育对于粮食产量的提高具有重要意义。如何准确快速提取小麦籽粒表型数据在小麦基因选择过程中非常重要。传统的小麦表型信息提取采用人工方式，效率低，工作量大，测量指标较少，并且不同人员测量容易产生较大误差，因此传统的表型信息提取方法被认为是影响新品种选育的主要瓶颈［1］。现阶段虽然有公司开发了测量籽粒的仪器，但价格昂贵。因此，开发一种成本低、使用简单且能够快速高效提取小麦籽粒表型信息的方式对于小麦新品种选育具有重要意义。

基于图像分析进行表型信息提取具有提取速度快、测量结果统一、无需接触等各种优点，受到广大植物表型研究者的关注。目前通过图像分析获取果实形状［2］、大小、叶片面积［3，4］等表型信息的研究已取得较多进展［5－10］，在籽粒表型信息获取方面也有一定的研究。Herridge等［11］利用扫描仪的扫描获取图像功能，开发了一种快速和高通量分析种子大小的方法，具有较高的精度和稳定性。Kara等［12］采用图像分析技术对12种菜豆的籽粒表型信息进行提取，并采用PCA方法分析了影响菜豆表型的主要影响因素。Tanabata等［13］研究出一款名为Smart Grain的小麦种子表型软件，通过图像分析方法获取种子的长径、短径、面积等表型信息，并通过对水稻种子的分析验证了其有效性。肖杰［14］、Mussadiq［15］、王娜［16］等采用Smart Grain软件进行小麦籽粒表型分析，并成功对基因进行了定位。Daniel等［17］采用数字成像软件，对热带抗Striga玉米群体的17个自交系的10个种子形态性状进行了数字测量和计算。Sakai等［18］研究出一套大豆种子形状三维图像分析系统，采用将单个大豆种子穿在针上旋转的方式进行拍照分析，但一次只能对一粒种子进行测量，效率较低。Baek等［19］利用两个呈90°夹角的摄像头，采用imageJ软件结合python、Java语言等研究出一套用于测量大豆表型信息的系统，一次可以获取多个大豆的长短径及颜色等信息，具有较高的测试效率。Amaravadi［20］研究出基于OpenCV的手机端APP，主要用于多种作物籽粒的计数，但不能进行颜色分析。以上开发的系统或者软件，大多采用较多的软件和设备，运行环境配置复杂，所需设备价格昂贵，不利于育种专业科研工作者使用，并且大多数源代码没有公开，Smart Grain等公开软件的链接也已失效，导致目前多数育种者还是靠手工获取籽粒表型信息。

本研究基于小麦育种需求，采用机器视觉技术，开发一种基于matlab GUI和图像处理算法的小麦籽粒高通量表型系统，可以大大提高育种者的工作效率。

1 材料与方法

1.1 系统功能介绍

本系统采用Matlab GUI开发，运行流程如图1所示。系统可以通过连接在PC上的摄像头获取图片，也可以直接打开已经在计算机中存在的图片进行分析。载入图片后，系统首先进行阈值分割提取小麦籽粒区域，然后进行籽粒计数，测量多个麦粒的长径、短径、长宽比、面积、周长等表型信息，并对多个麦粒测量值求取平均值和标准差，最后将测量结果输出到CSV文件中。另外，本系统还可以单独分析某一个指定籽粒的表型信息和颜色信息。

图1 小麦籽粒表型分析系统流程

为了方便进行籽粒品种的管理和判别，本系统还内置了卷积神经网络的训练和分类程序，用户可以自己建立数据集，然后采用本系统训练自己的模型，并将获取的小麦籽粒照片用训练好的模型进行判别，可以作为籽粒亲本判别的参考。

1.2 图像采集设备

本系统图像采集设备如图2所示。包括暗室、摄像头（晟悦SY8031，最高分辨率3 264×2 448）、两条LED灯条、自动控制升降台（可以根据籽粒的多少自由调节，以调节摄像头的视野大小）、LED灯板（升降台上放置）。小麦籽粒放置在LED灯板上。灯条和灯板的色温都为5 500 K。

图2 图像获取设备

1.3 主界面功能实现

系统运行主界面如图3所示。主界面左下角第一列按钮为图像加载按钮，可以通过“Turn on the camera”按钮打开与电脑连接的摄像头。也可以通过“Load image”加载已经存储在PC中的小 麦籽粒照片。

图3 系统主界面

小麦籽粒照片加载后，通过点击“Separated binary image”按键去除麦粒背景。麦粒背景去除流程如图4所示。

图4 麦粒背景去除流程图

经过试验发现，本系统利用全局阈值分割能最完整地将小麦籽粒与背景分割开，因此采用全局阈值分割法分割小麦图像。按下按钮后，首先采用RGB2gray将图像变为灰度图像，然后采用imadjust函数对灰度图像进行灰度变换增强，并使用imhist函数画出灰度图像的直方图以便确定合适的阈值，最后采用全局阈值算法将灰度图像变为二值图像。为了使图像的边缘更平滑，使用medfilt2函数对二值图像进行3×3模板的中值滤波；图像中还可能存在肉眼不易察觉的细小孔洞，因此使用imfill函数进行孔洞填充，然后使用bwareaopen函数把干扰面积去除，最后用imshow函数显示分割好的高质量二值图像，通过测量分割后的二值化椭圆区域的长径、短径、面积和周长，得到籽粒长径、短径、面积和周长。

上述操作后得到的只是小麦籽粒阈值分割后的二值图像，为进行后续的颜色分析，还需要得到背景为黑色而目标为彩色的图像。为此，系统对二值图像先进行闭运算再进行开运算，进一步消除细小物体和填充孔洞，然后与原图像进行差运算得到去除背景的RGB图像，如图3所示。图中分离出的标号1的圆形区域为直径25 mm、面积等同于1元人民币硬币的标准面积标签，用于小麦实际面积计算。系统使用时默认将其放置于图像的左上角，作为第一个分割区域，计数时减去此区域。

图像分离后，通过Seed count按键进行籽粒计数。采用bwlabel函数标记出二值图像中连通的区域，然后用max函数计算标记的个数。如图3中区域编号8，排除标准面积标签区域后，计数显示 为7。依次点击 Amean、Lmean、Smean、Rmean按键分别求取所有籽粒实际面积、长径、短径和周长的平均值；点击Astd、Lstd、Sstd、Rstd分别求取所有籽粒面积、长径、短径和周长的标准差。计算采用regionprops函数，首先得到籽粒区域的像素面积，然后对标准标签面积做比值，得到实际面积。所有籽粒表型参数都求出后，点击“Save to CSV”可以将图片中所有籽粒的各项表型参数以及平均值和标准差存入CSV文件，便于后期分析。本系统一次可以对几十甚至上百粒籽粒进行分析和测量，只需调节升降台高度将所有籽粒都放进相机的视野。

为方便籽粒分类和判别，本系统还内置了卷积神经网络分类和训练功能，如图3 Model discrimination和Model training区域按键。系统预设了MATLAB Deep Learning Toolbox中 Alexnet、Vgg16、Vgg19和Resnet50四种网络预训练模型。用户使用时可以按照要求建立自己的小麦籽粒数据集，存入指定目录后，点击想用的预训练网络，训练自己的小麦籽粒分类模型。神经网络模型训练好后，用户若在试验中遇到未知种类的新品种，就可以采用此神经网络进行判别，找到与此籽粒相似的类别，以便更好地进行后续分析。本系统利用7个不同品种小麦建立数据集，然后采用Vgg16网络进行训练，结果验证集精度最高达到89.73%。

1.4 单籽粒表型信息分析

在主界面点击‘Color analysis’按钮和‘Morphological analysis’按钮，将分别进入颜色分析子界面和单籽粒形态分析子界面（图5、图6）。

图5 单籽粒颜色分析界面

图6 单籽粒形态分析子界面

颜色分析在小麦籽粒育种过程中非常重要，两种不同颜色的小麦籽粒杂交后可能产生介于亲本颜色之间的n种颜色的籽粒，如何对这些籽粒进行排序和归类一直是科研人员遇到的难题。以前的颜色判别方法是将小麦与标准比色卡进行比较，人眼进行判别，但不同的人会有不同的判别结果，影响归类结果准确性。针对此问题，本系统专门开发了颜色提取功能，用于颜色排序。在图5的第二行文本框中输入想要分析的籽粒编号，依次点击“Seed Separation”和“Color extraction”按键，即可在图片显示区域显示出相应的籽粒分离图，在下方的R、G、B区域显示对应通道的直方图。点击‘Color’按钮，可以提取R、G、B直方图中的最大值，将结果显示在最后一行的文本框中，并根据式（1）求出对应的Y（Luminance），用于科研人员对籽粒颜色进行排序。由图5可见，颜色深的籽粒Y值更小。

Y＝0.299×R＋0.587×G＋0.114×B。（1）

在单籽粒形态分析子界面，用户在第二行文本框中输入想要分析的籽粒编号，然后点击“Seed Separation”可以分离出对应编号籽粒的二值化图像。依次点击下面的按钮，可以分析籽粒的长径、短径、面积和长宽比，还可以点击‘Edge extraction’按钮提取籽粒边缘图像。点击‘Texture extraction’按钮，提取籽粒的纹理信息，包括能量、熵、惯性矩、相关性、逆差距六项信息，并可输入神经网络用于品种判别。

2 系统验证

2.1 数据获取

为验证系统测量的准确性，随机选择7个不同颜色和大小的小麦品种，按照试验田内的编号分别为A90、A89、A70、A60、A51、A43、A5，每个品种随机取30粒籽粒，分成3组，每组10粒。

首先手工测量长径和短径，测量方法如图7所示，将所有小麦籽粒种脐向下首尾相接，测量总长径和短径，然后取平均值作为每个籽粒的长径和短径。每组籽粒手工测量完成后马上用本系统拍照测量，照片分辨率3 264×2 448。将两种测量结果进行对比分析。

图7 小麦籽粒长、短径手工测量

为了验证籽粒摆放方式对系统测量准确性的影响，第一次拍照与手工测量时相同，种脐向下；第二次时种脐随机摆放进行拍照。另外，为了验证籽粒摆放角度对测量结果的影响，将种脐向下的籽粒拍照后随机旋转一定角度再次进行拍照，对比两种不同摆放角度对结果的影响，拍照结果如图8所示。

图8 不同摆放方式的小麦系统测量照片

2.2 数据分析

以手工测量结果为标准对系统测量结果进行误差分析，测量结果见表1。可以看出，长径测量绝对误差绝对值最大为A5第2组，为0.27 mm，平均绝对误差为0.14 mm；相对误差最大为3.90%，平均相对误差2.11%。短径测量绝对误差绝对值最大为A43第1组，为0.20 mm，平均值为0.10 mm；相对误差最大值为6.8%，平均值3.4%。说明系统测量结果与手工测量结果非常接近，能够作为手工测量的替代测量方式。另外，系统测量结果中长径测量结果大部分小于手工测量结果，短径测量结果大部分大于手工测量结果。分析其原因为，在进行小麦籽粒背景分离时，小麦长径顶端的绒毛被当做背景分离掉了，而手工测量时绒毛部分会被测量；短径的手工测量则由于籽粒相互叠加，造成短径手工测量结果偏小。

为验证籽粒摆放角度对测量结果的影响，分析图8（b）和（c）两种摆放方式的测量结果，如表1所示。图8（b）方式长径测量绝对误差绝对值最大为0.11 mm，平均值为0.055 mm；相对误差最大值为0.017%，平均值为0.0082%。短径测量绝对误差绝对值最大为0.19 mm，平均值为0.068 mm；相对误差最大值为0.064%，平均值为0.02%。短径测量误差较大是因为麦粒短径方向晒干后表皮褶皱，导致放置方式不同时从上向下拍照投影面积有区别。图8（c）摆放方式下，长径绝对误差绝对值最大为0.04 mm，平均值0.019 mm；相对误差最大值0.006%，平均值0.003%。短径绝对误差绝对值最大为0.09 mm，平均值0.028 mm；相对误差最大值0.026%，平均值0.009%。通过误差分析可知，种脐向下和向上放置对籽粒形态分析的结果有一定影响，对短径测量结果的影响大于对长径的影响，但是影响很小。种脐向下时籽粒不同放置角度对形态分析的测量结果基本无影响。

表1 手工测量长短径和系统测量长短径结果

3 结论

本研究采用Matlab GUI开发了小麦籽粒高通量表型分析系统。该系统具有测量和存储籽粒长径、短径、面积等形态特征和分析颜色特征的功能，还内置了神经网络训练和判别模块，可以用于籽粒类别的预测分析。经过误差分析，本系统与手工测量长径平均相对误差2.11%，短径平均相对误差3.4%，测量精度较高。而且该系统使用成本低，配置简单，可以大大提高小麦育种基因选择效率，为小麦育种提供了一种方便高效的表型信息提取工具。本系统已上传到开源社区：https：／／github.com／dearzhaohm／Wheat-grain-phenotypic-system。