基于CP-DeepLabv3+的玉米根系图像分割

赵亚凤 王孟雪 王德帅 王冬冬 李园 胡峻峰

摘要：利用微根管技术可以直接监测植物根系动态生长，并获取清晰根系图像，但土壤环境复杂、颗粒不均匀、细根数量多，图像分割时容易造成根系不连续，将土壤背景误认为根系。针对以上问题，提出了CP-DeepLabv3+算法进行图像分割。该算法引入坐标注意力机制（coordinate attention， CA），更精确地获得分割目标信息，使得分割目标边缘更加连续；在ASPP特征提取模块加入条纹池化（strip pooling，SP）分支，避免在相距较远的位置之间建立不必要的连接，提高图像分割精度。利用CP-DeepLabv3+算法对玉米根系数据集进行测试，结果显示，平均交并比（mean intersection over union，MIoU）值为82.95%，平均像素精确度（mean pixelaccuracy，MPA）值为92.47%，相比于原始DeepLabv3+模型分别提高了3.69%、4.44%，表明该算法可有效分割玉米根系，对图像特征提取具有实际意义。

关键词：玉米根系；微根管法；原位监测；CP-DeepLabv3+

doi：10.13304/j.nykjdb.2022.0996

中图分类号：S513；TP391 文献标志码：A 文章编号：1008‐0864（2024）03‐0110‐07

根系是植物从土壤中获取营养物质的重要器官，其通过与土壤形成复合结构体的方式固定植物地上部分以及土壤，防止水土流失，同时，其在生态系统循环中的碳汇作用也不容忽视[1]。与地上植株表型研究不同，根系的生长环境极为复杂，也无法直接用肉眼观察其生长趋势。由于根系脆弱易损伤，并受土壤颗粒遮蔽与混淆等影响，很难获取高通量根系表型信息[2]。传统的根系研究方法，如土钻法、挖掘法、剖面法等，不仅对根系造成破坏，也无法获得根系的动态表型信息，不适合用于原位根系检测。微根管法是Bates于1937年提出的一种基本不破坏根系、能够原位连续监测细根生长动态的研究方法[3]。该方法提前将透明管道埋入根系附近土壤，一部分根会在管道周围生长延伸，通过管道中的成像设备来记录根系的生长情况，进一步通过所记录的信息获得量化信息（如根长、根的直径、根的数量等），能够在不同时期对不可见的地下部分进行定点、连续、周期性的动态监测。

目前通过微根管技术已经进行了很多研究。廖荣伟等[4]利用微根管技术对玉米根系生长进行了监测，准确度较高；李燕丽等[5]发现，微根管技术可以快速、无损地获取小麦根系生长的相关参数。刘凯等[6]利用微根管技术对毛白杨根系进行了研究，获得林木根系分布特征，对参数的提取正确率很高。

对根系参数进行研究分析，重要的是要对根系图像进行分割，研究人员对不同类型的根系图像进行分割并获得了较多研究成果。李克新等[7]对林木幼苗根系的CT 图像分割算法进行研究，但CT图像不同于自然图像，不存在杂质影响，比较清晰。阈值法仅对序列初始的简单图像处理效果较为理想，改进的区域生长法对分割目标连续的图像分割效果较好，改进的模糊C 均值（fuzzy C-means， FCM）对不连续的分割目标分割效果明显。佘丽萱等[8]提出了一种图像阈值分割方法，有效地抑制了噪声和土壤杂质的影响，能够对棉花根系进行准确的分割。利用阈值分割等传统的图像处理方法对图像的要求比较高，经微根管技术采集的自然图像很难通过传统方法达到预期效果。

随着人工智能技术的发展，深度学习在图像分割领域取得了很好的成果。Yasrab等[9]提出一种新的图像分析方法RootNav 2.0，可以在不同的成像设置中从一系列植物中全自动提取复杂的根系结构，准确地分割高分辨率图像中的小根特征；Wang 等[10] 提出一种基于卷积神经网络（convolutional neural networks.CNN）的全自动分割方法SegRoot，适用于从复杂的土壤背景中分割根，获得高性能的分割结果；Wasson 等[11]也验证了SegRoot在大豆根图像上的分割性能；Smith等[12]提出一种基于U-Net的根分割系统，该系统更准确地分割土壤图像中的根系形态，分割质量高于大部分的手动注释。申晨[13]提出了基于亚像素卷积的SP-DeepLabv3+网络，用于实现根系表型的无损、实时、完整、精确分割，为高通量原位根系表型研究提供了理论和技术支撑。

针对玉米原位根系图像特点，本文选择DeepLabv3+算法进行图像分割，DeepLabv3+分割模型通过采用特征融合策略使网络保存了很多浅层特征，改善了其他网络模型边界效果不理想的问题，但在玉米根系分割过程中，仍存在根系边缘分割不连续、分割精度较低的问题。因此，引入坐标注意力（coordinate attention，CA）[14]和条形池化（strip pooling，SP）[15]机制对算法DeepLabv3+进行改进，得到改进算法CP-DeepLabv3+。由于根系周围有土壤颗粒、碎石屑等遮挡物，且颜色与根系较为接近，可能会被误认为是根系结构[6]。同时，微根管遮蔽不到位也会导致细小颗粒进入到微根管中，产生噪声，同时造成结构边缘不清晰，容易出现欠分割和过分割的情况，这些都会影响图像的分割精度。针对这些问题，本研究首先通过图像锐化增强根系边缘信息，用中值滤波去除噪声，再利用改进算法完成图像分割，并与传统的分割方法进行对比，分析CP-DeepLabv3+算法在细根、根系边缘的分割上的表现，旨在为后续的根系参数分析和生长动态预测提供支持。

1 材料与方法

1.1 试验地概况

玉米根系图像采集地位于山东省济南市商河县，地理位置为116°58′—117°26′E、37°06′—37°32′N。该地区属于华北平原，是温带季风气候，年均12.3 ℃，年降水量在600 mm左右，多集中于夏季。玉米种植时间为2022年6月25日，品种为‘明天605，70 cm 等行距种植，田地面积为5 000㎡。

1.2 数据获取

利用WIFI-4.9工业内窥镜（深圳势不可挡电子科技有限公司）采集图像。4.9 mm双镜头内窥镜，镜头尺寸4.9 mm ×40 mm，正面镜头焦距4～10 cm，侧面镜头焦距2～5 cm；线材为6芯纯铜硬线；光源为LED 光源，正面6 颗，侧面2 颗，续航2 h；手柄材质为塑料，镜头外壳材质为铝合金+不锈钢，接口为USB Type-C。为了配合该内窥镜尺寸，分别选用直径4 和7 cm的亚克力管作为微根管外壳，每根管子长度为40 cm。

采集图像时，首先将亚克力管两端盖上不透光的黑色盖子，斜着埋入玉米植株附近的土壤内，埋入土壤的一端用胶布封住，防止土壤颗粒进入管内，露出土壤的部分缠满不透光胶布，防止有光进入管内影响玉米的生长，监测玉米根系生长并定期采集图像。采集装置如图1所示。

每根微根管与地面成45°角埋入土壤中，埋入25 cm，露出15 cm，长隔50 m，宽隔20 m，共埋入10根。手机通过FlyScope软件连接内窥镜，利用ImageScope软件可以直接观察内窥镜的拍摄画面，图像大小均为1 920×1 080像素，以jpg格式存储，获得玉米根系数据集。

破土期（2022年7月7日）至成熟期（2022年9月20日）采集图像，每隔2周集中采集1次，每次采集500幅图像。

1.3 图像预处理

对微根管所获取到的玉米根系图像进行预处理。首先选择拉普拉斯算子（Laplacian）对图像进行锐化，然后进行中值滤波。拉普拉斯算子算法是线性二次微分算子，具有旋转不变性，能满足不同方向的图像边缘锐化要求，获得的边界比较细，包括较多的细节信息，使根系的边缘信息更清晰。中值滤波法是一种非线性平滑技术，将每个像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，可以去除背景中的土壤颗粒和杂质等噪声影响。

1.4 图像标注

使用Labelme 工具完成图像标注，该软件由麻省理工学院计算机科学与人工智能研究所开发。首先创建定制的标注任务，再手工对数据集中2 500幅图像进行标注。

1.5 经典DeepLabv3+网络及优化

DeepLabv3+以DeepLabv3为encoder结构，在此基础上添加了简单而有效的decoder模块用于细化分割结果[16]。

本文对DeepLabv3+算法加以改进，提出一种基于CP-DeepLabv3+ 算法的网络模型，即在DeepLabv3+的基础上，将Xception骨干网络替换为更为轻量的MobileNetv2网络，在其后添加CA，更准确地获取玉米根系的位置信息；并且在ASPP特征提取模块中添加SP分支，去除多余无关的信息，得到CP-DeepLabv3+模型，如图2所示。

将CP-DeepLabv3+ 网络与Unet 网络、经典DeepLabv3+网络、引入CA的DeepLabv3+网络、 引入CA和CFF的DeepLabv3+网络[17]以及将DeepLabv3+中ASPP替换为DenseASPP网络[18]进行对比分析。

1.6 图像分割

玉米根系分割实验利用Windows 10 操作系统，软硬件环境配置如表1所示。从破土期到生长后期，共采集了2 500幅图像作为数据集。将图像裁剪成512×512 像素随机进行实验，按照9∶1的比例划分训练集和测试集，2 250幅作为训练图像，250幅作为测试图像。

为了分析改进后的分割算法的准确性和真实性，原模型和改进后的模型设置相同参数，采用平均交并比（mean intersection over union，MIoU）、像素准确率（pixel accuracy，PA）和类别平均像素准确率（mean pixel accuracy，MPA）作为指标对模型进行评价。

2 结果与分析

2.1 图像预处理结果分析

选择生长前期图像进行预处理，结果如图3所示。首先，利用拉普拉斯算子对采集图像进行锐化，增强根系边缘信息，锐化后的图像背景和根系的反差提高，根系部分增强，边缘部分也更加清晰。然后，用中值滤波对锐化后的图像进行处理，滤波后图像的背景弱化，去除了背景中的土壤颗粒和杂质等噪声影响，使根系更加突出，便于后续的分割。

2.2 不同算法分割效果分析

为了进一步验证CP-DeepLabv3+算法对玉米的根系分割性能，与其他方法进行对比，结果如表2 所示。由表2 可知，CP-DeepLabv3+ 算法的MIoU、PA、MPA 3个参数都高于其他5个算法，说明本文所提出的改进算法能够更好地分辨根系和背景，边缘部分的分割精度能得到最大提升。MPA 变化最明显，说明CP-DeepLabv3+算法对于根系和背景的像素分类表现更好。结果表明，CPDeepLabv3+算法在玉米根系分割性能上具有一定的优势。

2.3 改进后算法的有效性验证

选择不同时期的玉米根系图像对CPDeepLabv3+算法的分割效果进行验证，结果如图4所示。由图4可知，CP-DeepLabv3+算法对不同时期的玉米根系分割效果均高于其他算法。在边缘信息提取方面，该算法不仅能将属于根系的部分完整的分割出来，而且能将大部分细根连续地分割出来，边缘比较清晰。

CP-DeepLabv3+算法在玉米根系数据集上训练和测试的损失值曲线如图5所示，迭代次数为100，训练集最初损失值为0.800，最终的损失值为0.214；测试集最初损失值为0.800，最终的损失值为0.215。平均交并比值最终达到82.95%（图6）。

3 讨论

玉米根系庞大、分布广、下扎能力强[20]，后期细根增多，这些都增加了玉米根系图像的分割难度。本研究针对传统图像分割方法在玉米根系边缘图像中存在分割精度和效率等问题，提出了一种基于改进DeepLabv3+模型的算法，即CP-DeepLabv3+算法。

影响根系分割精度的主要是土壤背景和根的对比度，深度学习除建立模型外，最重要的是如何建立合格的数据集，不同的角度、光照强度都会对结果产生影响。在建立模型前，采用拉普拉斯算子（Laplacian）和中值滤波增强图像，从而提升分割效果。

注意力机制是在众多信息中加强对关键主要信息的提取，从而提高效率和准确率的一种方法。经典DeepLabv3+模型缺乏空间特征的提取，坐标注意力（CA）机制通过加入位置信息给到通道注意力，获取到更大的区域信息，同时避免了引入过多无用的信息。由于普通的空间池化会不可避免地加入一些无关的像素区域，对根系的分割有一定的影响，尤其在扩大感受野时这一缺点会更加明显。该算法将DeepLabv3+原有的骨干网络Xception 替换成更为轻量级的MobileNetv2，引入CA，同时在ASPP特征提取模块中增加SP池化分支。SP和普通池化的本质区别是条纹池化将池化核对应的特征图上的像素求了平均值，减少了与无关信息之间的连接，对于边缘信息的提取有很大的帮助。

CP-DeepLabv3+算法在根系和背景的IoU 高于其他算法，能够更好地分辨根系和背景，边缘部分的分割精度能得到最大提升。与经典DeepLabv3+算法相比，MIoU、MPA、PA 分别提高了3.69%、4.44%、2.33%。与黄聪等[17]、李宁等[18]对DeepLabv3+提出的改进算法相比，准确率、平均交并比等各个评价指标都有所提升。

综合来看，仍有3部分需要深入探索。首先，数据集的建立花费了大量的时间，这个过程不仅仅是图片的收集，还包括标注数据、滤除模糊不合格的数据、进行图像预处理等过程，在标注图像的过程中不仅需要大量的时间，而且需要有较深专业知识背景。可以使用GAN网络参与数据集的建立，Tian等[21]使用CycleGAN学习炭疽苹果图像的特征，并将其转移到健康苹果图像中，减少了数据建立时间并且提高了模型的鲁棒性。同时，在数据的预处理方面，需要丢弃很多的无效数据，对于无效数据的利用也需要技术革新。其次，在算法的建立方面，本研究共使用2 500幅图像，在复杂的土壤环境中根系的分割精度不够高，会丢失掉一些极其细小的根；图像的清晰度也会影响分割的精度，下一步可以着手解决这些方面的问题。最后，本文中只使用了迁移学习的思想在玉米根数据集进行了验证，但是在更换作物或者土壤环境的情况下仍然需要重新训练验证，可以进行预训练模型的设计使得训练过程减少。

参考文献

［1］ 牛学礼，南志标.运用微根管技术研究草地植物细根的进展

[J].草业学报，2017，26（11）：205-215.

NIU X L， NAN Z B. Rewiew of minirhizotron applications for

study of fine roots in grassland [J]. Acta Pratac. Sin.， 2017， 26

（11）：205-215.

［2］ DANJON F， REUBENS B. Assessing and analyzing 3D

architecture of woody root systems， a review of methods and

applications in tree and soil stability， resource acquisition and

allocation [J]. Plant Soil， 2008， 303： 1-34.

［3］ BATES G H. A device for the observation of root growth in the

soil [J]. Nature， 1937，139： 966–967.

［4］ 廖荣伟，刘晶淼，安顺清，等.基于微根管技术的玉米根系生

长监测[J].农业工程学报，2010，26（10）：156-161.

LIAO R W， LIU J M， AN S Q， et al .. Monitor of corn root

growth in soil based on minirhizotron technique [J]. Trans.

Chin. Soc. Agric. Eng.， 2010，26（10）：156-161.

［5］ 李燕丽，王昌昆，卢碧林，等.基于微根管技术的盐胁迫下小

麦根系生长原位监测方法[J].土壤学报，2021，58（3）：599-609.

LI Y L，WANG C K， LU B L， et al .. In-situ monitoring method

of wheat root growth under salt stress using minirhizotron

technique [J]. Acta Pedol. Sin.， 2021， 58（3）： 599-609.

［6］ 刘凯，李文彬，赵玥，等.基于微根管图像的根系形态特征快

速提取技术[J].中国水土保持科学，2021，19（4）：129-136.

LIU K， LI W B， ZHAO Y， et al .. Rapid extraction technology of

the root morphological characteristics via minirhizotron image

[J]. Sci. Soil Water Conservation， 2021， 19（4）： 129-136.

［7］ 李克新，李沐阳，薛瑞，等.林木幼苗根系 CT 序列图像分割

[J].森林工程，2014，30 （1）：25-29.

LI K X， LI M Y， XUE R， et al .. CT slice image segmentation of

the seedling roots [J]. Forest Eng.， 2014，30 （1）：25-29.

［8］ 佘丽萱，康佳，王楠，等.一种新的棉花根系图像阈值分割方

法[J].河北大学学报（自然科学版），2022，42（2）：124-130.

SHE L X， KANG J， WANG N， et al .. A new threshold

segmentation method for cotton root images [J]. J. Hebei Univ.

（Nat. Sci. ）， 2022， 42（2）： 124-130.

［9］ YASRAB R， ATKINSON J A， WELLS D M， et al .. RootNav

2.0： Deep learning for automatic navigation of complex plant

root architectures [J/OL]. GigaScience， 2019， 8（11）： giz123

[2022-11-16]. https：//doi.org/10.1093/gigascience/giz123.

［10］ WANG T， ROSTAMZA M， SONG Z， et al .. SegRoot： a high

throughput segmentation method for root image analysis [J].

Comput. Electron. Agric.， 2019， 162： 845-854.

［11］ WASSON A， BISCHOF L， ZWART A， et al .. A portable

fluorescence spectroscopy imaging system for automated root

phenotyping in soil cores in the field [J]. J. Exp. Bot.， 2016，67

（4）： 1033-1043.

［12］ SMITH A G， PETERSEN J ， SELVAN R， et al .. Segmentation

of roots in soil with U-Net [J/OL]. Plant Methods， 2020，16：13

[2022-11-16]. https：//doi.org/10.1186/s13007-020-0563-0.

［13］ 申晨.基于深度学习的棉花原位根系分割技术研究[D].保

定：河北农业大学，2021.

SHEN C. Research on cotton in situ root segmentation

technology based on deep learning [D]. Baoding： Hebei

Agricultural University， 2021.

［14］ HOU Q B， ZHOU D Q， FENG J H. Coordinate attention for

efficient mobile network design [C]// Proceedings of the IEEE/CVF

conference on computer vision and pattern recognition. 2021.

［15］ HOU Q， ZHANG L， CHENG M M， et al .. Strip pooling：

Rethinking spatial pooling for scene parsing [C]// Proceedings

of the IEEE/CVF Conference on Computer Vision and Pattern

Recognition. 2020： 4003-4012.

［16］ CHEN L C， ZHU Y， PAPANDREOU G， et al .. Encoderdecoder

with atrous separable convolution for semantic image

segmentation [C]// Proceedings of the European conference on

computer vision （ECCV）. Computer Vision Foundation， 2018：

801-818.

［17］ 黄聪，杨珺，刘毅，等.基于改进DeepLabV3+的遥感图像分割

算法[J].电子测量技术，2022，45（21）：148-155.

HUANG C， YANG J， LIU Y， et al .. Remote sensing image

segmentation algorithm based on improved DeeplabV3+ [J].

Electron. Meas. Technol.， 2022，45（21）：148-155.

［18］ 李宁，张彦辉，尚英强，等.基于改进DeepLabv3+网络的风机叶

片分割算法研究[J].电子技术应用，2022，48（9）：108-113，118.

LI N，ZHANG Y H，SHANG Y Q，et al .. Research on fan blade

segmentation algorithm based on improved DeepLabv3+

network [J]. Appl. Electron. Tech.， 2022， 48（9）：108-113，118.

［19］ 谭国金，欧吉，艾永明，等.基于改进DeepLabv3+模型的桥梁

裂缝图像分割方法[J]. 吉林大学学报（工学版）， 2022， 48（9）：

108-113， 118.

TAN G J， OU J， AI Y M， et al .. Bridge crack image segmentation

method based on improved DeepLabv3+ model [J]. J. Jilin Univ.

（Eng. Technol.）： 2022， 48（9）：108-113， 118.

［20］ 肖万欣，王延波，赵海岩，等.中国不同年代玉米根系形态生

理功能特性的演化[J].辽宁农业科学，2022，（3）：45-49.

XIAO W X， WANG Y B， ZHAO H Y， et al .. Evolution of

morphological and physiological function traits of corn root

released in different ages of China[J].Liaoning Agric. Sci.，2022

（3）：45-49.

［21］ TIAN Y， YANG G D， WANG Z， et al .. Detection of apple

lesions in orchards based on deep learning methods of

CycleGAN and YOLOV3-dense [J/OL]. J. Sen.， 2019， 7630926

[2022-11-16]. https：//doi.org/10.1155/2019/7630926.

（责任编辑：温小杰）