基于改进的PSPNet网络的毛白杨根系自动分割量化系统

张鹏翀,韩巧玲,4,席本野,郑秋燕,赵 玥,4,*

(1.北京林业大学 工学院,北京 100083; 2.城乡生态环境北京实验室,北京 100083; 3.智慧林业研究中心,北京 100083; 4.国家林业和草原局林业装备与自动化国家重点实验室,北京 100083; 5.北京林业大学 省部共建森林培育与保护教育部重点实验室,北京 100083)

毛白杨是我国北方地区广泛分布的常见树种,也是我国木材战略储备林建设的重要植物资源。毛白杨根系具有巨大的吸收表面积,生理活性极强,是吸收养分、水分、矿物质的重要器官,同时,其根系的生长和死亡过程对整个生态系统的养分循环、物质能量交换具有重要影响[1-2]。因此,研究毛白杨根系的生长周转对提高森林生态系统系统生产力、促进林业经济发展具有重要意义。

在植物根系研究中,通常将直径不小于2 mm的根称为粗根,小于2 mm的根称为细根[3]。研究方法可分为破坏性观测法和非破坏性观测法两类。破坏性观测法主要包括冲洗法、根钻法[4]等,这类方法在对根系进行挖掘冲洗后再行观测分析,会对根系造成不可逆转的损伤[5]。非破坏性观测法主要包括探地雷达法、容器法、微根管法等,其中,探地雷达法无法直观地观测到根系的生长状态,容器法无法支撑毛白杨(Populustomentosa)等植物的正常生长,而微根管法可以直观地观测到根系的生长状况,且不会对根系正常生长造成影响,现已广泛应用于植物根系研究中[6-7]。

针对微根管植物根系图像,大多数学者先采用MATLAB等软件对根系图像进行灰度图转化、增强对比度、中值滤波和二值化等处理以获得根系分割图像[8],再利用特定的根系图像分析软件,如RootFly、WinRHIZO等获取图像中的根系长度、根系投影面积等形态参数[9]。然而,此类图像处理软件和分析软件在处理毛白杨根系时仍需人工设定相关参数,无法批量化处理根系图像。毛白杨微根管图像中的根系具有颜色不均匀、形态不一致的特点,而且根系目标与土壤背景特征差异较小,这就使得现有的分割方法可能产生根系过分割或欠分割的现象,从而无法准确量化毛白杨根系的生长状况。

针对这一问题,本研究先基于PSPNet网络进行改进,创建PSEPNet(pyramid scene efficient parsing network),并在其基础上构建一个毛白杨根系的自动分割与量化系统,该系统可以自动、批量地实现对毛白杨微根管图像的准确分割。然后,采用该系统,利用数学统计方法提取毛白杨的根系数量、长度等多特征参数,实现对毛白杨根系生长情况的量化研究。最后,通过与现有常用方法的比较分析,验证本文方法及系统的有效性。本文构建的毛白杨根系自动分割与量化系统可以为揭示自然生长条件下毛白杨的生长发育规律提供技术支持。

1 材料与方法

1.1 图像采集

图像采集实验地位于山东省聊城市高唐县。当地属黄泛冲积平原,地势由西南向东北倾斜,地貌较为平缓,土地肥沃,海拔22.6 m。当地属暖温带半干旱季风区域大陆性气候,四季冷暖干湿分明,季节季风变化明显,光照和热量充足,降水量较少,多集中于7—8月。实验地的土壤为砂壤土,平均地下水位6 m[10]。

在实验地的毛白杨林分内采集根系图像。林分栽植于2015年春季,系植苗造林。种植采用均匀配置模式,株行距为2 m×3 m,密度为1 667株·hm-2。选取生长状况良好的毛白杨作为图像采集的样树,分别在距离样树水平方向0.3、1.2 m处,从土壤表层开始垂直向下每隔1 m布置一根微根管,共布置4行2列8根微根管。管内观测长度1 100 mm,间隔9.5 mm设置一个观测点,共设置108个观测点,以增强图像采集能力。在每根微根管中,使用由美国Bartz公司研制的带有索引手柄的BTC-100X根系生长动态监测系统以相等间隔的间隔点获取精根系图像[11]。

1.2 数据预处理

如图1所示,采集到的根系图像原图边缘存在黑色区域,这部分信息不包含根系元素,会增加算法分割运算量并影响分割精度。同时,在拍摄过程中标定手柄与透明管壁的边界处可能存在晃动,会导致图像边界存在畸变现象,从而影响根系分割精度。为此,采用矩形剪裁法对原始根系图像进行处理。原始图像的大小为754 pixel×510 pixel,裁剪后的图像大小为670 pixel×460 pixel。

图1 采集到的图像原图(上)与裁剪后的图像(下)Fig.1 Captured original image (up) and image after cropping (down)

为避免数据集图像数量较少而影响网络分割效果,本研究采用水平翻转、中心对称等算法实现毛白杨根系图像数据集的增强,增强后的数据集共有640张根系图像,将其按照7∶2∶1的比例随机划分至训练集、验证集与测试集,其中,训练集用于训练模型参数,验证集用于评估每批训练和调整超参数后模型的泛化能力,测试集用于测评网络最终的分割结果。

1.3 PSEPNet网络模型

PSPNet网络采用金字塔池化模块对不同尺度的语境进行聚合,使得模型拥有融合局部语境信息和全局语境信息的能力[12]。现有的PSPNet主要以ResNet50和MobileNetV2作为特征提取模块[13-14]。其中,ResNet采用的残差结构会导致网络运算量大、训练时间长;MobileNetV2使用的倒残差结构虽能极大地缩短运算时间,但是低维张量无法完整提取根系的细节特征。为此,本研究提出一种以EPSANet50为骨架的PSEPNet网络模型,以实现对毛白杨微根管图像中根系结构的高效、精准分割。

PSEPNet网络首先通过EPSANet50进行低级语义特征提取(图2),再通过4个尺度的池化操作丰富特征信息,并将其通过1×1的卷积统一通道数,然后采用双线性插值进行上采样,获得与低级语义特征相同尺寸的高级语义特征,最后将高级和低级语义特征在通道上拼接,得到最优分割图。在PSEPNet的特征提取网络EPSANet50中,用软注意力机制PSA模块替换了以往的3×3的卷积层,在提取毛白杨根系图像多尺度特征信息的同时赋予了根系更多权重,既为后续的池化操作提供了更丰富的特征图,也可在与高级语义特征融合时补充毛白杨根系更细节的特征。

图2 创建的PSEPNet的网络结构示意图Fig.2 Structure diagram of the proposed PSEPNet

综上,PSEPNet在网络结构上采用引入PSA模块的EPSANet50进行毛白杨根系特征的提取,可以获取更细节更准确的特征图,显著提高模型性能,大幅提升网络的分割能力。

1.4 毛白杨根系特征量化指标

基于分割后的毛白杨根系图像,采用细化法提取根系骨架结构[15]。基于根系二值图像和骨架结构,采用数学统计方法对根系数量、根系长度、根系周长、根系平均直径、根系投影面积、根系表面积、根长密度和根表面积密度这8个指标实现量化分析,从不同角度表现毛白杨根系的形态特征。

1)根系数量(n),以单张图片中连通域的数量表示。采用8连通域方法实现对根系数量的量化。

(1)

式(1)中的C表示1个像素的长度,其值为0.024 mm。

(2)

4)根系投影面积(S1),以单张图片中根系在二维平面投影的面积表示,其计算公式为

S1=a·C·C。

(3)

式(3)中的a表示根系区域像素点的数量。

5)根系表面积(S2),以单张图片中的根系在三维空间的表面积表示[16],其计算公式为

S2=S1·π。

(4)

(5)

7)根长密度(DL),以单位体积内的根系长度表示[17],其计算公式为

(6)

式(6)中:A为单张图片的面积;D为实验田间深度,本文取2 mm[18]。

8)根表面积密度(Ds),以单位体积内的根系表面积表示,其计算公式为

(7)

1.5 实验方法与平台

为验证本文所提的PSEPNet网络在毛白杨微根管根系图像上的分割性能,以自然条件下生长的毛白杨根系为研究对象展开实验。在实验中,采用Adam优化器进行优化[19]。设置初始学习速率为0.000 1,学习率在每50个epoch后衰减94%。每个epoch处理的batch size(批尺寸)设置为4,一共设置2 000个epoch进行训练。

以标定图作为本文量化评价分割方法的标准。采用Photoshop 2021软件手动标注标定图中的根系目标,选取6个重复标定,以消除主观因素对精度的影响。本研究的硬件环境是Intel®CoreTMi5-10500处理器,主频率3.10 GHz,内存16 GB;软件环境是Windows 10操作系统和Python编程语言。

2 结果与分析

2.1 毛白杨根系分割结果的定性分析

为了分析PSEPNet网络对毛白杨根系的分割效果,与以ResNet50和MobileNetV2为特征提取网络的传统PSPNet方法(以下分别记为PSPNet_ResNet50和PSPNet_MobileNetV2)进行对比分析。分割结果如图3和图4所示,图中的白色区域表示根系,黑色区域表示土壤。

图3 毛白杨根系的分割结果示例一Fig.3 Example 1 of segmentation results of Populus tomentosa roots

图4 毛白杨根系的分割结果示例二Fig.4 Example 2 of segmentation results of Populus tomentosa roots

对比图3和图4的红色矩形区域可以发现,PSPNet_ResNet50和PSPNet_MobileNetV2方法在分割颜色不均匀的根系时会丢失根系的细节特征,存在明显的欠分割现象。针对图3红色矩形中根系存在分枝的形态以及图4红色矩形中根系颜色与土壤背景差异较小的情况,PSEPNet网络均可以真实完整地分割出根系结构,说明PSEPNet网络对毛白杨根系具有较好的分割能力。

结合图3和图4中的绿色矩形区域发现,当根系颜色特征并不突出时,PSPNet_ResNet50方法欠分割严重,PSPNet_MobileNetV2方法同时存在较为严重的过分割和欠分割,而PSEPNet网络平衡处理了这种情况,分割效果最好。这主要是因为PSA模块在网络训练的时候赋予了根系较土壤背景更大的权重,使得网络学习到了根系颜色、形态等更全面的特征,提升了网络对根系的分割能力。

综上,本文提出的PSEPNet网络可以避免由于根系颜色不均匀或形态不一致而造成的欠分割和过分割现象,能更好地学习根系的特征,较好地完成毛白杨根系的分割任务。

2.2 毛白杨根系分割结果的定量分析

使用准确率、召回率、精确率和F1值共4个指标对不同方法的分割效果进行全面对比分析(表1),表中数值均来自于测试集,数值越大,表示该网络的分割效果越好[20]。

表1 不同方法分割效果的定量评估

PSPNet_ResNet50方法的精确率(0.731 3)低于召回率(0.840 2),表明其存在较为严重的过分割现象;PSPNet_MobileNetV2方法的精确率(0.818 4)与召回率(0.855 1)相差较小,且均高于PSPNet_ResNet50方法,说明该方法对根系的分割性能优于PSPNet_ResNet50方法,但其F1值低于本研究所提出的PSEPNet网络。在对比的3种方法中,本文所提的PSEPNet网络具有最高的准确率(0.981 9)、召回率(0.884 9)、精确率(0.830 9)和F1值(0.851 2),表明其对根系的分割效果要优于传统的PSPNet网络,能够较为精准地分割出毛白杨根系,可以为毛白杨根系后续的特征量化分析提供准确的数据基础。

2.3 毛白杨根系特征量化

基于PSEPNet网络分割的毛白杨根系二值图像,采用数学统计分析法,实现对毛白杨根系数量、根系长度和根系周长等8项指标的自动量化计算,可为评价毛白杨根系的生长发育规律提供数据基础和技术支持。将2019年5月—2020年4月获得的结果以平均值±标准差的形式整理于表2。可以看出,毛白杨的根系数量、根系长度、根系周长、根系表面积的标准差较大,说明图像间差异大,不同空间的根系分布不均匀。根周长、根表面积均值越大,说明图像中的根系越粗壮,与土壤的接触范围越大,吸收水分和营养的能力越强。根系的平均直径小于2 mm,数据波动小,与细根定义一致,说明图像中的根系大多数为细根。本研究中,实验田间深度取2 mm。后续研究中可根据数据集的实际情况,设置系统的实验田间深度,从而自动计算根长密度和根表面积密度,以便对根系生长状态进行分析。

表2 毛白杨根系的特征参数

2.4 毛白杨根系自动分割与量化系统

基于提出的PSEPNet网络,搭建一款可视化的毛白杨根系自动分割与量化系统。该系统主要包含图像读取、图像分割与特征提取3个功能模块(图5),运行环境为Windows 10,开发工具为Pycharm,开发语言采用Python。

图5 毛白杨根系自动分割与量化系统的照片Fig.5 Photos of the segmentation and quantification system for Populus tomentosa roots images

图像读取模块的可视化组件如图5(a)左侧的“上传文件”按键所示。点击该按键,可在本地文件中选择待分割的毛白杨根系RGB图像,点击“上传”按键后,图像将显示在“预览窗口”框中。

图像分割模块通过PSEPNet网络进行分割,点击“PSEPNet”按键,图5(a)左侧的“根系微根管图”框中自动显示已上传的根系微根管原图,图5(a)右侧的“PSEPNet”框中将显示分割结果。点击“特征提取”按键,即可启动特征提取模块,在图5(b)左侧的“Split graph”框中显示图像分割结果,在右侧数据框中生成相应的特征参数。

综上所述,本文提出的毛白杨根系自动分割与量化系统具有简便、高效的特点,不仅能够实现毛白杨根系的自动、准确分割,还能实现对毛白杨根系数量、根系长度等多项特征的精确提取与量化表达。本研究证明了深度学习方法在识别林木复杂根系方面的能力。未来,通过采集更多林木根系图像,本系统可以扩展应用于其他林木根系的分割与量化。

3 结论

针对毛白杨根系颜色不均匀、形态不一致、目标背景差异小的特点,以及现有根系分割方法难以准确识别和批量分割毛白杨根系的问题,提出一个基于EPSANet模块的PSEPNet网络,可实现对毛白杨根系的自动批量分割。该网络对毛白杨根系的分割准确率为0.981 9,召回率为0.884 9,精确率为0.830 9,F1值为0.851 2,较传统的PSPNet方法提高了分割效果,证明其具备良好的毛白杨根系分割性能。在此基础上,构建一套毛白杨根系自动分割与量化系统,能够更全面、高效地实现对毛白杨根系特征的定量描述,并可以根据研究者的需求改变经验参数,从而获取更准确的毛白杨根系数据。