基于改进USE-Net网络的林木图像语义分割研究

戚澍仉子赫张博洋

(1.中国林场集团有限公司,北京 100084;2.哈尔滨工程大学 智能科学与工程学院,哈尔滨 150001)

0 引言￬

森林资源是人类生活环境不可或缺的一部分,定期开展森林调查,及时掌握分析森林资源动态变化,有助于加强生态林业建设。林木区域分割在森林资源检测方面十分重要,高效且轻量级卷积神经网络模型的设计为林木图像分割、林木区域提取以及实时掌握森林资源动态变化提供了便捷的解决方案[1-4]。

传统图像分割方法虽然可以提取到图像的低级特征,但更深层次的特征信息却难以提取,如阈值分割法[5]、区域分割法[6]和边缘分割法[7]等,这些方法大多受限于计算机硬件环境和人工因素,对于复杂程度较高的图像分割效果不理想。刘媛媛等[8]提出多阈值的图像分割优化算法,由于只考虑阈值特征而忽略其他特征影响,分割准确率低。王雷等[9]提出区域生长法和极值自适应中值滤波结合的分割算法,但计算量大、分割速度慢且受人为因素干扰。张鹏帆等[10]提出改进边缘分割法,易受噪声影响,尤其是复杂背景的分割任务,分割准确率较低。随着卷积神经网络在计算机视觉领域的飞速发展,也促使其扩展到林木图像分割领域,凭借着强大的特征自主学习能力和高效的特征拟合关系,在图像识别、图像分割等领域取得不俗的进展。FCN网 络[11]、SegNet网 络[12]、Deeplab系列[13-16]、PSPNet网络[17]和U-Net网络[18]等开辟了以编码器解码器结构解决特定图像任务的先河。注意力机制[19-20]的提出刷新着图像语义分割领域的精度,自主发现有用的显著特征信息并提高其权重值,同时抑制无用的特征信息以增强语义,如GENet网络[21]、SENet网络[22]、BiSeNet网络[23]以及DANet网络[24]。徐青[25]设置注意力模块以构建多尺度上下文级联关系的网络模型,解决了其他样地混杂的植被分割问题,使得模型自主学习提取特征信息。谭大宁等[26]提出Transformer U-Net网络利用通道交换网络以获得更好的信息互补性,并采用带注意力机制的Transformer模块对融合特征图进行全局上下文建模,分割效果得以显著提升。王曦等[27]结合U-Net网络和FPN算法,充分融合图像特征信息,提升分割精度。Arief等[28]整合随机深度方法和深度反转网络模型,并将其融合低级网络层,进一步处理数据,提高分割准确率。Shamsolmoali等[29]提出带有多个密集连接残差网络块的RDU-Net网络模型,便于网络特征重用,改善分割结果。

本文提出一种基于改进USE-Net网络的林木图像语义分割模型,添加SE(Squeeze-and-Excitation Networks, SE)注意力模块在网络的过渡层,以自主学习林木图像特征通道之间的相关性,充分融合林木特征信息,提高模型运行效率,并减少参数计算,从而提高林木图像的分割精度,为林木图像语义分割提供了一个全新的视角。

1 林木图像语义分割流程

传统图像分割方法运行效率低,精准度差,难以处理复杂环境下的林木图像分割任务,可靠性不高,实用性不强。卷积神经网络的林木图像语义分割方法逐渐成为林业界最受欢迎的方法之一。图像语义分割流程如图1所示,分为如下4个步骤。

(1)林木图像预处理阶段:对输入的林木图像进行预处理,包括去除无林木区域的图像、高斯滤波进行图像增强以及采用数据增强手段扩充数据集。

(2)划分及加载数据集阶段:按照训练集和测试集一定比例划分数据增强后的数据集,等待数据集的加载和网络模型的训练。

(3)网络模型训练阶段:加载数据集和定义林木标签后,开始改进USE-Net网络模型的迭代训练,不断调整超参数,保存效果最好的模型训练参数。

(4)林木分割预测阶段:改进USE-Net模型训练后,按照最佳模型训练参数对分割的林木图像预测。

图1 林木图像语义分割流程图Fig.1 Flow chart of tree image semantic segmentation

2 网络结构

2.1 改进USE-Net网络整体结构图

所提网络模型在U-Net网络基础上进行改进,提出带有注意力机制的卷积神经网络模型来精准分割林木图像。改进USE-Net网络整体结构如图2所示。该网络是基于编码器-解码器结构的卷积神经网络模型,编码器的收缩部分对称于解码器的扩张部分,整体呈现独特的U型结构。改进USE-Net网络由8个标准卷积单元、4个下采样层、1个SE模块和多个上采样层构成。将SE注意力模块插入到网络最后一层过渡层,着重学习通道之间的林木特征关系,显式建模特征通道的相互依赖性,充分提取林木特征信息。输入林木图象经过多次卷积、特征提取和林木特征合并之后,将得到与输入图像相同分辨率的林木预测结果图。在网络最后一层中,经过1×1卷积层和Sigmoid激活函数得到最终的林木分割结果图。

2.2 SE注意力模块

SE注意力模块结构如图3所示,主要分为Squeeze操作和Excitation操作。Squeeze操作顺着特征维度进行林木特征压缩,将输入林木图像分辨率H×W×C经过全局平均池化,压缩为1×1×C的特征图,具有全局感受视野,在特征通道上响应全局分布。Excitation操作连接全连接层,通过自主学习显式建模林木特征通道间相关性的特点来为每个特征通道生成权重,然后通过乘法逐通道加权到先前的特征,得到尺寸为H×W×C的林木特征图。

3 实验结果分析

3.1 实验环境配置

改进USE-Net网络在Windows 10操作系统、GPU(GeForce RTX 3090)、基于Pytorch深度学习框架进行网络迭代训练,具体实验环境见表1。

表1 实验环境配置Tab.1 Experimental environment configuration

图2 改进USE-Net网络整体结构图Fig.2 Diagram of the overall structure of the improved USE-Net network

图3 SE注意力模块结构图Fig.3 Diagram of SE attention module structure

3.2 实验数据集

实验数据集来源于黑龙江省哈尔滨市某实验林场拍摄的多组林木图像。由于改进USE-Net分割模型的训练需要大量数据集,为满足其需求,防止训练过程中过拟合情况,采用上下翻转、水平镜像、垂直镜像、尺度缩放等几何变换方式对原始数据集进行处理,将输入的林木图像和样本标签一起增强,避免出现数据增强后林木图像和样本标签不对应的情况。数据集扩充后,共得到985张分辨率大小为512×512的林木图像,并按照训练集和测试集4∶1比例划分数据集以得到788张训练集图像和197张测试集图像。图4为输入的林木图像样本,图5为对应的样本标签。

图4 输入林木图像Fig.4 Input forest tree images

图5 对应林木图像标签Fig.5 Corresponding forest tree image labels

3.3 损失函数

在网络迭代训练过程中,需选择损失函数(Loss functionJ(θ))来计算得到林木提取结果与样本标签的误差,将得到误差信号作为反向输入,并利用随机梯度下降法进行学习,不断更新参数使得误差逐渐降低至收敛。在进行梯度下降时,利用Softmax函数计算林木图像中所有像素点的交叉熵,并取其平均值作为改进USE-Net网络的损失函数。通过梯度下降法反向传播更新改进USE-Net每层网络的参数,不断反复训练直至准确率达到预期,改进USE-Net网络迭代运算过程是高效的。具体如公式(1)所示。

式中:N和k分别代表样本数和对应标签数;θ是偏移量;m表示任意一张林木图像,(xi,yi)是林木像素i和其对应的分类类别。

3.4 结果分析

改进USE-Net网络在林木图像训练集的损失值变化情况如图6所示。该模型在迭代前期损失值快速下降,迭代后期损失值逐渐趋于稳定,稳定在0.05附近,表明其能够很好找到梯度下降方向,学习效果良好,网络性能较稳定。

图6 改进USE-Net网络损失值变化图Fig.6 Improved USE-Net network loss value change figure

改进USE-Net网络在不同迭代次数下测试准确率变化情况如图7所示。迭代初期,准确率快速提升,后期提升平缓并逐渐趋于稳定,准确率达到92.3%,在一定程度上验证了改进USE-Net网络对林木区域的提取分割能力。

图7 改进USE-Net网络测试准确率Fig.7 Improved USE-Net network test accuracy

优化算法的选取对于网络模型迭代训练具有重要作用。改进USE-Net网络训练过程中,选定Adam优化算法,并与SGD、Adagrad、RMSProp优化算法进行对比分析,统一设置其学习率为0.000 1,4种优化算法的损失值变化情况如图8所示。

图8 4种优化算法的损失值变化图Fig.8 Diagram of loss value change for four optimization algorithms

由图8可知,RMSprop算法前期收敛下降太慢,SGD算法和Adagrad算法损失值没有得到很好的收敛,数值太高,且不具备良好的稳定性,不能有效分割林木区域,而Adam算法具有最佳的收敛速度,损失值能够快速收敛并逐渐趋于稳定,验证了该优化算法具备优越的林木区域分割能力。

采用阈值分割法、Canny边缘检测算法、U-Net网络和改进USE-Net网络对林木图像进行分割预测,对比分割结果如图9所示。由图9可知,阈值分割和Canny边缘检测算法存在严重的错分割和漏分割情况,且该方法具有很大的局限性和人为因素干扰,不能用来处理大型复杂场景下的林木图像分割任务。然而,U-Net网络虽然在处理林木区域中显示出一些优势,但是面对遮挡物阴影错综复杂的情况,非林木区域的像素值十分接近林木区域,U-Net网络在林木边界处存在较大的误差。相比之下,提出的改进USE-Net网络能够很好地识别林木边界,将阴影和林木区域精准分开,特别在林木边界等细微处,表现出较强的分割能力。

图9 不同模型的林木分割结果图Fig.9 Different models of forest tree segmentation results figure

4 结论

本文提出了一种基于改进USE-Net网络的林木图像语义分割模型,相比于传统图像分割网络,该模型引入注意力机制在网络的过渡层,在通道维度上建立特征依赖关系,突出林木特征信息并抑制无关特征。改进USE-Net网络在某林场数据集上达到最佳林木分割效果,实验验证了该网络的精准性,在准确提取林木区域和实时掌握森林资源动态变化方面具有应用价值。