基于Attention-ResUNet的肝脏肿瘤分割算法＊

陈 哲，童基均，潘哲毅

(1.浙江理工大学信息科学与工程学院，浙江 杭州 310018；2.中国人民武装警察部队海警总队医院信息科)

0 引言

根据世界卫生组织调查，2020 年全球新增肝癌例达90 余万例，并导致83 余万人死亡[1]。对于肝肿瘤的治疗，肝肿瘤区域的分割算法为射频消融技术提供了有效的辅助。通常，肿瘤分割靠经验丰富的医师观察患者的CT 图像，凭经验来划分肿瘤区域。由于人体器官的复杂性和人力资源的限制，因此，计算机辅助诊断成为一种较好的方法。

传统的肝肿瘤区域检测方法一般基于图像形态学[2]，基于灰度、纹理、亮度、对比度等信息应用分类器进行分割[3]。这些方法通常包括基于图像灰度值分布的阈值分割法、基于灰度相似性和空间邻近性的区域生长法、基于目标区域边缘的边缘检测、基于像素灰度的聚类算法。CT图像中肿瘤与周围器官对比度差，肿瘤区域相对较小，且肿瘤分布的位置和数量不规则，传统算法难以实现肝脏肿瘤的精确分割。近年来，深度学习在医学图像分割等许多领域取得了显著的成就，其中U-Net 以其在各类不同的生物医学分割应用中的出色表现而闻名，并成为了后续众医学分割模型的基准网络[4]。本文旨在以U-Net 为基准网络，设计一个高效的分割网络，对CT 图像进行肝脏肿瘤区域的自动分割，以提高医护人员的诊疗效率。

1 研究内容

本文针对现有深度学习方法存在的不足，提出的一种基于U-Net 的融合注意力机制的深度网络Attention-ResUNet(AR-UNet)。主要内容如下：

⑴通过对CT 图像进行限制对比度自适应直方图均衡化(contrast limited adaptive histogram equalization，CLAHE)预处理，加强目标区域与背景区域的对比度。

⑵加强U-Net的编解码结构的特征提取模块，将残差模块中的恒等映射融入编解码结构中，提升特征的传递。

⑶对特征提取模块得到的上下文信息利用注意力机制模块，对特征重新标定，加强有效特征的传输，使得跳跃连接传输的上下文信息更为高效。

2 本文方法

本文提出的方法包括图像预处理以及利用ARUNet进行图像分割两个步骤，在预处理阶段通过限制对比度自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)对CT 图像进行目标区域对比度增强，然后通过本文提出的模型先对肝脏区域进行分割提取感兴趣区域(regionofinterest，ROI)，最后对ROI区域进行肿瘤区域分割。

2.1 图像预处理

为了增强肝脏区域以及肝脏肿瘤区域与其他无关背景区域的对比度，本文使用了CLAHE 对CT图像来进一步增强。自适应直方图均衡化(Adaptive Histogram Equalization，AHE)，是一种用于提高图像对比的数字图像处理技术[6]。它与普通直方图均衡化(Histogram Equalization，HE)的不同之处在于通过领域区域计算出的变换函数来调整每个像素。直方图均衡化推导如下式：

其中，nk表示离散形式的灰度图灰度级别为rk的像素数量，Pr(rk)表示rk的概率密度，sk为像素rk经过变换函数T()变换后的灰度值。本文将灰度图做归一化处理以简化计算，因此式⑵中0<=rk,sk<=1。再将求得的归一化之后的灰度级sk逐一映射成8-bit灰度级别。

CLAHE的计算基于HE，通过计算多个直方图，每个直方图对应于图像的不同部分，并利用这些直方图重新校准图像的灰度值。同时，CLAHE对图像灰度图对比度的限制，对子块中统计的直方图的阈值进行设置，将超过阈值的分布均匀分散到概率密度分布上。经CLAHE 预处理之后的CT 图像如图1 所示，CLAHE避免了过度放大图像中概率密度函数值过大的区域，从而避免了将直方图强烈地峰值化，导致无关的噪声被放大。

图1 经CLAHE预处理后样本

2.2 Attention-ResUNe（t简称AR-UNet）网络结构

在肝脏肿瘤分割任务中，U-Net编码器、解码器结构存在特征提取不足、特征提取模块的结构过于冗余造成了过多的训练参数，以及跳跃连接直接传输浅层卷积提取的特征与造成的图像特征模糊等问题。对此本文对U-Net进行改进，提出了AR-UNet，进行肝脏肿瘤分割。

AR-UNet 其网络结构如图2 所示。本文修改了U-Net 的编码器、解码器结构。不同于其他将残差模块应用于跳跃连接阶段的改进网络，本文利用残差网络中恒等映射的优点加强特征传输的优点[7]，在U-Net的收缩、扩张路径利用残差单元取代了原始U-Net 的卷积操作。为了加强特征通道的权重和特征的上下文信息，使得模型聚焦于特征向量的有效信息，本文在每个残差单元中融入混合注意力机制[8]。

图2 Attention-ResUNet网络架构

AR-UNet 重新设计U-Net 中的特征提取模块，以提高模型的学习效率，同时保证通过跳跃连接的传输的特征更加细化。原始U-Net 收缩、扩张路径的两层卷积核的情况下，直接引入残差块会导致残差映射退化成y=w1x+x，以及下层路径中，过多的卷积核造成网络结构的冗余。在原始U-Net 中编码器最底层中，其卷积核的数量达到了1024个。

为了继承U-Net设计思想，不论收缩、扩展路径都是两层卷积核的形式的特征提取模块。在图2 中，黑色矩形块表示了加入注意力机制的残差模块。为了不使残差映射退化，本文结合了残差网络中的瓶颈层设计思想替换每一层的卷积核。瓶颈层的设计如图3所示，以图2 Attention-ResUNet 网络架构中编码器第三层为例代表的操作。每一层通过的1×1 卷积对数据进行降维，再通过的3×3卷积进行特征提取。最后为了恢复特征通道数，再将特征经过stride为1的1×1卷积进行升维。在升维操作后，通过融合注意力机制来提高模型的表征能力。在瓶颈层的末端，通过串行执行通道注意力模块[9]以及空间注意力模块[10]，使得模型能够增强有效特征的通道同时聚焦于特征的有效空间信息。因此，本文以瓶颈层的设计代替了原始的特征提取模块。输入特征为上层特征经过下采样得到的特征，并经过残差函数F()的计算。

图3 Attention-ResUNet瓶颈层结构

为了进一步细化特征F，提取的特征经过注意力机制模块如图4所示。

图4 注意力机制模块

经过通道注意力模块将空间维度进行压缩，得到特征通道权重的映射Mc，Mc计算如下：

其中，σ表示Sigmoid 激活函数。W0，W1为共享权重，本文W0,W1∈，r为缩放因子对特征进行压缩，用于减小参数，简化计算量。再经过点乘操作，对特征重新校准。求得的重新校准的特征可用式⑷计算：

经过通道注意力模块提取后得到特征F'，再经过后续的空间注意力模块，对模型的空间信息进行校准。空间注意力模块通过对特征F'进行最大池化和平均池化操作，分别求得两个特征如下：

最后利用空间注意力机制，空间注意力映射Ms可用式⑺计算：

其中，[;]表示连接操作，f7×7表示卷积核为7×7 的卷积操作。进而求得的空间映射Ms与F'累乘操作，得到经过通道校准以及聚焦空间信息的特征F''：

将特征F''与恒等映射累加，即为l层输出特征。

本文通过改进U-Net 的特征提取模块，来使网络在肝脏肿瘤分割任务上取得更优秀的表现。通过改进的瓶颈层来替代直连的卷积操作有以下优点：

⑴引入的残差结构，增强上下文信息的提取。

⑵可以减少训练参数，改善U-Net 冗余结构，节约训练时间。

⑶通过通道、空间注意力机制对特征重新校准，一方面可以使得模型聚焦于特征的有效通道以及热点区域，另一方面特征经过注意力模块处理后也避免了在跳跃连接时低分辨率的特征信息与深层抽象特征融合造成的特征模糊问题。

3 结果分析

3.1 实验数据集

在LiTS 数据集上本文选取10 名患者(共3255 张图像)的数据用于验证，20患者(共8404张图像)用于测试。其他101 名患者(共46979 人图像)用于数据增强，然后用于训练。在3D-IRCADb 数据集上在来自2 名患者的数据(共254 张图像)用于验证，2 名患者(共349张图像)进行测试。16 名患者(共2269 张图像)用于数据增强，然后用于训练。

3.2 实验环境与配置

AR-UNet 的优化器选取Adam，初始学习率设置为1e-5，权重衰减系数设置为0.0001，β1 设置为0.9，β2设置为0.999。实验平台采用Ubuntu 16.04操作系统，搭载24GB 显存的GeForce RTX 3090GPU 进行实验评估，利用开源深度学习框架Tensorflow1.14.0实现。

3.3 AR-UNet实验结果与分析

为了验证本文方法的有效性，将AR-UNet实验结果与其他主流分割方法得到的结果做对比，对比数据如表1、表2所示。

表2 LiTS数据集分割结果

从表中数据可知，对于肝脏肿瘤分割，在3DIRCADb数据集中，AR-UNet在VOE、ASD、MSD 三个评价指标中达到了38.2%，1.622mm 和5.847mm 的最优性能。得益于AR-UNet高效的特征提取模块，在肝脏肿瘤分布复杂、数量不定的样本中，AR-UNet 具有接近专家真实标注结果的分割性能。

在LiTS数据集上对于Dice和MSD 的评价指标分别达到了83.7%和4.693mm最优性能。由于本文提出的AR-UNet基于二维卷积操作实现，在一定程度上忽略了三维体素间的上下文信息联系，因此对于RVD指标上相较于基于体素的三维卷积实现的深度神经网络稍有差距。根据图5 中的结果图对比，本文方法可以有效地分割出肝脏区域中的肿瘤主要区域以及大部分细节复杂的边缘区域。得益于AR-UNet中引入的残差模块以及注意力机制模块，AR-UNet相较于其他分割网络对于肿瘤的边缘区域能够实现有效的提取。

图5 AR-UNet与其他分割网络结果对比

4 结论

本文根据CT 图像中肝脏肿瘤分割任务的特点，提出一种基于AR-UNet 网络的分割网络。首先对分割任务样本集进行数据CLAHE 预处理，来增强目标区域与背景的对比度，然后利用本文方法对肝脏区域进行初分割，提取ROI，最后对利用AR-UNet 对ROI提取肿瘤区域。在不同数据集上的实验结果表明，本文方法在肝脏肿瘤分割任务上表现优秀，并且模型具有泛化能力。基于AR-UNet 网络模型在肿瘤分布复杂的场景仍然有改进空间。为了进一步提高分割的准确率，本文的后续工作将关注空间体素以及对于模型结构的改进，进一步提高特征的利用，提升网络分割性能。