基于人机协同的FU-Net网络的CT影像肝脏自动分割

王佳琪 张广渊 李克峰

摘  要：现有的医学图像器官分割方法不能很好地依肝脏形状、位置及大小的变化而进行适当的分割，当肝脏形态变化明显时，不能准确地将肝脏分割出来。鉴于此，文章在传统U-Net网络中加入了全局注意力模块，通过通道注意力和自我注意力增强了对肝脏的特征提取；并在自动分割的基础上进行了人机协同操作，对分割不好的部分增加数据量，有效提高了分割准确率。该模型在MIOU和MPA指标上分别达到了86.71%、92.58%。

关键词：医学影像；人机协同；器官分割；U-Net网络

中图分类号：TP391.4    文献标识码：A  文章编号：2096-4706（2023）06-0054-04

Automatic Liver Segmentation of CT Images Based on FU-Net Network of

Human-Computer Cooperation

WANG Jiaqi， ZHANG Guangyuan， LI Kefeng

（Shandong Jiaotong University， Jinan  250357， China）

Abstract： The existing organ segmentation methods in medical images can not segment properly according to the changes of liver shape， position and size. When the liver shape changes obviously， the liver can not be accurately segmented. In view of this， this paper adds a global attention module to the traditional U-Net network， which enhances the feature extraction of liver through channel attention and self attention. On the basis of automatic segmentation， human-computer cooperation is carried out to increase the amount of data for the bad part of segmentation and effectively improve the accuracy of segmentation. The model reaches 86.71% and 92.58% respectively in MIOU and MPA indicators.

Keywords： medical image; human-computer cooperation; organ segmentation; U-Net network

0  引  言

醫学影像主要包括：电子计算机断层扫描（Computerized Tomography， CT）、磁共振成像（Magnetic Resonance Imaging，MRI）、正电子发射断层成像（Positron Emission Tomography，PET）、核医学（Single Photon Emission Computerized Tomography，SPECT）等，原理大多是通过某种介质来反映人体内部结构，能够在医生进行诊断时帮助医生了解患者身体内部构造。一般医疗影像中如CT影像成像复杂，组织与器官等在CT影像中清晰度一般，不同的人的CT影像也存在着不小的差异，所以医生在看医疗影像时需要根据医生的经验去判断病情，不易上手。因此对医疗图像中器官进行准确分割，给予医生一定的辅助判断能够有效地辅助医生更精准地判断病情，从而减轻医生的职业压力。

深度学习分割方法在硬件设备崛起后发展突飞猛进，Long等[1]提出了全卷积神经网络（Fully Convolutional Networks， FCN），将全连接层换为卷积层能够适应各种不同尺寸的输入，并通过不同深层的结合，确保了结果的鲁棒性与精确性；Ronneberger等[2]提出的U-Net网络提出了能够有效地处理大尺寸图像的方法，通过下采样与上采样增强了图像特征提取从而提升了标注少量数据集训练检测的效果，被广泛应用于医学图像；Badrinarayanan等[3]提出SegNet网络对每个像素进行分类计算概率，将池化层应用到译码过程中提高了分割准确率；Zhao等[4]使用金字塔池化模块聚合背景信息，在主分支损失上又增加了附加损失；Zhang等[5]结合多尺度策略和扩张卷积策略提出了EncNet，通过上下文语义编码提升语义分割结果。

虽然现有的分割方法在图像分割方面能够取得较不错的分割效果，但是这些分割方法对医学影像分割的结果都很一般，尤其当器官形态位置等发生变化时就会出现较为明显的误差，器官的边缘部分分割效果也较为一般。针对上述问题，本文所做出的主要工作如下：（1）我们在原基础U-Net网络上增加了全注意网络模块[6]，通过增加注意力模块来增强对图像特征的提取，使U-Net网络更加适用于对肝脏的分割（2）提出了在自动分割中加入人机协同，在自动分割的基础上通过人的判断与经验增加分割效果不好的肝脏形态的数据量，使得模型对该形态的肝脏的分割效果得以提升从而提高了分割准确率。

1  相关工作

CT影像中各种器官与组织清晰度并不是非常高，并且常常伴有各种噪声；在对肝脏进行分割时，我们主要是观察人的第十胸椎体到第十二胸椎体间的CT影像，个体差异使得CT影像差异也很大，这些都增大了肝脏分割工作的难度。

1.1  人机协同

随着计算机技术的发展，计算机在一些重复工作以及大计算量的工作中已经能够代替人类工作，但是对于一些理解能力、逻辑推理判断等问题，人类具有更明显的优势。

人机协同即将人的智能与计算机的智能结合，机器善于从庞大的数据集做出明智的决策，而人则更擅长用较少的信息做出决策。人机协同即将计算机的快速计算与人的决策判断结合起来，在机器学习基础上增加人机协同既能提高计算速度也能够使得算法更加适用于各种不同场景。

1.2  U-Net网络

U-Net网络经常被用来处理医疗图像分割问题，U-Net网络简单结构如图1所示，主要分为下采样支路和上采样支路，两条支路对称且可以进行端到端的训练。下采样支路主要用来提取特征，包含四个下采样模块，每个下采样模块又含有：两个3×3卷积层、两个ReLU非线性层和一个2×2最大池化层；上采样支路主要用来增强网络学习能力，包含四个上采样模块，每个上采样模块含有：两个3×3卷积层、两个ReLU非线性层和一个2×2反卷积层。网络的最后一层使用1个1×1的卷积层将全部的特征层映射到输出层。

1.3  全注意力网络

全注意网络模块如图2所示，设计了一个通道处理模块，引入通道注意权重促进了更多的组合表征同时也可以捕捉到更重要的信息，对每个通道进行了更加全面的考虑，通过重新加权来对通道进行选择，在空间上更全面地考虑每一个信道来提升分组信息，从而能够做出全局的聚合决策。

2  基于人机协同的FU-Net网络的肝脏自动分割

通过对CT医学影像的学习，我们了解到肝脏主要位于人体的第十到第十二胸椎体间，我们对这区间的CT影像的肝脏部分进行了仔细研究，我们发现每个人CT序列图像中肝脏的形态大小和位置变化很大，甚至会因为肿瘤、胆囊体等的遮挡使得肝脏在一张图像中被分为2～5块不等，不同人肝脏的形状大小和位置差异更加明显如图3所示，且CT影像主要为黑白的，仅仅依靠像素难以将其各种组织与器官区分，CT影像中内容又较多较复杂，这些都加大了对图像中肝脏分割的难度。

U-Net网络进行分割时主要依据不断提取图像特征来对图像进行分割，而肝脏的变化较为明显，不仅患者之间存在着明显差异，每个人的CT影像中的肝脏的大小、位置、形状甚至是数量也有着不小的变化，特征不明显，故基础U-Net网络在我们的数据中并不能很好地完成分割任务。我们在U-Net网络中加入了全注意力模块（模型结构如图4所示），自注意力[7]模块能够过滤无用信息，进一步增强对特征的提取，通道注意力[8]通过给予不同通道不同的权重，信息包含多的通道权重大能够得到更多的关注，不仅增强了对特征的提取更是有助于网络进行全局判断决策，从特征提取与全局信息两方面的增强提高了分割的准确率。

我们在对肝脏进行分割的实验中发现我们的FU-Net网络虽然比基础的U-Net网络分割效果好，但是对于一些肝脏形状变化大或者由于其他器官的遮挡导致肝脏被分为几部分的图像的分割效果不佳。如图5所示，当肝脏刚开始出现或肝脏形状奇怪时（如第一列和第五列），FU-Net网络对其定位是比较准确的，但是在分割的精准度上却不尽人意，第二列中我们可以看出FU-Net网络在对肝脏分割时对于比边缘的处理较为一般，第三四列中我们可以看到由于像素的相似性，FU-Net网络会将右下角的脾部也认为是肝脏分割出来。

对此我们在原始的数据库中增加了上述几种情况的图像数据量对训练数据进行补充，图5中第二行就是对应的第一行的FU-Net加入人机协同后的结果对比，经过对比我们发现在原始训练数据中增加分割效果一般的肝脏形状的数据量能够更好地对肝脏部分进行分割，并且使得模型在定位肝脏与处理图像边缘的水平提高，有效提高了模型在对肝脏进行分割时的准确率。

3  实验结果

3.1  数据库

我们实验所用数据为齐鲁医院提供的医疗数字影像传输协定（Digital Imaging and Communications in Medicine， DICOM）文件，在我们实验进行前我们需要对其导出为图像文件，考虑到图像及肝脏清晰度的问题，我们选择在窗宽250，窗位50的參数设置下将其导出。

我们有225位病人的CT样片，其中CT影像主要包含三种患者：有肺结节的患者、门静脉高压患者和门静脉正常患者的CT，约5万张CT影像。在我们训练模型时，我们标注了60人，其中肺结节患者20人、门静脉高压患者20人，门静脉正常患者20人，总计3 500张CT影像进行训练。在进行人机协同操作时，我们在原数据库中挑选出350张分割效果不好的图像重新加入训练数据中训练。

我们将训练集验证集按照9：1的比例划分，评判标准选择平均交并比（Mean Intersection Over Union， MIoU）和类别平均像素准确率（Mean Pixel Accuracy， MPA）来进行评判。

3.2  实验结果

为了证明我们算法的有效性，我们分别选用基础U-Net、基础U-Net+人机协同、FU-Net以及FU-Net+人机协同进行对比实验，实验结果如表1所示，由于CT影像中各器官间的色差很小，我们的肉眼都难以分辨，机器分割根据像素差别去辨别难度很大，这也给我们的分割工作造成了很大的干扰。在表1中我们可以看出FU-Net网络由于在U-Net网络中加入全注意网络，不仅通过自注意力过滤无用信息更能够通过通道注意对含有肝脏的影像加大权重，对于肝脏的特征提取更加明确，使得分割准确率得以进一步提高；相较于基础U-Net网络，在U-Net网络中加入人机协同机制，通过增加分割效果不好的图像的数据量，使模型更加适用于肝脏分割从而有效地提高了分割准确率；在基础FU-Net网络中加入了人机协同机制后的模型相较于基础U-Net网络、人机协同下的U-Net网络和FU-Net网络人机协同下的FU-Net网络在MIOU和MPA上均提高。

4  结  论

本文提出了基于人机协同的FU-Net网络的肝脏自动分割方法，在基础U-Net网络中加入全注意力模块，使算法能够更加准确提取图像特征并从全局进行判断，有效提高了分割准确率；在机器自动分割基础上加入人机协同，根据人的经验去修正训练数据，使算法更加适用于我们肝脏数据的分割，进一步提高了分割的准确率。将肝脏更为精准的分割出来，辅助医生判断肝脏位置，减轻医生职业压力，对医疗水平提高有重要意义。

参考文献：

[1] LONG J，SHELHAMER E，DARRELL T. Fully Convolutional Networks for Semantic Segmentation [J/OL].arXiv：1411.4038 [cs.CV].[2022-10-18].https：//arxiv.org/abs/1411.4038.

[2] RONNEBERGER O，FISCHER P BROX T. U-net：Convolutional networks for biomedical image segmentation [EB/OL].[2022-10-19].https：//www.doc88.com/p-9909769280204.html.

[3] BADRINARAYANAN V，KENDALL A，CIPOLLA R. Segnet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[4] ZHAO H S，SHI J P，QI X J，et al. Pyramid scene parsing network [C]//2017 IEEE conference on computer vision and pattern recognition.Honolulu：IEEE，2017：6230-6239.

[5] ZHANG H，DANA K，SHI J P，et al. Context Encoding for Semantic Segmentation [C]//2018 IEEE/CVF conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7151-7160.

[6] ZHOU D Q，YU Z D，XIE E Z，et al. Understanding the robustness in vision transformers [J/OL].arXiv：2204.12451 [cs.CV].[2022-10-18].https：//arxiv.org/abs/2204.12451v4.

[7] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all You Need [J/OL].arXiv：1706.03762 [cs.CL].[2022-10-18].https：//arxiv.org/abs/1706.03762v2.

[8] HU J，SHEN L，ALBANIE S. Squeeze-and-Excitation Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

作者簡介：王佳琪（1996—），女，汉族，山东烟台人，硕士在读，研究方向：电子电气。

收稿日期：2022-11-08