基于改进U-Net 的肺部CT 图像COVID-19病灶分割研究

蔡晨涛　吴钧　柳玉婷

摘要：肺部CT图像是诊断患者是否新冠感染最常用的技术之一。然而，从CT图像中手动筛查COVID-19病例耗时且费力。此外，COVID-19与其他社区获得性肺炎，如病毒性、细菌性或真菌性肺炎，在肺部CT影像上具有类似的特征，仅依靠影像医师无法准确区分二者。为了解决这个问题，提出了一种基于深度学习的自动分割系统。首先对图像进行了直方图均衡化、Otsu的二值化裁剪和数据增强等预处理操作，选用改进U-Net模型SA-UNet，即在特征拼接中引入空间注意力模块，采用结构化的dropout卷积块代替U-Net的原始卷积块，获得了实验性能突出的分割改进模型。

关键词： 深度学习；U-Net；COVID-19；医学影像；图像分割

中图分类号：TP391 文献标识码：A

文章编号：1009-3044（2024）14-0018-05 开放科学（资源服务）标识码（OSID） ：

0 引言

此前，新型冠状病毒肺炎（COVID-19） 疫情迅速蔓延至全球范围，逆转录聚合酶链反应（RT-PCR） 是目前被广泛应用于COVID-19的病毒检测方法，被视为“金标准”，但 RT-PCR 检测存在一定的假阴性，敏感性有限，新冠感染的最终确诊还必须依据对患者肺部CT图像的准确判读[1-3]。大多数新冠感染患者的肺部CT图像具有一些共同特征，如早期病变以磨玻璃影为主，晚期病变以实变影为主[4-5]，专业医生可以通过分析这些特征来做出诊断。

然而，由于该类图像中病灶重叠、背景干扰和低分辨率等问题，仅依靠肉眼判读常常难以正确判断；而临床抗疫形势下的时间紧迫、任务重，加之专家数量有限，进一步增加了医生由于疲劳而出现诊断错误的风险。如今，COVID-19肺部CT图像的病灶分割已经成为医学图像分析领域的一个热门研究方向，其中人工智能技术起到了关键性的作用[6-7]。

2015 年，Olaf Ronneberger 在国际学术会议（MICCAI） 上提出一种新的网络结构——U-Net[8]，是医学图像语义分割任务的常用模型，它通过引入跳跃连接显著提高了图像分割的精度。Zheng[9]等学者在CT影像数据不足的情况下提出使用弱监督深度学习的方法生成图像的伪分割掩模，使用预先训练的 UNet对COVID-19病灶区域进行分割。Wang 等人[10]提出了一种基于弱监督的深度学习诊断模型，使用3DCT图像实现COVID-19 的检测。Zhou等人在进行改进研究时引入了嵌套密集跳跃连接，提出一种UNet++分割网络模型[11]，这种网络结构在编解码路径之间嵌入了卷积结构，使得该模型结构能够提取更多的细节特征，并且实现不同的特征融合。Oktay等在研究时提出一种注意力U-Net，其分割COVID-19病灶区效果显著提升[12]。

然而，上述方法在处理新冠感染CT图像的分割时，容易出现梯度消失、未充分利用特征等问题，导致最终的分割效果较差。所以，本文以U-Net作为基础网络，引入多个模块参数，以提高模型的分割性能，同时使用公开的COVID-19 CT扫描数据集来训练这个模型，以验证它在COVID-19肺部CT图像分割方面的准确性。

1 图像预处理

1.1 数据集的选取

本研究选取了来自Kaggle的COVID-19 CT扫描数据集，其中包含20 例诊断为COVID-19 的患者的CT扫描图像，以及专家对肺部和感染区域的分割结果。由于这些CT图像采用了nii格式，因此使用ITKSNAP软件查看了图像属性，具体的查看结果如图1 所示。从结果分析可以看出，每个文件包含多个通道或切片，每个通道或切片都是一个单独的灰度图像，总共有3 520个切片。

同时，数据集还包含20个.nii类型的文件，每个文件对应着几个掩膜文件：lung_mask、infection_mask 和lung_and_infection_mask。笔者选择了其中一个CT 图像，查看了其标注结果，具体如图2所示。

其中，lung_mask标记了左肺和右肺的区域，infec?tion_mask 标记了肺部感染区域，而lung_and_infec?tion_mask则将左右肺和感染区域结合在一起。

1.2 图像预处理

对于 CT 影像的预处理，以获取较为优异的肺部特征，并为后续模型提供精确的病灶区分割，我们需要进行一系列图像预处理操作。由于本项目旨在对COVID-19 阳性患者的肺部感染区域进行分割，因此我们仅使用原始 CT 图片（共计 2 112 张切片）和 in?fection_mask（共计 2 112 张切片）两个文件夹中的文件。通过观察 infection_mask 文件，我们发现其中共有 498 张全黑的 mask 切片（即不包含肺部或任何感染区域），因此这部分切片可以视作噪声并进行去除。对于剩余的 1 614 张切片，我们进行 Min-Max 标准化处理，将图像像素值映射到 [0，1] 之间。随后，对图像进行以下处理：

1） 限制对比度自适应直方图均衡化（Contrast Limited Adaptive Histo?gram Equalization，CLAHE）。针对医学图像存在的对比度问题，笔者采用限制对比度自适应直方图均衡化（CLAHE） ，该方法能够将图像的直方图分布转变为近似均匀分布，抑制噪声，增强图像的对比度，从而显著提升图像中肺部与背景的对比度，突显肺部信息。具体处理结果如图3（b） 所示。

2） 使用自适应阈值确定法（Otsu） 裁剪感兴趣的区域（ROI）。在 CT 图像中存在大量的黑色空间，其中可能包含我们不感兴趣的内容，如肺下的隔膜等。因此，本项目采用 Otsu 的二值化方法，在 CT 图像上绘制轮廓，并裁剪出面积最大的轮廓矩形，从而提取出感兴趣的区域（ROI） 。最大面积的轮廓覆盖了双肺区域。具体处理结果如图3（c）所示。

由图3可以看出，经过处理后的 CT 图像显示，肺部与背景的对比度得到了显著增强，同时也成功裁剪掉了一些与肺部感染无关的图像信息。

3） 数据增强（Data Augmentation）。由于缺乏足够的训练数据，笔者采用数据增强的方式来扩充训练集以更好地拟合模型参数。对预处理后的图像进行随机翻转，扩大数据集。具体经过数据增强后的图像如图4和图5所示。

2 模型的选取与改进

2.1 分割网络的选取

医学图像的语义较为简单，结构较为固定，通常是对特定器官的成像。此外，医学影像的标注数据量较少，参数过多，容易导致训练过拟合。基于上述医学影像的特点，本项目选择了模型较小、参数较少的U-Net来实现COVID-19肺部CT图像分割。

2.2 模型介绍

U-Net是一种以字母U的形状命名的神经网络结构。整个神经网络由搜索路径（contracting path） 和扩展路径（expanding path） 两部分组成。搜索路径用于捕捉图像中的上下文信息，而扩展路径则用于精确定位需要分割的部分。U-Net结合了下采样时的低分辨率信息（提供物体类别识别的依据）和上采样时的高分辨率信息（提供精确分割定位的依据）。此外，UNet还通过跳跃连接（skip connection） 来补充底层信息以提高分割的准确性。

2.3 模型改进

在U-Net中，引入空间注意力模块，命名为Spa?tial Attention U-Net（SA-UNet） 。该模块可以沿着空间维度推断出注意力图，并将该图与输入特征图相乘，以进行自适应特征细化。此外，我们提出的网络采用结构化的dropout 卷积块代替U-Net的原始卷积块，以避免网络过拟合。通过引入少量其他参数（attention pa?rameters） ，空间注意力可以增强重要特征（如病灶区）并抑制不重要的特征，从而提高网络的表示能力。其网络模型结构如图6所示。

3 实验结果与分析

3.1 实验环境及实验设置

在开始本实验之前，需要配置相关的实验环境。本实验配置了 Nvidia GeForce RTX 3060 显卡，操作系统为 Windows 10。在此基础上，使用 Python 语言进行开发，下载了 Python 3.7。由于本实验所使用的算法基于深度学习模型，推荐在 GPU 环境中进行模型的训练过程。因此，安装了 GPU 版本的 TensorFlow=2.6.3 和相应版本的 Keras=2.6.0。详细信息如表1所示：

为了比较引入改进的U-Net神经网络对COVID-19肺部CT图像分割的影响，本文设计了以下实验：

选择了多个语义分割模型，包括UNet、U-Net++以及本文改进的SA-UNet模型，对测试集进行实验，并比较各模型的性能差异。在实验中，对上述网络模型分别采取了不同的batch size、优化函数以及损失函数进行分析。通过微调模型，找到最优的分割模型。

为了方便模型训练，考虑到图片大小不统一的情况，我们对所有图像进行了缩放，将它们的尺寸统一调整为512×512像素。在完成图像预处理后，我们将数据集划分为训练集、验证集和测试集三个部分。其中，训练集用于训练网络和参数优化，验证集用于评估网络的性能，通过计算损失函数来进行梯度反向传播。这种划分方法有助于防止过拟合现象的发生。测试集用于验证模型在真实数据上的可靠性和泛化能力。具体的划分比例为训练集占总数据集的60%，验证集占20%，测试集占20%。需要注意的是，这三个数据集之间是不交叉的。

3.2 模型评价指标

在本实验中，对肺部CT图像进行分割时，将每张图像的像素点分为3类，具体如表2所示：

通过保存训练过程中最优的模型用来预测图像，预测的结果评价标准由Dice系数、精准率（Precision） 、召回率（Recall） 进行分析评价，具体如式（1）、式（2）、式（3）所示：

1） Dice系数。Dice系数是一种用于测量两个样本集合相似度的函数，常用于评估两个样本之间的相似性，取值范围在[0，1]，接近1说明模型分割准确，是常见图像分割的评价指标，其公式如式（1） ：

式中，TP 表示真阳性（True Posi?tives） 、FP 表示假阳性（False Posi?tives） 、FN 表示假阴性（False Nega?tives） 。

2） 精确率（Precision）。准确率为在被模型预测为正的样本中实际为正样本的比例，其公式如式 ：

3） 召回率（Recall）。召回率为在实际为正的样本中被模型预测为正样本的比例，其公式如式（3） 所示：

这些指标将用于评估模型的性能和准确性。

3.3 实验结果分析

在项目规划阶段进行了一次实验，整个实验的参数设置如下：损失函数选择二元交叉熵损失（BCELoss） ，优化器选择Adam优化器，并设置初始参数为：批大小（batchsize） = 32，学习率（LR） = 0.001，迭代次数（epoch） = 80。表3为性能指标对比分析：

结果显示，本研究提出的算法模型最优。将最优的模型保存后，在测试集上运行分割结果，并将其与infection_mask中专家标注的结果进行直观对比。在此基础上观察分割模型的优劣。具体的分割结果对比如图7所示。

在TensorFlow框架下，使用matplotlib库绘制了保存的最优模型在验证集（val） 上准确率（accuracy）随训练轮次的变化图。从图中可以观察到，在模型迭代到25次时，准确率趋于稳定。具体如图8所示。

3.4 模型微调

为了提高模型的准确率并防止过拟合，本文对学习率进行了多次调整。具体的调整结果如表4所示。从表4中可以看出，当学习率为0.001时，模型的准确率最高，在测试集上的准确率达到了97.99%。

4 结论

本研究采用改进的U-Net神经网络对肺部CT图像中的COVID-19病灶进行了自动分割。在实验过程中，我们发现原始图片大小不一，且存在大量噪声，不能直接用于训练。因此，我们对数据集进行了预处理。首先，采用限制对比度自适应直方图均衡化（CLAHE） 方法增强肺部区域和背景图像的对比度。接着，使用自适应阈值确定法（Otsu） 裁剪出感兴趣的肺部区域，并将其统一缩放至512×512像素大小。通过这些预处理步骤，我们为后续的模型训练提供了更加稳定和可靠的数据集。

实验结果显示，在几轮训练后，训练集和验证集上的准确率（accuracy） 显著提升，表明预训练的SAUNet模型能有效地实现肺部CT图像中COVID-19病灶的自动分割。此外，本文提出的网络采用结构化的dropout卷积块替代了U-Net的原始卷积块，并通过引入不同的空间注意力参数，增强了模型对感染区域重要特征的提取能力，同时抑制了不重要特征的影响，进一步提高了模型的分割性能。这些改进措施有助于提高模型的泛化能力和鲁棒性，使其在处理实际肺部CT图像时更加准确可靠。

然而，由于含COVID-19 的肺部CT 图像变异性强，初期实验采用的传统数据增强策略效果不佳，无法保证训练样本的多样性。因此，我们考虑使用GAN 网络的生成器与鉴别器之间的对抗来合成高质量逼真的图像，以扩充训练集。

另外，COVID-19感染区域的位置不稳定，分布方差很大，且感染区域的大小也存在很大差异，因此很难找到像肺部分割的潜在规律。为了实现阳性区域感染分割的目的，我们在U-Net 的基础上进行了改进，引入空间注意力模块。通过增加少量参数，使网络的非线性特征提取能力更强，使网络的语义分割能力更加鲁棒。

参考文献：

[1] FANG Y，ZHANG H，ZHANG H，et al.Sensitivity of chest CT for COVID-19：comparison to RT-PCR[J].Radiology，2020，296（2）：E115-E117.

[2] AI T，YANG Z L，HOU H Y，et al.Correlation of chest CT and RTPCR testing for coronavirus disease 2019 （COVID-19） in China：a report of 1014 cases[J].Radiology，2020，296（2）：E32-E40.

[3] PAN Y Y，GUAN H X，ZHOU S C，et al.Initial CT findings and temporal changes in patients with the novel coronavirus pneu?monia （2019-nCoV）：a study of 63 patients in Wuhan，China[J].European Radiology，2020，30（6）：3306-3309.

[4] 钟飞扬，张寒菲，王彬宸，等.新型冠状病毒肺炎的CT影像学表现[J].武汉大学学报（医学版），2020，41（3）：345-348.

[5] CHUNG M，BERNHEIM A，MEI X Y，et al.CT imaging features of 2019 novel coronavirus （2019-nCoV）[J].Radiology，2020，295（1）：202-207.

[6] 刘锐，丁辉，尚媛园，等.COVID-19医学影像数据集及研究进展[J].计算机工程与应用，2021，57（22）：15-27.

[7] 冯龙锋，陈英，周滔辉，等.CT图像肺及肺病变区域分割方法综述[J].中国图象图形学报，2022，27（3）：722-749.

[8] RONNEBERGER O，FISCHER P，BROX T.U-net：convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham：Springer，2015：234-241.

[9] ZHENG C，DENG X B，FU Q，et al.Deep Learning-based detection for COVID-19 from chest CT using weak label[EB/OL].[2022-12-20].https：//www.researchgate.net/publication/339995455.

[10] WANG X G， DENG X B， FU Q， et al. A weakly-supervised framework for COVID-19 classification and lesion localiza?tion from chest CT[J].IEEE Transactions on Medical Imaging，2020，39（8）：2615-2625.

[11] 黄伟燃.基于卷积神经网络的肝脏肿瘤检测算法及应用[D].广州：华南理工大学，2018.

[12] ?I?EK ?，ABDULKADIR A，LIENKAMP S S，et al.3D U-net：learning dense volumetric segmentation from sparse annotation[M]//Medical Image Com?puting and Computer-Assisted Intervention – MICCAI 2016.Cham：Springer International Publishing，2016：424-432.

[13] Johns Hopkins Coronavirus Resource Center[EB/OL].[2023-01-10].https：//coronavirus.jhu.edu/.

[14] TOPOL E J.High-performance medicine：the convergence of human and artificial intelligence[J].Nature Medicine，2019，25（1）：44-56.

[15] NORGEOT B，GLICKSBERG B S，BUTTE A J.A call for deeplearning healthcare[J].Nature Medicine，2019，25（1）：14-15.

[16] LI L， QIN L X， XU Z G， et al. Artificial intelligence distin?guishes COVID-19 from community acquired pneumonia on chest C[J]. Radiology，2020，296（2）：E65-E72.

[17] CHAGANTI S，BALACHANDRAN A，CHABIN G，et al.Auto?mated quantification of CT patterns associated with COVID-19 from chest CT[J].ArXiv，2020：2004.01279v7.

[18] XIE W Y，JACOBS C，CHARBONNIER J P，et al.Relational modeling for robust and efficient pulmonary lobe segmenta?tion in CTscans[J].IEEE Transactions on Medical Imaging，2020，39（8）：2664-2675.

[19] 宋瑶，刘俊.改进U-Net的新冠肺炎图像分割方法[J].计算机工程与应用，2021，57（19）：243-251.

[20] TIAN Z，HE T，SHEN C H，et al.Decoders matter for semantic segmentation：data-dependent decoding enables flexible fea?ture aggregation[C]//2019 IEEE/CVF Conference on Com?puter Vision and Pattern Recognition （CVPR）.Long Beach，CA，USA.IEEE，2019：3121-3130.

【通联编辑：唐一东】

基金项目：本文得到国家级大学生创新创业训练计划项目（No.202210368040），安徽省大学生创新创业训练计划项目（S202210368076）资助