基于改进3D U-net的CT肺部影像Covid-19感染区域自动检测研究⋆

曾雷雷 陈利红 杨 帆,* 缪月红 吴裕慧 雷平贵,*

1.贵州医科大学大健康学院(贵州 贵阳 550025)

2.贵州医科大学生物与工程学院(贵州 贵阳 550025)

3.贵州医科大学附属医院医学影像科(贵州 贵阳 550004)

新型冠状病毒肺炎(Coronavirus disease 2019，Covid-19)是由一种严重急性呼吸系统综合症冠状病毒(severe acute resporatory syndrome coronavirus，SARS-CoV-2)所引起的疾病，该疾病传染性极强，并在很短的时间内扩散至全世界[1]。感染Covid-19的患者会出现致急性呼吸道疾病，甚至出现致命的急性呼吸窘迫综合症(acute respiratory distress syndrome，ARDS)，且发病率高达29%[2]。当前针对Covid-19的检测的金标准是通过逆转录聚合酶链反应(reverse transcription polymerase Chain，RT-PCR)进行测试[3]，尽管该金标准具有很高的特异性，但其同时具有很高的假阴性率[4]，在实际的应用中容易丢失可能患有Covid-19的患者的概率极大，并不能很好的起到对Covid-19检测的作用。因此，计算机断层扫描(computed tomography，CT)成像被用作RT-PCR的进一步检测工具，并且被证明是有效且适用的[5]。虽然CT具有更高的敏感性，但其效率不高，即使是经验丰富的放射科医生也需要大约21.5分钟分析每个病例[6]，因此急需能够自动检测新型冠状病毒肺部感染区域的系统，减轻医护人员的工作量。

随着人工智能(attificial intelligence，AI)技术的快速发展，深度学习方法被证实是一种有效的可应用于医学图像分析以帮助医生快速定位病灶的方法[7-9]。图像分割是评估和定量Covid-19的重要步骤，通过分割得到Covid-19肺部感染区域，可以供研究人员进行更深层次的分析以及诊断治疗。目前大量研究人员提出针对Covid-19肺部感染区域的自动分割方法，Fan等[10]提出了一种基于CT切片肺部感染分割网络Inf-Net，以及一种基于随机选择为传播策略的半监督分割框架，取得较好分割效果。Gao等人[11]提出DCN(Dual-branch combination network，DCN)网络针对Covid-19进行诊断和病变分割，并提出了一种病变注意力机制提高网络对小病灶CT图像的敏感性。Wu[12]等人设计了一种新颖的联合分类和分割的诊断系统以达到Covid-19 CT图像肺部感染区域实时分割的目的，该系统在分类测试集上取得了95.0%的敏感性和93.0%的特异性，在分割测试集上达到了78.5的Dice。虽然大多数研究结果令人鼓舞，但遗憾的是目前多数研究者的研究是在CT 图像的二维切片下进行的，而CT图像本身是三维数据。三维CT图像的研究更能捕获肺部感染区域在3维的空间特性，提供更高的特异性以及敏感性。由于Covid-19肺部感染区域属于小范围感染区域尤其在病情初期感染区域极不明显，以往研究人员通常使用注意力机制来只关注可能发生病变的区域以达到提高分割精度的目的，但是其效果受数据集的大小以及标签标注信息的限制，这在小数据或者数据标注信息较少的数据中很容易导致其忽略上一层编码层的信息，而出现不同程度的信息丢失，以致于甚至比没使用注意力机制的网络效果更差。

因此本文提出一种改进的注意力门(attention gate，AG)[13]机制ACMI (attention channel more information，ACMI)结构以弥补由于注意力机制导致信息缺失的问题，并将其集成于3D U-net[14]形成ACMI U-net(attention channel more information U-net)网络用于Covid-19的肺部感染区域分割。

1 材料与方法

1.1 主要材料本文采用的数据集来源自Covid-19 Lung CT Lesion Segementation Challenge-2020[15]挑战赛，其中训练集160例，验证集39例，测试集50例来自俄罗斯莫斯科市政府医院公开的MosMed[16]新冠肺炎数据集。另外检测感染区域还需要对肺部进行分割，78例NSCLC[17]的肺部数据集被用于肺部分割模型训练，20例Covid-19-CT-Seg[18]数据集作为肺部分割测试集。

1.2 方法

1.2.1 主要算法流程 本文方法主要基于3D U-net 网络，并在3D U-net中集成通道注意力机制的ACMI注意力模块，在肺部感染区域分割过程中能够抑制无效区域影响并突出有效区域，弥补因数据集有限或者标注信息过少使得注意力机制丢失部分信息的问题。本文算法首先通过使用3D U-net训练一个肺部分割的模型，随后将肺部分割后的数据送入ACMI U-net 网络进行训练，图1显示了本文分割主要算法流程。

图1 Covid-19肺部感染区域分割主要流程。图2 ACMI U-net网络模型。图3 ACMI注意力机制，其中X、Y、Z是来自图2中ACMI注意力模块。图4 3例病人肺部分割结果，其中3例患者均展示横断面切片，红色部分为网络分割肺部结果。图5 肺部感染区域分割和3D可视化结果，其中3D可视化部分为真实标签与预测标签重叠覆盖效果，绿色为模型预测部分，黄色部分为真实标签，红色部分为肺部分割。

1.2.2 ACMI U-net网络结构 本文模型采用3D U-net网络模型，3D U-net分为编码部分与解码部分，在解码部分集成ACMI注意力模块形成ACMI U-net网络。模型在编码部分主要由卷积层、激活层、下采样层等模块构成，解码部分主要由卷积层、上采样层、ACMI注意力机制等模块构成，图2和图3分别显示了ACMI U-net的基本框架以及ACMI注意力模块。输入为经过肺部分割的胸部CT扫描图像，整个网络除了ACMI注意力模块中部分卷积模块以及最后一层卷积模块卷积核大小为1像素×1像素×1像素，其余卷积层模块的卷积核大小均为3像素×3像素×3像素，并且所有卷积模块的步长(stride)为1，补零(padding)为1；同时在卷积模块后使用PRleu(parametric rectified linear unit，PRelu)[19]线性整流激活函数代替Relu(rectified linear unit，Relu)激活函数以达到自适应的学习矫正线性单元的参数，增加网络的非线性，提高准确率。网络模型中下采样使用最大值池化，大小为2像素×2像素×2像素，上采样使用最近邻插值算法，扩大倍数为2，将图像在三个维度上扩大两倍恢复原来的图像大小；然后通过最后一层卷积将得到通道数为2的三维图像，最后通过归一化指数函数(softmax)得到每一个像数值属于不同类别的概率后再取最大值，得到最终输出图像。在整个模型中使用Dice Loss[20]以及交叉熵损失函数(cross entropy loss)之和作为损失函数。

图3所示为ACMI注意力模块，主要为实现通道注意力的同时增加网络对上一层编码层信息的利用，目的是为了防止在数据集较少以及标注信息较少的情况下使用注意力机制出现部分信息丢失的问题。主要流程为在对编码层应用注意力机制时，将该编码层的信息与应用注意力机制后的结果进行图形信息的叠加，再通过卷积层将其中图像信息进行整合，供下一层的模块进行特征提取。

1.2.3 数据处理 将所有训练数据使用线性插值的方法重采样到统一的体素大小，然后对整个肺部划分成较小的补丁(patch)进行训练，每个Patch大小为192像素×192像素×16像素，随后进行随机仿射变换，随机反转，随机弹性形变，增加高斯噪声等数据增强操作以达到扩充数据集的目的，模拟真实Covid-19 CT扫描图可能出现的情况，以增强模型的泛化能力。

1.2.4 实施细节 首先使用3D U-net 对NSCLC数据集进行训练，整个网络的Batch Size为2，整个训练数据迭代次数(Epoch)达到500次后损失函数不再下降即停止训练。将得到训练后的肺部分割模型应用于Covid-19 Lung CT Lesion Segementation Challenge-2020上进行肺部分割，然后把分割后的Covid-19胸部CT扫描图输入ACMI-Unet网络模型中进行训练。在ACMI U-net网络模型中，整个网络的Batch Size为2，整个训练数据集的迭代次数为1000，初始学习率为0.01，使用Adam[21]参数优化策略进行权重参数优化，采用Poly Learing Rate Policy[22]学习率下降策略，衰减权重为1e-5，并使用自动混合精度进行训练，降低训练成本提高训练速度。在模型测试期间，由于感染区域相对肺部较小，因此采用滑动窗口进行预测，以此来达到识别不同比例和不同位置的感染区域图像。整个实验采用深度学习平台为Pytorch 1.7.1，图像处理器(graphic processing unit，GPU)为英特尔至强银牌4210⋆2 20核40线程2.2GHz，内存为128G，显卡为4块Nvidia Geforce RTX 3090，总显存为96G。

1.2.5 数据评估方法 Dice系数、敏感性 (sensitivity)和特异性(specificity)三个指标用来评价模型的分割效果，计算公式如下：Dice=2TP/ (2TP+FP+FN)，敏感性=TP/ (TP+FN)，特异性=TN/ (TN+FP)，其中TP、TN、FP、FN分别代表真阳性、真阴性、假阳性、假阴性。

2 结果

2.1 肺分割及Covid-19感染区域分割图4展示了经训练后的3D U-net肺部分割模型对本文训练集进行分割后的结果，从图中效果我们可以观察到整体分割效果较好，能够作为ACMI U-net训练数据使用，同时有助于提高ACMI U-net的分割准确率。图5展示本文算法对MosMed数据集的肺部以及感染区域分割结果，以及3D分割结果，具体如图5所示。图6展示了使用3D U-net、Semisupervised 3D U-net[23]、本文ACMI U-net模型网络对MosMed数据集的分割结果，具体如图6所示。

图6 不同方法肺部感染区域分割结果比较。

2.2 统计结果表1中比较了本文算法和3D U-net、Semisupervised 3D U-net以及CoSinGAN[24]的分割指标结果，其中本文方法在MosMed数据库50例测试集的Dice、敏感性、特异性系数达到0.53、0.74、0.99。

表1 不同模型的评估指标对比

3 讨论

Covid-19肺部感染区域检测是对整个肺部感染情况以及后续疗效评估的重要环节[25]。本文方法建立在深度学习在医学影像的广泛应用上，利用其自主学习的特性以及注意力机制能够抑制无效区域突出有效区域的特点，提出一种改进的注意力机制模块ACMI，该模块能够弥补由于注意力机制造成的部分信息丢失问题，并将该模块与3D U-net网络模型结合形成ACMI U-net网络用于Covid-19感染区域分割。在测试集上本文网络模型达到0.53的Dice系数，0.74的敏感性，0.99的特异性，高于最新的方法。

从分割结果对比图中可以看出，是否集成ACMI注意力模块是影响Covid-19分割精度的重要因素，并且对比采用弱监督框架的方法与采用ACMI注意力机制模块的方法，ACMI U-net明显优于采用弱监督框架的方法。另外所提方法分割指标相对于3D U-net方法Dice系数提高了0.11，敏感性提高了0.18，相对于Semi-supervised 3D U-net方法Dice系数提高了0.08，敏感性提高了0.08，相对于CoSinGAN算法在平均Dice系数上提高了0.06。此外本文研究模型采用3D U-net分割肺部并将分割后的数据送入ACMI U-net进行分割训练，主要为了避免非肺部区域对于Covid-19的分割干扰，结果显示对于分割精度有一定提升。

然而本研究中存在数据集数量不足的问题，对于较小的感染区域，带标签的数据集非常稀少，以往通常通过进行半监督训练，扩充数据集，以此达到提升分割精度的问题，但是在本文中，由于细微的感染区域特征分布模型学习的不够充分，因此这种方法实际分割效果较差。虽然采用ACMI注意力模块结合3D U-net的方式对整体分割精度有较大的提升，但对于较小的感染区域检测还需要收集更多的数据来提升模型精度。

综上所述，本文提出的改进的3D U-net模型实现了Covid-19感染区域的自动检测，与3D U-net以及最新算法CoSinGAN相比，具有更高的Dice系数、敏感性以及特异性。Covid-19肺部感染区域自动检测算法的研究，有助于相关疾病计算机辅助诊断系统的开发，帮助医生更好的掌握Covid-19对肺部的感染情况以及制定治疗方案。