基于3D卷积网络的结肠癌CT图像分类研究

吕 刚， 应明亮

1. 金华广播电视大学图文信息中心， 浙江 金华 321000； 2. 金华市中心医院放射科， 浙江 金华 321000

结直肠癌是生活中常见的消化道恶性肿瘤之一，近年来，发病率显著上升。盆腔CT检查是结直肠癌筛查的方法之一，可以了解结直肠癌的大小、范围，以及有无经淋巴结转移、是否发生腹腔或肝脏转移等情况。CT相比病理分析具有对肠道准备的要求较低、操作简单、无创、可重复等优势，患者接受能力较强[1]。目前，在CT图像中筛查并标记出肿瘤区域还需专业人员手工操作，这是一项费时的工作，而且结果容易受主观影响。计算机辅助的CT图像中结直肠癌自动筛查可以减轻放射科医生的工作压力，辅助放射科医生更好地完成筛查工作。在医学影像分析领域，深度卷积网络已有广泛的研究和应用，并取得一些不错的进展。如Isensee等[2]提出的nnU-Net框架，在MSD[3]上的平均Dice相似系数得分为0.779，Tang等[4]提出的带自监督学习预训练的Swin UNETR框架在MSD[3]、BTCV[5]上的平均Dice相似系数得分为0.789、0.918，是目前的最好成绩。Zunair等[6]在不使用临床元数据的情况下，直接采用3D卷积神经网络进行训练可以获得比其他2D网络模型更好的学习结果，在对Image CLEF 2019提供的结核病CT图像数据做分类时，正确率为67.5%，排在CTR任务中所有方法的第5名，不使用临床元数据方法的第1名。

本文采集了一个有348例样本的结肠癌CT数据集，设计了3种不同结构的3D卷积网络，对采集的结肠癌CT数据进行了正常/非正常二分类实验，预测CT样本是否有结肠癌病灶，实验结果表明，3D卷积网络能非常有效地进行结肠癌CT的正常/非正常二分类。

1 资料与方法

文中设计了A、B、C 3个不同的3D卷积网络。相比基准模型[6]，本文设计的模型A，把第一个卷积层的卷积数从64增加到了128，希望通过提高底层卷积核数来采集更多的底层特征，从而提高网络的准确率。模型B在最后一个卷积层的激活函数中引入了L2正则化，来防止过拟合，提高网络的泛化能力。模型C把基准模型[6]中的卷积层换成了改进的残差模块。

1.1 数据集

实验使用的CT数据为在金华市中心医院采集的2018年至2021年348例结肠癌CT扫描图像(简称colonCT-2021)，colonCT-2021数据集中的样本分成三类，包含113例标注为正常的CT样本，54例标注为MSI的CT样本，181例标注为MSS的CT样本，文中二分类实验中MSI和MSS都归为非正常样本。CT扫描采用5 mm切片，空间分辨率10 lp/mm(线对每毫米)，每个样本包含78～94个切片。CT值通常用亨氏单位(hounsfield unit，HU)来表示，HU值反映器官和组织对X线的吸收程度，如骨组织的HU值一般大于400，肌肉的HU值一般在35～50之间，空气的HU值为-1000，以不同的HU值对应不同的灰度，CT图像中的单层图像可以显示为灰度图，如图1所示。原始的数据是DICOM格式的，每个DICOM格式的文件只保存了CT扫描中一个层的图像，本文把一例CT的所有DICOM文件转换为一个NIfTI格式的文件，NIfTI中的图像原始数据被存储成了3维图像，更便于3D卷积层的处理。

图1 不同类型的结肠癌CT样本单层示例

1.2 3D卷积

(1)

式中，P、Q、R分别代表卷积核在宽度、高度、深度方向上的大小，m代表第i-1层的特征图数量。CT图像是由很多2维灰度图组成的3维数据，和视频较为相似，视频中的第3维是时间维，在CT图像中第3维是深度，第4维的通道数为1，所以3D卷积可以很方便地应用到CT图像的特征检测上。

1.3 改进的残差模块

网络的深度对网络的性能至关重要[7]，但提高网络的性能并不像堆叠网络的深度这么简单。虽然网络的梯度消失/梯度爆炸问题可通过正则初始化、批量归一化、调整激活函数等方式解决，但随着网络深度的增加，网络退化问题变得比较棘手，网络退化现象表现为在一个合适的模型上再增加更多的层会导致网络的拟合能力和泛化能力都下降。He(何恺明)等[8]认为网络退化现象是因为网络中各层的映射目前无法做到恒等映射，增加新的层就会增加误差，并提出了深度残差学习的网络框架。通过捷径连接把输入和残差映射相加后得到输出，这样新的层至少保留了输入的内容，不容易把误差传导到下一层。He(何恺明)等[8]认为学习残差映射比直接学习输入输出映射要容易，残差模映射可以用如下公式表示：

H(x)=F(x)+x

(2)

如果和维度不一致，可以对加一个线性投影来保持和维度一致。模型C中本文用残差学习的思想改进了基准模型，本文采用的残差模块中，捷径连接是stride为2的3D卷积层，残差映射为2个卷积核大小为3、stride为1的3D卷积层和1个最大池化层。按照残差学习的思想，如果残差学习有效，模型C至少不会比基准模型差，模型C的残差模块结构如图2所示，s=1、s=2分别表示步长为1、2。

图2 改进的残差模块

1.4 L2正则化

网络结构确定后，损失函数和优化器就是配置学习过程的关键环节，Keskar等[9]的研究表明，大的权重容易使网络落入尖锐极小值，从而导致网络的泛化能力下降。文中模型B中改进了基准模型的损失函数，在最后一个卷积层加入了L2正则化，对大的权重值进行“惩罚”，可以使经过训练的网络权重更加集中在较小的值。新的损失函数为：

(3)

权重的更新变成了：

(4)

图3 L2正则化对权重分布的影响

2 实验结果与分析

2.1 训练设置及评价指标

本研究采用一台带NVIDIA GeForce RTX 3090 24G显卡的服务器作为实验设备。考虑到训练集较小和网络训练带有一定的随机性，每个网络模型在训练集上进行3轮5折分层抽样验证(每个模型共训练15次)。所有模型采用Adam优化器，初始化学习率为0.0001，训练过程监控验证集的准确率指标并保存最佳模型的权重值，一次训练完成后，加载本次训练最佳模型的权值在测试集上评估模型的准确率(Accuracy)、AUC(area under the ROC curve，即ROC曲线的曲线下面积)、查准率(Precision)、查全率(Recall)。

(5)

(6)

(7)

(8)

其中的和是随机的一对正负例和的预测值，AUC可以看作随机从正负样本中选取一对正负样本，其中正样本的得分大于负样本的概率。与准确率相比，AUC对类别失衡的敏感度较低，在测试集存在偏态的情况下，能更准确地反映网络的性能，TP是预测为1且预测正确的样本数，FP是预测为1但预测错误的样本数，TN是预测为0且预测正确的样本数，FN是预测为0但预测错误的样本数。

2.2 数据预处理和数据增强

考虑到内存和显存限制的影响，本文把CT影像大小归一到128×128×64(W×H×D)，HU值取[-110,190]之间并归一到[0,1]。再对训练集通过旋转[-20,-10,-5,0,+5,+10,+20]、水平翻转、上下左右平移、弹性形变进行数据增强，最后生成的训练集包含了3601例样本。预处理后，将数据集随机划分位训练集和测试集两部分，数据分配如表1所示。

表1 conlonCT-2021增强数据集分布划分

2.3 实验分析

图4是在colonCT-2021数据集上正常/非正常二分类实验的准确率曲线，取每个模型的最佳训练模型的数据绘制，从图4可以看出模型C在15次迭代内就能完全拟合训练集，且随着训练继续，准确率波动较少，其他几个模型30次迭代以上还不能完全拟合训练集，说明模型C拟合数据集的能力更强，速度更快。各个模型在测试集上的准确率和AUC如表2所示。

表2 conlonCT-2021数据集上正常/非正常二分类实验结果

图4 拟合曲线

实验中把训练集和测试集中的MSI和MSS样本归类为非正常类，从实验结果可以看出，单纯地增加底层卷积核数对网络的性能提升不太明显，并且因为底层特征图都比较大，增加底层卷积核数会线性增加网络的训练时间和显存空间需求，因此底层卷积核数也会饱和，之后一味地增加卷积核数，带来网络性能的提高回报不高；L2正则化对提升网络的泛化性能有帮助，但是训练的更慢，需要更多的迭代次数。模型C不管是泛化能力还是训练所需时间都要比其他几个模型好，准确率比基准模型提高了2.2%，AUC提高了2.9%，训练所需的迭代次数也大幅度减少，证明残差学习在3D卷积深度网络中也是有效的，而且模型C准确率和AUC的标准差都比较小，训练结果更加稳定。

3 结论

现代医学中X线照相、超声、计算机断层扫描(CT)、包括正电子发射断层显像(PET)在内的核医学和磁共振成像(MRI)等各种成像技术大量应用于诊断或治疗疾病，但是对于这些图像的解读还需要放射科医生人工进行，这是一项工作量巨大的重复劳动，文中研究了基于3D卷积深度学习网络的结肠癌CT图像二分类，本文的研究表明基于3D卷积的深度神经网络可以很好地对结肠癌CT图像进行正常/非正常的筛查，准确率和泛化能力都较好，具有很高的临床应用价值。下一步，还需要在更多的不同设备的CT数据集上做进一步的验证。