基于多监督残差网络的冠状动脉CT图像分割

顾峰，曹秒，蔡庆武，董麒，张坤

（长春理工大学 生命科学技术学院，长春 130022）

冠状动脉疾病的发病率和死亡率均较高，已成为当今世界范围内死亡率最高的疾病之一［1］。冠状动脉粥样硬化性病变可导致血管狭窄或阻塞，冠状动脉狭窄的检测与量化是临床早期诊断冠心病的主要途径。随着临床医学认识的不断加深和影像技术的进步，冠状动脉造影CT图像在筛选冠状动脉疾病方面发挥着越来越重要的作用。冠状动脉造影是一种非侵入性的方法，无需动脉导管介入，只需造影液通过静脉注入流经心脏，在冠状动脉舒张期完成一次心脏断层扫描［2］。冠状动脉造影CT图像分割在辅助医生治疗、评价血管狭窄病变范围、重建血管三维结构等方面具有重要意义［3］。完整的血管分割结果可节省医生的人工分割时间，有助于医生更好地诊断疾病。

卷积神经网络（CNN）主要依靠特征自动提取等技术，在数字图像处理领域取得了重大进展［4］。医学领域也注意到深度学习方法的巨大成功，并且希望将深度学习技术应用于医学图像处理的各个任务。已发表的有关深度学习的文献中，提出了许多不同的血管分割方法。当前深度学习主要有两类：监督算法和非监督算法［5］。非监督算法是指训练过程中没有人工标注作为参考依据，而监督式算法可以使用手工分割好的标签作为参考依据。

随着越来越多数据集的公开，监督式算法得到了越来越多研究人员的喜爱，而且监督式算法网络架构更具有竞争性，可以达到最佳性能［6］。李瑞瑞等人［7］引入新的血管连接损失值来保证血管的连通性。JIN等人［8］引入了一种可变形卷积运算来对不同形状的血管进行建模。一项研究声称［9］，考虑到动脉和静脉之间的特征差异，可以通过多任务训练来改善分割结果。YAN等人［10］意识到血管宽窄之间的固有数据不平衡，表明训练损失值将以宽的血管为主，而忽略细的血管。该模型虽然可以有效地重建粗、细血管，但是需要手动定义血管的直径，而在大多数的血管分割实例中，模糊和嘈杂的血管边界很难全部通过手动定义。ZHU等人［11］提出基于PSPNet网络的冠状动脉造影图像分割方法。针对冠状动脉造影图像结构复杂多变、参数结构过拟合或参数结构破坏等问题，采用小样本迁移学习限制参数学习方法，实现了并行多尺度卷积神经网络模型。但随着网络深度的增加，训练过程中对网络的指导力度不够。因此在分割医学图像时会出现误分割。

本文的目标是开发一种快速、全面和自动化的全卷积深度网络，称为MSRNet，用于解决动脉造影血管中血管的分割问题，能够辅助医生早期诊断疾病，并使用自动分割工具减少观察者的报告差异和医生的工作负担。

1 方法

1.1 ResNet-50

卷积神经网络随着网络深度的加深，表达能力增强。然而，随着网络深度的加深，一些问题也就随之而来。当网络层数太深时，对网络训练的时间以及设备的要求也越来越高，而且还会出现梯度消失，训练错误增加等现象，导致网络性能下降。这些问题的出现说明神经网络训练方法还存在很多问题。为了解决这些问题，何恺明等人提出了残差网络来解决这些问题。ResNet使用快捷连接和拟合残差表示法。恒等映射重新构建了学习过程，让梯度在网络中顺畅地传递，加快了网络收敛的速度，有效地解决了网络退化、梯度消失等问题。

ResNet-50是何恺明团队提出的残差网络ResNet中的一种，这里的50指带权重的层为50层，具体由1个卷积核大小为7×7的卷积层（Conv）、1个内核大小为3×3的池化层（最大池化Maxpool）、4组残差模块（Residual Module）和 1个全连接层（FC）构成，每组残差模块内分别有3、4、6、3个标准残差块结构（Residual Block）。

将ResNet-50提取的特征图进行可视化以了解ResNet-50对冠状动脉图像的特征学习过程，如图 1所示，从图1（b）～图1（d）展示了层次由浅至深提取到的部分特征图样例。通过观察分析特征图可以看到，网络的低层特征包含更多的线条、纹理、目标形状等信息，随着层次深度的增加，图像信息逐渐减少，一些关键目标特征也越来越模糊甚至消失。CNN的低层特征由于来源的层次较浅，因此学习到的特征更多指冠状动脉图像的局部和细节信息，而来源于更深层次的高层特征，则更强调图像全局结构及主要目标的整体轮廓等抽象信息，因此高层特征较适合冠状动脉分割任务。由于医学图像相对于一般的物体图像分割精度要求更高，冠状动脉图像的细节信息在CNN深层逐渐消失，导致高层特征缺少了可区分性的冠状动脉特征识别依据，从而可能产生分割不精确的问题。

图1 ResNet-50不同残差块输出的特征图

1.2 MSRNet网络结构

为提高冠状动脉分割精度，在残差网络中引入监督模块。通过训练好的ResNet-50模型进行特征提取的过程中发现，将ResNet-50网络中最后的三个残差单元和整个连接层去掉，网络收敛速度更快，对冠状动脉的分割效果更好。所以将网络中最后的三个残差单元和整个连接层去掉。这样，网络中就只有两种残差单元。如图2所示，在特征提取模块中，第1、4、8方块为映射残差单元（图2残差块1），残差单元输入输出之间的短连接通道不包含任何其他层。其余特征提取部分的方块表示卷积残差单元（图2残差块2）。这类残差单元的输入与输出之间的短连接通道包括卷积层、归一化层和尺度层。图2中第二部分是多重监督模块。针对网络中第3、7、13残差块，添加3个监督侧输出模块。因为网络由卷积神经层和尺度层两层组成，在不同深度下的特征图尺寸要小于输入图像特征图的尺寸。以3、7、13等残差块输出图像的特征图尺寸为原输入图像尺寸的1/4、1/8、1/16。为了确保监督模块输出的图像和输入图像的分辨率相同，在每个监督模块上都加入了一个上采样层对输出特征进行上采样。此外，每个侧面的输出模块还能计算出标签图像和侧面模块输出预测图之间的损失值，再将损失值反向传播，并用梯度下降法修正了网络的权值，这有利于网络多尺度学习，加快网络收敛速度。将各个侧模块的分割结果融合在融合层，得到最终的分割结果。

图2 MSRNet的架构

1.2 迁移学习

深度学习在分类、聚类和回归等领域取得了令人瞩目的成就。但是这些方法都是以训练数据和测试数据具有相同的特征空间时，才能得到让人满意的结果［8］。随着数据样本的变化，算法需要添加额外的训练数据，然后从头开始训练。应用到现实场景中时，这种方法的弊端就显示出来了，不仅成本较高，而且很多任务无法再收集更多的培训数据。因此，这些任务非常需要能够减少数据和训练数据的方法，这时应用领域间的知识迁移或迁移学习具有重要的现实意义。

1.3 训练过程

MSRNet基于牛津大学开发的深度学习卷积神经网络工具箱［9］，采用梯度下降法训练网络，全卷积层采用Xavier方法初始化，学习率设为0.01，偏向学习率设为0.02。融合层采用零初始化法进行初始化，学习率设为0.01。迭代次数设置为50。网络的损失函数定义如下：

其中，g1，g2…，gk∈{0，1}，像素 1 表示真值标签；gi=1表示属于冠状动脉的像素，反之，gi=0表示属于其他组织像素；p（gi=n）表示该像素属于该类型的概率。

1.4 分割结果的评价标准

为了评价该算法的性能，使用一些广泛使用的指标来进行比较。具体而言，选择血管分割准确性（Acc）和真阳率（Sen）［10］作为评价分割性能。使用NTP作为表示正确检测到血管（true positive）像素数，NTN表示为正确检测到的非血管（true negative）像素值，NFP表示为错误检测到血管（false positive）像素。Sensitivty（Sen）也称为真阳率（true positive rate），定义为 Sen=NTP/（NTP+NTN）。血管分割准确性（Acc）定义为Acc=（NTN+NTP）/（NTP+NFN+NTN+NFP）。

2 数据与结果

2.1 数据来源

为验证本文算法的分割性能，建立了一个来自实际案例的数据库。该数据库来自50个病人的680幅CT图像（如图3（a）），所有图像均为冠状动脉断层截面图，且所有图像都有放射科医生手动标注的真值标签。上述图像资料均来自西藏民族大学附属医院。

2.2 数据预处理

尽管深度学习体系结构对原始输入数据有很好的效果，但是适当的预处理操作可以提高网络分割的精度［11］。由于一些图像的对比度不明显，分割边界模糊，为了使数据更适合于分割，对数据进行预处理。

（1）图像进行归一化处理。从医院采集的数据来自不同的设备，而且病患个体差异导致造影图像灰度不同。首先将数据集中的所有图像转换成灰度图像，然后对灰度图像进行归一化处理，确保每个图像的平均灰度值为0，标准差为1。

（2）数据增强。为了克服过拟合问题，使用随机沿轴镜像翻转、随机缩放和强度位移三种技术对数据集图像进行增强。表1显示了有关使用数据增强方法的参数细节信息。

表1 数据扩充参数

2.3 性能比较

通过 MSRNet、U-net和 ResNet等技术，对基于深度学习模型的冠状动脉分割算法的有效性进行了验证。根据作者提供的源代码，对U-net和ResNet进行了大量参数实验，得到了最佳的U-Net和 ResNet参数。学习率（1×10-5），迭代次数（50）。通过计算Acc、Sen两个指标来评价三种分割算法的性能。分割结果如表2所示。

表2 几种分割方法的比较

表2为本文为了验证本文网络分割性能与其他几种神经网络分割方法性能的比较。从表2的结果可以看出，与U-net和ResNet相比，本文结果的Acc分别提高了9.3%和7.4%，Sen提高了9.1%和7.3%，MSRNet具有最高的Acc和最高的Sen。

为了验证本文提出的对冠状动脉进行分割的方法的有效性，对680幅图像进行了分割测试，并用人工分割结果作为参考标准。图3展示两组冠状动脉造影血管应用不同方法的分割结果。图 3（a)、图 3（f）是原始图像，图 3（b）、图 3（g）是由放射科医生手工分割的结果，图3（c）、图3（h）是利用U-Net进行分割的结果，图 3（d）、图 3（i）是 ResNet网络分割的结果，图 3（e）、图 3（g）是MSRNet网络的分割结果。从图3（c）、图3（h）两组图中可以看出，U-Net网络对冠状动脉并不能完整的分割。从图3（d）、图3（i）可以看出，ResNet网络对冠状动脉的分割出现了过分割问题，将一些对比度相似的造影组织分割了出来。图3表明，基于MSRNet网络的分割结果相对于U-Net和ResNet网络，分割结果更完整、更准确，不会出现过度分割的情况，且分割结果更接近人类专家手工分割的结果。

图3 实验分割结果

2.5 迁移学习的实验结果

表2展示了分割的准确性，基于MSRNet网络是最高的。在MSRNet的基础上，同时测试使用了迁移学习模型的准确性变化。图4是使用迁移学习之前和之后的模型性能的比较。可以看出，在使用迁移学习之后，本文提出的模型在冠状动脉分割中的Acc和Sen都有提高。其中测试集上的平均Acc从0.925提高到了0.938，平均Sen从0.912提高到了0.923。结果表明，本文使用的迁移学习策略能够提高模型的性能。

图4 基于迁移学习改善的模型性能

3 结论

冠状动脉是一种细管状结构，对比度和伪影相对较低，而且有效的注释样本稀缺，给冠状动脉图像的分割带来了困难。基于冠状动脉CT血管成像，提出了一种基于MSRNet的多尺度CNN模型。本算法首先对预处理后的图像进行下采样，得到多尺度的图像，并将其发送到CNN。在全连接层中选取不同尺度的特征进行融合，最后利用这些特征对冠状动脉造影CT图像进行分割。通过实验证明，基于MSRNet的冠状动脉CT血管图像分割技术比ResNet和U-Net具有更高的分割精度。此外，利用迁移学习技术来进一步提高分割的精度，解决了利用深度神经网络分割冠状动脉数据量有限的问题，进一步提高了分割的准确性。因此，本文的实验对冠状动脉CT血管的准确分割具有重要的意义。