基于卷积神经网络检测颈动脉斑块

贺桢，石蕴玉，刘翔，杨少玲，牛嘉丰

1.上海工程技术大学电子电气工程学院，上海 201620；2.上海市第八人民医院超声医学科，上海 200235

前言

据《中国心血管健康与疾病报告2019》显示，中国心血管病患病率处于持续上升阶段，推算心血管病现患人数3.30 亿［1］。动脉粥样硬化指患者脂质代谢出现问题，脂质和复合糖类在动脉内膜积聚形成纤维脂质斑块，最终导致血管壁中内中膜厚度（Intima Media Thickness,IMT）增加的现象，它是心血管病的病理基础［2］。早期检测和诊断颈动脉斑块对患者后期治疗至关重要，目前超声检查已经广泛地应用于心血管病的临床诊断［3］。但是超声图像自身分辨率低，并且有斑块噪声，导致判读图像难度增大，且判读的主观性强，易出现漏诊或误诊现象。对于早期诊断和治疗与颈动脉相关疾病，已经在不同的研究中尝试了各种方法，这些研究主要使用不同的机器学习算法对不同数量的患者医疗图像进行分析处理。1986年Pignoli等首次使用计算机辅助测量IMT，自此许多学者对IMT 分割算法进行研究，提出不同方案和算法代替手工实现自动测量IMT［4-7］。通过分析已有的测量方案和算法，可知目前常规思路为两步：首先获取感兴趣区域（ROI），其次在初始轮廓线的基础上获得最终轮廓线并测量IMT。

深度学习这个概念在2006年第一次被提出［8］。目前，深度学习已经被用在医学领域进行了不同的研究，它的出现为医学图像辅助诊断提供了新思路和研究手段。本研究提出利用卷积神经网络（Convolutional Neural Network,CNN）获得稳健可靠的颈动脉斑块检测模型，对颈动脉斑块进行辅助检测，减轻放射科医师负担。实验结果证实该模型对颈动脉斑块辅助检测有显著意义。

1 设计与方法

检测颈动脉斑块可分为两个部分：①ROI 提取：采用图像处理算法对待测的颈动脉超声图像进行自动分割，获得ROI，以便提高图像分类的效率。②斑块检测：将分割好的图像输入到训练好的CNN 模型进行检测，得出检测结果。流程图见图1。

图1 颈动脉斑块检测流程图Figure 1 Flow chart of carotid plaque detection

1.1 ROI提取

ROI提取可以提高图像分类的效率，方便图像处理。本研究使用的方法利用血管形态信息、IMT以及高斯混合模型（Gaussian Mixture Models,GMM）［9］，具体步骤见图2。

图2 ROI提取流程图Figure 2 Flow chart of region of interest(ROI)extraction

颈动脉超声图像的尺寸为800×600，对其进行裁剪，去除包含如日期、器械名称、参数设置等很多无用信息的区域，只保留与颈动脉血管信息相关区域。裁剪后的超声图像尺寸为400×400。医学超声图像虽然有实时、廉价、无损伤、无侵入等优点，但其易受超声仪器型号、本身成像原理等原因限制，导致超声图像分辨率不高。为了改善这个问题，本文采用图像超分辨生成对抗网络（SR-GAN）［10］提高超声图像的质量。SR-GAN 由生成器和判别器构成，判别器的主体是VGG（Visual Geometry Group Network）［11］，包含8个卷积层，选取带泄露修正线性单元作为激活函数，最终通过两个全连接层和Sigmoid 激活函数得到预测概率；生成器由多个残差块组成，每个残差块中包含卷积层、批量归一化和参数修正线性单元激活函数，同时在模型后部加入了亚像素卷积层用于增加图像分辨率，使得提升分辨率的同时减少了计算量。将超声图像转为一维数据点作为聚类的元素，使用GMM 算法将图像中所有点分为3 类，最后将数据点转换为图像并显示。

GMM 是一种常用的变量分布模型，以概率模型为基础进行聚类，在数理统计领域有着广泛的应用。GMM分布为：

其中k为类别数，xi表示第i个对象，qk为像素属于k类的概率，μk为第k类对应的多元高斯分布的均值向量，φk为第k类对应的多元高斯分布的协方差矩阵。

由期望最大化算法（EM）算法估计。

EA 算法是一种统计学方法，也是一种极大似然估计方法，可以帮助计算数学模型参数。这里用来计算GMM参数，具体步骤如下：

初始化模型参数qk(0)、μk(0)、φk(0)。

E步：

M步：

其中，

迭代以上步骤直到参数收敛。

以灰度值0～5为颈动脉管腔，灰度值180～190为颈动脉外膜［12］，按照血管的灰度值特性对聚类后的颈动脉超声图像进行灰度分级，计算3张图像像素值的平均值，值最低的图像灰度值映射到0，另外2张灰度值映射到255，并将3张图像进行图像融合。

最后对图像进行闭运算。它可以封闭融合后的图像中细微连在一起的图块，从而填补图像，与此同时能保持图像内容的位置和形状不变。超声图像拍摄过程中，探头扫描时远端血管壁因为受到小的增益影响，图像会比较清晰，血管壁分层明显，而近端由于被超声波散射原理，内中膜容易被影响，成像会变暗模糊，所以本实验选取远端血管壁作为ROI［13］。由于近端和远端在形态上是连通的，保留近端远端两个大的连通域，删除图像上过小的连通域。依据远端血管壁的质心大的特点，删去近端连通域，获取最终ROI。

1.2 基于CNN的斑块检测

VGG 是CNN 中经典模型之一，它是由牛津视觉几何小组联合谷歌人工智能公司共同研发的，并在2014年大规模视觉识别挑战赛中获得第2 名［14］。VGGNet 包含6 种CNN 框架，由卷积层、池化层和全连接层反复堆叠形成16～19 层的CNN，其特点为：卷积核为（3×3）或（2×2），池化核为（2×2）；网络的整体不仅层数更深，而且特征图更宽；测试阶段可以输入任意尺寸图像进行测试。总的来说，VGGNet泛化能力更好，是CNN中提取图像特征的首选之法［15-16］。

本研究提出了一种基于CNN 的斑块检测算法（Detection of Carotid Plaque Based on Convolutional Neural Network,简称DCP），见图3。DCP由VGGNet原始结构改进得来，其中包含9 个卷积层，它们每个卷积核的大小都是3×3，并在它们每层后面添加“ReLU”激活函数，将激活结果作为新层的输入。添加4 个最大池化层防止过拟合，大小为2×2。最后把全部特征通过全连接层连接产生输出值，并把输出值输入到给分类器得到最终分类结果。DCP 网络的超参数经过反复实验和分析得以确定。

图3 DCP网络结构Figure 3 DCP structure

将超声图像进行标定，其中有斑块的ROI标定为“1”，其余标定为“0”，标定完成之后，提取ROI并将分辨率调整为统一大小（400×120），随机混合存储标定图像顺序以防止模型记忆数据并提高模型准确性。将标定后的图像作为DCP 的输入进行训练并提取特征。采用五折交叉验证方法进行训练，并且迭代50次，获得最终颈动脉斑块检测模型。

2 实验结果与分析

2.1 实验环境

本研究实验环境为Window10 操作系统，处理器为AMD Ryzen Threadripper 1900X 8-Core Processor，内存为8 GB，GPU 显卡为NVIDIA GeForce GTX 1080Ti。本研究DCP 模型使用Python Keras［17］编写，使用TensorFlow［18］作为后端框架。在配置环境下，网络训练时长为2 min。

2.2 数据集

使用的超声图像由上海市奉贤区中心医院提供，包含45 位患者的颈动脉超声图像，共有467 张，尺寸为800×600。实验仪器为GE Vivid E9（美国）超声诊断仪，9L-D 探头，探头频率（4～8）MHz。由两位专家手动标定，其中有斑块样本251 张，无斑块样本216 张。训练验证集为416 张，其中有斑块224 张，无斑块192 张。测试集为51张，其中有斑块27张，无斑块24张。

2.3 实验结果

ROI 提取可以提高图像分类效率，方便图像处理。本文超声图像获取ROI 见图1。通过五折交叉验证训练网络［19］，ROC曲线见图4。模型训练准确度已经达到99.25%，最终采用的batch-size为32，学习率为0.001，迭代次数为50次。

图4 五折交叉验证训练过程ROC曲线Figure 4 ROC curves of 5-fold cross-validation

以病理结果为金标准，在测试集中分类器预测无斑块为23次，有斑块预测28次，实际样本中有27张图像有斑块，24张无斑块。检测颈动脉斑块分类器准确度为94.12%（48/51）、敏感度为96.30%（26/27）、特异性为91.67%（22/24）、假阳性率为8.33%（2/24）。

2.4 网络性能对比

Savaş等［20］同样通过CNN检测颈动脉斑块，截去超声图像无关信息进行预处理，通过7 层CNN 进行训练。搭建文献［20］的网络，同时按照其方法对图像预处理，只去除颈动脉超声图像中与颈动脉无关的信息，见图1（截取冗余信息图），将两种ROI 分别用本文网络和文献［20］的网络进行训练。不同网络、ROI对应的训练准确度见表1，准确度和损失值每5个轮次变化见图5。

图5 模型损失收敛过程和精确度变化Figure 5 Model loss convergence process and changes in accuracy

表1 模型最终准确度和损失值Table 1 Final accuracies and loss values of different models

研究显示分别将本研究的ROI 和文献［20］ROI作为DCP 网络的训练集，使用本研究ROI 的模型得到的准确度高于使用文献［20］ROI的模型；同时分别将本研究ROI 和文献［20］ROI 作为文献［20］的斑块检测网络的训练集，本研究ROI的模型得到的准确度高于文献［20］ROI的模型。综上所述，本研究方法准确率高于文献［20］的方法，与之相比利用超声血管形态的信息截取的图像ROI提高了模型的准确度，使模型具有更好的鲁棒性。

3 结论

本研究提出一种自动、高效的检测超声图像颈动脉斑块分类方法，以便辅助早期诊断和治疗心血管疾病，该算法采用SR-GAN 网络提高超声图像质量，利用超声血管形态信息结合GMM 算法提取ROI，既能保留血管自身形态信息，又能提高斑块分类效率，采用CNN 检测颈动脉斑块，模型鲁棒性好。然而颈动脉斑块有两种，其中一种是易损斑块，它容易发生破裂，很可能会栓塞脑动脉，继而引起中风等临床事件，需要对筛选出来的颈动脉斑块进一步分类，以提高实用性，这是下一步的研究方向。