基于3D-RA图像的颅内动脉瘤自动检测算法

张建华，刘新科，赵岩，杨旭

1.北京科技大学机械工程学院，北京 100083；2.首都医科大学附属北京天坛医院神经介入中心，北京 100050；3.河北工业大学机械工程学院，天津 300401

前言

颅内动脉瘤是一种脑动脉内腔的局部异常扩大而造成动脉壁的瘤状突出，其发病率高达3%［1］，仅次于高血压脑出血和血栓［2］。尽管随着影像技术的发展并在临床实践中得到越来越多的应用，未破裂颅内动脉瘤的检出率越来越高，但仍有大约80%～90%的动脉瘤在破裂后被发现［3］，且破裂后病死率高达50%［4］。因此及时准确地检测颅内动脉瘤具有十分重要的临床意义。基于传统图像处理算法的颅内动脉瘤自动检测方法主要包括两阶段检测和三阶段检测。两阶段检测中的第一阶段包括确定初始动脉瘤候选［5］、提取大脑脉管系统［6］和图像预处理［7］3 种方法，第二阶段为颅内动脉瘤检测。其中，第一阶段是动脉瘤检测任务中的前期准备工作，能够降低第二阶段检测的任务难度。为了获得更好的识别效果，一些研究人员进一步将识别任务划分为3个部分：首先提取脑血管结构，然后确定动脉瘤候选，最后实现颅内动脉瘤检测［8-9］。此外，为了提高检测精度，可以使用扭数［10］、标记扩散图像［11］和最优尺度参数［12］等约束条件进行辅助检测。Wang 等［13］通过引入时间维度作为新增约束的方法也获得了很好的效果。但是在传统图像处理方法中，由于需要进行人工对象分割或特征提取工作，而无法直接学习图像数据。

深度学习方法直接使用图像中的像素值，通过避免细微或复杂对象出现的不准确特征计算和分割所导致的错误，取得了较好的性能［14］，故而被广泛应用于多种疾病的诊断过程［15-18］。与颅内动脉瘤诊断相关的如Jerman 等［19］提出一种新的用于血管形状编码和降维的血管内距离映射方法，Zeng 等［20］应用空间信息融合方法检测颅内动脉瘤。二者通过拼接或映射将三维数据转化为二维数据输入二维卷积神经网络，使网络可以同时提取多帧图像信息辅助检测。Jin 等［21］提出一种多编码通道的二维编码-解码框架。首先，多个二维编码通道分别对多帧图像编码。其次，双向卷积LSTM 代替跳跃连接融合多编码通道信息。最后，使用一条解码通道预测结果。该方法通过多条编码通道分别提取不同帧图像特征，随后建立图像间高级特征之间的联系。然而，降低数据维度或多通道编码虽然分别从数据和模型的角度出发，却没有考虑从使用先验知识的角度，使网络利用其他帧图像信息辅助检测当前帧图像。鉴于脑血管结构复杂和动脉瘤形态差异较大，利用Inception-v3 module 的多个不同尺寸卷积核可以有效提取动脉瘤可疑区域的多尺度信息［22］。类似地，Park 等［23］使用arous spatial pyramid pooling（aspp）通过多个不同空洞率的空洞卷积在减少计算量的同时也提取了多尺度信息。为了提高网络对图像中重要特征的关注程度，Yang 等［24］在ResNet-18 的res-block 中添加了卷积块注意模块，Shi等［25］提出一种基于基本块的编码-解码模型，利用残差网络和双注意力模块提升网络性能。但是以上方法中的多尺度信息获取和重要特征提取均取决于当前帧图像，并没有考虑利用其他帧图像信息提高网络对当前帧图像重要特征的关注程度。

本研究充分考虑了现有深度学习方法的优势和不足，在U-net［26］网络基础上，提出针对3D-RA 序列图像的颅内动脉瘤诊断方法。首先，为解决二维卷积网络难以利用先验知识充分挖掘序列图像相对于单一图像的优势问题，基于可变形卷积模型［19］和光流原理，提出光流可变形卷积模型，使深度卷积网络可以利用先验知识获得其他帧图像信息来辅助检测当前帧图像。其次，构建一种编码模块，使编码层同时具备光流可变形卷积和标准卷积的优势，以便更好地提取图像特征。最后，利用360例颅内动脉瘤原始3D-RA 临床数据作为数据集，基于PyTorch深度学习框架，对所提算法进行对比验证。

1 网络结构

U-net网络是医学图像处理中常用的经典网络模型，因此本研究在该框架下验证光流可变形卷积和编码模块的有效性。具体网络架构如图1 所示。首先，将使用Farnback 光流法［27］计算的稠密光流场和与光流场对应的图像一同作为输入。其次，建立光流可变形卷积模型，且构建基于该模型的编码模块，并在U-net 模型基础上使用提出的编码模块代替下采样层。再次，保留U-net 模型中的上采样层和跨跃连接。随后，使用全连接层替换最后的1×1 卷积层。最终输出结果为判定当前帧图像为正样本的概率，即图像中含有动脉瘤的可能性大小。

图1 网络框架Figure 1 Network framework

1.1 Farnback光流法

在临床上，医生综合考虑多帧图像信息辅助检测当前帧图像中有无动脉瘤。首先，医生会按序翻看序列图像获得先验知识。在这一过程中，医生捕捉到血管结构和动脉瘤的变化轨迹。随后，基于这一变化轨迹做出一定的预测来辅助识别动脉瘤。获取先验知识的过程本质上是动脉瘤及血管的变化轨迹在人眼中形成映射。而光流是图像中像素的瞬时移动速度，描述了物体的运动状态。因此，为了模拟医生的识别过程，本研究选择对序列图像计算光流获取先验知识。

本研究使用Farnback 光流法计算与序列图像相对应的光流序列。该方法是一种基于梯度的光流计算方法，构建了像素坐标与像素值之间的函数。基于Farnback 光流法的数学模型已在opencv 中实现，且为了解决孔径问题引入了图像金字塔模型，可以从不同尺度对图像进行观察。故本研究利用Farnback 光流法的核心主函数calcOptical Flow Farneback 得出相邻两帧图像间的光流场，该光流场中的光流矢量与对应序列图像中的像素一一对应，包含了相邻两帧图像间的像素级联系。本文以该光流场作为先验知识，在二维卷积网络中加以利用，辅助动脉瘤检测。

1.2 光流可变形卷积

卷积神经网络已经越来越多地被应用于医疗诊断中。然而二维卷积神经网络在用于动脉瘤序列图像诊断时，仍然具有很大的局限性。一方面动脉瘤序列图像之间是相互关联的，而单通道编码的二维卷积神经网络不能同时编码多帧图像信息，另一方面二维卷积网络难以利用由动脉瘤序列图像获取的先验知识。针对上述两点，本研究基于可变形卷积模型提出光流可变形卷积（图2），以3×3 大小的卷积核为例，详细介绍标准卷积和建立的光流可变形卷积模型。

图2 光流可变形卷积Figure 2 Optical flow deformable convolution

对于标准卷积，输出特征图谱上(m,n)处的像素值Fm,n，二维卷积核计算过程如下：

其中，ωi,j表示采样点的权重，xm+i,n+j表示输入特征图谱上(m+i,n+j)处的像素值。与可变形卷积类似，本研究不再使用方形的卷积核，而是使用先验知识光流改变卷积核形状，让图像中像素点的变化轨迹决定卷积核感受野形状的变化。输出图谱上(m,n)处像素值的具体计算过程如下：

其中，xm+i+p,n+j+q表示输入特征图谱中(m+i+p,n+j+q)处的像素值，p、q分别表示xm+i,n+j处像素点对应的光流矢量在输入特征图谱上横向和纵向的分量。由于多数情况下p、q不为整数，因此输入图谱上往往没有与之对应的像素点。借鉴可变形卷积方法，使用双线性插值计算xm+i+p,n+j+q：

此处的(e,f)表示遍历输入图谱上所有像素点坐标，函数g(a,b)表达式如下：

与二维卷积相同，经过光流可变形卷积计算，输入特征图谱与输出特征图谱具有相同的空间分辨率。从计算过程上看，光流可变形卷积与标准卷积的区别在于变形的卷积核包含了序列图像中像素点的运行轨迹信息，与可变形卷积的区别在于卷积核的变形取决于先验知识光流。

1.3 编码模块

由光流可变形卷积计算过程可得，经过该计算过程的特征图谱包含了相邻两帧图像的信息。为了综合考虑两帧图像信息，突出当前帧图像重要特征，本研究综合标准卷积提取特征和光流可变形卷积利用先验知识的优势，构建一种结合光流可变形卷积和标准卷积的编码模块，如图3所示。该编码模块有两个输入和两个输出。两个输入分别为输入特征图谱和输入光流图谱，两个输出分别为输出特征图谱和输出光流图谱。编码模块包含特征图谱的卷积和光流图谱的计算两部分。首先，输入光流图谱与输入特征图谱共同参与变形卷积计算获得新的特征图谱；随后，对新的特征图谱进行标准卷积计算获得输出特征图谱；最后，输入光流图谱经过标准卷积获得输出光流图谱。在下采样中，对于输出特征图谱，使用最大池化降维去除冗余信息，获得下一层编码层或解码层的输入特征图谱。对于输出光流图谱，使用最大池化的池化位置参数索引输出光流图谱上对应位置的光流矢量组成下一层编码层的输入光流图谱。

图3 编码模块Figure 3 Encoding module

2 结果与分析

2.1 数据集

本研究的数据集由首都医科大学附属北京天坛医院提供。该数据集包含了来自3种不同造影设备采集的360例颅内动脉瘤原始3D-RA数据，分别为Siemens Axiom Artis（Siemens Healthcare,Erlangen,Germany）、sGE Innova IGS 630（GE医疗保健，芝加哥，美国）以及Allura Xper FD20（飞利浦，阿姆斯特丹，荷兰）。数据采集过程中使用的造影剂浓度为300 mgI/mL（Schering AG,德国柏林）。数据集中包含了多种尺寸的动脉瘤，图4分别显示小、中、大3种尺寸的动脉瘤。由于脑血管结构复杂多样、动脉瘤形态差异过大，因此为了去除冗余信息，本研究选用经由医生提取感兴趣区域（ROI）之后的序列图像。在该序列图像中，所有图像均为224×224大小的灰度图，且正样本的中心点与颅内动脉瘤中心点重合，负样本则以随机选取原图像中的任意一点作为中心点截取ROI。本研究按照3：1：1比例将数据集划分为训练集、验证集和测试集，即训练集包含病例216例，验证集和测试集各包含病例72例，每例病例包含15张序列图像。

图4 颅内动脉瘤示例Figure 4 Examples of intracranial aneurysm

2.2 评价指标

为了评估模型性能，绘制了ROC曲线、针对正样本的P-R曲线和针对负样本的P-R曲线，并计算AUC值、针对正样本的AP1 值、针对负样本的AP0 值和mAP 值。AUC 值是ROC 曲线下与坐标轴围成的面积，其值越大网络性能越好。AP 值是网络针对某一类别的P-R曲线与坐标轴围成的面积，衡量的是模型对该类的识别能力。mAP 则衡量网络针对所有类别的识别能力。此外，选用常用的正确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数作为评价指标。其中Accuracy 指的是正确预测的样本数占总预测样本数的比值，衡量网络正确预测样本的能力；Precision 是指正确预测的正样本数占所有预测为正样本的数量的比值，是网络对正样本精确性的度量；Recall表示正样本中被预测正确的比例，衡量网络对正样本的鉴别能力。

2.3 实验设置

在Windows10 下基于PyTorch 框架实现本研究所提出的方法和对比网络模型。所有模型都在CPU Inter Core i9-10900F @ 2.80 GHz、GPU NVIDIA GeForce GTX 2080Ti、内存64 G 的计算机上训练、验证和测试。在训练中，使用交叉熵损失函数，并使用RMSProp 优化器更新网络参数，其中weight_decay=1e-8, momentum=0.9。训练过程中网络超参数设置如表1所示。

表1 网络训练超参数设置Table 1 Hyperparameter set for network training

2.4 对比实验分析

为了评估所提方法性能，首先将该方法与U-net模型对比，以评估光流可变形卷积相对于标准卷积的优势。其次，使用可变形卷积替换光流可变形卷积作为对比，以评估光流可变形卷积使用先验知识的优势。最后，选用Attention U-net［28］模型作为横向对比。对于3 个对比模型和所提方法，绘制了ROC曲线、针对正样本的P-R 曲线和针对负样本的P-R 曲线。由图5、6、7可知，所提方法的ROC曲线和P-R曲线包裹了其他曲线的大部分区域，证明所提方法对提升网络性能的优越性。

图5 ROC曲线Figure 5 ROC curve

为了进一步探究所提方法的性能，分别计算了4种模型的AUC值、针对正样本的AP1值、针对负样本的AP0 值和mAP 值，如表2 所示。本研究方法明显优于对比模型，且该方法对正样本的鉴别能力明显优于对负样本的鉴别能力。相对于Attention U-net和可变形卷积模型，本文方法对U-net 网络性能提升效果最好。一方面说明与可变形卷积相比，光流可变形卷积可以有效使用先验知识，在卷积计算中建立起序列图像间的像素级联系，从而利用其他帧图像信息辅助识别当前帧图像。另一方面说明相对于Attention U-net 中的注意力机制，编码模块更有利于网络关注到图像中的重要特征。这一注意力不仅来源于编码模块中光流可变形卷积有效利用了先验知识光流，而且来源于编码模块中标准卷积对光流可变形卷积识别到的重要特征的整合。

表2 不同检测算法的ROC曲线和P-R曲线量化结果对比Table 2 Comparison of quantified results of ROC curve and P-R curve of different detection algorithms

图6 正样本P-R曲线Figure 6 P-R curve of positive sample

图7 负样本P-R曲线Figure 7 P-R curve of negative sample

在临床实践中，医生需要尽可能避免第一类错误（“弃真”），即尽可能检测出动脉瘤。故本研究以0.5为阈值进一步评估网络性能。当网络预测概率大于0.5 时，则判定该图像中含有动脉瘤，反之，则判定该图像中没有动脉瘤。在0.5 阈值下，不同检测算法的Accuracy、Precision、Recall 结果如图8 所示。可以看到，本研究方法的Accuracy 和Precision 明显高于对比模型，Recall略低于对比模型。F-score是综合考虑Precision 与Recall的常用方法。因此，为了进一步评估，在同等考虑Precision和Recall的情况下选用F1分数作为评价标准。本研究所提方法取得了优于对比模型的F1分数。

图8 阈值为0.5下不同检测算法的评估结果对比Figure 8 Comparison of evaluation results of different detection algorithms at 0.5 threshold

3 结语

本研究基于3D-RA 序列图像，应用先验知识光流提出光流可变形卷积模型和一种编码模块，在卷积神经网络中建立序列图像间的像素级联系，利用其他帧图像信息提升网络对当前帧图像某些特征的重视程度。与标准卷积和可变形卷积相比，光流可变形卷积应用先验知识决定卷积核感受野形状，深入挖掘序列图像相对于单一图像的数据优势，提高了网络对图像某些特征的重视程度。实验结果表明，与U-net、Attention U-net算法相比，该算法的检测效果显著更优，与可变形卷积相比，光流可变形卷积更适用于检测序列图像。下一步的工作将考虑提出新的变形卷积模型和上采样解码模块，以利用先验知识在卷积神经网络中建立序列图像的高级特征之间的联系。