脑血管数字减影血管造影高分辨率分割网络设计

崔颖, 付瑞, 朱佳, 高山, 陈立伟, 张广

(1.哈尔滨工程大学 信息与通信工程学院,黑龙江 哈尔滨 150001; 2.哈尔滨医科大学附属第一医院 神经外科,黑龙江 哈尔滨 150001)

脑血管疾病是颅内血液循环障碍造成脑组织损害的一种疾病,日常所见的脑卒中(中风)、脑出血、脑梗死、颅内动脉瘤等都属于脑血管疾病,因为其发病率高、危害性大和死亡率高,已成为威胁中老年人健康的主要疾病[1]。

数字减影血管造影(digital subtraction angiography,DSA)作为脑血管疾病诊断的金标准被广泛应用于临床,主要用于观察血管病变、血管狭窄的定位测量。由于分辨率高且能提供真实立体的影像,是多种介入治疗的必备条件。

利用图像分割的计算机辅助诊疗方法对DSA图像进行处理,能够为医生展示出难以用肉眼观察的细微病变,避免因成像模糊、血管重叠、医生诊断的主观差异造成的漏诊或误诊,对精确诊断有着重要意义。与一般的影像数据集不同,DSA医学数据集的样本量比较小,数据集的处理和分析要求专业的医学知识支持,给DSA医学图像智能分割技术带来较大困难和挑战。

对于DSA图像的分割,最初使用的是基于区域生长、阈值检测和匹配滤波等一系列的传统分割方法。Cui等[2]提出了一种模糊能量最小化方法,对DSA图像进行了分割。江乾峰等[3]提出了一种基于多角度空间特征点集的分割算法,有效去除脑血管DSA影像中的运动伪影,使用动态阈值和区域生长的混合算法,精确分割出脑血管DSA影像中的血管组织。王光磊等[4]提出了一种基于自适应阈值分割、数字形态学等方法的自动随机游走分割算法,对DSA血管图像实现自动分割。

近年来,越来越多的神经网络被应用于DSA图像分割,在减少人为干预的同时提升了分割精度。Nasr等[5]使用卷积神经网络(convolutional neural networks,CNN)对血管造影图像中的血管区域进行检测。Yang等[6]利用卷积神经网络以粗分割和细分割相结合的方式,有效去除血管造影图像中的伪影。Fan等[7]提出了将造影前后图像均用作多通道输入的全卷积神经网络分割算法,进行血管造影图像中冠状动脉的精确分割。Jun等[8]将针对于医学图像分割的神经网络U-Net[9]进行改进,提出了一种嵌套编码器-解码器网络T-Net,增强了特征层之间的特征融合,有效分割冠状动脉造影图像。Wang等[10]提出了基于U-Dense-net的DSA冠状动脉血管分割方法,融合使用密集残差块、注意力机制和传统分割算法对血管进行分割。

目前,针对医学小数据集的分割网络U-Net在DSA影像分割方面表现出了不错的效果。近年来也出现了很多U-Net的改进网络,对各类医学数据集的分割性能都有了一定的提升。如Oktay等[11]提出了一种针对肝脏图像分割的U-Net改进网络Attention U-Net,在跳跃连接层加入了空间注意力门,并加入了软注意力思想,进行空间特征筛选。Zahangir等[12]提出了一种医学图像分割网络R2U-Net,使用循环卷积和残差结构对U-Net进行改进,并在视网膜血管,肺部病变和皮肤癌3类医学数据集分割上,表现出了不错的效果。但是这些改进网络大部分都比较复杂,对于高分辨率DSA脑血管图片来说,分割过程中需要消耗巨大的存储资源,在对硬件要求极高的同时部分有效特征提取能力反而下降。同时,由于使用的DSA数据集是医学小数据集,分割过程中存在过拟合的问题。本文基于以上现状,在U-Net模型的基础上,融合使用Inception[13]和CBAM[14]中的通道注意力模块(channel attention modle,CAM),提出了一个针对于高分辨率脑血管DSA分割的Inception-通道注意力联合网络(IC-Net)。

1 基于IC-Net模型的分割算法

1.1 ICAM联合模块

本文提出IC-Net模型的深层特征提取模块,引用了Inception-CAM联和模块(inception channel attention modle,ICAM)。该模块主要包含Inception结构和通道注意力模块2部分。

本文的网络模型为了提升对DSA影像中微弱血管的特征提取能力,使用Inception结构替代3×3卷积级联模块进行特征提取。该结构将1×1卷积、3×3卷积、5×5卷积和3×3最大池化并行连接,增加网络宽度和深度的同时,能够提取更多视野的特征信息,将网络相关性强的特征利用卷积和池化的方式进行汇集,提升网络的收敛速度。此外,考虑到大尺寸卷积核会带来较大参数量的问题,IC-Net引用采取1×1卷积进行维度缩减的Inception模块,模型结构见图1。该结构的加入使网络在一定程度上避免了过拟合和参数剧烈增加的问题。

图1 进行维度缩减的Inception结构

图2 CAM模块

Inception结构的加入能够增强网络对虚弱血管的提取能力,但是DSA影像会因为拍摄时患者的移动或设备本身的原因,存在非血管伪影。由于Inception结构中各模块处理得到的特征层以通道的方式进行堆叠,ICAM使用CAM模块对Inception模块提取的特征信息进行筛选,能够有效解决DSA影像中的伪影问题。CAM结构如图 2所示。

CAM模块的关键是每个特征通道的权值计算。CAM模块在权值计算过程中,首先将输入大小为C×H×W特征层分别进行全域平均池化和最大池化以聚合特征层的空间特征信息;然后将其输入由多层感知器(multi-layer perceptron, MLP)和一个隐藏层组成的共享网络。在共享网络中,使用1×1的卷积层进行压缩和还原操作。压缩过程中会将大小为C×1×1的空间上下文描述符压缩为C/r×1×1。其中,r表示缩放因子,r会影响CAM模块的性能;最后将两路空间上下文描述符按对应元素的方式进行求和,利用Sigmoid函数激活输出,得到大小为C×1×1的权值。利用CAM模块得到权值后,再将输入的特征层与对应通道的权值进行相乘运算,从而对各通道的特征进行筛选。每个特征通道的权值和筛选分别为:

MC(F)=σ(MMLP(Pavg(F))+MMLP(Pmax(F)))=

(1)

F′=MC(F)⊗F

(2)

式中:Mc表示CAM运算;F表示输入的特征层;σ表示sigmoid激活函数;MMLP为多层感知器算子;P表示池化运算;W0和W1表示多层感知器中的压缩和激励操作,压缩和激励之间需要使用ReLU函数进行激活操作;⊗为对应通道元素相乘运算;F′表示输出的特征层。

1.2 IC-Net模型结构

IC-Net网络结构见图3,该网络模型与原有U-Net结构相比,加入了ICAM联合特征提取模块,同时在卷积和激活操作之间加入了批标准化[10],解决梯度消失的问题,提升网络的泛化能力。IC-Net模型为防止边缘信息的丢失,在3×3卷积中采用等分辨率卷积,融合时直接采用等分辨率的通道堆叠。随着网络深度的增加和提取的抽象特征的感受视野扩大,ICAM中Inception模块的大尺寸卷积核的比例也相应增加[13],Inception模块具体的维度设置见表1。

表1 Inception模块维度设置

图3 IC-Net结构

图4 DSA图片及标签图片样例

针对深层的高维Inception模块仍然需要占用大量计算资源的问题,IC-Net加入步幅为2的7×7卷积层[11],对分辨率更小的特征层进行特征提取,在节省计算资源的同时,更能充分发挥Inception结构提取抽象特征的能力。同时,为了避免表达性瓶颈的问题[15],在编码模块特征层尺寸缩减前进行通道数的扩张,在译码模块特征层分辨率还原后进行通道数的压缩。

2 脑血管DSA分割实验结果与分析

2.1 数据集

实验中使用的高分辨率脑血管DSA影像包含36张分辨率为1 024×1 024的3通道png格式图片。在多位DSA影像专家的指导下,利用labelme标注生成json文件,并转换成8位png格式标签文件。实验中使用其中的24张作为训练集,12张作为测试集。DSA影像及标签文件样例如图 4所示。

2.2 实验结果及分析

本文采用了多组消融实验对ICAM的性能和最佳添加位置、通道注意力模块的选择、CAM模块最佳缩放因子以及加深网络模型的方式等问题进行研究,验证了模型及结构设置的优越性。与当前常用网络模型进行分割性能比较,总结出了本文提出模型的特点。

2.2.1 评价指标

本文使用IOU、Accuracy、F1-Score和AUC共4项评价指标分析各模型对DSA数据集的分割性能。

IOU用来度量预测结果图片和标签图片重叠程度的指标为:

(3)

式中:D为预测结果数据集;L为标签数据集。为进一步衡量分割性能,引入Accuracy和F1-Score两项指标。

(4)

STPR=Rt/(Rt+Et)

(5)

P=Rt/(Rt+Eb)

(6)

(7)

式中:A为正确预测的比例;Rt为正确预测为血管的样本数;Eb为将背景错误地预测为血管的样本数;Rb为正确预测为背景的样本数;Et为错误地将血管预测为背景的样本数;STPR为真实血管像素点中被预测正确的概率;P为被预测为血管的样本中真实为血管样本的比例;F1为P和STPR的加权调和平均,值越大表示分割性能越好。

为避免分类时阈值设定对分割结果产生影响,引入了指标AUC。因为在不同的阈值情况下,会得到不同的分类结果,而计算AUC时需要遍历所有阈值并得到每个阈值结果的STPR和SFPR,通过绘制以SFPR、STPR为横、纵坐标的ROC曲线,可以直观显示不同阈值情况下STPR和SFPR的关系,AUC即为ROC曲线下的面积,越接近1表示性能越好,其中SFPR为:

SFPR=Eb/(Eb+Rb)

(8)

2.2.2 联合模块对分割性能的改善。

本文对加入的Inception模块和CAM模块的有效性进行了验证。分割结果评价指标见表2,Inception模块加入后,IOU、Accuracy、F1-Score和AUC分别提升了0.66%、0.02%、0.19%和0.16%。加入ICAM联合模块后,IOU、Accuracy、F1-Score和AUC进一步提升了1.29%、0.10%、1.02%和0.40%。可见,Inception与CAM模块的加入对分割性能均有提升。分割可视化结果见图5,Inception模块的加入,改进了模型对血管的提取能力,CAM模块的加入,模型对脑部骨骼等残余组织形成的伪影的辨别能力得到了改善(模型设置均为后续实验验证的最佳情况,各模块加入模型最深2层,缩放因子为8)。

表2 加入各模块对分割性能的改善

图5 各模块加入后的分割结果

图6 ICAM不同添加位置分割结果

2.2.3 ICAM添加位置对性能的影响

在对ICAM添加位置进行讨论时,包含了5种方式:第1种方式参考Szegedy等[13]基于Inception模块提出的GoogleNet结构,将“U形网络”中每一层的2个3×3卷积级联模块替换为ICAM;第2种方式参考Oktay等[11]提出的Attention U-Net结构,将译码部分的卷积级联模块替换为ICAM;因为Inception模块能更好地提取小分辨率特征层的抽象特征,为了验证Inception模块在多小分辨率的特征层性能更佳,实验中设置了3种方式,分别在“U形网络”的4～6层、5～6层和第6层加入ICAM。

分割结果评价指标如表3所示, ICAM在中、小尺寸特征层的抽象特征提取方面表现出较好的效果。实验中设置了3种方式,分别在“U形网络”的4～6层、5～6层和仅在第6层加入ICAM。在5～6层加入时,模型的IOU、Accuracy和F1-Score均为最优结果,分别达到了0.733 9、0.982 2和0.846 8。AUC为0.971 5,也只是略低于在整个网络加入ICAM的0.9760。可见在5～6层加入ICAM时,标签图片和预测结果的重叠率更高,预测正确的概率更高,模型整体性能更好。可视化分割结果见图 6,在整个网络和在4～6层加入此模块的分割网络对虚弱血管的分割能力较差;在译码部分加入此模块的分割网络对伪影的分辨能力较差。在5～6层和仅在第6层加入此模块的网络分割结果都相对较好,相比之下,在5～6层加入此模块的网络分割结果细节效果更好。综合分析,在5～6层加入此模块的性能更优。

表3 ICAM添加位置分割性能对比

2.2.4 通道注意力模块的选择

实验对比了CAM模块和SE模块[16]2种常见的通道注意力结构。在结构上,CAM模块多了一条最大池化支路。分割结果评价指标见表4,其中,CAM模块的分割性能优于SE模块,其分割结果的IOU、Accuracy、F1-Score和AUC相较于SE模块分别高了2.33%、0.15%、1.45%和0.26%。可见,CAM模块中的最大池化通道对于平均池化通道有较强的特征补偿作用。

表4 通道注意力模块性能对比

见表5,为了获取CAM模块的最佳缩放因子,实验中参考SE模型的实验,将其分别设置为2、4、8、16和32进行对比,可见当r为8时分割性能最佳,4个评价指标均高于其他情况。

表5 最佳缩放因子

2.2.5 加深网络的方式

见表6,实验对比使用了2种加深网络的方式:1)按照原有U-Net结构,直接增加一层;2)利用步幅为2的7×7卷积同时进行维度的扩张和特征层分辨率的降低。可以看出,有更大感受域的7×7卷积相较于前者,评价指标分别提升了1.33%、0.10%、0.82%和0.02%。

表6 最佳加深网络深度的方式

表7 7×7卷积的特征提取特点

相较于传统U-Net的2个3×3卷积级联模块有更好的性能,将所有的3×3卷积级联模块换成7×7卷积。实验将编码模块第1层换成7×7卷积与将原有的3×3卷积级联模块全部换成7×7卷积进行对比。结果见表 7,2种方式的评价指标相近,只将编码模块第1层换成7×7卷积结构的IOU、Accuracy和F1-Score相较于后者略高了0.63%、0.03%和0.31%,而AUC低于后者0.98%。在性能相近的情况下,7×7卷积运算过程中会产生远大于2个3×3卷积级联模块的参数量,从轻量化角度考虑,过多的加入7×7卷积是不划算的。

2.2.6 常用模型分割性能比较

实验将改进后的模型IC-Net与U-Net及U-Net多种常见的改进模型进行了比较。见表8,IC-Net相较于改进前的U-Net模型,IOU、Accuracy、F1-Score和AUC分别提高了2.82%、0.18%、1.77%和0.43%。相较于R2U-Net和Attention U-Net,IC-Net的各项指标均为最高值。各模型训练过程中的损失函数变化曲线见图7,可以看出,IC-Net相较于U-Net在收敛速度方面也有了提升,而R2U-Net模型的收敛速度最快。

表8 常见模型分割性能比较

图7 常见模型损失函数变化曲线

可视化分割结果的见图8。U-Net在血管末端的检测能力相对较弱,同时对于头部骨骼等残余组织的伪影的辨别能力较差;R2U-Net在复杂DSA影像中对血管的检测性能较好,在伪影辨别方面也有不错的表现,但是对于某些虚弱血管的检测能力较差;Attention U-Net在某些血管的检测能力甚至优于IC-Net,但是在复杂血管影像中存在很多不连续的毛刺;IC-Net在虚弱血管和血管末端的检测能力有了一定提升,同时能够有效排除伪影的干扰。

图8 常用模型分割结果

U-Net++[17]和U-Net3+[18]模型计算复杂度较高,分割过程中需要占用较大的存储空间,并不适用于当前数据集的分割,所以实验中未使用以上模型进行对比。可见,从血管检测能力和占用计算机资源等综合方面考虑,IC-Net对于高分辨率脑血管DSA影像的分割能力,明显优于当前其他模型。

3 结论

1)利用CAM模块对Inception模块提取的特征信息进行筛选,有效去除冗余信息;采用更大感受域的7×7卷积层,增加网络深度、提升网络特征提取能力,并且通过缩小特征层尺寸的方式减少了分割过程中产生的数据量。

2)该网络提升了对DSA影像中微弱血管和血管末端的检测能力,能够有效分辨DSA影像中的非血管伪影,为医生辨别病变提供有力参考。与改进前的U-Net模型和常用的U-Net改进模型相比,分割性能明显优于其他模型。

目前,IC-Net网络仍存在不足。例如在血管末端虚弱血管的检测能力仍有待提升;对直径极细的血管分支检测能力较差。所以,下一步需要继续提升网络对虚弱血管和直径极细血管的提取能力。同时,DSA影像往往有着极高的分辨率,这对处理过程中使用的硬件设备有着极高的要求,所以需要将模型进一步轻量化。