基于长距离依赖编码与深度残差U-Net的缺血性卒中病灶分割

2021-07-02 08:55梨,卢
计算机应用 2021年6期
关键词:残差病灶卷积

黄 梨,卢 龙

(武汉大学信息管理学院,武汉 430072)

(∗通信作者电子邮箱bmiwhu@163.com)

0 引言

脑卒中具有发病率高、死亡率高和致残率高的特点,统计数据[1-2]显示,目前脑卒中是导致我国居民死亡的主要原因之一。随着人口老龄化的日益加剧,中国已成为卒中终生风险最高和疾病负担最重的国家。脑卒中主要分为三大类:缺血性卒中、出血性卒中和蛛网膜下腔出血,其中急性缺血性脑卒中(Acute Ischemic Stroke,AIS)是其最常见的类型,约占87%[3]。缺血性脑卒中是指由于脑的供血动脉(颈动脉和椎动脉)狭窄或闭塞、脑供血不足导致的脑组织坏死的总称。根据脑卒中发病后经过的时间,可将病灶阶段细分为急性(0~24 h)、亚急性(24 h~2 w)和慢性(超过2 w)[4],急性期的及时诊断和干预对脑卒中患者的康复和预后至关重要。在临床实践中,医生通常使用电子计算机断层扫描(Computed Tomography,CT)和核磁 共振成 像(Magnetic Resonance Imaging,MRI)来观测脑卒中病灶。量化脑卒中病变有助于专家评估患者病情,制定治疗方案,在临床决策过程中具有重要价值。通常情况下,病灶的分割是由专业的放射科医生手工完成的,人工地分割病灶区域费时费力且主观性强。因此,一种能够快速、准确地自动识别病变区域,辅助医生诊断的分割算法是临床实践中极为需要的。

在过去的十年中,深度学习方法尤其是卷积神经网络(Convolutional Neural Network,CNN)在医学影像分析中取得了巨大的成功。特别是由Ronneberger 等[5]提出的U-Net,已经被国内外学者广泛地应用于生物医学图像分割任务中[6-9]。U-Net由对称的编码器-解码器结构以及连接编码器和解码器的跳跃连接组成,编码器用于在下采样的过程中从原始图像中提取高级特征,解码器用于在上采样的过程中对目标进行精确定位,跳跃连接则用于从通道方向上连接浅层特征和深层特征,实现多尺度特征融合。尽管U-Net 被广泛应用,它存在一定的局限性。U-Net 中卷积操作的感受野受限于卷积核的大小,它在计算某一位置的响应时,只考虑了感受野以内的局部区域与这一位置的关系,本质上只是对局部信息的处理。对于像素级的计算机视觉任务(如图像分割),尽可能地扩大感受野,考虑像素点周围更大范围的信息(即上下文信息),有助于场景理解和处理目标的多样性。

目前的分割算法相关研究为了扩大感受野,编码更大范围的上下文信息,已经作出了很大的努力。已有研究提出了基于扩张卷积或空洞卷积的网络,以扩大感受野并聚集多尺度上下文信息[10-12]。另外,许多模型都采用递归神经网络来捕获复杂的空间情境信息[13-16]。尽管卷积运算和循环运算可以被反复应用从而捕获全局上下文信息,但是这两种操作本质上是局部操作,局部操作的堆叠不仅计算效率低下,而且可能导致算法优化困难。Wang 等[17]提出的non-local 块可以通过直接计算特征图上任意两个位置的关系来对全局上下文信息进行编码,而不受限于感受野的大小。区别于局部操作,non-local 操作构建了一个与输入特征图大小一致的卷积核,通过考虑特征图所有位置与当前位置的关系来编码全局信息,为后边的层带来更为丰富的语义。这一操作首先计算特征图上当前位置与所有位置的交互关系(即长距离依赖),然后用加权和的方式汇总该位置的所有关系(即该位置的全局上下文)。non-local 块在视频分类和图像降噪等各种计算机视觉任务中已经显示出了巨大的潜力,它编码的全局上下文信息对语义分割任务具有重要价值,然而,其在医学影像分割中的应用尚未得到深入研究。因此,有必要探索non-local 块在这一任务中的性能。

缺血性卒中病灶分割挑战赛(Ischemic Stroke Lesion Segmentation,ISLES)是由国际医学图像计算和计算机辅助干预协会(Medical Image Computing and Computer Assisted Intervention Society,MICCAI)举办的医学图像分割挑战,旨在提供一个平台,方便不同算法之间的效果对比。挑战赛提供公开可获取的、预处理后的脑部扫描数据,目前已经成为医学影像分割领域常用的基准数据集[18]。ISLES 2017的任务目的是使用缺血性卒中急性期的多模态MRI 脑部扫描数据,预测3~9 个月后随访扫描影像中的最终病变结果。这是一项非常具有挑战性的任务:一方面是由于病灶的形状、大小和位置各异,另一方面则是因为急性期病灶还未稳定,部分病灶边界模糊,很难在这种情况下区分病灶区域与非病灶区域。此外,有标注的医学影像分割数据集,通常具有样本量小和像素级别的正负样本不均衡特性,这些特性也为该任务带来了一定的困难。

针对缺血性脑卒中病灶分割这一问题,本文提出了融合残差学习和长距离依赖编码的新型U-Net 分割算法。本文主要工作如下:1)为解决医学图像分割领域样本量少、小目标难以分割的问题,使用有针对性的过采样策略和图像增强技术构建训练数据集,促使模型对小目标的学习,从数据层面避免模型过拟合。2)以U-Net 的编码器解码器结构为基础,通过使用残差块来避免网络退化,增强模型的泛化性能,通过引入non-local 操作将感受野扩大为特征图大小,编码全局上下文信息。所提出的端到端网络结构有较强的泛化性能,能充分利用上下文信息,适用于样本量较小的应用场景。3)研究中设计了一系列实验分析不同模块的表现、模块之间的相互影响,以及用不同方式加入模块对算法整体性能的影响。在充分了解不同模块的基础上提出了新的分割算法及其变体,所提出的算法(代码已在网站公开:https://github.com/KristenT9/RN-UNet)相较于其他算法有较好的分割性能。

1 本文方法

1.1 网络架构

选择U-Net 作为网络的基本架构,它由对称的收缩路径(编码器)和扩张路径(解码器)组成,在收缩路径上利用卷积操作来进行特征提取,用池化操作进行特征图降维,过滤冗余信息。编码器通过卷积和池化操作的交替与堆叠来逐步提取高级特征,越接近输入层,提取的特征越初级越通用,空间分辨率越高;越接近输出层,提取的特征越高级越抽象,更加任务相关,空间分辨率越低。因此在收缩路径的不同阶段,中间层特征图包含的语义信息、空间分辨率有所不同,在不同阶段插入non-local块编码的全局上下文信息也有所不同。

RN-UNet(Residual Non-local U-Net)在U-Net 的收缩路径上交替使用残差块和non-local块(详细结构见1.2和1.3节),总体架构如图1 所示。图1 中展示的是在收缩路径的每个阶段(残差块后,池化层前)都插入non-local块的网络架构,在后续实验中,为了探索non-local 块插入的阶段对总体性能的影响,对模块的插入阶段进行了调整。研究中模型的输入均为1×128×128×6(Fnum×H×W×M)的图像块,第一维是特征图的数量(图1 中不同模块上的数字),后两维分别是图像的高和宽,最后一维为MRI模态数。输出时使用Sigmoid激活函数计算每个像素点为病灶像素的概率,得到1×128×128×1的预测结果图。

图1 包含5个non-local块的RN-UNet总体框架Fig.1 Overall framework of RN-UNet with five non-local blocks

在RN-UNet 中,残差学习机制(图2(a))被用于解决深度神经网络中梯度消失/爆炸和网络退化的问题,同时增强模型的泛化性能,具体实现方式是用残差块替换U-Net 中原始的卷积块。non-local块(图2(b))被插入到U-Net的收缩路径中,用于计算特征图中像素之间的长距离依赖关系,提取特征图的全局上下文信息。类似于注意力U-Net[19],在模型中还使用了深度监督学习[20]来直接影响隐藏层权重更新过程,促使中间层不同尺度的特征图学习有区分度的特征。为提高训练的稳定性,加快模型收敛,在原始U-Net 的每个卷积层之后进行批归一化(Batch Normalization,BN),并将这一改良后的U-Net作为基线模型。

图2 网络中的不同块Fig.2 Different blocks in network

1.2 残差学习机制

深度残差学习[21]在ImageNet 的分类、检测、定位以及COCO 的检测和分割任务中均获得了第一名的成绩。残差学习解决的最根本的问题是网络过深时的退化问题,通过增加一个恒等映射,将原始需要学习的函数转化成F+x的形式,并假设残差映射F的优化会比原始映射的优化容易。这种残差学习的思想通过捷径连接来实现,在几乎没有增加额外参数和计算量的情况下,极大提高了模型的训练速度和效果,很好地解决了网络退化问题。也有研究认为,由残差块构成的深度残差网络可以看作是不同深度的浅层神经网络的集成,引入残差学习可以增强网络的泛化能力[22]。泛化性能较好的模型更适用于样本量较小的医学图像分割场景。研究中探索了使用残差块代替U-Net 中原始的卷积块(Conv 3×3+ReLU)对模型性能的影响。残差块可表示为:

其中:x和y是残差块的输入和输出;F(x,{Wi})是要学习的残差映射,对于一个两层的残差映射F=W2(W1x),Wi是卷积操作(Conv 3×3)。F+Wsx是通过捷径连接和逐元素相加实现的。为了确保输入输出维度一致,这里的捷径连接使用了线性投影Ws(Conv 1×1)[23]。残差块具体结构如图2(a)所示。

1.3 non-local块

在深度神经网络中捕获长距离依赖是至关重要的,在序列数据处理中通常使用循环操作来实现,在图像数据处理中通常用卷积操作的堆叠来增大感受野。上述两种操作只考虑了相邻位置之间的交互,本质上都是对局部信息的处理,为了捕获长距离依赖而重复使用这些局部操作,会导致优化困难和计算效率低的问题。因此,Wang 等[17]提出了一种高效、简单和通用的用于捕获长距离依赖的non-local 操作,它通过计算特征图上任意两个位置的相互作用,直接对远程依赖关系进行编码,无论这两个位置的远近。它将某个位置上的响应,计算为该位置与特征图上所有其他位置相互作用的加权求和。同时,non-local 块的设计类似于残差学习机制,在nonlocal 操作后加上了原始特征图,模块的输入输出保持维度一致,这种设计使得non-local 块可以作为一个组件插入到任意网络中。详细的non-local 块结构如图2(b)所示。H×W×C分别代表高、宽和通道数,通道数即为特征图数。θ、φ、g和z都表示1×1 的卷积操作。“⊗”表示矩阵乘法,“⊕”表示逐元素加法。non-local操作的定义是:

其中:x是输入特征图;y是输出特征图,其维度大小与x相同;i是第i个像素点的位置索引;j是枚举其他所有可能的位置索引,第i个位置的非局部响应值是枚举所有位置计算得到的一个加权汇总值。函数f是一个相似性度量函数,用于计算i与所有j之间的关系,函数g是一个映射函数,计算特征图在位置j的表示。最后通过因子C(x)对计算结果进行标准化,C(x)=图3 中直观展示了式(2)的计算过程,“⊗”表示卷积操作,计算特征图f(xi,xj)与g(xj)对应位置相乘并求和的结果。

图3 non-local操作的计算过程Fig.3 Computation process of non-local operation

Non-local neural network 的原文中提出了f和g的几种版本,实验结果表明,无论f和g的形式如何,non-local 操作才是结果改进的主要原因。因此使用嵌入式高斯函数来计算像素之间的关系:

其中:θ(xi)=Wθxi和φ(xi)=Wφxi都是在原始输入特征图上进行的卷积操作。在设计non-local块时将其设计为残差连接的形式,最终的输出zi可以被定义为:

其中,Wz是一个卷积操作,输入输出的维度大小保持一致。残差连接的形式使得这一模块可以被插入到任意预定义的网络结构中。以下展示的是non-local模块的伪代码。

算法1 non-local模块伪代码。

输入 特征图x,大小为Fnum×H×W×M;

输出 特征图z,大小为Fnum×H×W×M。

2 实验与结果分析

2.1 数据集

ISLES 2017 由75 名缺血性脑卒中患者组成,分为两个数据集:训练数据集(43 个患者)和测试数据集(32 个患者)。每位患者有7 种不同模态的磁共振图像:扩散加权成像(Diffusion Weighted Imaging,DWI)、表观弥散系数(Apparent Diffusion Coefficient,ADC)、脑血流量(Cerebral Blood Flow,CBF)、脑血容量(Cerebral Blood Volume,CBV)、血流达峰时间(Time maximum,Tmax)和对比剂峰值时间(Time To Peak,TTP)、平均通过时间(Mean Transit Time,MTT)。除了上述的急性期的多模态核磁共振图像,还提供了3~9 个月后随访的解剖序列T2 加权图像(T2-weighted,T2w)或液体衰减反转恢复(FLuid-Attenuated Inversion Recovery,FLAIR)成像,此时卒中病灶已经稳定。训练集中的每位患者都有一个分割结果图,分割结果图是在随访成像(T2w 或FLAIR)上由专家手动标注的病灶区域,作为模型训练的标签。所有的MRI 图像均经过了预处理,详细的数据信息可在ISLES 网站上找到(http://www.isles-challenge.org/ISLES2017/)。在这项研究中,主要关注6 个MRI 参数图:ADC、CBV、CBF、MTT、TTP 和Tmax,图4(a)中展示了训练集患者(编号14)的6 种模态MRI与病灶标签。

2.2 评价指标

在ISLES 2017数据集上评估了模型,提交测试集结果后,可以在在线平台上访问评估结果。分割的质量通过三个主要指标进行评估:Dice 系数(Dice’s Coefficient,DC),平均对称表面距离(Average Symmetric Surface Distance,ASSD)和豪斯多夫距离(Hausdorff Distance,HD),精确率(Precision)和召回率(Recall)则作为辅助指标,反映过分割和欠分割的情况。其中,病灶区域被正确地分割为病灶,定义为真阳性(True Positive,TP);非病灶区域被错误地分割为病灶,定义为假阳性(False Positive,FP);病灶区域被错误地分割为非病灶,定义为假阴性(False Negative,FN);非病灶区域被正确地分割为非病灶,定义为真阴性(True Negative,TN)。

DC 反映的是预测为病灶的像素集合和实际为病灶的像素集合的相似性,DC的计算式为:

精确率反映被分割为病灶的像素中实际为病灶像素的比例:

召回率反映的是实际的病灶像素中有多大比例被正确地分割为病灶像素:

这里还使用了距离度量(平均对称表面距离和豪斯多夫距离)来反映区域边界的差异,距离指标越小分割精度越高。定义A为预测的病灶像素集合,B为实际的病灶像素集合,则ASSD的定义如下:

其中:平均表面距离(Average Surface Distance,ASD)是非对称 的,ASD(A,B) ≠ASD(B,A);d(a,b) 是a点 和b点的欧 氏距离。

HD 反映A和B两个点集合中表面点的最大距离,定义如下:

2.3 实施细节

在训练阶段,参考文献[24]中的预处理方法对图像进行了简单的预处理。将所有MRI 图像的大小调整为32×256×256×1,将ADC图像的阈值限制在区间[0,2 600]×10-6mm2/s,并将Tmax的阈值限制为[0,20]s。每个患者的不同模态MRI图像根据各自的平均值和方差进行标准化。

为了增加训练样本量,使用图像块作为输入。所有模型的输入均为随机采样的大小为1×128×128×6 的图像块,这些图像块与相应的病灶标注结果匹配,用于有监督地训练模型。分析训练集的病灶像素数量可以发现患者集中分布在病灶较小的区域,考虑到卒中病灶的大小对模型性能有很大影响,对小病灶样本进行了过采样。根据病灶大小的四分位数,将训练集中所有患者划分到4 个区间中,对于不同区间中的患者,采样数分别设置为16、32、48、64,病灶越小采样量越大,对小病灶样本过采样有助于增加含有小病灶的图像块数量,从数据层面上促使算法学习小病灶的特征。以采样数为64的患者为例,预处理后MRI大小为32×256×256×6,共6种模态,对于每个输入特征图(总共32),随机采样64 个大小为128×128×6的块,最终采样得到2 048(32×64)个图像块,即2 048×128×128×6的图像块。总体上看,采样后的数据量是原始训练数据量的40 倍(扩增倍数=(16+32+48+64)/4)。此外,采用了一些常见的数据增强技术,例如翻转、平移、旋转和缩放,在不改变训练数据规模的情况下增加训练数据的多样性,优化模型泛化性能。通过结合上述图像采样技术和数据增强技术,增加了训练数据的样本量和多样性,同时提高了包含小病灶的图像块比例,使训练数据集更适用于这项研究的应用场景。训练过程中使用7 折交叉验证对模型进行评估,上述图像块采样和数据增强技术仅在训练过程中进行。

在测试阶段,裁剪了ADC 和Tmax 的数值范围,对测试集所有图像也进行了标准化,但保留了测试数据集的原始维度,直接利用训练好的全卷积网络进行密集的像素预测。最终提交的预测结果是通过计算7 个交叉验证模型的平均预测概率得出的集成结果。为保证对比结果的公平性,研究中不同方法的训练集、验证集、测试集完全一致。

为保证公平比较,所有的网络都使用同一套超参数。用Adam优化器进行训练,初始学习率设置为5×10-5,衰减速率为1×10-6。批次大小(mini-batch size)设置为4,并且在训练过程中采用早停法。Dice 损失被用作损失函数。基于Keras框架,使用NVIDIA 2080Ti显卡进行加速。

2.4 实验设计与结果分析

为了分析不同模块给模型带来的性能提升,设计了一系列消融实验来比较各个模块的表现,表1 中给出了实验结果(均值±标准差)。方法1是2.1节中的改良U-Net,作为基线模型。如表1 所示,深度监督(Dsv)的引入(方法2)对3 个关键指标均有所改善。在方法3和方法5中,仅在第一个池化层之前插入一个non-local 块。方法3 与方法2 对比结果显示,nonlocal 块的加入改进了HD 和ASSD 两个距离指标,并且方法3实现了最佳的HD,表明non-local块可以通过提供更多上下文信息来改善距离指标,提高分割精度。在方法4 和方法5 中,将U-Net 中的所有原始卷积编码器块替换为残差块(Res)。方法4 与方法2 相比,在所有指标上均表现出明显改善,实现了最佳DC 和ASSD。值得一提的是,相对于方法2(训练集Dice=0.36±0.24,测试集Dice=0.28±0.23),方法4 的Dice 系数在训练集和测试集上更为接近(训练集Dice=0.33±0.23,测试集Dice=0.29±0.23),说明残差块有效地避免了模型过拟合训练数据,增强了模型在小样本上的泛化能力。然而,方法5与方法4 相比,在所有指标上都没有改进,这表明在残差U-Net 的基础上以不当的方式加入non-local 块可能会产生负面影响。应当指出,相较于方法2,方法3 和方法4 中添加的残差块和non-local 块都对距离度量有所改进,但是两个不同块的组合却导致模型性能略有下降。

表1 不同模块的消融实验结果Tab.1 Ablation experimental results of different modules

由于在上述实验中,non-local块仅在U-Net收缩路径中的第一个池化层之前插入,而相关研究中[17,25]指出non-local 块插入的阶段会影响其性能,因此在残差U-Net模型(方法4)的基础上,对插入non-local 块的阶段的影响进行了进一步的探索,以便更深入地了解non-local块和残差模块间的相互影响。在不同的最大池化层之前添加单个non-local 块,被标记为MPi,下标i是指第i个池化层,在第一个上采样层之前插入non-local块被标记为After center 阶段。图4(b)对比了多个模型不同阶段的中间层特征图(患者编号14)。从图4(b)可以发现,越靠近输出层,特征越抽象,空间分辨率越低。表2 的实验结果(均值±标准差)显示,相同的non-local块在不同阶段插入时模型的性能不同。MP4达到了最佳DC 和ASSD。从表2 中可以发现,non-local 块插入的阶段越靠后(下标越大),其性能越好。一种可能的解释是插入阶段靠后,non-local 块输入的特征图所代表的特征越高级,而对于non-local 块在After center 阶段中表现较差的原因可能是,该阶段的特征图较小(12×12),无法提供准确的空间信息。通过表1 和表2中的方法4 与MP4对比可以发现,方法4 的HD 和精确率更佳,而MP4的ASSD 和召回率更好,单纯从指标上来看两种方法不相上下,但在医学影像分割中召回率更为重要,更高的召回率有助于尽可能识别病灶区域,避免漏诊。

图4 原始输入输出与中间特征图(患者编号14)Fig.4 Original input,output and intermediate feature maps(patient No.14)

表2 在不同阶段插入non-local块的实验结果Tab.2 Experimental results of inserting non-local blocks at different stages

为了更直观地展示non-local块在不同阶段插入对特征的影响,图5 对比了不同阶段non-local 块的输入输出特征图(患者编号14),1~5 分别代表了MP1、MP2、MP3、MP4和After center 五个阶段,列标签分别对应式(4)中的变量,x是输入特征图,z是输出特征图,Wzy是non-local 操作编码的全局上下文信息。从图5 中可以发现,越接近输入层,输入特征图的空间分辨率越高,包含的原始细节信息较多,此时non-local块捕获的信息定位更为准确,冗余信息较多(MP1);越接近输出层,输入特征图分辨率越低,特征更为抽象,此时non-local 块学习到的信息包含的噪声较少,对病灶区域和非病灶区域有一定的区分能力(MP4),加入non-local 块学到的信息后病灶区域被突出显示;而在空间信息损失较多的阶段,则无法捕获定位准确的全局信息(After center)。结合图5 可以更好地理解表2的实验结果。

图5 不同阶段non-local块的输入输出特征图(患者编号14)Fig.5 Input and output feature maps of non-local blocks at different stages(patient No.14)

在表3 中,将本文提出的方法与ISLES 官网上“POSTEVENT EVALUATION”中公开的最先进的方法[26]进行了比较,结果获取时间为2020 年10 月20 日,由于官网只提供了DC 和HD 两个指标,所以表中未展示关键指标ASSD 的结果。所有方法按团队排名(由官网直接提供)排序。

文献[27]提出了一种针对小样本数据集设计的卷积神经网络集成模型,使用了残差U-Net 和空间金字塔池。文献[28]提出了一种基于U-Net 的全卷积结构,并通过残差连接和损失函数来结合不同尺度的信息。文献[29]在U-Net的启发下使用了两个深度对抗神经网络,结果表明对抗训练可以产生正则化的效果,避免模型过拟合训练数据。文献[30]中提出了一种新的损失函数来优化全卷积神经网络,这种损失函数由交叉熵损失和Dice 系数组成。文献[31]提出了一个双路径不同尺度的全卷积神经网络。文献[24]提出了一种基于U-Net 和门控循环单元的分割方法,并在分割框架中结合了非成像临床信息。文献[32]使用了改进的DeepMedic进行3D图像分割。文献[33]提出了基于块的多尺度3D CNN 架构,该模型可以充分利用有限数据集的信息。由于方法4(残差U-Net)和MP4(RN-UNet)在消融实验中表现较好,将它们与最新方法进行比较。从表3 中可以发现,相较于其他文献的方法,本文所提出的方法及其变体在所有指标上均可达到有竞争性的结果,并且极大改善了距离指标。除了与官网中公开的方法进行对比,本文还对比分析了未在官网展示的基于该数据集的其他最新研究。文献[34]提出的基于分型网络与U-Net 的级联网络CSNet 在ISLES 2017 上的评估结果(训练集Dice=0.56±0.23,测试集Dice=0.28±0.22)不如残差U-Net和RN-UNet,且存在过拟合的问题。文献[35]提出的U-ISLES 获得的测试集Dice 为0.34,但所提的方法需要进行额外的后处理,且并没有提供其他关键指标的测试结果。根据病灶大小计算四分位数,将患者划分到不同区间,从4 个不同区间分别选取了1 位患者展示了病灶分割结果(如图6所示)。

表3 在ISLES 2017测试集上不同方法的结果对比Tab.3 Comparison results of different methods on ISLES 2017 test set

图6(a)~(d)分别是四位病灶大小不同的患者,按病灶从小到大排列,对比了几种方法的分割结果差异。从图6 中对比可以发现,RN-UNet 在不同大小的病灶上均取得了比较好的分割效果,可以发现难以被识别的小病灶,在识别大病灶时也可以提供更精细的病灶轮廓。

图6 不同方法的病灶分割结果对比Fig.6 Comparison of lesion segmentation results of different methods

3 结语

针对小样本情境下的缺血性脑卒中病灶分割这一问题,本文提出了在U-Net 的基础上融合了残差模块和non-local 块的端到端自动分割算法。为解决样本量小、正负样本不均衡、病灶多样性等问题,从数据和算法两个层面作出了有针对性的设计。数据层面上,针对医学分割数据集样本量小、小目标分割中背景所占比例远大于目标比例的问题,采取了图像块输入、不均衡采样、数据增强等数据预处理技术,避免模型过拟合,促使模型对小目标的学习。后续的研究中面对小样本场景和小目标分割任务,可以参考研究中的数据预处理思路,从数据和算法两个层面上作出有针对性的应用设计,而不仅仅局限于对算法的改进。算法层面上,针对样本量小和病灶多样性的问题,在传统U-Net 的基础上引入残差学习增强模型泛化性能,引入non-local 模块实现对图像块上下文信息的充分利用。使用ISLES 2017 这一基准数据集,设计了一系列实验探索不同模块的表现,以及模块之间的相互影响。在模块表现方面,发现non-local 模块的加入可以明显改善距离指标,减小病灶与预测的边界差异。通过特征图的可视化直观展示了在合适的阶段插入non-local模块对目标区域的突出显示作用,增进了对这一模块所编码信息的理解。在模块的相互作用方面,发现合理地组合残差块和non-local 块不仅可以改善Dice 系数和距离指标,还可以减少欠分割,防止小病灶的漏诊。研究中对这些模块及其相互作用的深入了解,为这些模块后续在小样本、像素级的计算机视觉任务中的应用提供了参考。

本文算法相较基线模型和其他对比算法取得了更好的分割结果,对不同大小、形状、位置的病灶都表现出了比较好的鲁棒性。端到端的网络设计也避免了繁琐的后处理操作,有助于在卒中急性期辅助医生对患者进行及时诊断和治疗规划。本文研究主要是针对具体问题的解决方案设计,因此所提分割算法的适用场景存在一定的局限。在未来的研究中可以在此工作的基础上扩展研究场景和实验数据集,使算法更具有通用性。后续研究中也可以结合急性期的影像数据和临床信息,更准确地预测卒中病变的组织结果和临床干预的风险,为临床决策过程提供兼具准确性和可解释性的分割方法。

猜你喜欢
残差病灶卷积
基于全卷积神经网络的猪背膘厚快速准确测定
多级计分测验中基于残差统计量的被试拟合研究*
剪切波弹性成像在乳腺不同深度病变中的可重复性评价
能谱CT 在肺癌淋巴结转移诊断中的应用价值
基于残差-注意力和LSTM的心律失常心拍分类方法研究
用于处理不努力作答的标准化残差系列方法和混合多层模型法的比较*
融合上下文的残差门卷积实体抽取
一种基于卷积神经网络的地磁基准图构建方法
基于3D-Winograd的快速卷积算法设计及FPGA实现
一种并行不对称空洞卷积模块①