急性缺血性脑卒中CT生成MRI算法——基于影像组学的边缘感知扩散GAN

张美美,秦品乐,柴 锐,曾建潮,翟双姣

(中北大学 计算机科学与技术学院,山西 太原 030051)

0 引 言

脑卒中是一种高发病率、高死亡率和高致残率的脑血管疾病[1-2]。急性缺血性脑卒中,又被称为脑梗塞,其病变在CT上不明显,需要进一步通过核磁共振成像(MRI)进行确诊[3]。然而,当患者体内存在金属物品或患有幽闭恐惧症等特殊情况时,患者无法进行MRI检查,这会影响医生的诊断和患者的预后效果。若能从患者的CT转换为MRI,通过生成的MRI与原始CT的结合,将有望帮助医生更准确地评估患者的病情,为制定个体化治疗方案提供更多的参考依据。

随着深度学习的发展,医学跨模态图像生成取得显著效果。Li等[4]利用多种深度学习方法从脑部CT生成MRI。Hu等[5]用急性缺血性脑卒中患者的医学影像建立了从CT生成MRI的生成对抗网络(Generative Adversarial Networks,GAN),并利用生成的MRI完成后续病灶检测任务。Jin等[6]通过CycleGAN实现了未配对数据集从CT到MRI的跨模态生成。Yu等[7]通过改进生成器与鉴别器实现MRI的生成。然而,GAN训练不稳定,容易模式崩溃。最近提出的扩散模型在医学影像跨模态领域中可以生成与GAN接近的高质量图像。Lyu等[8]通过扩散模型实现了从MRI到CT的模态转换。Meng等[9]基于SDE提出UMM-CSGM,生成缺失模态的医学图像。然而,扩散模型采样速度慢。Wang等[10]将扩散模型与GAN相结合,同时解决了两者面临的问题。目前扩散GAN在医学图像跨模态转换中也有了初步的应用。Özbey等[11]基于扩散GAN提出了一种对抗扩散模型Syndiff,实现多模态医学影像转换。由于MRI对脑部软组织表现更为敏感,因此在MRI中边缘反映了局部强度的变化,显示了不同组织之间的界限,为临床诊断提供了重要信息。在急性缺血性脑卒中患者的MRI中,边缘信息对于区分病变与正常组织至关重要,有助于更准确地描绘异常区域的轮廓。

此外,急性缺血性脑卒中CT中缺少病灶信息,从CT生成MRI为从低信息量图像生成高信息量图像问题;研究表明[12-13],影像组学可以区分急性缺血性脑卒中CT上的病灶与其对称区域,因此通过影像组学在CT上划分病灶辅助MRI的生成是可行的。然而,仅将单个特征作为在患者CT上划分病灶的依据不具备鲁棒性。

受扩散GAN在医学图像合成中取得成功的启发,该文提出基于影像组学的边缘感知扩散GAN,急性缺血性脑卒中CT生成MRI算法。针对边缘不清晰问题,提出边缘感知扩散GAN。针对单个特征不具备鲁棒性的问题,通过组学模块引入基坐标从患者CT的病灶上提取多维影像组学特征。通过实验分析,该方法生成的MRI在病灶定位和图像质量方面优于现有方法。

主要贡献总结如下：

(1)提出了基于影像组学的边缘感知扩散GAN急性缺血性脑卒中CT生成MRI算法,解决了CT生成的MRI缺乏病灶信息以及边缘不清晰等问题。

(2)引入基坐标从患者CT的病灶上提取多维影像组学特征,解决了单个特征缺乏鲁棒性的问题;同时,提出基于扩散GAN的边缘感知扩散GAN模型,分别从图像纹理与边缘约束生成MRI,提升了生成MRI的主观效果。

(3)在ISLE2018挑战赛数据集上的实验结果表明,生成的MRI在PSNR、SSIM和PCC等指标上都优于Syndiff、CycleGAN、Respix2pix等医学图像跨模态方法。

1 相关工作

1.1 影像组学

影像组学是由荷兰学者Lambin于2012年提出的一种计算机辅助过程,从医学图像中提取大量包括形状、强度和纹理的定量特征[14],其中对高阶纹理特征的研究最为广泛[15-16]。

影像组学在脑卒中诊断、治疗和预后方面有广泛的应用。急性缺血性脑卒中在CT上缺乏明显的表征,但通过影像组学能发现梗死区域与正常组织之间的差异。Sikio等[17]发现提取影像组学特征,可以揭示缺血性病变的结构变化。通过对老年人的脑组织数据进行影像组学特征分析,能够识别既往脑卒中病变,相关模型的AUC超过0.7[18]。

1.2 扩散生成对抗网络

目前,基于GANs与扩散模型在医学图像生成领域得到了广泛应用。Nie等[19]提出了基于GANs的3DGAN,能够从MRI生成CT图像。曹国刚等[20]实现了在未配对数据集上从MRI生成CT,但生成的CT存在偏差。侯冰震等[21]在CycleGAN的基础上同时引入了边缘感知损失函数和密集网络,实现了MRI到CT的合成。Ben-Cohen等[22]将cGANs与全卷积神经网络相结合,从CT生成PET,降低了漏检率。Armanious等[23]将对抗网络与非对抗损失相结合提出了MedGAN,用于CT和PET的相互转换。Pinaya等[24]基于扩散模型生成具有特定条件的MRI,从中检测并分割大脑中的异常区域。然而,多数研究集中在从高信息图像到低信息图像的生成。

1.3 影像组学与生成模型结合的应用

目前已有部分研究将影像组学与GAN结合以解决医学领域中的难题。冯二燕等[13]将CT上提取的组学特征作为先验输入到GAN中,实现了从CT到MRI的模态转换。Duan等[25]在肝硬化患者分级任务中使用了结合GAN模型和影像组学的方法,其AUC大于0.8。Pan等[26]在GAN的中间步骤引入了影像组学特征,使生成的数据更接近真实肺部病变。Chen等[27]从原始CT和生成CT中提取组学特征,建立生成全剂量CT图像的模型,用于肺癌诊断与生存预测。

2 文中方法

扩散模型前向过程加入噪声的过程容易破坏图像的结构信息。同时,急性缺血性脑卒中CT病灶不明显,从CT生成MRI具有挑战性。因此,该文提出一种急性缺血性脑卒中CT到MRI的跨模态生成算法,基于组学的边缘感知扩散GAN。

文中算法的总体结构如图1所示,由影像组学模块(图1(a))和边缘感知扩散GAN模块(图1(b))组成。首先,在已知病灶的CT/MRI数据集的CT病灶部位提取多维组学特征组。然后,在边缘感知扩散GAN中通过多维组学特征在CT上划分病灶候选区。最后将病灶候选区可视化的特征图与CT结合输入生成器,两个鉴别器约束生成器,使模型生成的MRI更加真实。

图1 总体结构

2.1 组学模块

急性缺血性脑卒中病灶在CT上的病灶无法利用组学特征准确地分割出来。但对比CT上不同区域的组学特征值差异可得出病灶的位置[13]。然而,利用单个组学特征来划分病灶缺乏鲁棒性。因此,文中组学模块首先将真实病灶作为ROI在CT上提取特征,再将特征映射到特征空间,筛选出多维影像组学特征组,最后在生成MRI时利用这组特征在CT上选择出病灶候选区域。

2.1.1 特征提取

将真实病灶作为ROI在CT上使用PyRadiomics (version 3.0.1, https：//pyradiomics.readthedocs.io/)提取影像组学特征。共提取出病灶的组学特征1 325个,去除无用特征,最终得到1 288个特征。

2.1.2 特征筛选

在坐标系中,“基坐标”代表其他点或向量。该文将所有特征映射到一个坐标系下,通过特征分析,提取出能表示其他特征的多维影像组学特征组。首先,通过信息增益筛选出重要特征;其次,计算剩余特征的相关性并分组;最后,每组选一个特征,组成多维影像组学特征组。

信息增益筛选：分别计算提取到的所有组学特征的信息增益,即在给定组学特征时,不确定性减少的值。组学特征的信息增益越大表示特征越重要。其中,信息增益大于0.4的组学特征共有10个,如表1所示。

相关性分析：通过筛选后,计算剩余特征两两间的皮尔逊相关系数,筛选出线性相关性最弱的特征作为在CT上选择候选区域的依据。相关系数的计算公式如下：

(1)

图2 组学特征相关性热力图

多维影像组学特征组选取：第一组中F1的信息增益最大,因此从第一组中选择F1;第二组中ρF1F6=0.22,相关性极弱,因此从第二组中选择F6;第三组中选择F10;最终选择这三个特征作为多维影像组学特征组。

2.1.3 病灶候选区

影像组学特征在患者的CT上病灶与非病灶位置有明显差异,通过多尺度锚框的方法在CT上可以划分病灶候选区域。将CT分为四个区域,分别提取对应区域的组学特征,并计算区域对应的特征值Fvalue,公式如下所示：

Fvalue=αF1+βF6+γF10

(2)

其中,α,β和γ为比例系数,由多维组学特征对应的信息增益归一化后得出。由于病灶与正常组织在CT上的差异明显,因此当某区域特征值与其他三个区域差异明显时表示该区域内包含病灶。在该区域内生成多个尺度在0.15～0.8之间的锚框,分别计算各个锚框的特征值,并计算各个锚框特征值的差异,选出差异最大的锚框作为病灶候选区。区域之间的特征差异性使用方差进行量化。

2.2 边缘感知扩散GAN

边缘感知扩散GAN模块中包括1个生成器和2个鉴别器。鉴别器D为生成图像与真实图像中加入随机噪声,稳定模型训练。加噪过程如图1(b)的Forward Process。鉴别器DEdge获取真实边缘图与生成边缘图,约束生成图像的边缘。

2.2.1 生成器

利用多维组学特征组从CT上划分病灶候选区并可视化后得到病灶特征图fmap。生成器将CT和特征图fmap作为输入,生成sMRI0,用公式表达为：

sMRI0=G(MRIt,fmap,CT,t)

(3)

其中,MRIt表示第t步带噪MRI,fmap表示病灶候选区域可视化的特征图,CT为源图像,t为时间指数。生成器使用UNet[28]结构,由6个下采样块与6个上采样块组成。如图1(b)所示,下采样块由3个残差块与1个3×3卷积块组成,上采样块则由4个残差块组成;时间t通过32维正弦位置编码(Time embedding)[29]后经过两层全连接(linear)层[30]后加入到残差块中。

2.2.2 鉴别器

鉴别器D区分sMRIt-k与MRIt-k。公式表达为：D({sMRIt-k|MRIt-k},MRIt,t),其中输入为时间指数t,真实MRI在t-k步的MRIt-k,如图1(b)前向过程所示,生成MRI在t-k步的sMRIt-k～q(sMRIt-k|MRIt,sMRI0)。其网络结构如图1(b)中D所示,由6个下采样块组成。

2.2.3 边缘感知鉴别器

通过对图像进行卷积,得到边缘图sMRIEdge与MRIEdge。kx与ky分别检测图像中的水平与垂直边缘,对图像卷积后生成对应x方向和y方向的边缘映射。最后将两个边缘映射合并为最终的边缘图S(Image),用×表示卷积操作,公式如下：

(4)

边缘感知鉴别器区分sMRIEdge与MRIEdge,公式化为：DEdge(S(sMRI0)|S(MRI))。网络结构如图1(b)中D_Edge所示,由一层卷积网络以及6个下采样块组成。

2.3 损失函数

该文提出边缘感知扩散GAN,模型总体损失函数Ltotal如式12所示,由对抗损失与非对抗损失组成,其中对抗损失如式9所示：

LG=EsMRIt-k～q(sMRIt-k)log[1-D(sMRIt-k)]

(5)

LD=-EMRIt-k～q(MRIt-k)logD(MRIt-k)-
EsMRIt-k～q(sMRIt-k)log[1-D(sMRIt-k)]

(6)

(7)

(8)

(9)

其中,G表示生成器,D表示鉴别器,DEdge表示边缘感知鉴别器,E表示随机变量概率分布的期望,t～U({0,k,…,T}),λEdge为边缘感知鉴别器损失的平衡系数。为了让生成MRI与真实MRI更接近,引入L1损失约束图像像素。L1损失如下：

L1=EMRI,sMRI0～q(MRI,sMRI0)‖MRI-sMRI0‖1

(10)

其中,‖·‖1表示l1范数。为了学习到MRI图像上更多的边缘信息,使生成的MRI在边缘上更加接近于真实MRI,引入梯度损失LGDL。公式如下：

LGDL=EMRI,sMRI0～q(MRI,sMRI0)‖∇MRI-∇sMRI0‖1

(11)

其中,∇MRI与∇sMRI0分别表示真实MRI与生成MRI的梯度信息。

模型总体损失函数Ltotal由对抗损失函数LAdv、全局损失函数L1以及梯度损失函数LGDL组成。定义如下：

Ltotal=LAdv+λ1L1+λ2LGDL

(12)

其中,λ1,λ2为损失函数的加权系数。

3 实验结果与分析

3.1 数据集与实验设置

在ISLES2018数据集上进行实验,包括103例急性脑卒中患者的信息。患者于缺血性脑卒中发作后8小时内接受CT灌注成像(CTP)和3小时内的弥散加权成像(DWI)模态的MRI检查。训练集包含63个病例,包括原始CT、4张CTP参数图、DWI及医生标记的病变标签。测试集包含40例患者,无DWI和病变标签。实验使用CT和MRI配对数据及专家标记的病灶,按6∶2∶2比例分为训练集、验证集和测试集。

实验基于Python 3.8.10和PyTorch 1.12.1框架进行,在一台配备有Intel Xeon E5 2620 v4处理器、128 GB内存和4台Tesla V100显卡(每个显卡有32 GB显存)的64位Ubuntu NVIDIA Station服务器上进行了模型训练。模型训练500个epoch,输入输出图像的大小为256×256,采用Adam优化器,学习率设置为10-4,其中T为1 000,步长k为250,噪声方差的上下界分别为0.1和20。

3.2 评价指标

为了定量评估算法生成的图像质量,采用峰值信噪比(PSNR)、结构相似性指数(SSIM)和Pearson相关系数(PCC)。PSNR通过比较生成图像和真实图像之间的像素误差的全局大小来度量图像质量。SSIM是反映了生成MRI图像与真实MRI的结构相似性程度。最后,PCC用于衡量生成MRI与真实MRI之间的相关性。

3.3 对比实验

本节评估了急性缺血性脑卒中CT生成MRI算法的性能,对Syndiff[11]、CycleGAN[6]、Respix2pix[13]与文中方法进行定量实验,如表2所示。文中方法在图像质量和脑部结构相似度方面表现优秀。图3将生成的结果、对应的边缘图与差异图作为可视化结果进行定性实验。图3显示Ours-sMRI与Respix2pix-sMRI均包含病灶高亮细节,但Respix2pix中存在错误边缘,表明文中方法能够生成高质量的MRI图像,并具有优秀的细节表现。

表2 对比实验定量分析

图3 对比实验可视化结果

为了验证文中方法在病灶上的优势,分别比较Respix2pix-sMRI与Ours-sMRI的病灶区域,三名影像科医生标记Ours-sMRI与Respix2pix-sMRI的病灶,图4为分割结果。其中,Ours-sMRI的表现最优,对应的DICE系数比Respix2pix-sMRI的高。

图4 病灶区域绘制

综上所述,文中方法生成的MRI经过定量与定性分析均获得了最佳的结果。表明文中方法生成MRI不仅在关键病理信息上有优秀的表现,同时生成图像的结构信息与边缘上也与真实MRI更为近似。

3.4 消融实验

本节分别通过定量分析与定性分析,验证组学模块和边缘感知鉴别器的有效性。定量评估结果如表3所示,Without D and R表示去除边缘感知鉴别器与组学模块后的模型;Without R表示去除组学模块后的模型;Without D表示去除边缘感知鉴别器后的模型;Ours表示文中方法的模型。定性分析结果如图5所示,分别展示了四种方法对应的sMRI及其病灶区域细节放大图,方框表示病灶区域。

表3 消融实验定量分析

图5 消融实验可视化结果

3.4.1 影像组学模块有效性验证

组学模块作为本模型中提供病灶先验的模块,加入组学模块后生成的MRI中应该显示病灶。图5中Without R-sMRI的方框内没有病灶,而Without D-sMRI与Ours-sMRI的方框内均有明显高亮。生成的MRI中有高亮病灶,且位置正确。同时,在定量实验中,当去掉组学模块后,PCC指数有明显下降,表示生成MRI与真实MRI之间的相关性下降。

3.4.2 边缘感知鉴别器的有效性验证

边缘感知鉴别器主要对生成图像的边缘梯度进行约束,使生成的MRI有更真实的边缘梯度。图5中,Without D-sMRI中虽然有明显的病灶信息,但是出现了不正确的边缘,图像存在伪影;加入边缘感知鉴别器后的图像则展现出了自然的梯度,整体图像更加真实。

综上所述,文中模型生成的图像与真实MRI差异很小,病灶明显,病灶位置正确,病灶形状相似,这是由于组学模块与边缘感知鉴别器分别突出病灶区域和生成MRI的边缘梯度,使生成MRI与真实MRI相似。

3.5 医生阳性/阴性鉴别

三名分别有10年、5年和3年的放射科经验的医生分别对五种情况进行阳性/阴性鉴别。阳性表示发现脑卒中病变,阴性表示未发现脑卒中病变。使用Accuracy公式计算在三种情况下的准确率。

(13)

其中,TP与TN表示阳性阴性分类正确的样本个数,FP与FN表示阳性阴性分类错误的样本个数。医生判断得出的准确率如表4所示,文中生成的MRI与CT结合后急性缺血性脑卒中检出率有了明显提升。

表4 阳性/阴性判别准确率 %

4 结束语

该文提出了基于影像组学的边缘感知扩散GAN,旨在解决急性缺血性脑卒中CT到MRI的跨模态生成问题。该算法提取CT中的组学特征,并在病灶候选区域进行可视化辅助患者的CT生成MRI,为不适用的MRI患者提供新的诊断方法。实验结果表明,加入边缘感知鉴别器,使生成的MRI整体边缘过渡更为自然。生成的MRI能够清晰显示病变,为医生的诊断治疗提供了有力参考。然而,由于急性缺血性脑卒中数据有限,需要进一步测试模型的有效性和鲁棒性。