基于多尺度综合注意力的左心室图像分割方法研究

李孟歆，韩 煜，李松昂，贾欣润，李易营

（沈阳建筑大学电气与控制工程学院，沈阳 110168）

0 引言

根据《中国心血管健康与疾病报告2020》［1］发布报告指出，中国心血管疾病发病率呈上升趋势。全世界每年死于心脑血管疾病的人数占全球死亡人数的30%，对于心血管疾病的提前诊断和及时治疗是亟待解决的重大问题。其中左心室是全身循环泵体，起到泵血的作用，工作量远远大于右心室。心血管疾病对左心室的生理形态影响很大，严重时甚至威胁生命，所以左心室的早期检查，判断生理轮廓是否正常，是评估心脏状况的重要环节。有多种医学摄影方法用于治疗心脏病，其中磁共振（MRI）方法应用更为广泛。它可以获得关于心脏结构、心肌运动和组织特征的清晰信息，向医生提供重要的补充诊断资料，并与左心室功能的评估具有临床相关性，可以有效地辅助医生进行病灶判断。但由于手动分割一幅MRI 图像耗时较长，并且依赖医生的专业能力，所以近年来左心室MRI图像的自动分割成为了研究热点。

国内外科学家提出了多种心室分割方法，基本包括两种类型，即传统的分割方法和基于深度学习的分割方法。然而，在深度学习发展过程中，将深度学习与医学图像分割相结合是人们正在研究的新课题，实现左心室的全自动分割，与传统方法进行比较，提升效果更为显著。Tran［2］使用15 层FCN 对左心室和右心室进行分割。Poudel 等［3］在尖端使用递归全卷积网络（RFCN）来分析重叠心脏MRI 图像的分割，获得的结果显著改善。Ronneberger 等［4］首次提出U-Net，可以有效解决医学领域专业图像样本少的问题，通过对原始数据进行增强，使网络的图像特征提取能力得到提升，利用编码和解码的结构，通过对上下文信息的分析实现对目标特征准确定位，在基于神经元结构的U-Net分割网络中取得了不错的成果。Lieman-Sifry 等［5］研究改进E-Net 架构，提出了Fast Ventricle 架构用于心室分割，大大提升了运行速度并保证了结果的准确性。Vigneault 等［6］在U-Net 的基础上提出了Ω-Net（Omega-Net），强化了特征的位置信息和语义分割。Khened 等［7］提出了一种新型长短连接的上采样结构，针对FCN 的梯度爆炸问题进行了改善，结合Inception 模型和DenseNet 提出了一种全卷积多尺度残差网络，在心脏分割竞赛中表现突出。在深度学习领域的医学图像分割研究方法层出不穷，并且都取得了不错的成果［8-11］。

本文以生成对抗网络为框架基础，结合多尺度综合注意力模块（multi-scale integrated attention module）构成改进的生成对抗网络MCA GAN，分割网络由编码—解码模块构成，用结合多尺度综合注意力网络的全卷积神经网络替代原有的编码模块，针对网络捕获特征信息不足、浅层信息丢失的问题，构建新的分割网络，并通过多尺度鉴别器鉴别网络监督生成图像与标注图像之间的特征关系，通过不断地迭代，更好地学习图像的特征信息，提高分割精度。

1 本文网络结构及算法原理

1.1 生成对抗网络

GAN 主要由生成器G（generator）和鉴别器D（discriminator）两个网络构成，通过不断迭代的对抗式学习来获得更为精确的结果，其网络结构如图1所示。

图1 生成对抗网络结构

图1中，G将随机噪声z作为输入来生成图像G(z)，然后将真实图像x与G(z)输入到D中，D将x和G(z)做二分类，鉴别输入的图像是原始图像还是生成图像，D的输出结果表示输入x为原始图像的概率，1 表示当前的输入为原始图像；0 表示当前的输入为生成图像。G继续训练学习使得生成图像接近原始图像，并尝试使D认为这是原始图像；D通过不断学习提高原始图像和生成图像的分类准确率。一个网络在不断优化生成数据，另一个网络在不断优化分类准确率；通过迭代学习，两个网络达到一个均衡点，称为纳什均衡点。

生成器（G）和判别器（D）的定义如下:

其中：z是随机噪声，x是原始图像，Pdata是真实数据分布，Pz是均匀噪声分布，G(z)是生成图，D(x)表示真实图像鉴别结果，D(G(z)) 表示生成图像鉴别结果，E表示期望。

1.2 MCA GAN

在图像的特征捕捉和表征方面，GAN 有着相较于其他模型更为优秀的学习能力，提出一种改进的生成对抗网络，即MCA GAN，来对目标任务进行分割。网络结构如图2所示。

图2 MCA GAN网络结构

1.3 基于多尺度综合注意力的分割网络

在分割网络中引入多尺度注意力卷积神经网络，如图3所示。主要由以下三个模块构成：①双路径因式分解多尺度融合模块［12］（dual Path factor decomposition multi-scale Fusion block，DPF），该模块用来捕捉更多的细节特征信息，使更多的浅层、深层信息得到保留；②通道和空间融合自注意力模块（spatial and channel self-attention modules，SCA）［13］来增强特征图上的待分割区域，并对分割内容无关的部分进行弱化；③多尺度注意力模块（multi-scale attention module，MSA）［14］来凸显图像最重要的特征信息，并得到分割结果。

其结构如图3所示。

图3 MCA-Net网络结构

DPF 模块嵌入在编码模块与解码模块中的跳跃连接处，通过跳转链接突出更多相关的特征信息，增强特征表达能力，最终捕获更详细的特征。如图4所示。

图4 DPF结构

该模块包含两种机制，一维因式分解卷积和多尺度空洞卷积。在特征提取中，一维因式分解卷积与二维卷积相比，可以有效保留规则二维卷积核的空间信息，减少计算量，保证了特征信息精度，再通过学习不同尺寸的特征图之间的特点来得到更相近的特征信息；多尺度空洞卷积可以结合不同图像相关特征信息，扩大感受野，使网络对细节特征的学习能力进一步提升。

令输入特征图的浅层特征和深层特征分别为Fl和Fh，深层特征Fh经过转置卷积后尺寸得到进一步扩张，保持与浅层特征Fl相同的尺寸。输出公式如式（2）所示：

式中：r为空洞卷积扩张率。

在编码模块与解码模块底部之间引入SCA，并在SCA 中加入密集空洞卷积块（dense atrous convolution module，DAC）［15］，可以在扩大感受野的情况下不损失信息。通过不同大小的感受野，捕获不同尺度上的局部和全局信息，以获得更深层的特征图空间位置信息。

SCA 结构如图5所示，该模块由空间注意力模块、通道注意力模块以及DAC等三部分组成。SCA 充分利用CNN 的特点，产生了关注图像特征：空间性、渠道智能性和多层次性。SCA 的主要作用是保留了更多特征图像的细节特征信息，通过获取更深层的特征图像空间通道位置信息，对局部和全局信息进行特征融合。在空间与通道注意力模块下，聚合正在学习的特征的上下文信息，同时对特征图进行重塑，得到不同维度的权重。将其在原始通道进行加权聚合，突出最相关位置的特征信息。DAC 模块的每个分支级联一个或多个不同空洞率的卷积，不同的感受野用于提取图像中不同尺度的特征。其结构如图6所示。

图5 SCA结构

图6 DAC结构

在解码模块末端引入MSA，捕捉各个不同尺度特征图像的权重来确定其特征，结构如图7所示。

如图7 所示，MSA 中的双线性插值算法将解码器获得的不同尺度特征图上采样到与原始图像相同的尺寸，再通过1×1 卷积将这些特征图压缩成4 个通道，组合在一起作为MSA 的输入。压缩后的图像经过平均池化（Pavg）和最大池化（Pmax）与多层感知器（MLP）组合而成的模块，获取关于特征图像每个尺度最相关的系数γ，该系数为与特征通道信息最接近的权重，即尺度注意力系数［13］，针对分割目标不同尺度的特征信息自发地调整更为相近的注意力系数，再与输入相乘再相加得到输出结果。表达式如式（3）所示：

图7 MSA结构

式中，F为拼接得到的特征图，γ为尺度注意力系数。

1.4 基于多尺度的鉴别网络

鉴别器的目的是监督生成网络的结果在真实图像上的概率分布，为了获取更多的特征信息，通过保留更多的深层与浅层特征信息来将更多维度的特征信息结合在一起。在医学图像的研究中，大部分GAN 鉴别器采用全卷积神经网络，给出一个real/false。通过使用多尺度鉴别网络，可以获得更多的多尺度信息对分割网络进行反馈，使图像的形状特征和边缘轮廓等信息得到更好的学习，提升网络的分割精度，优化分割结果。

将L1 均方误差损失函数和生成对抗网络的目标函数相结合，能对分割结果有更好的提升，结合后的损失函数如下：

其中：F(Xi)为生成图像；Yi为原始图像。组后的目标函数为L1 均方误差损失函数与GAN 目标函数之和：

结构如图8所示。

图8 多尺度鉴别网络

2 实验及结果分析

实验在Windows 64 位操作系统计算机上完成， GPU 配置：Nvidia GeForce RTX3060 8 GB，CPU 配置：Intel i7-11800H CPU，RAM：8 GB，使用基于Python 3.6的PyTorch框架来实现。由于使用梯度下优化算法，学习效率设置为0.002。

2.1 数据处理

实验使用ACDC（automated cardiac diagnosis challenge）2017、MICCAI（medical image computing and computer-assisted intervention）2009 和MICCAI2013 作为数据集，使用MCA GAN 分割模型进行实验。因为数据集不同，所以图像尺寸不同，为了更好地进行训练，对图像进行统一的裁剪，在心脏MRI 图像中，心脏轮廓一般位于图像中心位置，所以选取中心点256 ×256 × 1 尺寸区域作为输入图像的尺寸大小，即统一输入图像尺寸又保留了完整的心脏轮廓。处理后的训练集和测试集数量及尺寸如表1所示。

表1 实验数据集和训练集数量

2.2 分割结果评估

针对分割结果与标签图像的相似性系数、交并面积比例以及像素分布，将下述三种评价指标作为分割精准度的衡量标准。

Dice 表示分割结果和目标区域之间的最大相似度，指标的范围是［0-1］（0～100%），Dice值越高，表示分割结果与专家手动标记图像相似性越高，准确度越高。Dice定义如式（4）所示。

Jaccard 表示专家手动标记图像与分割结果的交集面积与并集面积的比例大小，指标的范围是［0-1］（0～100%），0 表示分割结果与目标区域没有重叠部分；1表示分割结果与目标区域完全重叠。Jaccard定义如式（5）所示。

Sensitivity表示所有正样本划分正确的比例，系数越高表示准确率越高。Sensitivity 表达式如式（6）所示。

其中：Y为专家手动标记心肌和背景的像素集；X为文中方法分割结果的心肌和背景像素集。

通过计算模型在上述三个数据集的测试集上分割结果的Dice系数、Jaccard 系数、Sensitivity系数来评估分割结果，结果见表2。

表2 三个数据集左心室内外膜分割结果

为了验证MAC GAN 模型分割左心室MRI心肌内外膜的性能及其准确性，在三个不同的数据集上对MAC GAN 进行训练，并分别从MICCAI2009、MICCAI2013 和ACDC2017 数据集的测试集分割结果中随机抽取三幅分割结果进行比较，如图9 所示。其中从左到右依次是MICCAI2009、MICCAI2013、ACDC2017 的模型分割结果和标注标签。

图9 MAC GAN 在三个数据集上的左心室内外膜分割结果

对比三个数据集的分割结果可以看出，MAC GAN 对左心室MRI 心肌内外膜的分割效果依然很好，总体上来说对感兴趣区域的捕捉、边缘分割的精准度仍有着非常不错的表现。

2.3 对比分析

为了对比分析MCA GAN模型与其他模型分割表现的差异，将MCA GAN与图像分割神经网络模型FCN和DCGAN在分割效果上进行比较分析。

2.3.1 模型分割结果评估

为了评估MCA GAN 模型与FCN 和DCGAN的分割表现，比较三个模型分别在三个不同数据集上的分割质量，结果见表3～表5。

表3 三个模型在MICCAI2009数据集上左心室内外膜分割结果

表4 三个模型在MICCAI2013数据集上左心室内外膜分割结果

表5 三个模型在ACDC2017数据集上左心室内外膜分割结果

从表3～表5 中的数据结果可以看出，MAC GAN 在各项指标中均取得不错的结果，通过保留浅层信息和深层信息分割效果得到了明显提升，相较于其他方法有着更为优秀的分割能力。

2.3.2 表现对比分析

为了更加清晰地比较三个模型在MICCAI-2009、MICCAI2013 和ACDC2017 数据集上的分割表现，分别随机抽取FCN、DCGAN 和MAC GAN 模型在上述三个数据集上的心肌内外膜分割结果进行对比，不同模型的分割效果如图10所示。其中从左到右依次是FCN、DCGAN 和MCA GAN 的模型分割结果和标注标签。可以看出MAC GAN分割模型有着更好的分割表现。

图10 不同模型在三个数据集上的内外膜分割结果对比

3 结语

本文提出一种基于生成对抗网络结构的分割模型MAC GAN，为了解决医学图像分割接收区域弱，感受野小及特征丢失等问题，将多尺度综合注意力的网络框架加入到目标域的分割网络中，用来实现左心室心肌内外膜的分割。利用综合多尺度注意力网络结构捕捉每层卷积中的图像特征，保留更多的浅层信息，通过上采样将图片还原成原始输入尺寸，并再次捕捉每层的深层信息，进行拼接最终获取分割结果；再通过鉴别网络对生成图像多个尺度的特征信息与真实图像进行多次迭代对比，通过多次的对抗学习提高分割精度。在MICCAI2009、MICCAI2017和ACDC2017数据集上对MAC GAN进行了实验对比分析。通过Dice、Jaccard、Sensitivity 三项评估指标可以得出结论，该分割模型不论在大数据集还是小数据集上均有优秀的分割能力，对于不同数据集仍能保持高精准度的分割结果。与此同时，相较于FCN 和DCGAN 分割模型，MCA GAN 在三个数据集上的各项评价指标也有着更好的表现，在左心室MRI心肌内外膜的Dice系数提高了1.44%和3.18%，Jaccard系数提升了2.12%和3.35%，Sensitivity 系数提升了1.18%和1.80%，优于其他模型。