基于图像边缘约束cGAN的稀疏角度锥束乳腺CT重建

【作者】仰云焕，方程一绝，朱磊

中国科学技术大学 工程与应用物理系，合肥市，230026

0 引言

乳腺癌发病率和死亡率分别位列我国女性恶性肿瘤的第1位和第4位，且呈逐年上升趋势[1]。医学影像对乳腺癌的筛查诊断具有重大意义。目前乳腺X射线影像的两个主流模态是钼靶摄影（mammography）和断层摄影（tomosynthesis）。与这两个影像模态相比，锥束乳腺CT（cone-beam breast CT,CBBCT）不仅不需要压缩乳房，有更高的病人舒适度，而且还能提供真正的3D信息、更高的分辨率和更高的图像质量。随之而来的是更多的扫描，即意味着更高的辐射剂量和更长的扫描时间，这两者是限制CBBCT在临床上广泛应用的主要阻碍。本研究通过减少CBBCT的投影数，将辐射剂量和扫描时间降低到原来的三分之一或四分之一，并提出一种新的深度学习算法将稀疏角度CBBCT图像的质量提高到和全角度CBBCT的图像质量相匹配。

辐射剂量是限制CBBCT在临床广泛应用的一个主要障碍。女性的乳房对辐射非常敏感，美国的FDA对用于乳腺癌筛查检测的mammography设置的辐射界限是6 mGy[2]。文献[3]报道乳腺在CBBCT扫描中平均所受的剂量为4～12.8 mGy。与mammography、tomosynthesis相比，CBBCT另一个劣势在于相对长的时间，CBBCT的扫描时间主要受限于探测器的采集速度。前两种成像模态的平均扫描时间分别为6 s[4]和3.7 s[5]左右，而CBBCT的扫描时间为10 s[3]左右，增加的时间可能会引起运动伪影。一个可以同时降低剂量、减少时间的扫描方式是减少采集投影数即稀疏角度CBBCT。

稀疏角度CT在过去一段时间内被大量研究[6-9]。利用滤波反投影（filtered back projection,FBP）直接重建稀疏角度CT时会产生混叠伪影（view-aliasing artifact）。一种主流的解决方法是迭代重建，包括基于正则化的算法[9-10]和基于压缩感知的优化算法[7,11]，其中代表性的算法就是基于全变分（total variation，TV）的迭代重建[7]。最近研究者也提出了将大量的深度学习算法用于稀疏角度CT，主要是在图像域进行后处理[12-14]，也有在投影域[15]前处理，及投影域图像域联合处理[16]，以及投影域直接到图像域的重建[17]。受限于CBCT的大数据量和训练的难度，稀疏角度CBCT重建常用图像域后处理，一种代表性的深度学习算法是基于FBPConvNet的图像后处理[14]。

本研究发现将先进的迭代算法TV重建[7]和基于U-net结合残差学习的深度学习算法FBPConvNet[14]直接用于稀疏角度CBBCT，会导致微小的组织结构丢失，正如后面结果图的展示。主要原因在于CBBCT的扫描剂量相对身体其他部位的扫描剂量更低，导致CBBCT数据噪声较大，同时乳腺有非常多样复杂又细小的结构，图像具有对比度低（＜150 Hu）、分辨率高（＜0.5 mm）的特点。这给基于图像稀疏性的TV重建和数据驱动的FBPConvNet算法带来了巨大的挑战。对早期乳腺癌筛查来说，细小组织结构的保留非常重要。这就要求算法能更好地捕捉提取锥束乳腺CT图的特征，能有效保留低对比度区域的细节信息。

在本研究中，我们提出一种新的基于条件生成对抗网络（cGAN）[18]加入图像边缘约束的算法——ECGAN，用ECGAN后处理FBP直接重建得到的充满伪影的稀疏角度CBBCT图。ECGAN主要包括两个部分的创新，一个是cGAN的应用引入了对抗损失函数，另一个是边缘图像被加入cGAN的生成器和判别器这两个部分。对抗损失函数可以在一定程度上减轻均方误差函数（mean square error,MSE）带来的过光滑及模糊问题，而边缘图像的引入则可进一步提高图像对比度，提高图像边缘锐利程度，能保留低对比度区域中微小的潜在病变。具体来说，ECGAN的生成器部分是改进后的U-net，本研究改进了U-net的主要部分——下采样和上采样，以此来保留更多的细节。对于判别器，我们采用patchGAN[19]和最小二乘损失函数LSGAN[20]结合的方式来保留高频信息，提高训练稳定度。对于边缘约束，用梯度可自动反向传播的卷积层，从去除伪影后的CBBCT图和全角度图中提取边缘，再反馈到生成器的损失函数和判别器的输入中。ECGAN的效果在20组包含原始投影图的临床数据上得到了验证，并且效果优于两种主流方法——基于TV的迭代重建[7]和基于U-net的后处理FBPConvNet[14]。最后通过消融对比试验（ablation study），观察验证了对抗损失函数及图像边缘所起到的作用。

1 方法

稀疏角度CBBCT的重建分为两步，先从稀疏角度投影图FBP重建得到有严重混叠伪影的稀疏角度重建图，再用ECGAN模型去除稀疏角度CT图中的伪影，同时最大限度保留图像的细小结构信息。重建方法的总体示意，如图1所示。设X代表有伪影的稀疏角度CBBCT图，Y为全角度的CBBCT图。本研究的目标是通过神经网络学习找到一个函数f，将X映射为Y：Y=f(X)。利用神经网络的万能近似原理，当把X作为输入，Y作为对应的真值时，可以训练神经网络来近似得到f。本研究发现，在医学图像中有广泛应用的U-net结合常用的均方误差MSE损失函数时，输出的图像会有过光滑和丢失细节的问题。而本研究提出的ECGAN可得到能更佳地保留细节的函数f，ECGAN的网络结构，如图2所示。ECGAN主要包括两个部分的创新，一个是cGAN的应用引入了对抗损失函数，另一个是边缘图像的引入，这两个因素让输出图像尽可能地接近真值，并着重关注细小结构的保留。

图1 稀疏角度CBBCT重建方法的总体示意图Fig.1 Framework of the proposed sparse-view CBBCT reconstruction method

图2 算法模型ECGAN网络结构Fig.2 The architecture of the proposed method ECGAN

cGAN包括两个网络，一个是生成器G用来去除CBBCT图中的伪影，即G就是想要的f，另一个是判别器D判断输入图是去除伪影后的CBBCT图还是真实的CBBCT图。只有当G去除伪影的同时能最大限度地保留原图的结构信息，不丢失细微结构不让CBBCT模糊，让判别器判断正确的概率为0.5时，训练才达到收敛。对于条件生成对抗网络，为了保证输出的图像与输入一一对应，结构不会被改变，生成器G的输入X也被输入判别器D中，即判别器不仅需要判断G生成图片的质量，还需判断G的输出CT图结构是否与输入X的结构一致。cGAN的损失函数如下：

为了降低训练难度，提高收敛性，并保持约束图像内容不变，cGAN的生成器损失函数中应该加入传统的衡量图像相似性的损失函数，如L2损失函数，如式(3)所示，总的损失如式(4)所示，其中G(x)是生成器的输出，即去除伪影后的图像。

在医学图像处理中广为应用的神经网络模型U-net在被改进后用作cGAN的生成器。U-net的主要结构是下采样、上采样和跳跃连接。原始下采样采用最大化池化，本研究改为参数可学习的卷积下采样，用步长为2的卷积去学习下采样的过程，以此保留更多细节。原始的上采样采用的是反卷积，会产生棋盘状伪影，本研究将其改为线性插值加卷积，以便得到更清晰的图像。为了加快收敛和防止梯度消失或爆炸，在生成器和判别器中都采用了实例标准化（instance normalization，IN）。IN可以比批标准化（batch normalization，BN）更好地进行类似风格迁移的操作，尤其是在图像尺寸大批量规模（batch size）受限的情况下。

对于判别器的要求是能提取高频信息，所以判别器的特征提取应该集中在图像块上，让判别器去判断CT图中小的图像块是真实图还是去除伪影后的图。本研究采用了patchGAN[19]的判别器，patchGAN与原始GAN输出一个数值不同，patchGAN判断图像块输出的是一个矩阵或向量，矩阵的每个元素对应输入图像中的图像块是真实值的概率。对于patchGAN判断图像块大小的选择，根据实验结果，选择让pathGAN的感受野是70×70，即判别器输出矩阵的一个元素代表的是输入图中70×70的图像块为真实值的概率。GAN的训练往往是困难和不稳定的，为此引入了最新的GAN的训练策略LSGAN[20]，将原始带负log的似然函数改为最小二乘损失函数，即判别器的损失函数从式(2)变为如下：

虽然LSGAN的改动较小，但其带来的巨大改进在文献[20]中已论述，我们不再赘述。判别器的结构是简单的串联型，如下：

C代表的是卷积、IN和leakyReLU激活函数（斜率为0.2），数字表示的是每层的特征图数。在最后一层，数据被卷积为一维并计算最小二乘损失函数。

本研究观察到在乳腺CT图中低对比度区域图像有较大概率发生模糊和丢失细节的问题。为了在处理时进一步保留低对比度区域的小的钙化点和潜在病变结构，去伪影后的图像的边缘被提取出来和真实图的边缘图做比较，同时被作为一层通道图输入判别器的网络当中。图像边缘的单独计算加重了神经网络对这部分的计算权重，让低对比度区域的特征更容易学习。图像边缘由可自动求导梯度、可反向传播的卷积层得到，这个卷积层代表的操作就是Sobel算子（SF）。例如X方向边缘提取Sobel算子如下：

将Sobel算子应用在水平、竖直和两个对角线方向，得到四个方向的边缘图都被一起输入G和D中。在生成器中，它们增加了一个L2项

对于判别器，四张图像边缘生成器的输出作为一个输入的不同通道图，一起被输入判别器。这样判别器能判断输入图的边缘图与真实图的边缘图的相似程度，进一步地让判别器着重低对比度区域细节的学习。判别器的损失函数从式(5)变为式(8)，即：

总的来说，生成器总的目标函数可以写成如下：

2 实验和结果

2.1 数据集准备和模型训练

20组临床数据被用来训练和评估，每组数据包含均匀分布在360°内的300个角度的完整原始投影图。通常，在用深度学习去除稀疏角度CT图伪影的论文中，因为缺少临床原始投影数据，所用的训练数据中的稀疏角度CT图一般是通过模拟前向投影，然后降采样再重建产生。本研究则直接对原始投影数据图（光子强度图）进行操作。临床原始投影图预处理后直接重建得到全角度重建图，对投影图降采样到100或75个角度的再重建得到对应的稀疏角度CBBCT图，对应的辐射剂量和扫描时间减少为全角度的三分之一或四分之一。重建得到的全角度和稀疏角度的2D数据是6200张512×512尺寸的重建图，其中 4800张图像用于训练，1400张用于验证和测试。为了获得更多的训练数据，对训练数据做数据增广，通过翻转和重建时旋转，总共有9600张图片用于训练。对于损失函数中的λ，本研究选择让图像边缘产生的损失比均方误差小一个数量级，对抗损失和生成器的损失则是同一个量级。算法用PyTorch框架实现，用Adam优化器进行训练，学习率起始设置为0.0002，再分段式衰减至1×10-5，运行在英伟达Tesla K80的GPU上。

2.2 实验结果

为了验证ECGAN的效果，将该算法结果和基于TV的迭代重建[7]结果及基于U-net结合残差学习的FBPConvNet[14]后处理的结果进行对比。图3上面一行展示了100个角度下的稀疏角度CBBCT重建结果对比图，窗宽设置为[0.2,0.3]cm-1。视觉上可以直观地看到ECGAN在保留结构细节和去除伪影两方面都比另外两个对比方法出色。因为CBBCT细节多、对比度低、剂量低等特点，基于图像稀疏性的TV迭代重建的图像过于平滑，结构信息丢失非常严重。FBPConvNet并没能完全去除伪影，而且图像同时出现了过光滑的问题，一些潜在的病变因为亮度降低可能会消失或被当成正常组织。关于TV和FBPConvNet过光滑的问题在图3下面一行的放大图中可以很容易看到。而ECGAN首先很好地去除了伪影，而且图像细节保留完整，与全角度图相比几乎没有区别。

图3 不同方法重建CBBCT结果图（100个角度）Fig.3 Reconstruction of CBBCT results by different methods(100 views)

峰值信噪比和结构相似度SSIM[21]是两个常用来衡量两张图像之间相似程度的量化指标。其中SSIM的计算公式如下：

其中：σ代表方差，u代表均值，C1、C2为常数。表1展示的是测试集上的量化指标的平均值，ECGAN在两项指标上均取得最高的量化分数，人眼的视觉评判结果与量化指标的结果是一致的，显示了ECGAN的良好效果。限于篇幅我们没有展示75个投影下与TV、FBPConvNet对比结果，各算法的表现与100个投影上的表现一致。在下面的消融对比实验中，展示了75个角度下的ECGAN的优秀效果。

表1 ECGAN、U-net、TV的峰值信噪比和结构相似度Tab.1 PSNR and SSIM of ECGAN,TV,U-net and 100 views

为了进一步研究ECGAN的两个主要部分对抗损失和边缘约束的作用，进行消融对比试验。通过控制网络组成，训练不同的网络来对比它们的表现，包括修改后的U-net（下文直接称为U-net）结合均方误差训练，记为Unet-MSE。U-net作为生成器的cGAN,记为CGAN，最后提出ECGAN。图4展示了在75个角度四分之一剂量下的代表性结果，其中窗宽为[0.2,0.3]cm-1。可以看到即使在75个角度下，三个网络都能很好地去除伪影，但由于伪影非常严重，Unet-MSE恢复图像的能力较弱，导致图像较暗。在避免图像过光滑方面，CGAN和ECGAN结果的边缘锐利程度和对比度比Unet-MSE高。这说明对抗损失是可以很好地保留高频信息，避免图像变模糊。进一步地对比CGAN和ECGAN的结果，可以看到ECGAN在保留微小结构方面更优。这些对比结果在图4第二行放大的结果图中可以更容易被观察到。同时比较图4的方框中的小钙化点和周围组织的对比度，结果分别是0.025、0.039、0.063、0.081 cm-1，ECGAN获得了最高的数值。

图4 不同方法重建CBBCT结果图（75个角度）Fig.4 Reconstruction of CBBCT results by different methods(75 views)

3 结论和讨论

我们提出了一种新的深度学习算法ECGAN，用于降低锥束乳腺CT的扫描剂量和时间，提高稀疏角度CBBCT的图像质量。设计网络时结合CBBCT图微小结构多、低对比度等特点，针对深度学习中的过光滑和丢失细节等问题，提出对抗损失函数和边缘约束来解决。在原始临床数据上，和基于全变分迭代重建、FBPConvNet后处理的对比结果显示，无论是视觉上还是量化指标上，ECGAN都具有更好的表现。进一步设计的实验显示两个最重要的改进都提高了图像质量。结果表明ECGAN算法可以在保证稀疏角度CBBCT图像质量的前提下，有效地降低CBBCT扫描的剂量和时间。所以ECGAN有望应用于临床CBBCT上，让CBBCT更多地被应用在乳腺癌筛查上。

在未来的工作中，计划在ECGAN中引入从投影图到CT图的重建过程，以此来进一步提高CBBCT的重建质量。

致谢：

我们感谢Andrew Karellas、Srinivasan Vedantham、Linxi Shi三位博士提供数据，中国科学技术大学杨益东教授提出建设性意见。