用于CT稀疏重建的对抗式多残差深度神经网络改进方法

杜聪聪， 乔志伟， 张艳娇， 芦 阳

(山西大学 计算机与信息技术学院， 山西 太原 030006)

0 引言

计算机断层成像(CT)是应用最为广泛的医学成像模态，其过高的X射线辐射剂量可能存在终身诱发癌症的风险。因此，低剂量CT成为当前研究的热点。目前，低剂量CT有两种实现方法。一种是降低每个投影角度下的辐射剂量，另一种是在稀疏角度下减少投影个数。在稀疏投影角度下重建的图像就是稀疏重建。其中以滤波反投影(Filtered Back Projection，FBP)[1]算法为代表的解析法是一类经典的CT图像重建算法。然而FBP算法稀疏重建的图像产生严重的条状伪影，可能导致出现错误的疾病判读。由此，研究者们开始设计新的高精度稀疏重建算法，以压制条状伪影。

CT稀疏重建方法大致分为两类。

一类方法是基于压缩感知Compressed Sensing，CS)[2]的迭代法，2006年，Sidky等提出了扇束和锥束CT的总变差(Total Variation，TV)最小算法，实现了高精度CT稀疏重建[3-4]。随后，研究者们在TV算法的基础上，提出了自适应加权TV(Adaptive-weighted Total Variation，awTV)[5]、保边TV(Edge-preserving TV，EPTV)[6]、各向异性TV(Anisotropic TV，aTV)[3,7]、高阶TV(High Order TV，HOTV)[8]、非局部TV(Non-local TV，NLTV)[9]及TpV(Total p-Variation)[10]等算法，进一步提高了重建精度，有力地推动了CT稀疏重建的发展。此外，其他基于压缩感知的重建算法也得到了深入研究，如基于字典学习的方法[11]和基于秩最小的方法[12]。

另一类方法是深度学习法。Chen等提出的Red-CNN网络，结合了反卷积[13]和残差学习[14]，在CT稀疏重建方面取得了不错的效果[15]。Wolterink等使用生成式对抗网络( Generative Adversarial Networks，GAN)[16]在CT稀疏重建问题上也获得了很大的提升[17]。Han等证明学习条状伪影比学习原始信号更加简单，并提出了基于Unet网络[18]的深度残差学习方法来估计条状伪影，然后通过输入的含条状伪影的CT图像减去估计的条状伪影来获得高质量的CT图像[19]。Jin等提出的FBPConvNet网络将残差UNet网络和FBP算法结合起来解决稀疏重建中出现的条形伪影问题，并将该方法与传统的TV 方法进行对比，取得了不错的效果[20]。

Zhang等提出的DD-Net网络结合密集连接[21]和反卷积，通过特征复用克服了梯度消失和梯度爆炸以及模型参数大小增加等问题，让网络结构进一步的压缩从而更容易训练，提高了网络训练的性能[22]。Han等揭示了Unet网络可能会产生模糊边缘的缺陷，提出了基于UNet的多分辨率深度学习网络结构：多级结构UNets和轻量级结构UNets，增强了图像的高频特征，并论证了该网络压制伪影的性能优于传统的TV算法[23]。Steven等提出的FD-UNet网络在UNet网络的收缩和扩展路径中均引入密集连接来抑制条状伪影，进一步实现高精度稀疏重建[24]。

在这些利用深度学习的图像处理中，ResNet网络中残差连接可以在训练更深网络的同时，又能保证良好的性能。一定程度上解决了深度神经网络存在的退化、梯度消失和梯度爆炸的问题[14]。对抗机制通过两个不同网络的博弈达到纳什均衡，在计算机视觉方面取得了良好的效果[16]。

本文拟在经典UNet网络的基础上，引入多残差连接和对抗机制，提出一种对抗式多残差深度神经网络，用于压制由解析法FBP稀疏重建产生的条状伪影，从而进一步提高CT稀疏重建的精度。

1 相关工作

1.1 GAN模型

图1 对抗式网络框架

1.2 马尔科夫判别器PatchGAN

马尔科夫判别器PatchGAN[25]基于原始GAN将判别器进行了改进。原始GAN网络中判别器输出的是一个概率值，判断输入图像的真假。而PatchGAN判别器输出的是一个矩阵，该矩阵中的每一个元素，代表着原图中的一个比较大的感受野，也就是对应着原图中的一个补丁块。该判别器可以用来判别感受野是N×N的局部补丁块的真假。假若判别器的输出矩阵大小是30×30，其中的每个像素感受野对应的是原图中70×70的补丁块，该判别器用来判断对应输入判别器图像的900个70×70的补丁块的真假。

1.3 ASD-POCS算法

基于CS的TV重建算法[4]可以从稀疏投影中高精度重建CT图像，其原理是在数据保真的约束下使图像的TV最小。TV重建模型如下：

(1)

ASD-POCS(Adaptive Steepest Descent-Projection Onto Convex Sets)算法是一种高效的TV模型求解算法。本文将以此算法作为对比算法之一。

2 网络结构设计

2.1 去伪影网络结构

去伪影网络原理是将FBP算法稀疏重建的含条状伪影的CT图像作为输入，经过去伪影网络训练后，得到高精度CT图像。去伪影网络基于经典UNet进行了改进，其结构如图2所示，网络结构以大小为256×256的CT图像作为输入，卷积操作都是使用3×3大小的卷积核，之后连接了批量归一化层和ReLU激活函数，卷积通道数分别设置为32，64，128，256，512，1024，最后一层卷积层将通道数转换为1，得到大小为256×256的生成图像。该网络在每两层卷积操作之间加入一个残差连接，可以提取到更多的图像特征。图中n64代表卷积层的卷积核的数量为64。

图2 多残差生成网络结构图

2.2 判别器结构

判别器网络如图3所示。受PatchGAN网络的启发，判别器使用了全卷积网络，判别网络采用5个卷积层，将大小为256×256的高精度CT图像和去伪影网络重建的CT图像作为网络的输入，输出大小为16×16的矩阵。首先，将去伪影网络重建的CT图像和高精度CT图像拼接；然后，进行5个卷积操作，前四个卷积操作使用4×4大小的卷积核，步长为2；最后，一个卷积操作卷积核大小为4×4，步长为1，将通道数转换为1，得到大小为16×16的输出。矩阵中的每一个像素点，实际上代表着输入图像中的一个94×94大小的局部感受野，这样训练的时候可以获取到更多的图像细节。图中n64s2代表卷积层的卷积核的数量为64 ，步长为2。

图3 判别网络结构图

2.3 损失函数

3 结果

本节主要介绍数据集、网络训练参数设定以及实验对比分析。实验选取传统的TV算法、具有代表性的FBPConvNet和原始GAN三种算法作为稀疏重建的算法，与本文算法进行对比。

3.1 数据集的构建

本文选取了2015幅不同的CT图像进行训练，来自TCIA数据集(https://www.cancerimagingarchive.net/)，其中50幅为测试集，50幅为验证集。图像大小为256×256像素。含条状伪影的CT图像通过对高精度CT图像进行radon变换得到相对应的稀疏投影图像，其中每幅CT图像选择60个投影进行稀疏重建。

3.2 网络训练超参数设定

在实验中，TV算法进行了500次迭代，使其结果充分收敛。原始GAN网络使用交叉熵二分类。 FBPConvNet网络使用l2损失函数。本文提出的对抗式多残差网络使用l2损失与l1损失函数加权，其他参数保持一致。其中，所有的网络都使用Adam优化器，epoch为60，学习率为0.0002，batch_size为12。所有的卷积和反卷积滤波器都以均值为零、标准差为0.01的随机高斯分布初始化。

3.3 实验平台

实验配置CPU为Inter(R) Xeon(R) CPU E5-2620 v4 @ 2.10 GHz，GPU为NVIDIA Geforce GTX 1080 Ti，使用Keras库在Python上进行训练，训练时间约为4小时。

3.4 实验结果及分析

3.4.1 稀疏重建算法对比分析

该实验中，输入是在[0,π]范围内等间隔采集60个角度下的投影数据进行稀疏重建的CT图像。在测试集中分别选取腹部和头部CT图像不同算法测试结果如图4～图9所示，将本文提出的方法与传统的TV算法、原始GAN和FBPConvNet三种算法进行实验对比。实验结果表明，FBP稀疏重建的CT图像具有明显的条状伪影，其他三种经典稀疏重建算法都有效地压制了条状伪影，并取得了较好的效果，但图像中仍然存在一些明显的条状伪影，而本文提出的对抗式多残差网络重建图像较为清晰，在去掉条状伪影的同时保留了更多的图像细节。

图4 CT图像

图5 FBP算法

图6 TV算法

图7 原始GAN方法

图8 FBPConvNet方法

图9 本文方法

对于定量分析，本文采用峰值信噪比(PSNR)、均方根误差(RMSE)和结构相似性(SSIM)作为CT图像稀疏重建效果的评价指标，其结果如表1所示。本文方法与传统的TV算法、原始GAN和FBPConvNet三种方法相比：第一幅CT图像PSNR 高出 FBPConvNet网络大概 2.3 dB，RMSE降低了将近0.0027，与FBPConvNet 相比，SSIM略微领先。其余两幅CT图像中本文方法指标也优于其他的稀疏重建方法。实验结果表明，本文提出的方法与传统的TV、原始GAN和FBPConvNet三种算法相比，该方法保留的细节信息更多，重建出的CT图像精度更高。

表1 稀疏重建实验对比结果

3.4.2 本文算法在不同稀疏情形下的性能分析

为了探索本文提出的对抗式多残差网络在不同稀疏情形下的重建图像算法的性能，在[0,π]范围内等间隔分别采集15个、30个、90个角度下的投影数据进行稀疏重建的CT图像作为本文算法的输入进行训练，并进行了定性和定量分析。

实验结果如图10所示，在稀疏度为15时，GAN网络稀疏重建的CT图像效果最差，稀疏度为30时重建的图像仍然存在明显的条状伪影；稀疏度为60时，保留的细节信息明显增加，从子图(i)可以看出，90个投影角度下保留的细节信息更多，纹理结构更加明显。为了更直观地观察不同网络稀疏重建的效果，图11(a)～(d)为图10红色框内局部区域的放大图像，从图中可以看到，90个稀疏角度下重建的图像纹理结构更加明显。对于定量分析，比较结果如表2所示，在90个稀疏角度下重建出的CT图像PSNR比60个稀疏度下重建的CT图像高出将近0.36 dB，RMSE降低了0.0006，SSIM的值也有所提高。实验结果表明，在深度学习去条状伪影过程中，稀疏角度越多的CT图像，在该网络中越容易训练出高精度CT图像。

图10 不同稀疏情形下的重建图像对比图

图11 不同稀疏度下的重建图像放大对比图

表2 不同稀疏度下重建图像的PSNR值、SSIM值、RMSE值

4 结论

在本文提出的对抗式多残差网络中，将去伪影网络基于经典UNet进行了改进，判别网络通过输出矩阵来判断补丁块的真假，增加了神经网络的深度，提高了网络的表达能力。与传统的TV算法、原始GAN 和FBPConvNet三种稀疏重建算法相比，该算法能够有效地恢复图像细节，且重建出的CT图像精度更高。同时，稀疏角度越多，该网络越容易训练出高精度CT图像。说明该网络在提高CT图像高精度稀疏重建方面具有很大的潜力。未来的研究方向将基于此网络架构的压制条状伪影网络进行改进，进一步提高CT图像稀疏重建的精度。目前，我们正将此网络应用于电子顺磁共振稀疏重建中，评估其在此成像模态下的性能。