基于超分辨率网络的CT三维重建算法

李俊伯，秦品乐，曾建潮*，李 萌

（1.山西省医学影像与数据分析工程研究中心（中北大学），太原 030051；2.中北大学大数据学院，太原 030051；3.山西省医学影像人工智能工程技术研究中心（中北大学），太原 030051）

0 引言

在现代医学领域中，计算机断层扫描（Computed Tomography，CT）和核磁共振成像（Magnetic Resonance Imaging，MRI）等层析成像技术被广泛应用于医学研究和临床诊断。作为临床医学最基本的影像之一，CT 由于其本身扫描速度快且图像清晰，又可结合Hu 值调整窗宽窗位以获得各种组织最佳显示的特点，被应用于多种生物疾病的检查。因为CT 影像本身属于连续完整的二维数据切片，可通过叠加重建技术将其转化为体数据，所以可实现人体组织和器官的三维可视化［1］。尽管CT 扫描使用的电离X 射线辐射可能增加癌症的风险，可对于临床医学诊断与治疗领域其仍需要被大量使用，所以根据病例需求和设备条件，通常会在确保诊断正确的情况下尽量采用较大的层厚扫描。具有厚度的扫描造成了CT 的部分容积效应，切片与切片之间的间距往往比轴状位图中像相邻像素之间的物理间距大得多，直接对这种体数据进行可视化会导致三维模型在非冠状位视角中的锯齿状边缘、条纹状伪影和不连续表面等现象，直接影响到病变判断，因此基于层间插值［2-6］的层析影像体数据的三维重建成为了热门的研究方向。

近年来，深度卷积神经网络由于能够学习到复杂图像中高低频结构特征信息，在医学图像处理方向取得了优于传统算法［2，7-9］的结果，基于深度学习的层析影像三维重建算法一定程度上消除了容积效应，保持了体数据各向同性。然而先前的上采样方法大都只考虑相邻的两张切片的数据预测中间像素值，并没有利用到二维切片正交方向上的整体融合信息。Peng 等［10］在边缘超分辨率深度切片插值方法中提出在单轴方向上的超分辨率任务以完成MRI 图像冠状位和矢状位上采样重建，结合了切片正交方向上的上下文内容。受其启发，本文基于单个方向上的超分辨率方法进行腹部CT 序列图像的三维重建，意在降低辐射强度的同时，提高CT 层析影像三维模型的质量。

基于学习的图像超分辨率（Super-Resolution，SR）［11-13］通过学习一系列高低分辨率图像之间的像素结构映射关系，可预测像素值提高图像分辨率。回顾图像超分辨率技术的发展历程，Dong 等［11］提出 SRCNN（Super-Resolution Convolutional Neural Network）首次将深度学习用于SISR（Single Image Super-Resolution），网络一开始就采用双三次插值然后使用简单的三个卷积层学习特征。Shi 等［14］提出的ESPCN（Efficient Sub-Pixel Convolutional Neural Network）直接在低分辨率图像上做提取特征以缩短训练时间，然后以亚像素卷积层（Sub-pixel Convolution）上采样图像，但这很可能会导致棋盘效应。Lim 等［15］提出的增强型单幅图像深度残差超分辨率网络EDSR（Enhanced Deep residual network for single image Super-Resolution），去除掉了批量标准化处理（Batch Normalization，BN）操作，但未充分学习图像特征，进而限制了网络的性能。在分辨率问题中引入残差机制具有很好的效果［16-18］，Zhang 等［18］在RDN（Residual Dense Network）中结合残差学习和密集块提出了残差学习块，利用全部层级特征关系增强了模型的表达能力，显著提高模型特征提取的能力。之后Zhang 等［19］结合通道注意力机制提出RCAN（Residual Channel Attention Network），成功提高了特征学习能力。Hu 等［20］于2019 年提出Meta-SR，通过动态生成上采样滤波器，使得单一模型就能够支持任意缩放因子的上采样任务。Liu 等［21］提出的RFA（Residual Feature Aggregation）结构组通过添加跳跃将多个残差块组合，并提出改进的空间注意力块，强化学习关键空间内容。

到目前为止，主流的超分网络多采用后端上采样（postupsampling）结构。本文提出了一种基于超分辨率网络的CT三维重建算法，模型为具有双重损失的优化学习纵轴超分辨率重建网络（Double Loss Refinement Network，DLRNet），在模型的上采样层后设计了继续优化学习模块，并将上采样层的输出也和基准图也做损失，双重损失使网络产生了更接近基准图的结果。除此之外，在特征提取部分的密集残差块中引入了空间特征金字塔池化和通道注意力机制，不同感受野的卷积和不同通道的加权学习非常适合应对CT 图像中不同粗细以及规模不一的血管组织的特征；为了满足任意尺度的上采样倍数，采样上采样模块动态生成上采样滤波器参数，但与Meta 不同的是，本文生成多组而非单组滤波器计算后融合结果；并且不同于以往的图像超分辨任务，本文只在纵轴方向上做上采样，再将高分辨率的冠状位图像叠加重建，从而更有针对性地获得了更高质量的CT 层析影像三维模型。

1 相关工作

1.1 纵轴方向超分辨率

在以往的SR 任务中，大都对单幅图像沿着长宽方向进行同比例放大。针对CT 体数据三维重建问题，需要对每幅冠状位图像做单一方向上的尺寸放大。令I(x，y，z)∈RN×N×N表示具有各向同性的CT 体数据。其中沿x、y、z各轴方向观察的视角分别为矢状位、冠状位和轴状位。因此，冠状位切片图可表示为：

Ix和Iz以此类推。在纵轴超分辨率任务中，考虑沿着z轴方向进行切片插值。所以可将相对应的原始各向异性CT 体数据定义为：

其中：k为缩放因子。其目标是找到一个映射关系T：→RN×N×N使得I↓k(x，y，z)变换后尽量逼近基准I(x，y，z)。

1.2 通道注意力机制

计算机视觉（computer vision）中的通道注意力机制（attention）［22］作为近几年来的热点问题，在图像和自然语言处理等领域中都取得了重要的突破，被证明有益于提高模型的性能，而其本身也是符合人脑和人眼的感知机制。腹部CT 影像不同于自然图像，其本身属于结构较为复杂的连续灰度图序列，在真实的应用场景中，更需要观察影像中各组织与结构的边缘细节，通过器官边缘来判断病变区域严重程度。本文的思路是通过纵轴超分上采样冠状位的二维影像来重建三维模型，所以二维图像中各结构的边缘质量直接影响三维重建的效果。这就需要强调图像中边缘的重建准确度。虽然各种深度卷积神经网络已经在医学影像的超分辨率任务中表现出了优于传统方法的效果，但现在的大多数卷积神经网络（Convolutional Neural Network，CNN）都平等对待特征的每一个通道，会使得网络无法区分高低频信息来学习特征。图像超分辨是为了尽可能多地恢复高频信息，而低分辨率的图片却包含着许多可以直接被传播到输出的低频信息，因此，特征的所有通道如果被平等对待则会使网络缺乏辨别学习能力。

从原理上来说，通道注意力模型（Channel Attention，CA）如图1 所示，输入为H×W×C的特征图，经过一个全局平均池化（Global Average Pooling，GAP）操作得到1×1×C的通道描述v∈R1×1×C，然后对该矢量依次用1×1 卷积层进行下采样再上采样，再使用Sigmoid 激活函数得到映射后的1×1×C的通道权重描述，最后将其与原始特征图相乘得到通道注意力处理后的特征图，其中r为特征通道缩放倍数即缩放因子factor。而将CA 和残差思想结合在一起就是RCAB（Residual Channel Attention Block），如图2 所示为RCAB 结构，输入特征input，首先进行卷积-池化-卷积操作得到，再将f输入到CA 模块进行通道注意力学习得到fCA，然后用一个长跳层将fCA与input 相加得到RCAB 块的输出。

图1 通道注意力机制模型Fig.1 Channel attention mechanism model

图2 RCAB结构Fig.2 Structure of RCAB

受RCAB 和RDN 中密集残差学习的启发，本文提出密集通道注意力机制块（Dense Channel Attention Block，DCAB），通过通道注意力机制帮助抑制CT 灰度图像特征图中无用信息，通过对特征通道之间的相互依赖性建模来自适应地重新缩放每个通道的特征，对边缘纹理等响应程度更高的通道特征图进行着重学习，优化网络学习CT 中的器官组织边缘等感兴趣信息，有效提高了深层网络的性能。稠密连接使得各层级特征图之间直接沟通，增强了网络的表达能力。

1.3 任意缩放因子的上采样层

上采样是图像进行超分重建的必要步骤，SR 本身通过预测像素值扩大图像尺寸。一般在原始输入图像经过升维特征提取后，通过上采样层扩大图像尺寸。深度学习模型处理SR 问题中常用到的上采样方法为反卷积和亚像素卷积层（Sub-pixel Convolution），反卷积通过用0 填充特征图边缘来逐步扩大图像尺寸，这对于SR 任务来说很容易引入偏差，直接限制了模型的性能。Shi 等［14］提出的亚像素卷积如图3 所示，尺寸为H×W×1 的低分辨率输入图像经过特征提取后，最后一层卷积将通道数降为r²，此时输出图形状为H×W×r²，然后根据图中的变换方式转为H×r×W×r的输出图，其中H和W均为3，r为2。

图3 亚像素卷积层Fig.3 Sub-pixel convolutional layer

亚像素卷积层可以让网络学习四个通道的参数，从而完成插值方法，整个过程无需填充特征图，使用较小的卷积核避免了使用网络一开始就进行线性插值扩大尺寸带来的误差，而且线性插值类上采样方法本身就是卷积操作的一种特殊情况，使用卷积操作可以更高效地拟合结果。亚像素卷积具有更大的感受野，能学习到更多的周边结构信息，但是因为Shuffle 层感受野分布不均匀，会导致一定程度上的棋盘效应和边缘伪影。

真实应用场景中CT 层析扫描的层厚大都在2 mm～5 mm不固定，所以重建缩小层间距时会需要各种大小的缩放因子，这时模型就需要为各种大小scale factor 设计一个特定的上采样模块来支撑任意缩放因子的上采样任务，而且只能缩放整数倍，这一缺点严重限制了其在现实中的应用。多尺度上采样层Meta-SR 通过动态生成上采样卷积滤波器，使得单一模型只需要进行一次训练，就可以支持任意缩放因子（包括小数倍）的上采样任务。如图4 所示，SR 中的每一个像素（i，j）都是由其在LR（Low Resolution）上对应像素（i′，j′）上的特征和对应滤波器计算出来的。

图4 多尺度上采样层Fig.4 Multi-scale upsampling layer

Meta-Upscale 由三个模块组成：位置投影（Location Projection）、权重预测（Weight Prediction）和特征映射（Feature Mapping）。本文模型在纵轴上采样模块也动态生成卷积核滤波器，从而解决了三维重建难以在实际场景中应用于各种缩放因子的问题。与Meta-SR 不同的是，本文只做纵轴单方向上的上采样；同时，动态生成多组而非一组滤波器，这意味着本文的上采样模块能够获得更多通道的特征，自适应融合后效果也有所提高。

2 具有双重损失的优化学习纵轴超分辨率重建网络

2.1 网络整体结构

对于CT 冠状位图像纵轴方向任意缩放因子的上采样重建任务，本文设计的具有双重损失的优化学习纵轴超分辨率重建网络结构如图5 所示，输入图像在进入模型后依次经历三个模块：1）特征提取模块；2）任意尺度的纵轴上采样模块VM-Meta（Vertical Multiple-Meta）；3）优化学习模块CRM（Continuous Refinement Module）。

图5 具有双重损失的优化学习纵轴超分辨率重建网络Fig.5 Double Loss Refinement Network（DLRNet）

本文模型以低分辨率的图像ILR作为输入，首先经过两个连续的MASPP（Multiscale Atrous Spatial Pyramid Pooling）块提取浅层特征，有：

其中：HMASPP代表本文的多尺度特征提取层；F-1和F0分别代表两个卷积层计算出来的结果。接着F0进入密集通道注意力块组DCAB 学习各级层深度特征，它包含n个DCAB层，有：

其中：HDCAB，n代表第n个DCAB 操作；Fn和Fn-1均是每个对应DCAB 内部特征融合与残差学习的结果。本文的HDCAB，1的输入为MASPP 的输出F0。DCAB 抽取足够多的密集特征后，将各DCAB 学习到的级层局部特征进行全局特征信息整合。其包含两个部分：全局特征融合（Global Feature Fusion，GFF）和全局残差学习（Global Residual Learning，GRL）。GFF 具体操作为图中Concat 以及之后的1×1 卷积的减少多余特征和3×3 卷积再学习，有：

其中：HGFF代表全局特征融合操作；[F1，F2，…，FN]代表N个DCAB 的结果Concat 起来。因为是各个层级的特征图Concat起来的，所以有必要使用1×1 卷积操作减少特征通道数。此时再将浅层特征F-1和最高层的全局融合特征进行残差连接得到FLR，有：

至此FLR结合了浅层特征和N个层级抽取的深度特征，包含最丰富、全面的图像特征信息。

将这些特征作为输入送进纵轴上采样层VM-Meta 得到目标尺寸的初步超分辨图像ISR′，最后把初步超分辨率图ISR′送入优化学习模块CRM，继续细化学习得到最终的纵轴超分辨率图像ISR，有：

其中：优化学习模块CRM 类似于特征提取模块但结构更简单，在开头和结尾分别具有一个3×3 卷积核。中间为三个残差密集块，块中卷积大小均为3×3，然后同样进行全局特征融合，最后有一个残差连接ISR′。

2.2 多尺度特征融合（空间特征金字塔）

由于腹部CT 图像本身的特征多样性和结构复杂性，对图像中不同尺寸目标使用相同大小的卷积核操作无疑会给学习带来困难，使得网络最终无法恢复出足够清晰的纹理特征，不同粗细的血管和不同规模的器官组织往往需要不同视野的滤波器提取特征。为了获取更加强大的特征表达，本文在网络中引入了多尺度特征融合块。在传统图像处理算法中，有一个很重要的概念，即图像金字塔和高斯金字塔。而卷积神经网络通过逐层抽象的方式来提取目标的特征，其中一个重要的概念就是感受野。如果感受野太小，则只能观察到局部的特征，如果感受野太大，则获取了过多的无效信息。空洞空间卷积金字塔池化ASPP（Atrous Spatial Pyramid Pooling）对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文信息。

本文针对医学层析影像超分辨率网络模型配置了一种并行多尺度特征融合模块MASPP 以代替网络刚开始的两个浅层特征提取卷积层，如图6 所示。MASPP 由五个尺度的卷积并行，包含一个1×1 卷积，一个3×3 卷积，以及三个空洞率不同的5×5 空洞卷积，其特征图用Concat 连接然后通过1×1卷积进行融合。由于超分辨任务不适合使用池化操作降低特征尺寸，本文去除了一般ASPP 中的池化操作。

图6 MASPP块结构Fig.6 Structure of MASPP block

2.3 稠密连接的通道注意力学习DCAB

CT 冠状位超分辨率任务中的LR 图像具有丰富的低频信息和部分关键的高频信息，其中低频部分容易理解，更加扁平化，而高频信息一般都是区域的，充满组织纹理、边缘以及其他细节的，这就需要合理利用高低频通道之间的关系。如果直接适用卷积层会完全平等对待高低频通道信号，这就限制了CNN 的性能。本文结合RCAN 和RDN 提出稠密连接的通道注意力学习DCAB。网络的特征提取模块使用DCAB进行深层特征学习，它在RDB（Residual Dense Block）的基础上，引入了通道注意力机制。具体使用RCAB 代替3×3 卷积和ReLU 激活函数，如图7 所示为DCAB 块结构。

图7 DCAB块结构Fig.7 Structure of DCAB block

DCAB 中每个RCAB 块依次连接，之后将各RCAB 提取的特征全部Concat 起来充分利用，使用1×1 卷积是为减少Concat 得到的过多通道数，得到具有代表性的局部融合特征。除此之外，DCAB 块的输入以及块中每一个RCAB 的结果都被发送到后续所有的RCAB 中，最后残差连接块的输入和输出，使得所有的RCAB 都有直接接触。

在深层特征提取模块引入通道注意力块RCAB 较直接卷积而言关注到了更多的信息，随着网络深度地不断增加，各层级特征图都利用到了其特征通道之间的相互依赖性。同时使用局部特征融合和局部残差学习充分利用到了所有层的信息特征，进一步提高了信息流和网络特征提取模块的表达能力，所以获得了更高的性能。

2.4 任意缩放因子的纵轴上采样层VM-Meta

在CT 影像医学诊断实际应用场景中，考虑到不同部位、病情、仪器条件和辐射剂量，会进行不同层厚的厚层CT 扫描。轴状位矩阵尺寸通常为512×512，其相邻像素点间物理空间间隔为5 dm/512≈1 mm。而z轴方向上层厚相对宽得多，这导致纵轴上物理空间间隔大于1 mm。据实际调查了解，医学影像应用中大部分CT 的层厚普遍在2 mm～5 mm，造成了多平面重建中的伪影。所以本文模型用于预测并提高CT体数据在z轴方向上的分辨率，提高三维重建的质量。值得注意的是，大多数不同病例原始数据层厚为2 mm～5 mm 不等，为了将实际应用中各种层厚CT 切片均重建缩小至1 mm左右，需要一个可以实现不同缩放因子插值的模型。受CVPR2019 中Hu 等［20］的Meta 上采样层启发，如图8 所示，本文设计了一个类似的纵轴上采样层VM-Meta，动态生成上采样的卷积核，这使得单个模型可实现任意缩放因子（包括非整数）情况下的纵轴超分重建，以保证三维CT 数据的各向同性。与Meta 不同的是，本文的上采样层动态生成多组而非一组卷积核，并且做的是纵轴方向的上采样。

图8 多尺度纵轴上采样层Fig.8 Vertical Multiple-Meta

纵轴上采样层VM-Meta 分为三部分：位置投影层、权重预测层和特征映射层。其中权重预测层预测的是上采样层滤波器的参数，本文滤波器的参数并不是从主干网络的训练数据中学习到的，而是由另外一个网络预测出来的。FLR为特征提取模块之后提取到的特征图，FLR′为与动态卷积计算之后的特征图，r为scale factor 即放大因子（可以为小数）。本文动态生成上采样卷积层的思想是，对于FLR′中每一个点（i，j），都有LR 图像上唯一一个像素点（i′，j′）与之相对应，不同的通道对应不同的动态卷积核组。其中（i′，j′）有：

权重预测网络为全连接网络，输入为二维的vi，输出维度为W×inC×outC×k×k，其中inC为FLR的通道数，outC为最终SR 通道数，k为动态卷积核的尺寸，W为卷积核的组数，这里取3。用来输入到权重预测全连接网络的向量为：

像素点（i，j）的值由LR 上像素点（i′，j′）和对应的滤波器组计算得出，之后由3×3 卷积融合多通道为一，得到粗略提升的高分辨率图像ISR′。所以动态上采样层可以看成是FLR到ISR′的映射函数。

通过动态生成上采样卷积核的方法可以解决CT 体数据重建在实际应用场景中很难支持各种大小缩放因子上采样任务的问题。权重预测层生成了多组上采样卷积核，提升了网络学习多通道信号的能力，丰富了刚采样上来的信息流，使上采样层得到了更好的性能。

2.5 损失函数

在超分辨率任务中，为了使输出图像尽量接近基准图，研究人员通常使用最小绝对值偏差，即L1 作为目标函数。对于输入低分辨率图I和基准图G，基于L1 损失函数的定义为：

其中：θ为神经网络参数；f为模型映射结构；W和H分别为高分辨率图像G的宽度和高度。

由于本文在VM-Meta 上采样操作之后设置的继续优化模块与基准图做损失继续细化提高了图像质量，进而本文考虑到上采样操作之后的大尺寸图ISR′也应该尽量接近于基准图。因此本文方法除了计算基准图IHR与ISR之间的损失外，还计算ISR′即粗略重建与基准图的损失，即：

其中：α是控制附加损失LSR′占总损失权重的参数。假设f为整个DLRNet 模型映射函数，f1代表特征提取模块加上采样模块的映射函数，f2代表优化学习模块CRM 的映射函数，有：

其中：θ1为前两个模块卷积核参数；θ2为CRM 模块卷积核参数。LSR′可表示为：

所以本文整体损失函数Lall可表示为：

其中：LSR学习模型的参数为θ，而LSR′学习模型的参数为θ1，二者分别以粗略超分辨率图像与优化超分辨率图像的角度触发计算损失，双重损失加速了模型的收敛，从而迫使网络产生了接近于基准图的结果。

3 实验与结果分析

3.1 数据集与预处理

本文数据来源是KITS19 Challenge Homepage 中的腹部CT 公开数据集，该数据集中大部分病例的切片数据层厚大于1 mm，将这些厚层扫描的数据作为本文任务数据集中的基准图显然不利于真实场景的应用。因此针对超分辨率任务，应尽可能获得低层厚的原始图像作为数据集，挑选出其中CT 层厚最小的15 组病例作为本文任务的原始数据集，其层厚均为0.5 mm～1 mm。接着将原始的轴状位图像多平面重建为冠状位图像，由于每个病例的体分辨率均为512×512×N（N为切片数），所以每个病例的冠状位切片序列切片数均为512 张，最后去除这512 张图像中不包含主要器官和组织的图像。共得到15 个病例共3 124 张纹理丰富，高低频信号对比明显的冠状位图像，挑选其中324 张包含各种形态的冠状位图像作为测试集，其余2 800 张作为训练集，测试集中挑选20 张作为验证集。考虑到CT 厚层扫描的成像原理，高分辨率图像通过双三次线性插值法下采样2、3、4 倍得到不同缩放倍数的低分辨率图像。

3.2 实验参数

本文进行了一系列的初步实验来确定最佳卷积宽度（卷积滤波器的数量）和最佳的补丁大小。为了找到最优的补丁大小，本文尝试了14×14，28×28 和36×36 像素的补丁。在滤波器数目方面，尝试将DCAG（Dense Channel Attention Group）组中卷积滤波器的数量设置为32、64 和128。这些参数在本文的数据集进行100 次迭代得到的结果如表1 所示，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似性（Structural SIMilarity，SSIM）在缩放倍数为2 时的结果。

表1 本文模型各参数选取所对应的训练结果（倍数为2）Tab.1 Training results corresponding to selection of each parameter of the proposed model（scaling factor of 2）

其次，本文模型优化器选用ADAM（Adaptive Moment Estimation）算法，它结合了AdaGrad（Adaptive Gradient Algorithm）和RMSProp（Root Mean Square Prop）算法的最优性能，可根据损失函数针对参数一二阶矩估计自适应改变学习速率，促使模型收敛。参数设置为β1=0.9，β2=0.999，ε=10-8。初始学习率为10-4，使用mini-batch 作为批量输入策略，batch-size 为16。项目基于Pytorch V0.4.1 框架进行开发，在一块显存为16 GB 的NVIDIA Tesla P100 GPU 上进行训练。

3.3 对比实验

3.3.1 评价指标

为了客观描述不同算法的结果，本文采用通用的图像质量评价指标：峰值信噪比和结构相似性对近年来在SR 任务上表现优越的深度学习算法进行比较。

3.3.2 与其他方法的对比

为了验证本文模型的性能，将DLRNet 与传统的双三次插值法（Bicubic）［23］、PIL（Python Image Library）库高质量抗锯齿升采样法（Antialias），以及基于深度学习的EDSR、RDN、RCAN 算法结合纵轴上采样模块V-Meta 做对比（其中RDN为Peng 等［10］使用的特征提取方法）。

如表2 所示，深度学习类方法较传统的Bicubic 和Antialias 算法在评价指标上有了巨大的提升，而基于深度学习的RCAN 模型相较其他模型引入了通道注意力机制，表现更为出色。本文设计了继续优化学习等结构，在增加模型复杂度的情况下明显提高了模型的学习能力。PSNR 平均较RCAN 模型在缩放2、3、4 倍任务下分别提升了0.816 dB、0.778 dB、0.773 dB，即在不同缩放倍数任务下平均提高0.789 dB。

表2 各种模型在测试集上的PSNR值和SSIM值（倍数分别为2、3、4）Tab.2 PSNR and SSIM of each algorithm on test set（scaling factor of 2，3，4）

为了直接可视化本文模型的效果，首先选取了数据集中一张腹部CT 冠状位图像，通过Bicubic 算法在纵轴方向下采样4 倍后，使用以上的6 种算法做纵轴上采样，如图9 所示。

图9 不同算法在冠状位图上的重建效果对比Fig.9 Comparison of coronal image reconstruction effect of different algorithms

深度学习方法相对于传统方法有了巨大的提升，而RCAN 和本文方法在深度学习方法中表现更为出色。而相较于RCAN 的纵轴上采样，本文方法恢复了更接近于基准图细节中的光滑边缘，相对无锯齿，对比度也更加清晰。本文三维重建并可视化KITS19 腹部CT 影像数据集中的一个病例，同样做了缩放倍数为4 的对比实验，如果图10 所示。传统方法上采样后的三维重建模型细节有较多丢失，纹理更加模糊。基于深度学习的方法恢复了更接近于基准图的结构，包括血管组织表面纹理，较粗血管的轮廓和较细血管的连贯。本文方法相较于RCAN 来说在细节上恢复程度更高。

图10 不同算法用于三维重建时的效果对比Fig.10 Comparison of three-dimensional reconstruction effect of different algorithms

3.3.3 消融实验

为了验证本文提出的各模块作用，在DLRNet 上进行了一系列消融实验，分别去掉了CRM 优化学习模块，生成多组滤波器的VM-Meta 改进，以及空间特征金字塔和通道注意力机制。实验结果如表3 所示，各模块的去除均使模型的效果有所下降。本文模型基于RDN 密集残差的特征提取模块，在加入通道注意力机制的同时，使用MASPP 模块代替网络一开始的前两个卷积层，增强了网络学习不同规模组织浅层特征的能力，同时在上采样操作后加入了CRM 模块继续优化细节，细化了边缘纹理的学习。在上采样层动态生成多组卷积核获得更丰富的各通道信息。实验结果也证明了本文模型的所有改进模块均有效提高了纵轴方向上采样图像质量，一定程度上缩小了层间距，从而提高了三维重建的质量。

表3 测试集上的消融实验Tab.3 Ablation experimental on result test set

4 结语

本文针对腹部CT 三维重建问题提出了一种具有双重损失的优化学习纵轴超分辨率网络，通过对冠状位图像的纵轴上采样缩小了CT 体数据的层间距。本文方法使用动态生成上采样卷积核解决了实际应用场景中单一模型难以上采样多种缩放因子影像的问题。引入空间特征金字塔增强了浅层特征提取的感受野，使得网络能够更好地学习不同粗细血管、不同规模组织的细节特征。引入通道注意力机制加权学习了深层特征中高低频信号的相互依赖；并在上采样层后设置继续细化学习的模块，又引入了新的损失，这促使网络输出更接近于基准图的结果，从而提高了腹部CT 体数据重建可视化的效果。在后续的工作中，将继续探讨是否可以找到一种有效的方法能够融合多幅冠状位图像序列之间信息进行超分辨率重建，同时具备时效性。