基于反馈网络的磁共振图像超分辨率重建研究

石涵瑜　迟洁茹　李蓥楠

文章编号： 10069798（2022）01002406; DOI： 10.13306/j.10069798.2022.01.004

摘要：  针对磁共振图像超分辨率重建算法存在的边缘信息丢失和运动伪影等问题，本文提出一种基于反馈网络的磁共振图像超分辨重建方法。采用反馈路径构成网络结构，在所提出的重建算法中，将输入图像进行上采样和下采样操作，提取图像特征，并对提取的特征进行融合后与输入图像一起进行局部循环训练，同时通过残差和卷积操作，重建超分辨率图像。为了更加全面的对本文所提方法性能进行比较和分析，采用峰值信噪比（peak signaltonoise ratio，PSNR）和结构相似度（structural similarity，SSIM）作为图像质量的客观评价标准，从主观和客观两方面对实验结果进行评价。研究结果表明，在相同的欠采样系数下，利用所提方法重建的图像PSNR和SSIM指标均高于其它算法，重建效果较好，不仅能准确地重建图像信息，还可提高图像的重建质量，证明本文所提方法的有效性。该研究具有较好的实际应用价值。

关键词：  磁共振图像; 超分辨率重建; 特征融合; 反馈网络

中图分类号： TP391.4; TP183文献标识码： A

磁共振成像（magnetic resonance imaging，MRI）[1]是一种非侵入式的活体成像技术，具有无辐射和对比度高等特点，被广泛用于临床诊断[23]。在磁共振扫描过程中，为避免运动伪影，要求患者长时间保持静止状态，这会加剧患者的不适。近年来，为缩短扫描时间和克服运动伪影，图像超分辨率重建技术被引入磁共振成像中。图像超分辨率重建技术[4]是一种利用给定的一幅或多幅低分辨率（low resolution，LR）图像，生成超分辨率（super resolution，SR）图像的技术，利用该技术可在不改变硬件情况下提高图像质量。目前，深度神经网络模型是应用较为广泛的超分辨率重建技术。J.PAULY等人[5]根据稀疏表示原理，提出包含特征提取、非线性映射和重建的基于深度卷积网络的图像超分辨方法（learning a deep convolutional network for image superresolution，SRCNN），SRCNN首次将卷积神经网络用于超分辨率重建算法中，可以提供更大的感受和更多的上下文信息，取得了良好效果;I.J.GOODFELLOW等人[6]提出生成式对抗网络（generative adversarial network，GAN），GAN网络主要包含用于生成伪造数据的生成器网络和用于判断真假信息的判别器网络，两种网络以对抗博弈的思想同一时间进行训练，通过无监督学习，完善和优化自身的网络性能;HE K M等人[7]在深度网络模型中，引入递归思想和残差思想，提出了有52个卷积层的深层卷积神经网络模型，称为深递归残差网络（image superresolution via deep recursive residual network，DRRN）。网络结构使用多通道残差块来解决梯度消失或爆炸，同时在一个递归块内，每个残差单元内对应位置相同的卷积层参数均共享，使用更少的参数，网络结构也更为简洁。以上几种经典算法在自然图像上取得了较好的超分辨率效果，应用于磁共振图像中，提高了图像的清晰度。C.M.HYUN等人[8]通过使用Unet[9]结构，学习欠采样磁共振成像的重建，仅利用29%的K空间[10]信息就重建出高质量的MR图像。但网络深度越深，训练参数越多，计算量也就越大，会增加模型设计的难度和普适性;ZHAO M等人[11]提出基于生成对抗网络的拉普拉斯金字塔方法，将对抗网络用于医学图像重建中，可以提高检测的精确度，避免产生假细节，使重建后的图像更清晰，但此算法的生成器和判别器是两种网络模型，难以同时收敛且存在训练不稳定的情况等。因此，本文提出一种基于反馈网络的磁共振图像超分辨率重建方法，利用反馈网络特点，精确提取图像信息，同时简化网络结构以减少计算量。该研究可以有效提高图像重建的准确性。

1图像重建方法

本文提出的基于反馈网络的图像重建算法主要分为特征提取、特征反馈和图像重建3部分，算法的网络结构如图1所示。

1.1特征提取

采用卷积层实现特征提取，通过卷积核提取图像特征。特征提取部分由下采样和上采样组成，并通过跳跃连接的方式将特征信息进行融合。输入图像经过下采样得到特征图，在此基础上继续进行上采样，并将下采样提取的特征通过跳跃连接到上采样特征中，每进行一次上采样，得到的特征图像都会与相应的下采样特征图像进行融合，2次上采样之后得到的特征图像，尺寸大小与输入图像一致。经过多层级特征提取，可以保证图像能融合更多不同尺寸的特征信息，使图片边缘信息恢复更加精细。本网络遵循Unet网络设计，下采样和上采样模块都包含两层卷积和一层激活函数，卷积层由log2（s）基本块组成，其中s为比例因子。因为进行了两次操作，可以将输入图像的特征进行4倍缩小和放大。下采样FDown和上采样FUp分别为

其中，CDown（）和CUp（）分别表示下采样层和上采样层函数;Fin表示输入图像特征。

激活函数采用LeakyReLU（带泄露修正线性单元）[12]，使负值输入有很小的坡度，从而增大输出的准确性。带泄露修正线性单元为

其中，α的取值為01。特征图像为

1.2特征反馈

特征反馈部分是将特征提取的特征图像Fext进行反馈，与输入图像的特征Fin融合后进行局部循环训练。在融合过程中，采用小波变换[13]方式，对特征图像Fext与输入特征图像Fin进行N层分解，分解成3N个高频带和1个低频带。对于低频分量，采用加权平均进行融合，即

其中，CFext和CFin分别表示特征图像Fext与输入图像特征Fin的低频分量。

对于高频分量，采用局部方差准则进行融合，而对每个高频分量的像素点用canny算子[14]进行边缘提取，再对边缘图像的每一个像素点计算其局部方差，其数学表达式为

其中，m和n分别表示局部区域的行数和列数;Xij为当前局部区域内一个像素的灰度值;为当前局部区域像素灰度值的平均值。

通过对低频分量和高频分量进行小波逆变换，实现特征图像Fext与输入特征圖像Fin的融合，即

其中，FIWT（）表示小波逆变换;Fret表示反馈后的特征图像。特征反馈不仅可保留更多的原始图像信息，还可使重建后的图像细节更加清晰完整。

1.3残差网络和图像重建

本文采用残差网络（residual channel attention networks，RCAN）算法[15]，RCAN网络可适应不同的通道特征，缓解因网络深度导致的梯度消失问题。重建模块由一层卷积构成，其滤波器尺寸为3×3，输入通道与输出通道分别为64和3，步长值设置为1，填充值设置为1。重建后的超分辨率图像为

其中，fconv表示重建模块的卷积层函数;Fmix表示进行特征融合的函数。

1.4损失函数

损失函数（loss function）用于估计网络模型拟合值与实际值之间的差异。损失函数值越小，模型重建效果越好。本算法采用均方根误差作为网络模型的损失函数[16]，即

其中，yi和i为训练集中的数据对;yi为第i个样本的真实图像;i为第i个样本的重建图像;m为训练集的样本个数。本文所有参数的优化均采用标准反向投影和随机梯度下降方法[17]。

2实验与分析

2.1实验设置

1）实验数据与处理。本文采用纽约大学公开的NYU fastMRI膝关节数据集。选取像素点大小为256个×256的410张T1加权单线圈膝关节图像作为原始数据集，分别在频域上进行2倍、3倍和4倍欠采样，得到数据点，将数据点保留在k空间中，并将所有外围数据点清零，然后通过傅立叶反变换，将裁剪后的数据转换为图像。图像进行欠采样降质处理后，在[0，1]的范围内归一化[18]，得到的低分辨率图像均为256个×256。将预处理后的图像作为本实验的数据集，其中80%的图像用于训练集，20%的图像用于验证集。

2）实验环境与超参数设置。本实验采用的操作系统为Ubuntu 1804，中央处理器（central processing unit，CPU）为Inter Core i910940X，图形处理器（graphic processing unit，GPU）为RTX2080Ti，深度学习框架为Pytorch。采用Adam优化器对网络参数进行优化，初始学习率设置为0000 1，共训练100轮。

本文通过一组对比实验，确定网络反馈次数的改变对重建图像质量的影响，欠采样系数设置为2，不同反馈次数结果对比如图2所示。由图2可以看出，在相同迭代轮数下，随着反馈次数的增加，峰值信噪比值也随之上升，同时实验训练的时长也逐渐增加。结合训练时长与成像质量两方面考虑，本文算法的反馈次数选为3。

2.2实验分析

1）评价指标。为了更全面的对本文所提方法性能进行比较和分析，从主观和客观两方面对实验结果进行评价，进一步说明本文所提方法的可靠性与可行性。

本文采用PSNR[19]和SSIM[20]作为图像质量的客观评价标准。PSNR从整体结构上评价图像失真或噪声水平，其值越高，表明输出图像失真越少，图像重建质量越好;SSIM通过整合亮度、结构和对比度3个不同的特征，计算图像的相似性，评价图像去噪结果。PSNR和SSIM的值越大，表明图像重建的质量越好。2）结果分析。经典的图像超分辨率方法有SRCNN算法、DRRN算法和GAN算法等，这些算法也广泛应用于医学图像重建。因此，本文选取以上3种算法与本文算法进行比较。实验均采用相同的磁共振图像数据集，并在主观视觉上对结果进行分析。膝关节横线位图像不同超分辨率算法结果对比如图3所示，膝关节冠状位图像不同超分辨率算法结果对比如图4所示，选取2幅具有代表性的膝关节磁共振图像进行实验仿真，并分别在2倍，3倍和4倍欠采样系数下，对低分辨率图像进行处理，得到重建的超分辨率图像，并将图像局部进行放大，以观察细节信息。

由图3和图4可以看出，SRCNN算法重建后的图像与其它算法相比，膝关节的组织结构视觉效果模糊，不能清晰重建图像信息;虽然DRRN算法和GAN算法的重建图像比SRCNN算法清晰，能看清楚大部分组织，但很多细节信息并没有很好的恢复，并且含有少量的伪影;而采用本文算法重建的图像与其他算法重建的图像相比，可以很好的消除运动伪影，边缘细节处理较理想，能更好地观测膝关节的情况。

为了客观评价磁共振图像超分辨率重建的性能，利用处理好的测试集分别进行实验测试，测试集膝关节横线位MRI的PSNR/SSIM结果比较如表1所示。几种算法与本文算法分别使用2倍，3倍和4倍欠采样数据集，重建图像的PSNR和SSIM指标。膝关节冠状位MRI的PSNR/SSIM结果比较如表2所示，表2中的数据是测试集的所有图像分别经过对应算法处理后的平均值。

由表1和表2可以看出，在不同的欠采样系数下，2倍欠采样系数的重建效果要优于3倍和4倍欠采样系数，并且本算法的PSNR值和SSIM值均高于其他算法;在相同的欠采样系数下，SRCNN算法的PSNR值和SSIM值较低，DRRN算法和GAN算法存在微弱的差距，而本文算法的PSNR值和SSIM值最好。因此，本文提出的算法不仅能更准确地重建图像信息，还能提高图像的重建质量，证明本文所提方法具有优越性。

3结束语

本文提出一种基于反馈网络的磁共振图像超分辨率算法，改善重建图像的视觉效果。本文算法首先经过上采样和下采样操作，对输入图像的特征进行多层提取，通过跳跃链接将特征融合，并将提取后的特征图像反馈回网络中，与输入图像一起进行局部循环训练，同时经过残差网络和卷积操作，得到重建后的超分辨率图像。实验结果表明，本文算法在客观评价以及主观视觉上较之前方法有所提升，而且取得了更佳的超分辨率重建效果，验证了所提方法的有效性与可行性。在下一步的工作中，将本文所提出方法应用于7T磁共振图像中，以研究更深层次的超分辨率网络，进一步提升图像重建效果。

参考文献：

[1]高家红， 雷皓， 陈群， 等. 磁共振成像发展综述[J]. 中国科学， 2020， 50（11）： 12851295.

[2]左艳， 黄钢， 聂生东. 深度学习在医学影像智能处理中的应用与挑战[J]. 中国图象图形学报， 2021， 26（2）： 305315.

[3]CHI J R， GUO L， DESTRUEL A， et al. Magnetic resonanceelectrical properties tomography by directly solving maxwell′s curl equations[J]. Applied Sciences， 2020， 10（9）： 33183330

[4]王知人， 谷昊晟， 任福全， 等. 基于深度卷积残差学习的图像超分辨[J]. 郑州大学学报（理学版）， 2020， 52（3）： 4248.

[5]PAULY J， NISHIMURA D， MACOVSKI A. A kspace analysis of smalltipangle excitation[J]. Journal of Magnetic Resonance， 2011， 213（2）： 544557.

[6]GOODFELLOW I J， ABADIE J P， MIRZA M， et al. Generative adversarial nets[C]∥International Conference on Neural Information Processing Systems. Montreal： Neural Information Processing， 2014： 276285.

[7]HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE Computer Society Press， 2016： 770778.

[8]HYUN C M， KIM H P， LEE S M， et al. Deep learning for undersampled MRI reconstruction[J]. Physics in Medicine & Biology， 2018， 63（13）： 135007135021.

[9]RONNEBERGER O， FISCHER P， BROX T. Unet： Convolutional networks for biomedical image segmentation[C]∥ International Conference on Medical Image Computing and Computer Assisted Intervention. Munich： Springer International Publishing， 2015： 234241.

[10]王一达， 宋阳， 谢海滨， 等. 卷积神经网络重建欠采的磁共振图像[J]. 磁共振成像， 2018， 9（6）： 453459.

[11]ZHAO M， LIU X H， LIU H， et al. Superresolution of cardiac magnetic resonance images using laplacian pyramid based on generative adversarial networks[J]. Computerized Medical Imaging and Graphics， 2020， 80： 101698101706.

[12]XU L M， ZENG X H， ZHANG H， et al. BPGAN： Bidirectional CTtoMRI prediction using multigenerative multiadversarial nets with spectral normalization and localization[J]. Neural Networks， 2020， 128： 8296.

[13]陳德昊， 林建恒， 衣雪娟， 等. 基于小波包时频图特征和卷积神经网络的水声信号分类[J]. 声学技术， 2021， 40（3）： 336340.

[14]段红燕， 杨浩， 李世杰， 等. 基于小波的改进边缘检测方法[J]. 计算机工程与设计， 2020， 41（12）： 34853489.

[15]LIU Z W， HUANG J， ZHU C J， et al. Residual attention network using multichannel dense connections for image superresolution[J]. Applied Intelligence， 2020， 51： 8599.

[16]GRAHAM E， ALLAN T， IVANA K. Estimation and testing of forecast rationality under flexible loss[J]. Review of Economic Studies， 2010， 72（4）： 11071125.

[17]阚涛， 高哲， 杨闯. 采用分数阶动量的卷积神经网络随机梯度下降法[J]. 模式识别与人工智能， 2020， 33（6）： 559567.

[18]王岩， 吴晓富. 深度神经网络训练中适用于小批次的归一化算法[J]. 计算机科学， 2019， 46（11A）： 273276， 308.

[19]HUYNHTHU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics Letters， 2008， 44（13）： 800801.

[20]WANG J J， CHEN P， ZHENG N N， et al. Associations between MSE and SSIM as cost functions in linear decomposition with application to bit allocation for sparse coding[J]. Neurocomputing， 2021， 422： 139149. Research on SuperResolution Reconstruction of MRI

Based on Feedback NetworkSHI Hanyu CHI Jieru LI Yingnan

（The College of Electronic Information， Qingdao University， Qingdao 266071， China）Abstract： Aiming at the problems of loss of edge information and motion artifacts in the superresolution reconstruction algorithm of magnetic resonance images， this paper proposes a superresolution reconstruction method of magnetic resonance images based on a feedback network. In order to improve the accuracy and quality of superresolution image reconstruction， a feedback path is used to form a network structure. In the proposed reconstruction algorithm， the input image is upsampled and downsampled， the image features are extracted， and the extracted features are fused perform partial loop training together with the input image， to reconstruct superresolution images through residual and convolution operations at the same time. In order to compare and analyze the performance of the methods proposed in this article more comprehensively， peak signaltonoise ratio （PSNR） and structural similarity （SSIM） are used as the objective evaluation criteria of image quality. The experimental results are evaluated in both subjective and objective aspects. The experimental results show that under the same undersampling coefficient， the PSNR and SSIM indexes of the image reconstructed by the proposed method are higher than other algorithms， and the reconstruction effect is better. It can not only reconstruct accurate image information， but also improve the quality of image reconstruction， which proves the effectiveness of the method proposed in this paper. This research has good practical application value.

Key words： magnetic resonance image; superresolution reconstruction; feature fusion; feedback network

收稿日期： 20210825; 修回日期： 20211028

基金項目：  山东省自然科学基金资助项目（ZR2016FM11）

作者简介：  石涵瑜（1996），女，硕士研究生，主要研究方向为深度学习和医学图像处理。

通信作者：  迟洁茹（1970），女，博士，副教授，主要研究方向为机器学习、神经网络和医学成像。 Email： chijieru@qdu.edu.cn