基于参考图像的膝关节MRI超分辨率重建算法研究

何理文 迟洁茹 石涵瑜 李蓥楠

摘要：针对在膝关节MRI图像重建中，传统超分辨算法存在重建图像纹理不清晰、参考图像难以与低分辨率图像纹理严格对齐等问题，提出了一种基于参考图像的膝关节MRI超分辨率成像算法。该算法利用纹理相似性，将参考图像的迁移纹理与低分辨率图像纹理自适应地对齐，丰富低分辨率图像的细节，实现膝关节MRI超分辨率成像。纹理迁移利用残差网络与跳跃链接构成的生成网络实现。实验结果表明，与传统算法相比，该算法重建图像分辨率更高、纹理更真实。

关键词：MRI;图像重建;深度学习

中图分类号：TN011

文献标志码：A

文章编号：1006-1037（2021）01-0077-05

基金项目：山东省自然科学基金 （批准号：ZR2016FM11）资助

通信作者：迟洁茹，女，博士，副教授，主要研究方向为智能信息处理，医学成像等。E-mail：qduchijieru@163.com

核磁共振成像（Magnetic Resonance Imaging， MRI）是一种非侵入式的活体成像技术，因具有无辐射、对比度高等特点而被广泛应用于膝盖MRI成像。MRI成像存在成像速度慢、运动伪影等缺点，难以在短时间内获得高分辨图像。超分辨率（Super-Resolution，SR）技术为低分辨率MRI图像的高信噪比和高分辨率重建提供了可行性[1]。近年来，深度学习尤其是深度卷积神经网络（Convolutional Neural Network，CNN）[2-5]在MRI重建领域得到了广泛的应用。基于深度学习的MRI成像方法在保证图像精度的同时提高重建速度。Dong[6]使用超分辨率卷积神经网络（Super-Resolution Convolutional Neural Network， SRCNN）进行图像重建，具有结构简单、容易实现等优点。由于存在采用的卷积层数少、感受野小、泛化能力差等缺陷，使SRCNN因无法提取图像深层次特征而导致重建图像纹理不够清晰。基于参考图像的超分辨率重建（Reference-based Super-Resolution，RefSR）技术在图像重建过程中，通过引入与低分辨率图像具有相似纹理或内容结构的参考图像，将参考图像的高频细节迁移到低分辨率图像（low-resolution，LR）中，从而获得高分辨率图像。Yue等[7]对RefSR技术提出了结构感知匹配准则，提高了低分辨率与高分辨率补丁之间的映射精度，但这种方法要求参考图像与低分辨率图像的纹理良好对齐。Walls等[8]提出了基于流光法的RefSR深层模型，该模型将输入图像与参考图像的纹理对齐。由于流光法无法匹配长距离对应关系，导致该方法无法处理明显未对齐的参考图像。本文在传统RefSR算法基础上提出了改进型的RefSR方法（IRefSR），根据纹理相似性自适应地迁移参考MRI图像的纹理来丰富低分辨率MRI图像的细节[9-10]，克服传统方法需要纹理严格对齐的缺点;在神经空间内进行多级匹配，有助于多尺度神经传递，使模型尽可能地从语义相同的参考图像补丁中获取纹理信息，从而克服传统算法在像素空间特征匹配的不足。利用本文所提出算法，能够减少扫描时间，提高图像的分辨率;在提高患者安全性的同时，获取更准确的诊断图像。

1 网络结构

本文提出的基于参考图像的超分辨率算法中神经网络模型主要分为特征匹配与纹理迁移两部分。特征匹配部分在特征空间中搜索参考图像IRef的纹理特征，通过多层级方式与低分辨率图像ILR的纹理特征进行对比，根据两者之间的相似程度进行特征块的替换，并将特征匹配部分得到的特征结果输入到纹理迁移结构中。纹理迁移部分将得到的特征结果整合到LR图像中，采用的LR图像由高分辨率图像（high-resolution，HR）经过双三次插值下采样（4×）获得。网络结构如图1所示。

1.1 特征匹配

为了使超分辨率图像的纹理更加真实，特征匹配部分在整个IRef上搜索与ILR局部相似的纹理、并进行替换。在HR图像的空间坐标中进行特征搜索，使纹理直接迁移到最终输出图像ISR。

1）将ILR进行双三次上采样获得低分辨率的放大图像ILR↑，ILR↑与IHR具有相同的空间大小;

2）对IRef先下采样后上采样得到IRef↓↑，IRef↓↑与ILR↑具有相同的结构;

3）进行特征提取与相似度匹配。

特征提取只需要匹配ILR↑与IRef↓↑中采集的局部补丁。为了增强低分辨率图像与参考图像在结構和纹理方面的信息，本文在神经特征空间φI中进行相似度匹配。使用内积度量神经特征之间的相似性

其中，Si，j是第i个LR图像ILR↑补丁和第j个Ref图像IRef↓↑补丁之间的相似度，Pi·表示从神经特征图像中采样的第i个补丁。

将参考图像的特征进行归一化处理以选择所有Ref补丁j上的最佳匹配。将每个Ref图像补丁作为卷积核对所有LR图像补丁进行卷积以计算Ref图像补丁与LR图像补丁之间的相似度

其中，Sj是第j个Ref图像补丁与所有ILR↑图像补丁的相似图，表示卷积运算。

采用Sjx，y来描述以位置x，y为中心的LR图像补丁和第j个Ref图像补丁之间的相似度，LR图像和Ref图像补丁都是从各自对应的图像中密集采样的。基于LR图像与Ref图像的相似度，在此造一个特征匹配图M表示纹理增强后的LR图像。M中以x，y为中心的补丁定义为

其中，ω·，·为将补丁中心映射到补丁索引，j为使Sjx，y取最大值时j的取值。值得注意的是，IRef↓↑用于匹配式（2），原始参考IRef用于交换式（3）以便保留原始HR图像的信息。由于LR图像补丁的密集采样，重叠区域的交换特征Pj*φIRef取平均值。最终每一层低分辨率图像都将得到一个与其对应的特征匹配图M。

1.2 神经纹理迁移

图像重建部分通过神经纹理迁移实现，将交换特征图M合并到对应比例特征层的基本生成网络来设计纹理迁移模型，使用残差网络与跳跃链接构成基本生成网络[11-13]。纹理迁移网络利用原始低分辨率图像和交换特征图M从高级到低级逐步恢复超分辨率图像，每个纹理迁移的过程相同，输出图像的尺寸、分辨率逐渐提高。单个级别的纹理迁移网络结构如图2所示。可以看出，纹理迁移网络从与ψl （ILR）相对应的Ml中提取相关纹理并将其与目标内容合并。

网络第l层的输出ψl定义为

其中，Res·表示残差网络，‖表示信号级联，↑2×表示使用子像素卷积[14]将合并后的图像放大两倍作为下一层的输入，最终SR结果图像在L层之后生成，达到目标HR图像分辨率

2 损失函数

为了保留LR图像的空间结构、提高SR图像的视觉质量以及充分利用Ref图像的纹理信息。本文神经网络模型的损失函数结合了对抗损失、重建损失、感知损失和纹理损失。

对抗损失（Adversarial loss）可以显著提高合成图像的视觉质量[15]，这里引用WGAN-GP[16]，通过梯度惩罚来改进WGAN[17]以获得更稳定的结果。对抗损失表示为

其中，K是1-Lipschitz函数的集合，Pr和Pg是模型分布与实际分布。D是鉴别器，D（x）表示判决样本为正确的概率。x表示实际分布的样本点。=G（z），z～p（z），z服从于投到生成器中噪声的分布。G表示图片生成网络，接收随机噪声z，通过这个噪声生成图像，记作G（z）。

重建损失（Reconstruction loss）的目的是获得更高的峰值信噪比，WGAN[18]中的Wasserstein距离是基于l1范数的，一致的目标有助于优化过程，因此本文使用l1范数代替均方误差（MSE）进行衡量，与均方误差（MSE）相比，使用l1范数将进一步提高ISR的峰值信噪比

通过对感知损失（Perceptual loss）[19]进行研究可获得更好的视觉质量。本文对VGG19网络的relu5_1层[20]进行研究

其中，V与C分别代表特征图的Volume与Channel，φi代表VGG19网络隐藏层中提取特征图的第i个通道，·F表示Frobenius范数。

纹理损失（Texture loss）为

其中，G·表示Gram矩陣，用于计算两个特征之间的相关性，λl是对应于特征层l的归一化因子。Sl是所有LR图像补丁的加权映射。直观地说，与ILR不同的纹理在纹理传输中得到较低的惩罚权重。这种方式可以根据Ref图像质量自适应地从IRef到ISR进行纹理传输，最终输出更为健壮的纹理。

3 实验结果与分析

3.1 数据集与实验细节

为了证实算法在膝关节MRI图像超分辨率重建方面的有效性，从膝关节MRI图像数据集中裁剪5 000对大小为160×160的图像作为数据集，且输入图像与参考图像具有不同程度相似度。图3展示了其中两组来自数据集的样本。

训练IRefSR时Adam优化器的学习率为1e-4，Lrec、Lper、Ladv和Ltex的权重分别为1、1e-4、1e-6、1e-4。先用重建损失训练2轮再使用全部损失训练20轮。计算机语言使用Python，框架为TensorFlow，GPU厂商为NVIDIA.

3.2 视觉效果比较

作为比较示例，本文从膝关节MRI数据集中选取2张图像，将双三次插值算法、基于深度学习的SRCNN算法与本文基于参考的超分辨率算法进行了比较，效果如图4所示。可知，本文算法在细节与纹理上都有较好的表现，只有IRefSR可以正确重建膝关节上的纹理，对比其他算法图像线条更加清晰，且与现有方法相比，在重建图像细节上的表现更加精确。本文采用两个常用的图像质量指标来评估模型性能，分别是峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）与结构相似度（Structural Similarity， SSIM）。选择这两种比较方法是为了对重建结果进行互补评估。PSNR是基于误差敏感的图像质量评价，强调整体重建精度，SSIM强调图像质量的感知。

由表1可知，相较于Bicubic和SRCNN两种算法，IRefSR在测试集上可得到更高的PSNR与SSIM值。证明IRefSR在膝关节MRI超分辨率图像重建上具有更好的性能，适用于膝关节MRI超分辨率重建任务。

4 结论

本文提出了一种IRefSR算法，能够根据纹理相似性自适应地从参考图像迁移纹理来丰富低分辨率图像的细节。在膝关节MRI数据集上进行训练并与双三次插值算法、SRCNN算法进行对比得到纹理细节更加丰富的重建图像，证明了IRefSR算法在膝关节MRI重建方面的应用价值，患者的安全性也将随着图像质量的提高而提高。

参考文献

[1]MAXIM Z， JULIAN M， MICHAEL H. Motion artifacts in MRI： A complex problem with many partial solutions[J]. Journal of Magnetic Resonance Imaging， 2015， 42（4）：887-901.

[2]WANG Z， LIU D， YANG J， et al. Deep networks for image Super-Resolution with sparse prior[C]//2015 IEEE International Conference on Computer Vision （ICCV）， Santiago， 2016： 370-378.

[3]WEI W， FENG G， ZHANG D， et al. Accurate single image super-resolution using cascading dense connections[J]. Electronics Letters， 2015， 55（13）： 739-742.

[4]HONG X， ZAN Y， WANG W， et al. Enhancing the image quality via transferred deep residual learning of coarse PET sinograms[J]. IEEE Transactions on Medical Imaging， 2018， 37（10）：2322-2332.

[5]刘世豪，李军.基于改进的深度卷积神经网络的单图像超分辨率重建[J].青岛大学学报（自然科学版），2019，32（1）：106-111.

[6]DONG C， LOY C C， TANG X. Accelerating the Super-Resolution convolutional neural network[C]// 14th European Conference on Computer Vision. Amsterdam： Springer International Publishing. Amsterdam， 2016： 391-407.

[7]YUE H， SUN X， MEMBER S， et al. Landmark image Super-Resolution by retrieving Web images[J]. IEEE Transactions on Image Processing， 2013， 22（12）：4865-4878.

[8]WALLS T J， LIKHAREY K K. Self-organization in autonomous， recurrent， firing-rate crossnets with quasi-hebbian plasticity[J]. IEEE Transactions on Neural Networks and Learning Systems， 2013， 25（4）：819-824.

[9]LIU W， LIU X， JI J， et al. Sound texture generative model guided by a lossless Mel-frequency convolutional neural network[J]. IEEE Access， 2018， 6：48030-48041.

[10] SUN L B， HAYS J. Super-resolution from internet-scale scene matching[C]// 2012 IEEE International Conference on Computational Photography. Seattle， 2012：1-12.

[11] NARANJO J， PERES S， MARTIN I， et al. A comparative analysis of residual block alternatives for End-to-End audio classification[J]. IEEE Access， 2020， 8：188875-188882.

[12] CHEN W， LIU Y， YAN Y， et al. Guided dual networks for single image Super-Resolution[J]. IEEE Access， 2020， 8：93608-93620.

[13] SHI W， CABALLERO J， FERENC H， et al. Real-time single image and video Super-resolution using an efficient Sub-pixel convolutional neural network[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， 2016： 1874-1883.

[14] HO S， QU Y， GAO L X， et al. Generative adversarial nets enhanced continual data release using differential privacy[C]// Algorithms and Architectures for Parallel Processing-19th International Conference. New York， 2019： 418-426.

[15] CHEN L， HU X， ZHANG Z. Face aging with boundary equilibrium conditional autoencoder[J]. IEEE Access， 2018， 6：54834-54843.

[16] ZHU H， LEUNG R， HONG M. Shadow compensation for synthetic aperture radar target classification by dual parallel generative adversarial network[J]. IEEE Sensors Letters. 2020， 4（8）：1-4.

[17] 姜玉寧， 李劲华， 赵俊莉. 生成式对抗网络模型研究[J]. 青岛大学学报（自然科学版）， 2019， 32（3）：31-38，43.

[18] ISHAAN G， FARUK A， ARJOVSKY M， et al. Improved training of wasserstein GANs[C]// Advances in Neural Information Processing Systems 30-Proceedings of the 2017 Conference. New York， 2017： 5768-5778.

[19] FAN B. A performance evaluation of local features for image-based 3D reconstruction[J]. IEEE Transactions on Image Processing， 2019， 28（10）：4774-4789.

[20] FAN J. HD-MTL： Hierarchical deep multi-task learning for large-scale visual recognition[J]. IEEE Transactions on Image Processing， 2017， 26（4）：1923-1938.