基于半耦合字典的CT 图像超分辨率重建方法研究∗

范璐敏 樊重俊 沈玲丽 左星华

（1.上海理工大学管理学院 上海 200093）（2.上海市东方医院 上海 200120）

1 引言

智能时代医学影像技术得到了很好的发展，核磁共振和计算机断层扫描等医学图像，逐渐成为了医生对病患进行确诊的主要手段［1］。通过计算机和电子扫描技术获得的医学成像，能够帮助医生和专家确定患者疾病，是诊疗疾病的重要辅助手段。结合医学成像，医生和专家可以为患者制定较为准确的治疗方案。医学成像中的CT 图像是重建图像，且无重叠［2］，作为医院主要确定病灶物理性质的工具，可以反映出人体多个器官的具体状态，还可以通过CT图像看到人体内部组织的详细模态信息，从而对病人的疾病进行诊断［3］。医生可以利用CT 医学图像，结合计算机视觉技术对病变的特征进行提取，根据图像的模态信息进行目标检测和分割等医学处理手段，然后对处理后的信息进行分析，帮助医生对病人的病情严重情况作出准确的判断。

超分辨率重建技术［4］可以从低分辨率的图像中提取出高质量图像，从而解决硬件成像的缺陷。该方法在多个领域得以运用［5］，并且可以对单幅和多幅图像都可以进行重建［6］。CT 图像的超分辨率图像可以展示出较小的纹理结构和病理细节，医生和专家对于病情的诊断都依赖于高分辨率CT图像中的信息［7］。因此，CT 图像超分辨率重建的研究，对病症的确诊和治疗都具有重要的现实意义。

目前对于图像超分辨率重建的算法有很多，有基于神经网络方法［8］、基于图像块分类方法［9］、基于边缘检测方法［10］、基于局部结构相似与稀疏表示方法［11］、基于拉普拉斯金字塔生成对抗网络方法［12］和基于双字典方法［13］等多种重建算法。

其中刘村等［8］为了提高图像的清晰度提出的一种基于神经网络的图像重建模型。首先采集图像信息的原始图像特征，在多帧图像的空间维度上采用训练策略，提取出图像的像素点信息，并通过对样本信息特征的学习，结合神经网络对图像在时间维度上的重建；再采用自适应分析法，实现对高分辨重建图像的优化。实验结果表明，该方法可以有效地提高图像的分辨率和清晰度，但是重建效果较差。杜凯敏等［9］为了提高传统图像重建算法的分辨率，提出的一种基于纹理分解的超分辨率图像重建算法，首先选取初始图像并将其进行纹理分割，对形态进行分析，提取边缘纹理特征，让特征信息进行学习，通过对边缘纹理信息低分辨率特征的训练，实现其高分辨率图像特征的重建，仿真结果显示，基于纹理分解的超分辨率图像重建算法，明显优于传统的图像重建算法，但是峰值信噪比较低。

WANG.S 等［14］提出了可以通过半耦合字典学习的算法将高低分辨率的图像联系起来。为提高CT 图像超分辨率重建的效果和性能，在此基础上，将半耦合字典应用到CT图像超分辨率重建当中。

2 CT图像超分辨率重建方法设计

2.1 构建CT图像降质退化模型

对于CT 图像降质退化过程，可以采用一个降质退化函数，或一个复源滤波表示，如图1所示。

图1 CT图像退化降质流程图

图1 中，初始CT 图像u(x,y)利用降质退化函数H进行处理之后，加入噪音系数n(x,y)［15］，组成一幅全新的CT降质退化图像g(x,y)。

相对于CT 图像的超分辨率特征，其降质退化图像g(x,y) 就是初始图像g(x,y) 与神经元函数h(x,y)之间的卷积形式，表示为

式中，n(x,y)表示加入噪音因素的退化降质图像信息，ξ和η表示降质退化后的CT 图像属性关系，t表示CT 图像退化降质的时间。将公式（1）进行小波变换，得到公式如下：

式中，F(u,v)表示CT 图像降质退化处理后的小波变换结果，hi(u,v)表示神经元函数的变换结果，Ni(u,v)表示初始CT图像的变换值。

CT 图像进行曝光处理后，图像的分辨率会呈现离散化特点［16］，即公式为

其中，F(n1,n2)表示CT图像的离散化坐标分布，m1和m2表示离散化系数。

为提高CT 图像的分辨率，利用下列矩阵进行操作，即：

根据以上计算过程，构建了CT 图像降质退化模型，通过提高CT 图像的质量，为CT 图像的超分辨率重建提供支持。

2.2 匹配CT图像超分辨率特征点

在CT 图像超分辨率特征点的匹配过程中，通常利用映射矩阵Pj进行计算，即：

式中，xj表示CT 图像中的平面信息点，Xj表示CT图像中的三维立体模态信息点，λj表示CT 图像中含有的属性参数。

设置匹配点和计算机断层扫描的基本参数，根据半耦合算法获取CT 图像的超分辨率属性特征［17］。假设CT图像的超分辨率匹配点表达式为

式中，i=1,2,…,n表示CT 图像的超分辨特征点，j=1,2,…,m表示CT 图像的初始属性，λ表示与CT 图像超分辨率特征点相匹配的特征点，R与T表示CT 图像在匹配特征点时的矢量信息，Rj和Tj表示CT 图像在进行特征点匹配过程中，第j帧CT图像与初始图像属性之间的关联情况。将上述公式进行换乘处理，获得下述表达式：

利用傅里叶算法，对Rj与Tj进行求和计算［9］，将结果作为CT 图像高分辨率特征点匹配的初始值，得出下述公式：

根据式（8）可知，a为CT图像的初始特征点匹配数值，归一化处理之后得到，再对Pj进行纹理分解，得到分解后的结果和，此时获得的结果并不准确，对进行第二次纹理分解，得到的为最优结果，从而准确的匹配CT 图像超分辨率特征点，即：

受噪声等多种不可抗因素的影响，对于CT 图像超分辨率特征点匹配结果a并不代表全局解［19］，把上述求得的Rj和Tj代入下述公式获得全局ai的解：

通过上述的分解处理后，可以得到精准匹配CT图像超分辨率特征点。

2.3 基于半耦合字典设计图像超分辨率重建算法

在图像超分辨率特征匹配的基础上，在图像超分辨率重建之前，先进入半耦合字典的训练阶段，对一部分高分辨率的CT 图像进行深度学习，从而获取超高质量的半耦合字典，半耦合字典的优劣情况，直接决定CT 图像超分辨率重建的结果［20］。通过半耦合算法对半耦合字典进行优化，对原始CT图像进行k次纹理分解，减少半耦合字典中低分辨率原子的个数［21］，从而实现对CT 图像的超分辨率重建。

将CT图像超分辨率重建的目标图像函数表示为

式中，X为CT 图像超分辨率重建的第j行的属性，重建后的分辨率为，删除dk内包含的原始特征集Y进行分解的误差系数Ek，对Ek进行特征分解，利用公式（14）进行定义：

式中，ωk表示CT 图像重建前的样本{yi}中的初始分辨率dk的图像信息，假设当时，可以得到CT图像超分辨率重建的索引，尺寸为N×|ωk|的超分辨率重建矩阵用Ωk表示，在CT图像高分辨率重建位置(ωk(i)i)的初始分辨率系数设置为1，重建位置内所有的像素点设置为0，进行自适应分析后得到的结果为进行归一化处理后得到的值为Y，归化自适应分解后得到的结果为Ek［22］。将式（14）引入式（15）实现转换，将转换后的结果利用式（16）表示为

通过对上述求得的转换结果Ek进行特征分解，就可以得到Ek=U∆V，然后进行矩阵排列，将U作为第一次CT图像超分辨率重建结果的优化结果，得到第一帧CT图像超分辨率重建结果［23］，利用上述步骤对CT 图像的每一帧进行超分辨率重建，最终获得更新的半耦合字典。

通过对半耦合字典的更新和完善，实现对CT图像超分辨率信息的重建，即：

通过上式，得到CT 图像的超分辨率半耦合字典Dh，以及对应的超分辨率重建CT 图像αk，通过式（17）对CT 图像超分辨率信息进行求解，并对进程矩阵排列，为使半耦合字典内的CT 图像与重建完成的超分辨率CT 图像较为相近，将利用式（18）得到重建的超分辨率CT图像：

上式中，X1表示CT 图像进行超分辨率重建后的效果，Rk代表重建后的超分辨率CT 图像的k个特征点，对重建后的超分辨率CT图像进行去噪处理后，利用最小二乘算法，利用式（19）对其进行求解：

通过上面阐述的过程，将CT 图像超分辨率重建算法设计过程描述如下：

Step3：对待重建的CT 图像利用式（19）代入半耦合字典进行重建，最终完成对CT 图像超分辨率重建算法的设计。

根据上述步骤，实现了CT 图像的超分辨率重建。

3 对比分析

3.1 数据及参数设置

过程中，将1000 个横切面CT 图像作为实验样本，形成一个数据集，样本中所有CT图像分辨率都为512*512 px，选取其中800个样本作为训练集，剩余的200个CT图像样本作为测试集。

在实验数据的预处理阶段，先筛选出含有噪声的CT 图像，利用小波分析去除CT 图像中的噪声，并对其进行降质处理，保证CT 图像的质量。实验所用相关参数如表1所示。

表1 参数设置

3.2 设置指标

CT 图像超分辨率重建实验分两个阶段进行，第一阶段利用峰值信噪比和结构相似性指标衡量CT 图像超分辨率重建的性能，两个指标的计算公式为

式中，r表示初始CT 图像，f表示重建后的CT 图像，μ表示CT图像的均值，σ表示CT图像的方差。

实验第二阶段，利用CT 图像边缘的锯齿效应衡量CT图像超分辨率重建效果。

3.3 结果分析

为了验证基于半耦合字典的CT图像超分辨率重建方法在应用时的直观对比性，引入基于卷积神经网络的重建方法和基于图像块分类的重建方法作对比，对三种重建方法进行测试，结果如下。

三种方法在CT图像超分辨率重建中的峰值信噪比测试结果如图2所示。

图2 CT图像超分辨率重建的峰值信噪比测试结果

从图2 的结果可以得到，在峰值信噪比测试中，采用基于卷积神经网络的重建方法得到CT 图像重建的峰值信噪比也越来越低，当CT 图像样本个数在80 个～140 个之间时，峰值信噪比稳定在50%附近，随后又迅速下降，最低峰值信噪比只有25%；采用基于图像块分类的重建方法时，在CT 图像样本数量低于100 的测试中，峰值信噪比稳定在80%左右，随后也出现了下降趋势，最低峰值信噪比为60%；采用半藕合字典的重建方法时，在前80个样本中，峰值信噪比都稳定在98%，后期虽然出现了小幅度的下降，但是峰值信噪比仍然是三种方法中最高的。

三种方法在CT图像超分辨率重建中的结构相似性测试结果如图3所示。

图3 CT图像超分辨率重建的结构相似性测试结果

从图3 的结果可以看出，采用基于卷积神经网络的重建方法时，在前140 个样本中重建的结构相似性呈线性下降趋势，后期的测试中，重建的结构相似性下降幅度较大，最低结构相似性只有20%；采用基于图像块分类的重建方法时，重建的结构相似性虽然也在下降，但是波动幅度比较小，得到的最低结构相似性达到了62%；采用半藕合字典的方法时，整个测试过程中，CT 图像重建的结构相似性在85%～99%之间浮动，说明该方法在重建的结构相似性方面具有更好的性能。

为了验证文中方法的重建效果，测试了三种方法经过超分辨率重建之后的图像边缘锯齿效应，结果如图4所示。

从图4 的结果可以看出，采用基于卷积神经网络的重建方法和基于图像块分类的重建方法经过重建得到的CT 图像边缘出现锯齿现象比较严重，而采用半藕合字典的方法经过重建得到的CT图像边缘相对圆滑，说明方法的重建效果更好。

4 结语

本文提出了基于半耦合字典的CT图像超分辨率重建研究，通过测试对比发现，该方法在峰值信噪比和结构相似性方面具有更好的重建性能；同时在CT 图像边缘的圆滑度上，也具有更好的重建效果。