基于稀疏编码的红外图像超分辨率重建方法

刘贺，王长龙

（陆军工程大学石家庄校区，河北石家庄，050000）

0 引言

红外成像是通过红外热像仪对物体反射和辐射的红外线进行成像的技术。红外目标识别与探测技术利用目标和环境之间红外辐射的差异进行成像，由于红外辐射受物体温度影响较大，其具有夜间成像、温度灵敏度高等优点，在军事、刑事侦查、医疗等方面存在广泛应用。但是由于红外探测器的局限性和红外衍射限的存在限制了红外图像的分辨率。不过可以通过超分辨率重建的方法提高红外图像分辨率，满足实际应用中对高分辨率图像的需求[1-2]。

超分辨率是图像处理领域中一个重要的概念，分辨率是图像的一个特征，表示图像呈现细节的质量，超分辨率重建是利用信号处理的方法，由一帧或多帧低分辨率图像来获取高分辨率图像的技术，根据不同分类方式可以分为以下三个方面[3-4]。

基于插值的方法是最常见的超分辨率重建方法，这些方法算法比较简单，所以速度较快，但是图像的细节处处理效果较差[5]。

基于重建模型的方法将图像的一部分先验知识作为约束加入图像重建过程，使不适定问题变为可解问题，处理结果相对较好，但要求图像具有较好的先验知识[6]。

图1 超分辨率重建方法分类

基于学习的方法通过从训练集中学习高分辨率图像和低分辨率图像之间的映射关系，来完成高分辨率图像的重建。Freeman[7]最早提出了使用训练集来学习高分辨率图像和低分辨率图像之间关系的方法，不过需要大量的高、低分辨率图像进行训练。Chang[8]提出了基于邻域嵌入的超分辨率算法，该方法相比上一种方法，需要更少的训练样本，并且具有更好的抗噪能力。Yang[9]提出利用稀疏表示的方法对高低分辨率图像共同训练得到学习字典来进行重建，该方法需要输入图像至少与训练图像中的某一个相似，所以需要一个适当大小的训练数据集。Tsai[10]提出通过对高、低分辨率图像进行分割提取相似部分来构建高、低分辨率字典，从而进行重建，计算复杂度较高。Dong[11]提出利用深度卷积神经网络对图像进行超分辨率重建，是深度神经网络在超分辨率重建方面的首次运用，不过其需要大量的训练样本。Rasti[12]提出在获得高、低分辨率字典之后把输入图像划分为许多块，在低分辨率字典中找出最接近的部分，来进行超分辨率重建。

针对传统红外图像超分辨率重建算法效果不佳的问题，本文首先对图像进行双层特征提起，选择信息量较大的图像块进行联合字典训练，然后用稀疏编码的方法重建高分辨率图像。

1 稀疏表示理论与图像降质模型

1.1 稀疏表示

信号的稀疏表示[13]源于压缩感知理论，即信号在某个正交空间中是稀疏的，就能够以某个较低频率采样该信号，并通过求解优化问题，重构该信号。

图像信号y 可以用过完备字典D 线性表示，并且α 是一个只有极少非零项的向量。

数学关系如下：

其中，y 为图像信号，D 为过完备字典，α 为稀疏表示系数。

1.2 图像降质模型

在图像获取、处理和传输过程中，受到外界因素以及成像系统的影响，使得图像分辨率降低，存在降质过程。一幅高分辨率图像经过几何形变、模糊、降采样和加性噪声得到低分辨率图像。

图像降质模型可用式表示:

其中，hy 是高分辨率图像，ly 是降质后的低分辨率图像，M 表示几何形变矩阵，H 表示模糊矩阵，S 表示降采样矩阵，N 表示加性噪声。本文中，低分辨率图像是高分辨率图像的模糊和降采样版本，可表示为：yl=SHyh

图3 图像降质模型

2 算法设计

本文提出的红外图像超分辨率重建方法中，首先对高、低分辨率图像进行双层特征提取，再通过自适应选择得到信息量较高的图像特征快进行联合字典训练，之后用低分辨率字典得到稀疏表示系数，对高分辨率字典和稀疏系数应用反向投影法得到近似结果，最后应用梯度下降法对近似结果优化，得到最终的高分辨率图像结果，如图4 所示。

图4 红外图像超分辨率重建过程

2.1 特征提取

本文在进行字典训练前需要对图像进行特征提取，特征提取是训练字典的关键，特征提取时用到微分算子，常用的微分算子有二阶拉普拉斯算子、一阶梯度算子和二阶梯度算子。拉普拉斯算子着重作用于图像中灰度变化较大的区域，比较能突出图像中的细节部分，而梯度算子能突出图像的边缘。为了获得细节更加丰富的特征，本文将两种算子结合起来，先用拉普拉斯算子提取特征，再用一阶和二阶梯度算子提取特征。

图5 特征提取结果(a)原图，(b)拉普拉斯算子，(c)拉普拉斯算子和水平一阶梯度算子，(d)拉普拉斯算子和竖直一阶梯度算子，(e)拉普拉斯算子和水平二阶梯度算子，(f)拉普拉斯算子和竖直二阶梯度算子

从图5 中可以看出，图像与拉普拉斯算子、一阶和二阶梯度算子卷积后，细节更加突出，噪声降低。

将特征图像Yh和 分割成特征图像块，不同图像块包含信息量不同，本文引入信息熵，图像的熵表示表示图像平均信息量的大小，其计算公式为:

式中pi是某个灰度值在该图像块所有灰度值中出现的概率，选用K-means 聚类算法将所有图像块分为两类，K-means 聚类算法是非监督聚类算法中的代表，在随机给定几个聚类中心后，把每个点分配到离其最近的聚类中心的那一类，然后根据每一类中所有点到聚类中心平均距离最小的原则重新计算聚类中心，迭代多次，直至聚类中心位置变化低于设定的阈值，便得到聚类中心和聚类。这样便将图像块分为两类，信息熵较高的图像块信息熵较低的图形块。

2.2 联合字典训练

将筛选后的信息量较高的图像块组成训练集 hi和 li，训练高分辨率和低分辨率字典[14]。

式（6）与式（7）中Dh、Dl为高分辨率字典和低分辨率字典，Z 为稀疏编码，λ 为用于正则化的权重。将式和式合并，可得到联合字典训练模型:

式（8）中N 和M 为矢量形式的高分辨率和低分辨率图像块的维度，用来平衡两个公式的成本项，可简化为:

图6 稀疏字典

2.3 高分辨率重建

在得到高分辨率字典和低分辨率字典之后，进行图像重建，首先用低分辨率字典得到图像的稀疏表示，如下式:

式（10）中 是低分辨率图像块，α是稀疏系数，F是一个线性特征提取算子，作用是提供一个约束，使α尽量接近y。求解式的优化问题是NP 难问题，但只要α足够稀疏，就可以转化成最小化l1范数问题来求解:

根据拉格朗日乘子法对式进行转化，拉格朗日乘子法是求解有约束问题时求解最优值的方法，可以将不等式约束条件和目标函数写为一个式子。

式（12）中λ为l1正则化参数，用来平衡误差和稀疏系数，对式（12）进行优化：

式（13）中P提取当前图像与之前重建的高分辨率图像间的重叠部分，ω是之前重建的高分辨率图像重叠部分的值，可写为:

由于存在噪声，式中低分辨率图像块li与重建图像Dlα并不会完全相等，由此方法重建产生的高分辨率图像yh0可能不满足约束条件，本文将yh0反向投影到降质模型SHyh=yl的解空间来解决这个问题:

本文采用梯度下降法对式求解，梯度下降法是求解优化问题的常用方法，梯度的方向是目标函数变化最快的方向，多次求解函数的梯度，进行迭代，最终得到目标函数的局部最小值，即最优解。如下:

式（16）中是高分辨率图像在第t+1次迭代后的结果，是高分辨率图像在第t次迭代后的结果，ν是梯度下降的步长，即每次沿梯度负方向移动的距离，HT和ST是模糊矩阵H和降采样矩阵S的转置，上述优化结果是经过超分辨率重建的高分辨率图像结果。

算法:

（1）输入训练好的高分辨率字典Dh和低分辨率字典D，低分辨率图像yl。

（2）将低分辨率图像yl分成5×5 大小的图像块，每个方向有一个像素重叠。

（4）根据hi=D hα*生成高分辨率图像块。

3 实验结果

为验证本文方法的效果，本文选取双三次插值方法进行比较，在训练字典时，选择字典大小为1024，图像块大小为5×5，将缩小2 倍后的图像用双三次插值方法和本文方法进行实验仿真，结果从定性分析和定量分析两方面进行评价，定量方面选用均方根误差和峰值信噪比[15]两种指标对比:

式（17）中I和K为两个大小为m×n的单色图像，即原始图像和重建后的图像，式（19）中MAXI为图像上点的最大灰度值，在本文其数值中为255。

从结果图可以看出，本文提出的重建方法重建的图像清晰度优于双三次插值方法，由表1 可知，从客观评价指标中的峰值信噪比和均方根误差来看，本文的重建方法也更优。

图7 不同重建方法对比(a)本文方法，(b)双三次插值方法，(c)输入的低分辨率图像，(d)原图

4 结语

针对红外图像分辨率较低的问题，本文提出基于稀疏编码的超分辨重建算法，算法首先对图像进行双层特征提取，选取信息量较高的图像块进行联合字典训练，通过低分辨率字典与输入图像块得到稀疏系数，再将系数与高分辨图像结合优化得到高分辨率重建图像，重建效果优于传统重建方法。