基于自适应金字塔的红外图像超分辨率重建算法

祁伟 李伟 陈钱

（1.苏州长风航空电子有限公司 江苏省苏州市 215010）

（2.南京理工大学 江苏省南京市 210094）

成像传感器在传输图像数据过程中容易损失图像的分辨率，影响图像的视觉效果。如何在图像数据传输过程中从退化的低分辨率图像中计算出高分辨率图像，并且保持的结构相对清晰，纹理细节相对丰富，是目前计算机视觉领域急需解决的重要问题。图像超分辨率重建技术的主要任务是从低分辨率图像中重建出高分辨率图像，且人为痕迹较少。提高图像分辨率对医学、军事领域和遥感领域有着重要的意义。

近年来，基于监督学习的方法在图像超分辨率重建领域显示出优越的性能，成为主流的研究重点。通过样本学习与训练，挖掘数据内部特性，提升算法的泛化能力[3，4]。Yang等人提出了一种稀疏编码的超分辨率重建算法（Yang_SR），通过字典学习来提高图像的分辨率[1]。Zeyde等人提出了一种核SVD和正交匹配跟踪的方法（Zeyde_SR），用于图像超分辨率重建，可以减少图像中目标高频信息丢失等现象，保留丰富的纹理细节[2]。Wang等人通过将核PCA和半耦合字典方法相结合，抑制重建过程中出现的马赛克现象，并且在重建过程中获得的图像相对清晰，显著提高了图像的视觉质量[5]。

对于图像超分辨率重建算法，国内外已进行了深入的研究，并取得了较好的成果[6，7]。但这些算法都是针对自然图像，很少有算法针对红外图像场景设计，已有的超分辨率重建算法难以提高红外图像的分辨率，这主要是因为红外图像的细节相对较少，算法难以提取到丰富的特征信息。

为了解决上述问题，本文提出了一种自适应金字塔的红外图像超分辨率重建算法，通过金字塔结构挖掘不同尺度上的红外图像特征信息，利用一个滤波器自适应融合计算单元，实现多特征信息融合处理。实验结果表明本算法能够重建出相对清晰的图像，获得的图像视觉效果较好。

1 基于自适应金字塔的红外图像超分辨率重建算法

由于本算法是基于稀疏表示的图像超分辨率重建架构所设计的，主要包括样本集、训练字典和重构高分辨率图像。其中，样本数据来自于红外相机拍摄获取，图像分辨率为400*300，8位红外图像。训练字典是通过提取图像的特征学习得到，启发于Yang等人提出了一种基于稀疏表示的图像超分辨率重建方法。本文算法的创新点在于提出一种自适应金字塔架构，通过分析不同字典层的信息，激活训练字典中重要的稀疏成份，并通过训练字典挖掘红外图像特征，减少低分辨率图像的噪声，保留丰富的纹理和结构信息。

图1

1.1 稀疏系数学习

基于高分辨率样本Xh和低分辨率样本Xl，优化最小目标函数，即：

表1：三种图像超分辨率重建算法PSNR比对

其中，L()表示对角矩阵，k控制多尺度稀疏系数对高分辨率字典和低分辨率字典重建的差异程度，本文经过多次试验选择k=0.2。本文进行缩放一倍和两倍的采样计算处理，表示不做缩放处理的原图所对应的稀疏系数，和分别表示缩放一倍和两倍情况下所计算出来的系数。

1.2 重建自适应均值计算

基于已计算获得的稀疏系数，对三种稀疏系数进行自适应均值处理，计算出的高分辨率图像S如下所示：

其中，Dh表示不做缩放处理的原图训练所对应的字典，mean()表示均值计算，γ1、γ2和γ3表示三种比例因子，用来控制系数重建的程度，来自于各自的所应用的字典与总字典的比例。

2 仿真实验

本文利用Matlab软件在intel i7 3630 2.9GHz四核CPU、8GB RAM工作站进行仿真测试，利用两种超分辨率重建算法（Yang_SR[1]，Zeyde_SR[2]）对复杂的红外图像场景进行试验，经过本文算法后的结果如图1所示，从图中可以看出，本文算法在重建过程中保留的纹理比较丰富，目标边缘没有出现明显的虚幻现象，边缘更加收敛，看起来更加的整齐平滑。同时，背景层次感强，噪声影响小，这主要是因为金字塔在信息整合时抑制了不同层之间噪声的交互影响，通过自适应正则化弱化了噪声在图像重建过程中的作用。

表1给出了评价算法PSNR值对比。从表中可以看出，在四种不同的红外图像场景中，本文算法获得的PSNR值最高，说明本文算法获得的结构信息保持能力强，能够获得相对清晰的结构信息，显著目标的边缘相对尖锐。这主要是因为在重建过程中，采用金字塔策略来分析不同尺度下高分辨率字典信息，获取不同尺度下的稀疏系数以缓解重建过程中容易出现振铃效应。其它重建算法获得的PSNR值相对较低，重建图像视觉质量相对较差，显著的目标边缘偏移严重，背景层次感相对较差。这主要是因为在重建过程中，没有考虑到红外图像的特性，直接利用对红外图像进行像素重建，容易丢失重要的结构细节，且纹理信息相对较少，这大大降低了重建图像的视觉质量。

3 结束语

本文提出了一种自适应金字塔的红外图像超分辨率重建算法，通过挖掘红外图像内部特征信息，对多层信息进行融合处理，可有效提高重建图像的视觉质量。通过仿真试验表明，本算法能够有效提高红外图像的分辨率，获得的重建图像清晰度较高，超分辨率重建性能较强。