基于多传感器像素分类的红外图像超分辨率算法

陈继光 苏冰山

（郑州航空工业管理学院 智能工程学院，河南 郑州450046）

红外图像反映成像场景的热力学信息，在医疗卫生如快速体温检测和疾病筛查等方面应用前景广阔，另外，红外图像在军事侦察如战场信息捕获等方面应用广泛。但是由于红外成像原理和硬件设备技术水平的限制，红外相机直接获得的红外图像分辨率较低，并且边缘模糊。

提高红外图像的分辨率成为十分必要的问题。传统总广义变分[1]（Total Generalized Variation，TGV）正则化方法可以有效保留超分辨率重建图像的边缘，但是红外图像自身的边缘不够清晰，使得重建图像质量不高。文献[2]实现了一种基于TGV 的红外图像超分辨率算法，但是算法中交替方向乘数法的收敛性较差。

以上方法为基于同类红外传感器获取的红外图像实现的超分辨率算法，由于红外图像自身的边缘模糊，使得重建的高分辨率红外图像边缘细节不够清晰。

高分辨率可见光图像可以容易的由相机直接获取，并且可见光图像的边缘细节清晰，因此可借助同场景的高分辨率可见光图像的边缘补充低分辨率红外图像边缘模糊的缺点。文献[3]将TGV 正则化方法与各向异性张量[4]相结合，由高分辨率可见光图像引导低分辨率图像进行超分辨率重建，但各向异性张量在获取可见光图像边缘的同时也引入了噪声，增加了噪声的来源和种类，致使重建图像被多种噪声污染。文献[5]通过一种改进的二阶TGV 正则化模型重建红外图像，重建的高分辨率图像中红外图像自身的噪声得到抑制，但是算法实现的时间变长；采用相位一致[6]边缘提取算法减少了可见光图像噪声的干扰，但也使得可见光图像的边缘信息的获取不够全面，同时由于引入了同场景可见光图像的无关信息，使得重建结果出现一定的失真。文献[7]将红外图像和同场景的可见光图像的边缘进行相关性分类，然后得到红外图像的高频信息，最后将高频信息与TGV 模型的数据项结合起来得到最终的高分辨率红外图像，但高频信息与正则化模型的数据项结合难以将可见光的边缘信息有效的体现在重建结果中。

针对以上问题，本文采用一种基于多传感器的TGV 模型实现红外图像超分辨率重建。算法利用各向异性张量获取可见光图像的高频边缘信息，然后将可见光图像的高频边缘信息与对应低分辨率红外图像插值放大的结果做像素相关性分类，最后以相关性分类后的相关边缘对TGV 模型加权，得到高分辨率红外图像。

1 算法框架

本文算法框架下式，该算法迭代求解出最优化条件下的超分辨率重建图像IH：

上式由正则约束项R（I）和数据项D（I，IS）组成，I 为红外图像超分辨率重建后的结果，IS为低分辨率红外图像。正则约束项利用图像的先验约束条件对重建的近似解空间进行约束，得到边缘相对清晰的唯一解；数据项主要用于控制重建后的高分辨率红外图像与原始低分辨红外图像的逼近程度，得到接近低分辨率原图的高分辨率图像。

2 算法实现

对于红外图像超分辨率来说，二阶总广义正则化效果较好并且运算量适合实际应用，其表达式如下：

其中ν 为TGV 正则化算法中的对称矩阵，a 和b 分别用于控制二阶项与一阶项所占比重的标量参数。

2.1 图像相关性分类

为了利用同一场景的可见光图像和红外图像之间相关边缘信息提高红外图像分辨率，避免非相关图像块对红外超分辨重建结果造成影响，本文在提取边缘信息后将边缘区域分类为相关边缘和非相关边缘。在边缘信息分类时我们采用相关系数分类法加以分类。

根据相关系数将图像边缘分类为相关边缘和非相关边缘的步骤是：首先提取可见光图像边缘，然后采用归一化互相关方法来测定可见光图像边缘和插值放大后的红外图像像素的相似度：

2.2 相关边缘对TGV 模型加权

本文将可见光图像和对应红外图像的相关边缘对TGV 模型加权，同时将数据项与正则约束项结合起来，得到算法的目标函数：

目标函数采用一阶主- 对偶优化方法实现，最终结合梯度下降法求得最优解。由此（4）式转化为：

上式中M×N 即为待求的高分辨率红外图像的分辨率，p、q为主- 对偶优化算法中的对偶变量。

在主- 对偶优化算法中，主变量I，ν 和对偶变量p，q 通过迭代计算求解。第一次迭代时，I=IS，令ν，p，q=0，步长θp，θq均设为大于0 的常数。迭代计算的三个过程如下：

第一，梯度上升迭代更新对偶变量：

I0和ν0为迭代计算的中间结果，μ 的值每次迭代时都更新。本文算法由以上计算过程得到收敛的优化解。

3 实验结果与分析

实验将最近邻插值算法、文献[3]的方法、文献[5]的方法、本文的算法加以对比，文献[3]和文献[5]中的算法均为基于多传感器的TGV 超分辨率算法。实验图像源于俄勒冈州立大学的红外和可见光图像库，实验中a 取0.023，b 取0.154，图2 为2 倍超分辨率重建的实验结果，结果中图片的分辨率为320×240。

根据实验结果，取图像库中的房屋图像的数据，最近邻插值算法所得结果的PSNR=37.8208；文献[3]算法所得结果PSNR=38.3991；文献[5]算法所得结果PSNR= 38.805；为本文算法所得结果的PSNR= 38.8498。本文获得的高分辨率红外图像峰值信噪比（PSNR）最高，证明图像质量最高。

4 结论

基于单一种类红外传感器获取的红外图像进行超分辨率重建时缺乏高频信息，使得重建图像边缘不清晰。基于多传感器的TGV 算法求解高分辨率红外图像时引入了无关信息，使得图像出现失真。针对以上问题本文实现了一种基于总广义变分和图像像素相关性分类的红外图像的超分辨率算法，算法利用各向异性张量提取高分辨率可见光图像的边缘信息，然后将分类后的相关边缘和二阶总广义变分模型相结合。本文算法抑制了可见光图像边缘中无关信息的干扰，获得边缘清晰的高分辨率红外图像。实验结果证明本文算法效果优于其他算法。