基于边缘增强的正则化超分辨率图像重建

刘 颖，权 婉，伍世虔

(1.西安邮电大学 通信与信息工程学院，陕西 西安 710121；2. 武汉科技大学 机械自动化学院，湖北 武汉 430081)



基于边缘增强的正则化超分辨率图像重建

刘 颖1，权 婉1，伍世虔2

(1.西安邮电大学 通信与信息工程学院，陕西 西安 710121；2. 武汉科技大学 机械自动化学院，湖北 武汉 430081)

针对双边全变差正则化算法边缘区域重建图像效果不理想问题，提出一种基于边缘增强的正则化超分辨率图像重建算法。该算法在构造初始图像时，对样条插值后的图像先进行非局部均值滤波预处理，然后进行拉普拉斯锐化处理；采用L1范数度量数据保真项和正则项，并从自适应的角度确定正则化参数，从而增强算法的稳健性。实验结果表明，与样条插值算法、双边全变差算法相比，该算法能更好地增强重建图像的边缘信息。

正则化；超分辨率；非局部均值滤波；拉普拉斯锐化；自适应

图像超分辨率(Super Resolution, SR)重建是利用同一场景的多幅低分辨率(Low Resolution, LR)图像重建一幅高分辨率(High Resolution, HR)图像的技术。高分辨率图像能够提供丰富的细节信息，便于图像进一步分析处理，因而广泛应用于遥感图像、视频监控、医学成像和公共安全等领域。超分辨率重建方法主要分为频域法、空域法和基于学习的方法[1-2]。最早的频域法只能局限于全局平移运动和线性空间移不变降质模型，不能考虑图像模糊的影响。相比于频域法，空域法能充分地利用图像的先验信息，更具有灵活性和适用性。常用的方法包括最大后验概率法[3]、凸集投影法[4]、正则化法[5-8]等。基于学习的方法需要预先建立一个图像训练库作为学习模型，获取图像的先验信息，运用该模型来指导图像进行超分辨率重建。

超分辨率重建问题是一个典型的病态反问题，需要利用正则化方法来处理，即运用图像的先验信息対解进行约束，从而获得稳定的解。利用总变分(Total Variation, TV)正则化重建方法，达到了抑制噪声和去模糊的目的，但重建图像会出现阶梯效应[9]。双边全变差(Bilateral Total Variation, BTV)正则化重建方法，在一定程度上保护了图像的边缘信息，但由于没有考虑图像的局部特征，且重建过程中正则化参数的选取为一定值，有一定的局限性，导致重建图像在边缘区域效果不理想[10]。

针对以上问题，本文拟在文献[10]的基础上提出一种基于边缘增强的正则化重建算法。其思想是，首先改进初始图像，即先对样条插值后的图像进行非局部均值(Non-Local Means, NLM)滤波[11]预处理，进行拉普拉斯锐化处理，然后运用自适应的方法来确定正则化参数，以期提高算法的收敛性，使得重建图像的边缘信息得到增强，具有更好的视觉效果。

1 观测模型

假设N帧低分辨率图像Yk是由某个HR图像X经过平移变换、模糊、下采样和加性噪声等降质而成。其观测模型可表示为

Yk=DkHkFkX+Vk(k=1, 2,…,N)。

(1)

式中，Yk表示第k帧低分辨率图像，大小为M1×M2，X表示高分辨率图像，大小为rM1×rM2，r为采样因子。Fk为几何运动矩阵，Hk为相机模糊矩阵，Dk为下采样矩阵，Vk为噪声矩阵。

一般情况下，由同一相机所获得的低分辨率图像序列，其下采样矩阵和模糊矩阵是相同的，即

Dk=D，Hk=H。

所以式(1)也可以写为

Yk=DHFkX+Vk(k=1, 2,…,N)。

(2)

由观测模型式(1)可知，超分辨率图像重建就是根据低分辨率图像Yk来估计高分辨率图像X的过程。

2 正则化超分辨率重建算法

采用正则化方法来求解，利用解的先验信息构造附加约束，以消除该问题的不适定性，从而得到稳定解并提高算法的收敛性。

正则化函数方程为

(3)

式(3)中，第一项称为数据保真项，用来衡量观测数据对真实数据的相似程度；p=1和p=2分别表示L1和L2范数下的数据保真度估计，L2范数仅适用于噪声服从高斯分布的图像重建，而L1范数对于不同的噪声都能获得较好的重建结果，且运算速度较快。二者相比，L1范数下的重建算法更具有鲁棒性。因此，本文采用L1范数进行重建；φ(X)称为正则项，是为了克服病态性而引入的，主要对解进行平滑约束；λ为正则化参数，用来调节数据保真项和正则项之间的权重。

(4)

基于L1范数的BTV正则化方法[10]，对应的目标泛函为

(5)

3 基于边缘增强的正则化算法

3.1 构造初始图像

将一帧低分辨率图像利用样条插值的方法进行放大，进行非局部均值滤波预处理，然后再进行拉普拉斯锐化，把得到的图像作为重建的初始估计值X(0)。

3.1.1 非局部均值滤波

给定一幅噪声图像v={v(i)|i∈Q}，去噪后图像估计值记为NL[v](i)，Q为图像域。图像中任意一像素点i的灰度估计值计算表达式为

(6)

其中

(7)

是归一化函数。ω(i,j)为像素点i与像素点j的相似权重，此权重取决于像素点i的邻域与像素点j的邻域的相似程度，可表示为

(8)

(9)

其中，d(i,j)表示像素点i与像素点j的邻域的高斯加权欧式距离，N(i)表示以像素点i为中心的一个固定大小的方形邻域相似块，v(Ni)表示相似块中所有像素点值组成的矢量，θ为高斯核的标准差，h为衰减参数。

3.1.2 拉普拉斯锐化

拉普拉斯算子是最简单的各向同性微分算子，具有旋转不变性。二维图像函数的拉普拉斯变换是各向同性的二阶导数，定义为

(10)

对于数字图像来说，

(11)

(12)

拉普拉斯增强算子为

(13)

用模版表示为

(14)

常用的拉普拉斯锐化模版还可表示为

(15)

由模版形式可知，如果在图像中一个较暗的区域中出现了一个亮点，那么经过拉普拉斯锐化处理后就会使这个亮点变得更亮，从而使图像的边缘信息得到增强，图像细节更为清晰。

3.2 自适应的正则化参数

正则化参数λ起到平衡数据保真项和正则项的作用。若正则化参数选取过大，会导致重建的结果过度平滑，造成图像细节的丢失；过小则不能有效地抑制噪声[12]。因此，正确地选择正则化参数才能保证代价函数获得一个全局最优解。本文采用自适应选择正则化参数的方法[13]，利用迭代过程中重建结果的信息，不断对正则化参数λ进行更新，将计算得到的重建图像用于求解下一次迭代所需的λ，通过循环迭代，最终使参数与图像重建结果同时趋于最优。

第n+1次迭代时的正则化参数求解公式为

(16)

式中，Xn为第n次迭代得到的重建图像；γ为防止分母为零所取的一个很小的数，取γ=0.000 01；ε为收敛修正因子，可为一常数。

3.3 算法流程

对目标泛函式(5)求导，采用最速下降法来求解最小化问题。迭代公式为

Xn+1=Xn-βGn，

(17)

(18)

(19)

改进后的正则化重建算法中，非局部均值滤波器的权值反映块的相似性。如采用L1范数，则难以拉开块的差异性，相反，L2范数则能彰显这个差异性。在目标函数和正则化参数优化中，采用L1范数而不用L2范数，是目前常用的方法，其目的是为了抑制噪声或外点对优化过程的影响，因而寻优结果更准确、更鲁棒。算法的具体步骤如下。

步骤1 选取低分辨率图像序列中的其中一帧作为参考帧，利用高斯金字塔配准算法进行图像配准，得到运动参数。

步骤2 初始化迭代次数n=0，首先对样条插值后的图像进行非局部均值滤波预处理，再进行拉普拉斯锐化处理，最终得到初始高分辨率图像X0。

步骤3 根据式(18)求梯度方向Gn。

步骤4 采用最陡下降法对当前的重建图像进行迭代更新

Xn+1=Xn-βGn。

步骤6 迭代终止，此时得到的Xn+1即为正则化重建所得到的高分辨率图像。

4 实验结果及分析

4.1 模拟序列实验

选取256×256的Lena图像和cameraman图像作为测试图像进行实验，对其分别进行模糊、下采样、加噪后生成8幅低分辨率图像，其中模糊为3×3，方差为1的高斯核函数，下采样因子为2。对于BTV算法，λ=0.01，α=0.7，p=2；本文算法中，α=0.7，p=2，ε=1。实验中取β=1，最大迭代次数为20，非局部均值滤波器的参数设定为：搜索半径为5、块半径为2、h=10。

为了进一步证明本文算法的有效性，将其与样条插值算法、BTV算法进行比较，得到的实验对比结果分别如图1和图2所示。采用结构相似度(Structural Similarity, SSIM)对各算法的重建结果进行评价，结构相似度越大，图像质量越好。各算法重建结果的结构相似度对比如表1所示。

图1 Lena图像重建结果对比

图2 cameraman图像重建结果对比

图像样条插值算法BTV算法本文算法Lena0．41590．45340．4887cameraman0．50680．58180．6578

4.2 真实序列实验

从图像测试数据库[14]中选取text低分辨率图像序列，该序列含有30幅低分辨率图像，每幅大小为57×49。由于原始图像未知，对于重建结果采用平均梯度进行度量，平均梯度能够反映出图像细微反差的程度。一般来说，在一定的噪声范围内，平均梯度越大，表明图像越清晰。对于BTV算法，λ=0.01，α=0.7，p=2；本文算法中，α=0.7，p=2，ε=0.02。得到的实验对比结果如图3所示，各算法重建结果的平均梯度对比如表2所示。

由图1、图2、图3可以看出，样条插值算法的重建结果明显较差，BTV算法能够在去除噪声的同时保留图像的边缘信息，但在边缘、纹理区域太过平滑，造成细节的丢失。而本文算法考虑了初始图像对重建结果的影响，并引入自适应的正则化参数。由表1、表2给出的SSIM值和平均梯度可知，相比于前两者算法，该算法有一定的提高，说明了该算法的有效性。从主观视觉上看，本文算法在边缘区域内的重建结果优于BTV算法，如图1中Lena图像的眼睛、帽子的边沿、羽毛，图2中cameraman图像的人物、相机框架，图3中text图像的文字等细节信息都得到了较好地增强，视觉效果更好。

图3 text图像重建结果对比

算法样条插值算法BTV算法本文算法平均梯度8．675811．629912．7330

5 结语

基于边缘增强的正则化超分辨率图像重建算法，利用非局部均值滤波和拉普拉斯锐化结合的方法改善初始图像。采用L1范数和自适应的正则化参数，增强了算法的鲁棒性。实验结果表明，该算法能有效地增强图像边缘区域的视觉效果，提高图像的对比度。

[1] 刘颖,魏丽娜,王殿伟,等. 基于流形学习的车牌图像超分辨率算法[J/OL].西安邮电大学学报,2014,19(6):22-25[2016-07-15].http://www.cnki.net/kcms/doi/10.13682/j.issn.2095-6533.2014.06.005.html.

[2] YANG M C,WANG Y C F. A Self-Learning Appro-ach to Single Image Super-Resolution[J/OL]. IEEE Transactions on Multimedia,2013,15(3):498-508[2016-07-15].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6376230.DOI:10.1109/TMM.2012.2232646.

[3] 李展,陈清亮,彭青玉,等. 基于MAP的单帧字符图像超分辨率重建[J/OL].电子学报,2015, 43(1):191-197[2016-07-15].http://d.wanfangdata.com.cn/Periodical/d-ianzixb201501030.DOI:10.3969/j.issn.0372-2112.2015.01.030.

[4] GEVREKCI M, GUNTURK B K, ALTUNBASAK Y. POCS-Based Restoration of Bayer-Sampled Ima-ge Sequences[C/OL]//IEEE International Conferenceon Acoustics,Speech,&Signal Processing，[s.l.]:IEEE,2007:I-753-I-756[2016-07-05].http://ieeexplore.ieee.org/xpl/article-Details.jsp?arnumber=4217189.DOI:10.1109/ICASSP.2007.366017.

[5] SONG H H, ZHANG L, WANG P K, et al. An a-daptive L1-L2hybrid error model to super-resoluti-on [C/OL]// 2010 IEEE International Conference on Image Processing , Hong Kong :IEEE,2010:2821-2824[2016-07-15].http://ieeexpl-ore.ieee.org/xpl/articleDetails.jsp?arnumber=5651498.DOI:10.1109/ICIP.2010.5651498.

[6] YUE L, SHEN H, YUAN Q, et al. A locally adap-tive L1-L2norm for multi-frame super-resolution of images with mixed noise and outliers[J/OL]. Signal Processing,2014,105(12):156-174[2016-07-15]. http:// www.sciencedirect.com/science/article/pii/S016516841 4002126.DOI:10.1016/j.sigpro.2014.04.031.

[7] 安耀祖,陆耀,赵红. 一种自适应正则化的图像超分辨率算法[J/OL]. 自动化学报,2012,38(4):601-608[2016-07-15].http://www.jourlib.org/paper/1517008#.V5R83-wQizB.DOI:10.3724/SP.J.1004.2012.00601.

[8] YUAN Q, ZHANG L, SHEN H. Multiframe Super-Resolution Employing a Spatially Weighted Total Variation Model[J/OL]. IEEE Transactions on Circu-its &Systems for Video Technology,2012,22(3):379-392[2016-07-15].http://ieeexplore.ieee.org/xpl/articleD-etails.jsp?arnumber=5970105.DOI:10.1109/TCSVT.2011.2163447.

[9] RUDIN L I, OSHER S, FATEMI E. Nonlinear totalvariation based noise removal algorithms[J/OL].Phy-sica D-nonlinear Phenomena,1992,60(1-4):259-268 [2016-07-15].http://www.sciencedirect.com/science/art-icle/pii/016727899290242F.DOI:10.1016/0167-2789 (92)90242-F.

[10] FARSIU S, ROBINSON D, ELAD M, et al. Fast and robust multi-frame super resolution[J/OL]. IEEETrans Image Processing,2004,1(310):1327-1344[2016-07-15].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1331445.DOI:10.1109/TIP.2004.834669.

[11] BUADES A, COLL B, MOREL J M. A non-local algorithm for image denoising[C/OL]// IEEE Com-puter Society Conference on Computer Vision & Pattern Recognition.IEEE Computer Society, Washington:IEEE,2005,2(7):60-65[2016-07-15].http://ieeexplore.ieee.org/xpl/artic-leDetails.jsp?arnumber=1467423.DOI:10.1109/CVPR.2005.38.

[12] SUO F, HU F, ZHU G. Robust super-resolution re-construction based on adaptive regularization [C/OL]//International Conference on Wireless Comm-unications and Signal Processing.[s.l.]:IEEE,2011:1-4 [2016-07-15].http://ieeexplore.ieee.org/xpl/articleDet-ails.jsp?arnumber=6096836.DOI:10.1109/WCSP.2011.6096836.

[13] 沈焕锋,李平湘,张良培. 一种自适应正则MAP超分辨率重建方法[J/OL].武汉大学学报(信息科学版), 2006,31(11):949-952[2016-07-15].http://d.wanfangda-ta.com.cn/Periodical/whchkjdxxb200611003.DOI:10.3969/j.issn.1671-8860.2006.11.003.

[14] MILANFAR P,FARSIU S,ROBINSON D.MDSP su-per resolution and demosaicing datasets[DB/OL]. [2016-07-15].http://www.soe.ucsc.edu/～milanfar/soft-ware/sr-datasets.html.

[责任编辑：祝剑]

Regularized super-resolution image reconstruction based on edge enhancement

LIU Ying1， QUAN Wan1， WU Shiqian2

(1.School of Communication and Information Engineering,Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2. School of Machinery and Automation, Wuhan University of Science and Technology, Wuhan 430081, China)

A regularized super-resolution image reconstruction algorithm based on edge enhancement is proposed for the problem of non-ideal image reconstruction in edge region in bilateral total variation regularization algorithm. While constructing the original image, the spline interpolated image is firstly smoothed by using non-local means filter, and followed by Laplace sharpening processing. The algorithm adopts L1norm to measure data fidelity item and regularization item. Moreover, the regularization parameter is adaptively determined to enhance the robustness of the algorithm. Experimental results show that the proposed algorithm can better enhance the edge information of the reconstructed image compared with the spline interpolation algorithm and the bilateral total variation algorithm.

regularization, super-resolution, non-local means filter, Laplace sharpening, adaptive

10.13682/j.issn.2095-6533.2016.06.003

2016-08-07

国家自然科学基金资助项目(41504115);公安部科技强警基础工作专项资助项目(2014GABJC024)；陕西省国际科技合作与交流计划资助项目(2015KW-005)

刘颖(1972-)，女，博士，高级工程师，从事图像和视频处理研究。E-mail:ly_yolanda@sina.com. 权婉(1990-)，女，硕士研究生，研究方向为图像超分辨率重建。E-mail:664500302@qq.com.

TN911.73

A

2095-6533(2016)06-0014-06