基于Huber范数和概率运动场的鲁棒图像超分辨重建算法

卢 健 孙 怡

(大连理工大学信息与通信工程学院 大连 116024)

1 引言

超分辨率重建是一种突破成像硬件条件限制提高图像质量的方法。文献[1]对超分辨重建的基本原理进行了总结，给出一般超分辨重建主要包括的3个步骤：首先将低分辨率图像配准；然后从已配准的低分辨图像中估计出所需的高分辨图像；最后再进行一些去模糊等后处理工作。近年来，在此基础上，研究人员不断尝试将新技术融入到超分辨重建算法之中。然而这些方法所依赖的假设和模型往往过于简单和理想化，而实际场景要复杂得多，这造成了现有超分辨算法数值试验的效果远远好于实际应用效果。为了提高超分辨在实际应用中的能力，提高算法的鲁棒性成为了新的研究热点。相关研究主要集中在两个方面，一是如何降低配准误差的影响，二是如何提高重建估计的鲁棒性。

配准是超分辨重建的第1步，配准误差会在重建过程中传播放大，因此配准的准确性对重建的影响很大。然而实际中的配准问题非常复杂，除了要受到噪声的影响，还有运动估计中经常遇到的遮挡及“孔径”问题[2,3]。近年来，人们尝试利用基于贝叶斯框架的联合超分辨方法解决该问题，比如，文献[4]将超分辨问题引入贝叶斯框架，并利用局部稀疏作为各未知参量的先验约束来实现重建。文献[5]则结合了总变分和自回归两种先验对重建进行约束。该类方法虽然取得了不错的结果，但其存在两个主要的问题：一是未知参量太多，导致算法计算复杂度过高，收敛性能较差；二是为了减少未知参量个数，往往需要采用简化的模型，使得该类算法在实际应用中存在一定的局限。最近，一些研究者转换了思路，提出了不需要精确配准的方法，主要包括：文献[6]将非局部平均(Non-Local Means,NLM)去噪算法[7]扩展到了超分辨领域，文献[8]将核回归插值方法应用于超分辨。文献[9]通过引入非局部信息，提出了非局部核回归的方法。文献[10]对文献[6]中的方法进行了重新解释，提出了概率运动场的概念。这些方法主要运用了模糊运动的概念，即在配准阶段不再要求唯一精确的运动矢量，而是假定每一个像素有多种运动的可能，这种增加配准冗余性的处理，减小了算法对唯一精确性的依赖，增加了算法的鲁棒性。为超分辨在实际场景中的应用提供了很好的配准解决方案。

在重建阶段，由于超分辨重建是一个病态问题，因而需要正则化使其变为良态问题。正则化的关键是选取合适的正则项。在此类算法中，应用较为广范的是基于总变分(Total Variation, TV)及其改进的一类正则化算法，其中文献[11]提出了双边总变分(Bilateral Total Variation, BTV)，提高了TV方法利用邻域信息的能力。文献[12]和文献[13]分别利用差值曲率和形态学方法对图像进行度量并利用度量结果对TV项进行加权，提高了正则方法的自适应性。尽管这些方法有效地改善了重建质量，但是却很难抵抗配准误差的影响。

本文在分析现有提高鲁棒性方法的基础上，提出了基于Huber范数M估计和概率运动场的超分辨算法。该算法能够有效地克服超分辨过程中配准和噪声对重建结果的影响，从而提高了超分辨算法在实际应用中的鲁棒性。

2 基于概率运动场的超分辨重构

建立观测模型是研究超分辨率算法的前提。在成像过程中，降质因素主要包括光学模糊，各帧图像间的相对运动，下采样过程和噪声，整个过程可用式(1)表示。

3 正则化超分辨率重建算法

其中λ为正则化系数，用来调节正则项对 ML估计的约束强度。

3.1 M估计

由于实际场景中的超分辨问题非常复杂，为求解方便，数学模型往往需要对实际问题进行抽象与简化，这种模型与实际问题之间的偏差也是造成超分辨算法实际应用效果较差的一个原因。根据稳健统计(robust statistics)理论[14]，估计的鲁棒性指的是在估计过程中产生的估计量对模型误差的不敏感性。在稳健统计中，基于最大似然估计的一类方法被称作M估计，M估计的鲁棒性与()ρ⋅的选择有关。基于 L2范数的 M 估计对于高斯分布的误差可以取得最优的结果，而对非高斯分布尤其是较大离群点却非常敏感，而基于 L1范数的 M 估计子却具有极好的鲁棒性。虽然在高斯噪声的情况下，L1范数较L2范数并非最优解，但在非高斯噪声特别是存在较大离群点的情况下，L1范数M估计具有很好的抗噪性能。然而L1范数不是处处可微的，因此造成了数值计算的不稳定。为了进一步增强算法的稳定性，本文引入了处处可微的Huber范数[15]作为M估计的度量，这样只要使用基于梯度的优化方法就可以对其进行可靠求解。Huber范数具体表示如式(5)所示，其中α控制了L1和L2范数的转换点。

由于在配准阶段采用了概率运动场，因此在进行M估计时，代价函数的度量就需要考虑场中各种运动可能性的大小，因此在式(3)中需要采用加权范数。加权Huber范数表示为

3.2 正则重建算法的迭代实现

在图像处理中，一般会选择与图像相关的先验知识作为正则项。本文选取了 BTV[11]作为正则化项，该正则项可以较好地保持图像的边缘信息，BTV正则项的具体表达式为

采用梯度最速下降法(gradient descent)对式(9)进行迭代求解，便可获得高分辨率图像z的一个M估计：

4 概率运动场权重计算

式中cSSD称为SSD的临界转换点，由图1所示，Heaviside逼近函数和高斯函数曲线都具有单调递减的特性，并且能够将区间映射为区间，因此满足权重映射的要求。高斯曲线的形状由参数σ控制，而 Heaviside逼近函数曲线的形状则由控制，小于的值将会映射为比较大的权重值，而大于的值映射所得权重将会迅速趋近于0。因此，只要能够合理地估计出，便可以有效地控制Heaviside逼近函数曲线的形状。可由式(15)估计获得：

需要说明的是权重计算需要高分辨率图像z，而在算法初始时，高分辨率图像尚未重建，因此本文利用插值方法对原始高分辨率图像进行初始估计。而在每一次迭代中，都会使用最新重建的高分辨率图像重新计算权重。更好的重建图像保证了权重计算更加准确，同时更准确的权重也会进一步提高图像重建的质量，因此，无论是权重还是重建的高分辨率图像，都可以在迭代的过程中逐步得到改善。

5 实验

为验证算法性能，本文设计了仿真和实际视频实验，通过与其它算法进行比较，来验证算法的有效性。本文采用的比较算法主要包括：基于非局部平均滤波原理的超分辨重建算法[6]，文中以NLM标识；基于非局部核回归插值的超分辨方法[9]，以 NLKR标识；联合贝叶斯估计方法[5]，以TV-SAR标识，以及基于 L1范数估计的经典超分辨方法[11]，以L1-ML标识。所有实验如未说明均采用相同的参数。除主观评价之外，还采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)作为客观标准，对重建图像质量进行评价。

图1 权重映射曲线

5.1 仿真实验

首先利用标准图像 Lena 进行仿真实验。实验中采用的低分辨率图像序列是由一幅高分辨率Lena图像经全局平移(2个像素以内)，3 倍下采样，然后加入标准差为 5 的高斯白噪声和2%的椒盐噪声，得到的25帧低分辨率图像。对这25帧低分辨图像分别采用不同算法进行重构。重构结果如图 2所示。图 2(b)为使用文献[11]中方法进行重建的结果，从结果可以看出，由于噪声的存在，该算法无法获得精确的运动信息，尽管采用了鲁棒的L1范数估计，但是由于该方法仍然依赖于准确的运动信息，导致了高分辨率网格上的某些点(黑色的点)无法获得正确像素值，从而重建失败；图 2(c)为非局部平均超分辨方法[6]，该方法利用概率运动场来描述像素间的运动信息，避免了对精确运动信息的依赖，所以没有出现因运动信息不够精确而导致的重建失败，但是由于该方法所采用的是基于L2范数的估计，因此其对椒盐噪声没有抑制能力，从而导致重建结果中存在许多椒盐状杂点；图2(d)为本文方法，由于在配准和重建阶段分别采用了更为鲁棒的概率运动场和Huber估计子，本文方法能够有效地抵抗运动估计不准以及各类噪声的影响，从而提高了超分辨率算法的鲁棒性。

5.2 实际视频序列重建

为了检测算法对实际视频的重建效果，本文首先采用标准测试视频序列Suzie和Foreman进行测试。实验从上述两个视频中截取连续的30帧图像，经模糊、下采样以及加噪处理后，生成低分辨图像序列，其中模糊核为33×的均匀模糊核，下采样因子为 3，噪声为标准差等于 2的高斯白噪声，然后分别采用NLM, NLKR, TV-SAR 和本文算法对两个序列的前8帧图像进行重构。由于NLM, NLKR以及本文方法都将去模糊作为后处理手段，为了保证比较的客观性，本文去模糊处理采用与文献[6]和文献[9]中相同的去模糊算法[16]。图3和图4分别展示了两个视频第8帧的重建结果。表1给出了4个算法重建视频前8帧的平均 PSNR结果。

表1 超分辨重建结果PSNR值 (dB)

图2 重构仿真实验结果比较

从主观视觉比较中可以看出，NLKR受噪声影响导致核回归估计不准，会在重建图像中产生不平整现象。而TV-SAR为了避免联合优化参数过多，采用了简单的全局运动模型。因此，对于符合这一假设的部分，比如Foreman中的墙板就会取得较好的结果，而对于复杂的运动，如 Suzie的眼睛，Foreman的头部，则效果欠佳。而NLM和本文方法，由于在配准阶段都采用了概率运动场，因此取得了相似的结果，而在重建阶段，由于本文方法采用了更为鲁棒的 L1范数 M 估计，减少了误差较大的离群点对重建的影响，因此减少了在 NLM 方法中Suzie的眼睛以及Foreman的嘴部出现的杂点现象。相应的客观评测也印证了主观评价的结果。这说明，本文算法能够从配准和重建两个方面提高了算法的鲁棒性，改善了重建质量。

为了进一步检测算法，本文继续从标准测试视频序列中，选取了另外7段视频进行了上述实验，然后对各重建视频序列求平均 PSNR。计算结果呈现在图5中。需要说明的是，由于TV-SAR方法适用于运动形式比较简单的情况，对运动情况较复杂的真实视频效果欠佳，因此图5只比较了另外3种方法的结果。由于这3种方法都将去模糊作为后处理手段，为公平比较，本文只对去模糊之前的重建结果进行比较。从评测结果可以看出，本文算法对不同的视频内容几乎都可以取得较好的结果。这进一步说明本文方法，具有广泛的适用性和鲁棒性，可以有效的提高超分辨在实际应用中的重建质量。

6 结束语

图3 Suzie视频超分辨重建结果

图4 Foreman视频超分辨重建结果

受到噪声和非噪声因素的影响，超分辨重建算法往往很难在实际的应用中取得很好的结果。为了增加算法的鲁棒性，本文从配准和重建两个阶段入手，在配准阶段通过引入概率运动场，避免了算法对运动信息准确性的依赖，而在重建阶段，利用Huber范数正则化估计，进一步增强了重构算法的鲁棒性。实验结果表明，该方法能够有效地改善传统超分辨方法中运动场估计不够准确以及重建质量严重受噪声影响的问题，其重建的鲁棒性能优于现有的超分辨率方法。

图5 3种超分辨方法对不同视频重建的平均PSNR比较

[1] Park S C, Park M K, and Kang M G. Super-resolution image reconstruction: a technical overview[J]. IEEE Signal Processing Magazine, 2003, 20(3): 21-36.

[2] Lu J, Zhang H R, and Sun Y. Video super resolution based on non-local regularization and reliable motion estimation[J].Signal Processing: Image Communication, 2014, 29(4):514-529.

[3] Vrigkas M, Nikou C, and Kondi L P. Accurate image registration for MAP image super-resolution[J]. Signal Processing: Image Communication, 2013, 28(5): 494-508.

[4] Liu C and Sun D. On Bayesian adaptive video super resolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 346-360.

[5] Villena S, Vega M, Babacan S D, et al.. Bayesian combination of sparse and non-sparse priors in image super resolution[J].Digital Signal Processing, 2013, 23(2): 530-541.

[6] Protter M, Elad M, Takeda H, et al.. Generalizing the nonlocal-means to super-resolution reconstruction[J]. IEEE Transactions on Image Processing, 2009, 18(1): 36-51.

[7] Buades A, Coll B, and Morel J M. A non-local algorithm for image denoising[C]. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition,New York, USA, 2005: 60-65.

[8] Takeda H, Milanfar P, Protter M, et al.. Super-resolution without explicit subpixel motion estimation[J]. IEEE Transactions on Image Processing, 2009, 18(9): 1958-1975.

[9] Zhang H, Yang J, Zhang Y, et al.. Image and video restorations via nonlocal kernel regression[J]. IEEE Transactions on Cybernetics, 2013, 43(3): 1035-1046.

[10] Protter M and Elad M. Super resolution with probabilistic motion estimation[J]. IEEE Transactions on Image Processing, 2009, 18(8): 1899-1904.

[11] Farsiu S, Robinson M D, Elad M, et al.. Fast and robust multiframe super resolution[J]. IEEE Transactions on Image Processing, 2004, 13(10): 1327-1344.

[12] Yuan Q, Zhang L, and Shen H. Multiframe super-resolution employing a spatially weighted total variation model[J].IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(3): 379-392.

[13] Purkait P and Chanda B. Morphologic gain-controlled regularization for edge-preserving super-resolution image reconstruction[J]. Signal, Image and Video Processing, 2013,7(5): 925-938.

[14] Maronna R A, Martin R D, and Yohai V J. Robust Statistics:Theory and Methods[M]. London: John Wiley ＆amp; Sons, 2006:103-108.

[15] Werlberger M, Pock T, and Bischof H. Motion estimation with non-local total variation regularization[C]. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010:2464-2471.

[16] Getreuer P. Total variation deconvolution using split bregman[J]. Image Processing On Line, 2012, 2(1): 158-174.