刘 哲 陈 路杨 静
(西北工业大学理学院 西安 710129)
随着信息技术的不断发展,人们对数据量的需求越来越大,这给图像传输中数据的存储、硬件实现等带来了巨大压力。以JPEG为代表的图像压缩标准广泛采用分块离散余弦变换(Block-based Discrete Cosine Transform, BDCT)进行采样、量化,具有存储空间小、便于实时传输等优点。
近年来,受此启发,基于块的研究方法[13]-逐渐成为研究热点,并广泛应用于图像重构和去噪等领域,其基本思想是:提取相互重叠的图像块,判定块间的相似性,进而对相似块进行相关操作,以达到对图像进行重构和去噪的目的。文献[1]提出分块压缩感知(Block Compressed Sensing, BCS),将图像分割为小尺寸的图像块,采用测量矩阵逐一对图像块独立采样,大大减少了采样矩阵的存储空间且能够实时发送采样数据;文献[2]指出相似块分布的非邻域性,并将相似块的搜索范围由邻域扩展至整幅图像,使得相似块的判定更加精确,但同时也增加了算法的时间复杂度;文献[3]提出将图像块的相似性和稀疏性相结合,并将相似块层叠排成的集合投影至变换域,块间的相似性保证了变换后较高的稀疏性,通过阈值处理可以很好地去除噪声。
上述算法以欧氏距离作为相似块的判定标准,即计算两图像块灰度值矩阵差的L2范数,若其小于设定的阈值,则判定为相似块,然而这种判定办法无法保证块的结构一致性,因此重构图像存在不同程度的块效应。为有效去除块效应,研究人员主要从空间域[46]-和变换域[7,8]两方面进行研究。文献[4]利用插值的思想,使用相邻块对称位置像素的加权平均替代块边界处的像素,以平滑图像块边界;2012年,文献[7]引入稀疏表示的思想,将K奇异值分解(K-means Singular Value Decomposition, K-SVD)算法训练的字典用于图像的去块效应操作,但仍存在时间复杂度较高的问题。2009年,文献[9]指出可以在方向性变换域内完成图像的重构过程,采用方向性变换增大稀疏度,通过硬阈值处理和维纳滤波平滑图像,即基于平滑投影Landweber重构的分块压缩感知(Block-based Compressed Sensing-Smoothed Projected Landweber, BCS-SPL)算法,但图像的更新过程仅是将分块后的图像依次进行变换,没有探究不同图像块所包含特征的差异;文献[10]引入了图像的多尺度分解(MultiScale BCS-SPL, MS-BCSSPL),在不同尺度、不同子带下采用不同的采样矩阵完成采样过程,捕获了更多的图像信息,但仍然没有克服相同尺度和子带中图像块选取的缺陷。
2011年,文献[11]提出一种基于块的局部最优维纳滤波算法(Patch-based Locally Optimal Wiener filtering, PLOW),采用几何结构聚类分析和亮度相似的图像块,有效提取出图像的结构特点,保证了块的结构性;2012年,文献[12]进一步引入基于图像块的Wiener滤波器,用以判定图像块的冗余度。但PLOW算法采用基于整幅图像的标准差[13]作为亮度相似的图像块的权重参数,由于自然图像存在丰富的结构特点,上述的标准差选取使得块效应不能得到有效估计和去除。
为抑制重构过程中的块效应,本文基于PLOW算法的框架,首先对图像块的高频部分进行压缩采样,缩小块效应区域,将块效应限定在块与块的边界处;进一步,将图像分为块边界区域和块中心区域,在保证图像块结构性的基础上,提出了一种能够自适应估计块效应的图像重构算法,可以有效抑制块效应的产生。
基于块的图像处理方法假设图像都有丰富的几何结构性,且每一个图像块都可以在图像中找到相似块。由于将欧氏距离作为相似块的评判标准忽略了图像块的结构性,会引入一定的重构误差,而基于块的局部最优维纳滤波算法(PLOW)可以很好地解决这个问题,其采用几何结构聚类分析和亮度相似的图像块,通过反映不同结构特点的图像分类限定重构误差,有效保证了图像的结构性。
去块效应问题[12]可看成从被噪声污染的图像块中估计原图像块的过程,即。其中为图像块边界处的块效应,N为图像块总数。可由式(1)估计:
首先,以亮度上相似的距离作为衡量指标,但考虑到计算距离过程的复杂性和的非负性,定义如式(2)替代权重函数:
将估计的参数用于式(1),可得对每个图像块去噪后的估计,由于图像块之间有较多的重叠部分,需要整合重叠像素信息以获得每个像素的最终估计,考虑包含有像素的图像块,对其中的重叠像素进行加权平均:
值得注意的是,文献[15]从理论上证明了可以从含噪图像中直接估计图像块冗余度等参数,进而获得更小的图像重构误差;文献[16]指出,PLOW 算法可以看作通过几何相似块的行相似性估计协方差矩阵,通过亮度相似块的列相似性估计权重,算法考虑了图像的方向性,因而能够获得更好的重构效果。
PLOW算法可以充分利用图像的结构信息,但算法采用基于整幅图像的梯度算子计算标准差,进而作为图像块的权重参数,对于细节丰富的图像,固定选取的标准差不能很好地估计纹理区域的块效应,且会使平坦区域的图像变模糊,因此不能准确地衡量块效应。为克服上述不足,本文将图像分为块边界区域和块中心区域,进而自适应估计不同区域的块效应;为进一步降低块效应对图像重构质量的影响,文章首先通过压缩采样将块效应限定在块边界处,缩小块效应区域,从而保证图像块主体的重构质量。
可以看出,和传统块效应分布于整幅图像不同,文中算法产生的块效应主要集中于块与块的边界处,图像主体部分则以较高精度重构。考虑含噪图像噪声随机分布于整个图像,可将块效应看成分布于图像块边界处的噪声,叠加在原始图像特定位置的噪声造成了块之间的不连续性。显然,PLOW算法中以均值判断噪声不能反映标准差分布的空间性。
文献[18]在2013年采用一种自适应评价块效应的指标斜率均方差(Mean Squared Difference of Slope, MSDS),用以在噪声未知的情况下估计噪声。MSDS由相邻图像块靠近边界处像素的梯度值定义,因此可以很好地衡量噪声对块边界的影响。
为了更加准确地估计标准差,将图像分为块边界相邻元素组成的块边界区域cI和块中心区域I,采用MSDS自适应计算块效应大小。将所有图像块的MSDS值写成向量形式,记为ms,根据ms中元素与均值之间的距离判断权重,距离为正,表明差异高于平均水平,正距离越大,越接近块效应区域的差异值,权重越大;同理,负距离越大,表明块效应越不明显,权重越小。中块效应估计为
采用改进的MSDS指标分区域估计块效应可以反映块效应的空间分布特点,进而能够对几何相似图像块的均值和协方差矩阵等参数进行更加准确的估计,有助于减少式(1)中加权操作引入的不连续性,因此上述改进可以得到更好的重构效果。
为实现高效重构,在PLOW算法的框架下,本文首先通过高频部分的压缩采样将块效应限定在块边界处;然后,引入改进的块效应评价指标 MSDS自适应估计不同区域的块效应,主要流程如图2所示。
图1 压缩采样后块效应图像与传统DCT图像的对比图
图2 改进的PLOW算法步骤
本文算法在考虑图像结构性的同时,有效抑制了重构过程中块效应的产生,具体步骤示于表1。
表1 算法步骤
本文选取512×512的包含有不同细节的标准图像,并同非邻域均值滤波算法[2](Non-local Mean filtering, NLM)、PLOW 算法、BCS-SPL算法和MS-BCS-SPL算法相比较,以验证算法的有效性。为减小运算量,在寻找相似块时,将搜索框的大小设定为3030×,不同算法下的处理效果如图3所示。进一步,由表2可以看出,考虑不同的评价指标[19],相比与NLM, PLOW和BCS-SPL算法,本文算法都得到了更好的去块效应效果,且对于细节丰富的图像,重构效果的提升更加明显,如图3(d1)-图3(d3)和图3(d5)所示。从时间效率上分析,原PLOW算法的时间效率较低,大约为 153.6770s,但是,正如4.2节和4.3节所指出的,本文对原PLOW算法中的参数选取(图像分类数和图像块大小)进行了优化,提高了算法的运行效率,因此即使考虑压缩感知重构过程,本文算法的时间效率也得到提升,大约为42.0085s。
实验结果表明本文算法的结果优于 PLOW 和BCS-SPL算法,但弱于MS-BCS-SPL算法,其主要原因在于后者在图像的不同尺度、不同子带下进行分块采样,因此可以采集更多的图像细节信息;而本文算法则是基于PLOW算法,在具有相同分类特征的图像块集合内完成图像块的更新,且将块的不连续性限定于图像块的边界处,从而能够在保证图像块整体重构效果的基础上平滑块边界,相比于MS-BCS-SPL算法,其将几何和亮度相似性作为图像块选取标准的方法有助于减少图像细节的损失。
表2 不同图像和算法下的去块效应效果比较
图3 不同算法下的去块效应效果比较
在利用压缩感知思想产生含块效应图像的过程中,从[0,1]范围内动态选取采样率,分析采样率对去块效应的影响(以Hat图像为例)。表3表明,随着采样率的提高,两种算法的评价指标都有显著提升,当采样率达到0.7时,PSNR值提高约4dB。图像块在高采样率下能包括更多的边缘信息,从而在重构时能够减弱块间的不连续现象。
表3 不同采样率下的去块效应效果比较
特别地,当采样率取0.2时,PLOW算法的重构效果低于采样率为 0.3时,但本文所提算法在两种采样率下表现相当,因此本文算法更适合于低采样率下的图像去块效应。
算法中需将图像分成K类,K取值过大,会使每一类中的图像块数量过少,从而引入较大的估计误差;而取值过小的K又会将不相似的图像块归为同一类,因此K值的恰当选取对实验结果较为重要。当K取值小于最佳分类数0K时,随着分类数的增大,图像重构效果逐步提高;当K值取0K 时,算法取得最好的重构结果;随着分类数的进一步增加,图像的重构效果仍会低于最优情形。通过对自然图像的实验,将图像分类数K的最优值取为7,如图4所示。
进一步分析去块效应效果与图像块尺寸的关系,图5给出了不同算法下图像PSNR值和SSIM值随块大小变化的曲线图,可以看出,本文算法的去块效应效果明显优于PLOW算法。从算法出发,较小的图像块能够在平滑块效应的同时,减少对图像其他部分的影响,因此重构效果较好;随着块尺寸的增加,算法的去块效应效果会有所下降;但当较大尺寸的图像块能够保留更多的细节信息时,重构效果会得到提升。为减小算法的时间开销,文中选取较小的图像块。通过对自然图像的实验,将图像块大小定为55×。
针对 PLOW 方法中利用基于整幅图像的梯度算子计算标准差,从而造成块效应图像过模糊的不足,本文算法首先通过压缩采样将块效应集中到图像块的边界处,然后对块效应评价指标MSDS加以改进,使其能自适应评价块边界区域和块中心区域的标准差。算法在充分考虑图像结构性的基础上,有效去除了块效应。实验表明,本文算法可以有效抑制图像重构中块效应的产生。
图4 不同算法下评价指标随K值变化的曲线图
图5 不同算法下评价指标随图像块尺寸变化的曲线图
[1] Gan Lu. Block compressed sensing of natural images[C]. 15th International Conference on Digital Signal Processing,Cardiff, 2007: 403-406.
[2] Antoni B, Coll B, and Morel J M. A non-local algorithm for image denoising[C]. Computer Vision and Pattern Recognition, San Diego, 2005, 2: 60-65.
[3] Dabov K, Foi A, Katkovnik V, et al.. Image denoising by sparse 3-D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing, 2007, 16(8):2080-2095.
[4] Averbuch A Z, Schclar A, and Donoho D L. Deblocking of block-transform compressed images using weighted sums of symmetrically aligned pixels[J]. IEEE Transactions on Image Processing, 2005, 14(2): 200-212.
[5] Lin Xu, Justin W L W, and Bian T T. A continuous method for reducing interpolation artifacts in mutual informationbased rigid image registration[J]. IEEE Transactions on Image Processing, 2013, 22(8): 2995-3007.
[6] Bao Li-jun, Robini M, Liu Wan-yu, et al.. Structure-adaptive sparse denoising for diffusion-tensor MRI[J]. Medical Image Analysis, 2013, 17(4): 442-457.
[7] Jung C, Jiao Li-cheng, Qi Hong-tao, et al.. Image deblocking via sparse representation[J]. Signal Processing: Image Communication, 2012, 27(6): 663-677.
[8] Wang Jin, Jeon G, and Jeong J. Discrete cosine transformanalysis-based deblocking algorithm for block-transform compressed images[J]. Optical Engineering, 2012, 51(6):067011-1-7.
[9] Mun S and Fowler J E. Block compressed sensing of images using directional transforms[C]. Proceedings of the International Conference on Image Processing, Cairo, 2009:3021-3024.
[10] Fowler J E, Mun S, and Eric W T. Multiscale block compressed sensing with smoother projected landweber reconstruction[C]. Proceedings of the European Signal Processing Conference, Barcelona, 2011: 564-568.
[11] Chatterjee P and Milanfar P. Patch-based locally optimal denoising[C]. 18th IEEE International Conference on Image Processing, Brussels, 2011: 2553-2556.
[12] Chatterjee P and Milanfar P. Patch-based near-optimal image denoising[J]. IEEE Transactions on Image Processing,2012, 21(4): 1635-1649.
[13] Donoho D L and Johnstone J M. Ideal spatial adaptation by wavelet shrinkage[J]. Biometrika, 1994, 81(3): 425-455.
[14] Fei Xuan, Huang Wei, Wang Kai, et al.. Patch-based image denoising with geometric structure clustering[J]. Advances in Image and Graphics Technologies, 2013, 365: 85-91.
[15] Chatterjee P and Milanfar P. Practical bounds on image denoising: from estimation to information[J]. IEEE Transactions on Image Processing, 2011, 20(5): 1221-1233.
[16] Zhang Xuan-de, Feng Xiang-chu, and Wang Wei-wei.Two-direction nonlocal model for image denoising[J]. IEEE Transactions on Image Processing, 2013, 22(1): 408-412.
[17] Tropp J A and Wright S J. Computational methods for sparse solution of linear inverse problems[J]. Proceedings of the IEEE , 2010, 98(6): 948-958.
[18] Wang Ci, Zhou Jun, and Liu Shu. Adaptive non-local means filter for image deblocking[J]. Signal Processing: Image Communication, 2013, 28(5): 522-530.
[19] Changhoon Y and Bovik A C. Quality assessment of deblocked images[J]. IEEE Transactions on Image Processing,2011, 20(1): 88-98.