图像插值的自适应邻域滤波方法

詹 毅,李声杰,李 梦

(1.重庆大学a.计算机学院;b.数学与统计学院,重庆400030;

2.重庆工商大学数学与统计学院,重庆400067;3.重庆文理学院数学与财经学院,重庆402160)

图像插值的自适应邻域滤波方法

詹 毅1a,2,李声杰1b,李 梦3

(1.重庆大学a.计算机学院;b.数学与统计学院,重庆400030;

2.重庆工商大学数学与统计学院,重庆400067;3.重庆文理学院数学与财经学院,重庆402160)

图像待插像素用其邻域内连续方向上像素的Tyler展开可以得到较好的近似,但是沿着灰度连续和不连续方向(跨越图像边缘方向)的Tyler展开近似的线性平均会增加图像边缘宽度,引起图像边缘的视觉模糊以及产生锯齿边缘。为此,通过一个与灰度距离相关的权函数,自适应选择待插像素邻域内的Tyler展开,提出一个邻域滤波图像插值方法。与待插像素位于图像边缘同侧的像素权函数的值较大,像素的Tyler展开被选择为待插像素的近似;反之则权函数的值较小,像素的Tyler展开不用作待插像素的Tyler展开。实验结果表明,该方法避免了跨越图像边缘的Tyler展开的线性平均,可减小插值图像边缘的宽度,增加边缘斜坡坡度,从而获得清晰的插值图像边缘。

图像插值;线性插值;Tyler展开式;邻域滤波;自适应方法;双边滤波

1 概述

图像插值是图像处理中的一个逆问题,它把低分辨率图像恢复到高分辨率图像。由于其在理论与实际生活中的巨大应用,在过去的二十多年获得了广泛的研究。如何有效去除插值图像边缘的锯齿现象、模糊以及振铃现象等人工虚像,并获得视觉美感的插值结果是图像插值领域的关键问题。近年来大量的算法被提出来用于解决这一问题,如纹理方向插值[1]、水平线方向插值[2]、二阶方向导数插值[3]、边缘协方差信息插值[4]、水平集运动插值[5]、径向基函数插值[6]、双侧滤波[7]等。文献[8]基于各向异性距离方法提出一种边缘保持的核回归图像插值方法。这种核回归建立在非参数回归模型基础之上,使插值图像的边缘信息也得到一定的保持,但是这种方法需要图像像素点处的高阶导数,这在图像处理中是一个比较困难的问题,必然会影响插值图像的视觉效果。文献[9]提出了一种基于再生核的图像插值方法。该方法将图像沿水平、垂直、对角线3个方向再生,并按照再生核数值积分方法导出了图像插值算法,利用再生核的数学模型特点来保持图像的边界信息和光滑性。然而这种方法计算复杂度高,而且按块插值的快速方法会破坏跨越块的图像边缘的光滑性。文献[10]将逆梯度运用到传统的双线性与双三次插值方法中,锐化了图像边缘,这种方法对彩色图像的插值效果没有对灰度图像的插值效果好。文献[11]用小波的多分辨率分析对图像边缘的频率特性进行无偏估计改善传统的线性插值方法。这种方法依赖于精确的图像边缘方向和位置的估计,而由于实际图像的多样性,单一的图像边缘检测滤波器并不能完全准确地提取图像的边缘,在实际应用中具有一定的局限性。

本文提出一个二元函数Tyler展开式的邻域滤波图像插值方法。它自适应地选择Tyler展开的方向,更好地实现了减小图像边缘宽度功能的同时能有效抑制边缘锯齿现象,从而产生视觉效果良好的插值图像。

2 图像线性插值

对于传统的双线性、双三次插值来说,待插像素只是距离的函数。对图1(a)所示的一维原始图像进行线性插值的剖面图示,如图1(b)所示。在像素位置A和B之间插入C,D两个像素。从图中可以看出线性插值方法使插值图像边缘斜坡变缓,边缘宽度变大,插值图像的边缘变得更模糊。因此,要使插值图像边缘的视觉清晰度高,就需要使得图像边缘斜坡坡度陡,也需要使图像边缘宽度窄,如图1(c)实折线所示。文献[12]把图1(a)的一维信号看成是一个连续函数,从而像素D的灰度值就可以由像素B的灰度值通过函数的Tyler展开式近似得到:

其中,u′,u″是一维信号u在像素xB处沿方向xB→xD的一阶、二阶方向导数。

图1 一维信号插值示意图

像素D的灰度值可以由像素A的灰度值通过相同的方法计算。不过,从图1可以看出,以像素A进行Tyler展开去估计像素D存在很大的误差,原因是在像素D处信号是不连续的。而在图像插值中待插像素以哪个像素Tyler展开合适是未知的,文献[12]通过对各个方向Tyler展开进行双线性加权来解决这个问题。显然这样做的结果与线性插值有相同的缺陷,都会增大插值图像的边缘宽度,形成较模糊的边缘,同时也会产生锯齿边缘。因此,合理选择Tyler展开的方向是产生更好的图像插值的关键。

3 Tyler展开式邻域滤波器

3.1 滤波器设计

把图像u看作二维连续函数,则u在待插像素x处的灰度值可以用它的邻域像素y处的灰度值表示如下:

其中,▽u,Du分别是u在y处的梯度向量和Hessian矩阵,这里用等号代替式(1)中约等于号。然而在不连续点、不可微点处的这个Tyler展开式并不能准确表示这些点的值。图像边缘处的点就是这样的一些点,如果用这些点进行Tyler展开会模糊图像边缘,甚至会产生锯齿现象。因此,希望待插像素尽量用灰度连续变化方向上的像素Tyler展开,减少灰度不连续变化方向上像素点的Tyler展开表示的贡献,最好不用这些点的展开式。如图1所示,待插像素D处用像素B的Tyler展开,而减小像素A的Tyler展开的贡献,或不用像素A的Tyler展开;而待插像素C处用像素A的Tyler展开,而减小像素B的Tyler展开的贡献,或不用像素B的Tyler展开。因此,需要设计一个权系数来对待插像素邻域的像素进行选择性的Tyler展开,这个权函数不仅要考虑像素距离对插值的影响还要考虑像素灰度差对插值的影响。受双边滤波[13]的启发,在本文中选择以下函数作为加权函数:

这里用等号代替约等于号。式(4)本质上是对待插像素x的邻域像素的Tyler展开的一个自适应选择,选择正确的像素进行Tyler展开插值。这种选择是强制使式(4)的右端充分接近于0,从而最大程度减小沿不连续方向上的Tyler展开对插值的贡献。

待插像素x的所有邻域像素的Tyler展开式都满足式(4),对它们求和可得图像u在点x处的插值满足如下方程:

其中,Ω是像素x的邻域。通过简单的计算可得如下的邻域滤波器:

其中:

综上所述,Tyler展开邻域滤波器的设计原理可以简述如下:

(1)用待插像素的邻域像素的Tyler展开式近似表示待插像素(式(2))。

(2)用权函数式(3)自适应选择准确的Tyler展开式(式(4))。

(3)把所有的Tyler展开求和,选择有效的Tyler展开式并平均(式(5))。

(4)由上一步导出邻域滤波器(式(6))。

3.2 数值实现

用uij记u在像素点(i,j)处的Tyler展开表达式,ux(i,j),uy(i,j)是u在(i,j)处的一阶导数,uxx(i,j),uxy(i,j),uyy(i,j)是u在(i,j)处的二阶偏导数。类似的,可以得到在像素(i,j+1)(i+1,j) (i+1,j+1)处的Tyler展开表达式uij+1,ui+1j,ui+1j+1。对这4个不同的表达结果求和,得到最终的插值表达式为:

图2 插值网格

4 实验结果与分析

用式(7)对全彩色Parrots,peppers,barche, flower,eye图像进行插值,用实验结果说明提出算法的有效性。为了更好地进行比较,将原始大小图像降采样2倍,再对降采样图像放大2倍。以文献[4, 10,12]中算法的实验结果与本文实验结果进行实验对比;首先从实验的视觉效果说明本文算法的有效性,用峰值信噪比(PSNR)值说明3种算法的全局性能。

图3显示了4种算法对Parrot图像插值的结果。从图中可以看出文献[12]算法在图像边缘产生了锯齿和模糊现象;这是由于它是对各个方向的泰勒展开式的线性组合,而不是以最优方向上的像素灰度的刻画。文献[10]算法的插值图像在鹦鹉眼睛左边的黑色羽毛边缘有些模糊;而本文方法都能有效地抑制图像边缘的锯齿和模糊现象,文献[4]算法具有更好的抑制锯齿现象的能力。本文算法虽稍次于文献[4]中的算法,但是算法简单而且它可以进行任意倍的图像插值,这方面又是优于文献[12]算法的。从图4中的眼睛图像插值结果也可看出,文献[4]算法在瞳孔中木条边缘的虚像是比较明显的,文献[12]算法在眼睑处出现了一些不应有的斑点。图5为flower图像的插值结果。从图中可以看出,在花瓣的边缘处文献[12]算法的边缘模糊现象是可见的。表1是4种算法的峰值信噪比值的比较。从表中可以看出,本文插值算法具有较高的峰值信噪比,与文献[4]算法相比平均提高了0.5dB。文献[12]算法与文献[10]插值算法在峰值信噪比之间的差别不大,这与实验结果反映的视觉效果是一致的。

图3 Parrot图像整数倍插值结果比较

图4 eye图像整数倍插值结果比较

图5 flower倍插值结果比较

表1 3种算法峰值信噪比比较dB

5 结束语

本文自适应地选择Tyler展开式近似表示的方向,获得了一个实现简单的邻域滤波插值算法。该算法使得图像边缘同侧的待插值像素只用同侧像素的Tyler展开式近似加权,异侧像素的Tyler展开对插值几乎没有影响,避免了异侧Tyler展开的加权平均产生的边缘模糊,减小了图像边缘的宽度从而获得清晰的图像边缘。本文算法具有较低的算法复杂度、良好的客观质量和视觉效果,有很强的实际应用价值。后续工作将研究具有各向异性的邻域滤波器图像插值。

[1] 王 健,马汉杰.基于纹理方向的运动图像插值算法[J].计算机工程,2011,37(1):218-223.

[2] 詹 毅.自适应图像插值改进算法[J].计算机工程, 2010,36(16):200-202.

[3] Hao Jiang,Moloney C.A New Direction Adaptive Scheme for Image Interpolation[C]//Proceedings of InternationalConferenceonImageProcessing. New York,USA:IEEE Press,2002:369-372.

[4] Li Xin,OrchardMT.NewEdgeDirectedInterpolation[J].IEEE Transactions on Image Processing, 2000,10(10):311-314.

[5] Aly H A,Dubois E.Image Up-sampling Using TotalvariationRegularizationwithaNewObservation Model[J].IEEE Transactions on Image Processing, 2005,14(10):1647-1659.

[6] Casciola G,Ontefusco L B,Morigi S.Edge-driven Image Interpolation Using Adaptive Anisotropic Radial Basis Function[J].Journal of Mathematical Imaging Vision, 2010,36(2):125-129.

[7] Hung K W,Siu W C.Fast Image Interpolation Using Bilateral Filter[J].IET Image Process,2012,6(7): 877-890.

[8] 张峥嵘,刘红毅,韦志辉.边缘保持的核回归图像插值方法[J].计算机工程,2011,37(19):194-197.

[9] 施云惠,李 锌,尹宝才.基于再生核W空间的图像插值算法[J].计算机仿真,2007,24(3):219-222.

[10] Hwang J W,Lee H S.Adaptive Image Interpolation Based on Local Gradient Features[J].IEEE Signal Processing Letters,2004,11(3):359-362.

[11] Reeth E V,Bertolino P,Nicolas M.Image Interpolation Based on a Multi-resolution Directional Map[EB/OL]. (2011-02-15).http://www.researchgate.net/publication/229006704_Image_interpolation_based_on_a_ multi-resolution_directional_map.

[12] 詹 毅.基于泰勒展开式的图像插值方法[J].计算机工程,2012,38(13):202-204.

[13] Manduehi T R.Bilateral Filtering for Gray and Color Images[C]//Proceedingsofthe6thInternational Conference on Computer Vision.[S.l.]:IEEE Press, 1998:839-846.

编辑 顾逸斐

Adaptive Neighborhood Filtering Method of Image Interpolation

ZHAN Yi1a,2,LI Shengjie1b,LI Meng3
(1a.College of Computer Science;1b.College of Math and Statistics,Chongqing University,Chongqing 400030,China;
2.College of Math and Statistics,Chongqing Technology and Business University,Chongqing 400067,China;
3.School of Math and Finances,Chongqing University of Arts and Sciences,Chongqing 402160,China)

The interpolated pixel can be expanded along the direction on which image grey is continuously varied by Tyler expansion.But the linear average of these Tyler expansions along the continuous and discontinuous direction will enlarge the width of image edges and introduce blurring and zigzag effects.In this paper,a neighborhood filtering for image interpolation is proposed.A weighted function based on grey distance adaptively selects the Tyler expansions in the neighborhood of interpolated pixel.The principle of the method is that the weight of the pixel which lies on the same lateral of image edges with the interpolated pixel is large,so its Tyler expansion is selected,vice versa,the weight is small and its Tyler expansion is not selected.It avoids the average of the expansions which cross the image edges,and can reduce width of edge and increase slope,which produce scrip edges.

image interpolation;linear interpolation;Tyler expansion;neighborhood filtering;adaptive method;bilateral filtering

詹 毅,李声杰,李 梦.图像插值的自适应邻域滤波方法[J].计算机工程,2015,41(2):224-227,233.

:Zhan Yi,Li Shengjie,Li Meng.Adaptive Neighborhood Filtering Method of Image Interpolation[J]. Computer Engineering,2015,41(2):224-227,233.

1000-3428(2015)02-0224-04

:A

:TP391.41

10.3969/j.issn.1000-3428.2015.02.043

国家自然科学基金资助项目(61202349);重庆市基础与前沿研究计划基金资助一般项目(cstc2013jcyjA40058);重庆市教委科学技术研究基金资助项目(KJ131209,KJ120709);重庆文理学院校级基金资助项目(R2012SC20)。

詹 毅(1971-),男,副教授、博士,主研方向:图像处理;李声杰,教授、博士;李 梦,副教授、博士。

2014-02-11

:2014-05-03E-mail:zhanyi@ctbu.edu.cn