差分投影快速定向图像插值算法的优化

陈 玮，徐 宪

(上海理工大学光电信息与计算机工程学院，上海 200093)

图像放大时增加图像分辨率可以使其有更好的观察体验，因此图像插值［1］算法具有广泛应用范围。通常用两个标准来评估每formance of an image interpolator，namely perceptual quality一种图像插值的性能，即感知的质量and computational complexity.和计算复杂度。如文献［2］中所提出像传统的最近邻插值、双线性［3］和双三次线性算子image interpolation are relatively simple and fast，图像插值是相对较简单和快速的，但通常在图像的边缘有锯齿伪影，主要是没有考虑到图像的局部特征。因此，文献［4］中根据不同的自适应图像插值［5－7］，利用更精确的模型更好地保护图像的边缘。但该模型的弊端在于:(1)自适应系数的迭代导致较高的计算复杂度。例如，由于迭代的性质和自适应系数十分复杂的估计，即使采用混合算法减少复杂性，整体的计算成本也明显比线性插值高。(2)在其边缘方向上的利用有局限性，从而影响了模型的准确性。(3)许多插值算法放大倍数被限制在2X，不便于实现其他放大比率。针对上述问题，本文所提算法对在放大图像时某些固定的位置生成高分辨率图像时的丢失像素，通过文献［8］提出的对低分辨率图像的梯度扩散确定其像素值，然后被插值的图像通过差分投影被迫连续，本文称此方法为定向插值器。由于其适应性和一致性，所述的定向插值器在不同的方向保护边缘。此外，本算法插值比可以是任意整数，克服了比率的限制，同时本文使用特殊方法对图像进行去噪［9］，使其图像有更好的视觉效果。

实验结果表明，此方法与最近邻插值和双线性插值相比，得到的放大图像可以达到更好的感知和客观的质量，并且此插值算法的复杂度也相对较低。

1 典型传统插值算法

本文研究将一个低分辨率的图片X，尺寸为H×W;转变成一个高分辨率图片Y，尺寸为nH×nW的算法。为了简洁和不失一般性，该示例使用n=3，即采用3X插值为例，进而扩展到其他nX插值。

1.1 最近邻插值法

最近邻插值法是最简单的一种插值方法，该方法的原理为在待求象素的四邻象素中，将距离待求象素最近的邻象素灰度赋给待求象素。设i+u，j+v(i，j为正整数，u，v为＞0，＜1的小数，下同)为待求象素坐标，则待求象素灰度值f(i+u，j+v)如图1所示。

图1 最近邻插值

如果(i+u，j+v)落在 A 区，即 u＜0.5，v＜0.5，则将左上角象素的灰度值赋给待求象素，同理，落在B区则赋予右上角的象素灰度值，落在C区则赋予左下角象素的灰度值，落在D区则赋予右下角象素的灰度值。最近邻算法计算量小，但会造成插值生成图像灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状。此算法得到3X效果如图2所示。

图2 最邻近插值算法3X效果图

1.2 双线性插值法

双线性内插法是利用待求象素4个邻象素的灰度在两个方向上作线性内插，其坐标如图3所示。

图3 双线性插值

A(i，j)B(i，j+1)C(i+1，j+1)D(i+1，j)对于(i，j+v)，f(i，j)到 f(i，j+1)的灰度变化为线性关系，则有

从 f(i，j+v)～f(i+1，j+v)的灰度变化为线性关系，由此可推出待求象素灰度的计算式如下

双线性内插法的计算比最邻近点法复杂，计算量大，但其克服了灰度不连续的缺点，图像效果较好。但其具有低通滤波性质，使高频分量受损，因此图像轮廓可能会略微模糊［12－14］。此算法得到3X效果图如图4所示。

图4 双线性插值算法3X效果

2 差分投影快速定向图像插值算法

本文提出的算法是通过二次线性插值。第一次插值中，第一组缺失象素的像素值是基于原始像素值内插所得。第二次插值中，第二组缺失象素的像素值是基于原始像素值和第一组像素值插值所得。第一组像素包含块内点像素，每个块内点对应一个像素位置，每个块内点像素是由原来的4个原始像素形成。第二组像素包含块上点像素，每个块上点像素对应边缘的一个像素位置，是由两个原始像素形成。如图5所示黑点代表图片X的原始像素;灰点和白点是被插到像素空间的丢失的像素。相邻的4个黑色的点形成的正方形(通过虚线标记)，在虚线块中的灰色像素为“块内点”(in－block)像素。白点是由两个相邻像素的边缘上形成的(在虚线上)，并且称为“块上点”(on－block)像素。

图5 高分辨率图像布局

本文为得到图Y丢失像素的梯度，首先计算X的梯度，然后采用双线性插值来计算高分辨率像素，这个过程在此称作“梯度扩散”。在获得高分辨率的梯度，四个“in －block”像素被插值如图7 的 I0，I1，I2，I3。因其几何对称，在此采用I0为例。如图6过有一条线/垂直于梯度方向，沿着该方向的局部变化最小。这条线与原始像素A，B，C，D组成的正方形有两个交点P和Q，根据的不同坡度(用表示)，有3种类型的P和Q的分布。根据I0的梯度，可以计算k和P，Q的位置。P和Q是通过其所在的正方形边的两个顶点双线性插值所得，然后P和Q线性插值生成I0。

此处通过Sobel算子来计算X与Y的梯度，进而由Y的梯度值得到有效像素的系数k，通过以上分析可以推导出插值公式

图6 插值求块内点

图7 in－block

图8 插值求块上点

图9 on－block

由于几何对称性，可以通过镜像A，B，C，D和I使用相同的权重求出I1，I2，I3。表1给出了相应的权重与，表2为可用的像素的序列和转换斜率。

表1 in－block插值权重

表2 in－block像素序列与斜率

当块内点像素生成时，在两个六边形的块上点像素由原像素和块内点像素进行插值。块上点插值步骤与块内点插值方法类似。表3给出了相应的权重与k，表4为可用的像素序列和转换斜率，其插值公式为

表3 on－block插值权重

表4 on－block像素序列与斜率

由于原始的算法没有保护好原始像素和插值像素的连续性。针对此问题，在此采用“差分投影”。

图10 差分投影

由于低分率图片X的原始像素是可用的，即不直接修改高分辨率图片Y的连续性。而是根据方程(6)由原始像素插值得出插值像素，进而由插值得出的像素再次进行插值，得到“原始虚拟”像素，最后计算出原始像素与“原始虚拟”像素之间的差异值。这种差异值通过再次采用定向插值器传播到其他像素，进而得到预期差值，在此所采用的梯度与之前相同。其使用的求值公式为

图11 虚拟插值布局

表5 虚拟插值权重

通过“差分投影”求出差异值，在此设F表示inblock和on－block混合插值，F+包括原始虚拟插值和F。X～为高分辨率图片，该图片由从图片X的黑色圆点、灰色和白色点复制而来。由图可知，预期差异值加到插值像素后，原有像素会被迫连续而其值持续不变。在这里所用的求值公式如下:

此算法得到3X效果如图12所示。

图12 差分放大投影插值算法3X效果图

3 差分投影插值算法的优化

通过图2，图4和图12对比可知，图12明显有更好的感知和客观的质量。但图12仍然存在噪点。传统去噪方法是对图像所有像素点做统一处理，不会针对某一点做单独处理，由于本文所提算法的特殊性，在此针对特殊的点做特殊处理。

由于“块内点”和“块上点”皆由原始像素插值而来，所以其像素值与原始像素的插值相差较小，经实验验证，出现噪点的位置皆是差值出的“块内点”和“块上点”对应的位置，因此对每个插值出来的点做处理:若“块内点”对应的位置有噪点，进而使用其对应的周围四个原始像素点的均值代替。判断是否为噪点，应由该“块内点”与上述均值相比，若差值超过一定阈值，即判定此块上点是噪点。若“块上点”对应的位置有噪点，方法同上。

图13 块内点

图14 块上点

此算法去噪后得到3X效果如图15所示。

图15 差分放大投影去噪3X效果图

4 结束语

本文提出一个快速定向插入器，其可以发现和利用任意边缘梯度来确定丢失像素的权重。此外，文中提出的“差分投影”方法可以提高一阶插值缺乏的连续性，使被插值的图像被迫连续。由于其适应性和一致性，所描述的定向插值器在不同的方向保护边缘。此算法不仅与其他自适应算法相比计算量较小，同时它可以扩展到任何整数放大比率。以此算法为基础，通过去除噪点对该算法进行优化，使得放大图像有更好的感性质量，给观察者一种更好的观察体验。

［1］ 赵荣椿．数字图像处理导论［M］．西安:西北工业大学出版社，1995．

［2］ 龚奕刚．图像放大算法研究［D］．无锡:江南大学，2008．

［3］ 王森，杨克俭．基于双线性插值的图像缩放算法的研究与实现［J］．自动化技术与应用，2008，27(7):44 －45．

［4］ Zhang L，Wu X．An edge － guided image interpolation algorithm via directional filtering and datafusion ［J］．IEEE Transactions on Image Process，2006，15(8):2226 －2238．

［5］ 杨云峰，苏志勋，胡金燕．一种保持边缘特性的图像插值方法［J］，中国图象图形学报，2005，10(10):47 －50．

［6］ 张雄，毕笃彦，杨宝强．一种保持图像边缘的插值方法［J］．空军工程大学学报，2007(3):78 －83．

［7］ 程光权，成礼智．基于小波的方向自适应图像插值［J］．电子与信息学报，2009，31(2):265 －269．

［8］ 江雯，陈更生，扬帆，等．基于Sobel算子的自适应图像缩放算法［J］．计算机工程，2010，36(7):214 －216．

［9］ 王民，文义玲．常用图像去噪算法的比较与研究［J］．西安建筑科技大学学报:自然科学版，2010，42(6):895－898．

［10］ Cao S，Jiang J，Zhang G，et al．An edge － based scale and affine invariant algorithm for remote sening image registration［J］．International Journal of Remote Sensing，2013，34(7):2301－2326．

［11］ Tang Y，Yuan Y，Yan P，et al．Single － image super－ resolution based on semi－ supervised learning［C］．Asian Conference on Pattern Recognition，2011，52 －56．

［12］ Hung K W，Siu W C．Fast image interpolation using the bilateral filter［J］．Image Processing IET，2013，6(7):877 －890．

［13］ Asamwar R S，Bhurchandi K，Gandhi A S．Successive image interpolation using lifting scheme approach ［J］．Journal of Computer Science，2010，6(9):961 －970．

［14］ Sun Jian，Xu Zongben．Gradient Profile Prior and Its Applications in Image Super－ Resolution and Enhancement［J］．IEEE Transactions on Image Processing，2011，20(6):1529－1542．