人眼视觉感知模型指导的有理函数图像插值

刘一方12张云峰12郭 强12张彩明12

（1.山东财经大学计算机科学与技术学院，山东济南 250014；2.山东省数字媒体重点实验室，山东济南 250014）

人眼视觉感知模型指导的有理函数图像插值

刘一方1，2，张云峰1，2，郭 强1，2，张彩明1，2

（1.山东财经大学计算机科学与技术学院，山东济南 250014；2.山东省数字媒体重点实验室，山东济南 250014）

基于有理函数模型提出了一种新的自适应图像插值算法.此类有理函数具有简单显性数学表达式，且含有可调参数.当两个参数都等于1时，有理函数变为双三次插值函数.基于有理函数构造图像插值曲面，原始图像通过等值线分析自适应地分解为平滑和边缘两部分.其中自适应阈值根据有理函数构造原理来确定，思路是将人眼视觉感知与图像结构相融合，对于像素结构简单视觉关注度低的平滑区域，采用双三次插值.对于像素结构复杂视觉关注度高的边缘区域，采用有理插值处理，参数由人眼对比敏感特性来确定.实验表明，该算法细节信息保持优于当前经典的图像插值算法，具有较好的视觉效果.

有理函数；图像插值；人眼对比敏感度；等值线分析；参数自适应优化

图像插值是图像处理中的关键技术.低分辨率图像通过插值可以得到高分辨率图像，其主要目的是保持锐利的边缘和纹理，同时防止块现象、模糊现象等其他人工痕迹出现.文献［1-12］已经提出了一些插值方法.在这些算法中，最简单最常用的插值方法为传统插值，如最近邻、双线性、双三次和三次样条插值等.这些传统方法都具有相对较低的运算复杂度，但是根据核函数近似的效果会不同程度地引入走样、模糊、锯齿等.

为了解决上述问题，学者们提出了很多自适应图像插值方法.边缘指导插值方法［4］对图像放大有良好的视觉主观质量.但此方法由于协方差估计窗口固定，不能适应不同像素结构的变化.基于此，文献［5］提出一种可变窗口大小的插值方法，能够更好地适应像素结构.但这些基于协方差的插值算法普遍具有很高的运算复杂性［7］.文献［6］提出一种软决策的插值技术，这种方法不是一次估计一个未知像素，而是一次估计出一组像素.然而，大部分自适应的插值方法都是基于离散的思想来插值，不能够放大任意倍数，而且时间复杂度较之传统方法要复杂的多，这在图像的实际应用中是不方便的.

本质而言，图像插值是把离散图像采样数据还原为连续的灰度曲面.用连续函数对图像进行插值，可以在处理后重采样进行任意倍数的放大和旋转.学者们提出了很多构造连续面片的自适应插值方法，能够保持边缘和轮廓.例如，文献［8］提出一种基于自适应切触有理插值函数的插值方法，该自适应切触有理函数是对理想插值核函数的近似.最近，文献［11-12］研究了一类含参的双变量有理插值函数，该有理函数能够很好地反映图像中临近点的像素结构，并且能够在不改变插值数据的情况下通过调整参数来调整曲面的形状，在图像插值中可以保持较好的细节信息.

图像插值实际上是一个客观（图像）和主观（视觉感知）相统一的过程，人们越来越重视人眼视觉特性在图像插值中的作用.根据人眼视觉系统（Human Visual System，HVS），不同的图像结构会导致不同的观察效果.较之平滑区域，人眼对高对比度区域更加敏感.文中把图像插值与人眼视觉感知相结合，提出一种新的含参数的有理函数插值模型.在插值数据不变的条件下，通过改变参数可以调整插值函数的数值大小，改变插值曲面的形状.基于此有理函数进行图像插值，首先利用等值线分析将图像自适应地分解为平滑区域和非平滑（边缘）区域，分解阈值根据函数构造原理自适应选择.在图像的平滑区域，采用参数为1的有理插值（双三次插值）；在边缘区域，将有理插值函数与人眼视觉感知特性相匹配，自适应地调整优化有理函数的参数，以满足人眼对比敏感度的视觉需求.实验结果表明，自适应插值取得较好的主观效果和客观评价数值.

图1　有理函数图像插值模型图

1 背景知识

1.1双变量有理函数插值

文献［11-12］研究了基于函数值的含参双变量有理插值，这类插值函数具有分段的显式数学表达式，可以由基函数表示.给定一幅m×n的图像I，令fi，j（0＜i＜m，0＜j＜n）为I内i行j列的灰度值，像素坐标为（i，j）.对图像中的任意点fi，j，图1中矩形单位中的黑点所在面片的函数表达式为

其中，ωr，s（θ，α；η，β）=ωr（θ，α）ωs（ η，β），且

其中，ω0（η，β）=ω0（η，α），ω1（η，β）=ω1（η，α），ω2（η，β）=ω2（η，α）.ωr，s，r，s=0，1，2，被称作双变量插值函数的基函数.

1.2人眼对比敏感度

人类视觉系统（HVS）是一个高度复杂的非线性系统.人眼对于空间的不同对比度的敏感度是一个重要的感知问题.韦伯定理是视觉感知的基本原则.韦伯定理简单来说，即感觉的差别阈限随原来刺激量的变化而变化，即增加量阈值与原来强度之比是一个常数.文献［13］研究了由遵循韦伯定理的人眼阈上对比敏感函数导出的最优化视觉约束问题，人眼对比度的感知与局部亮度差异是有直接关系的，局部亮度差异表示为图像像素点的梯度.记C为局部对比度增强阈值，对比度感知变化为超出差别阈值，则∂C和C关系为∂CC=μ，其中μ是常数.这意味着要达到对比度增强可视效果，高亮度的区域需要更高的对比度增加值.文中把图像的局部对比度看做与图像的局部梯度是成比例的，即C∝∂I∂x，其中I表示图像，C是对比度.易知，一幅图像各个部分要达到相同的对比度感知增强，大的梯度比小梯度区域需要有更多拉伸.实际上，拉伸应该遵循对比度增强与原始梯度成比例这一原则.因此，∂I′∂x≥（1+μ）（∂I∂x），其中，I′是对比度增强图像.

2 基本算法

一般而言，插值处理速度和插值质量之间总是矛盾的.常用的方法是在不同的区域采用不同的插值函数.但大部分混合算法采用的区域检测方法不是基于插值函数.由于图像具有自然属性，它内在的属性在不同程度上不可避免地受所用方法的影响.不一致的边缘检测算法和插值算法可能会破坏图像的内在自然属性.因此，笔者首先提出一种新的插值模型来解决这个问题，边缘区域和平滑区域的检测模型是基于此插值模型的.然后针对检测出来的不同区域，选定不同的参数进行插值.

2.1图像自适应分解滤波

对图像来说，平滑区域像素结构相对简单，而边缘区域像素结构复杂，保存了丰富的信息，是图像中最重要的区域，对图像质量有很大的影响.因此，插值算法要适应边缘区域复杂的像素结构.为了平衡插值质量和处理速度，笔者把图像分解为平滑区域和边缘区域两部分.

文中从插值函数的构造模型出发，基于等值线绘制的原理，在每一个插值单位中绘制等值线.若在一个插值单位中存在等值线，则此部分就被认为是边缘区域；反之，则认为是平滑区域.当插值数据之间像素灰度值相差比较大时，面片的起伏会比较大，就把起伏较大的面片定义为边缘区域.图像不同区域划分的阈值为给定9个数据点的均值，自适应检测阈值λ为

其中，fr，s为给定数据集.

令Δxm，n=fm，n-λ，m，n=0，1，根据等值线分析，如果Δxm，n都是非正或非负，此区域就被认为是平滑区域；反之，则是边缘区域.因此，可以通过等值线分析自适应地对图像进行分解滤波.

图2表示在一个插值单位中，若4个顶角的符号不同，就属于边缘区域.为了防止二义性，在插值单位足够小的前提下，假设在一个插值单位中最多有一个零点.

图2　基于正负号的图像边界检测示意图

2.2基于人眼对比敏感度的参数最优化

将图像分解滤波得到的边缘区域，采用人眼对比敏感度进行参数最优化插值，对于每4个点组成的最小插值单元，都能够建立一个由基函数表示的有理样条插值函数P.因此，可以求得4个点组成曲面的梯度grad（P）.由1.2节可知，对于图像来说要想满足韦伯定理，梯度大的地方要有更大的拉伸.但文中为了增大局部对比敏感度，参数优化方法为求得每个插值曲面梯度最大的α和β，使每一个面片的梯度符合人眼视觉感知对比度增强原理.

以下给出最大梯度max grad（P）的计算过程.曲面梯度可表示为

易得

上式可以表示为其等价形式max grad（P），s.t.α＞0，β＞0.从而求得α和β的数值.

需要指出的是，若最优化后的参数在（x*，y*）点处P取得最大值P*，且P*＞255，P要重新定义为255PP*.这是因为对曲面的调整是有约束的，这是由曲面本身的构造函数决定的.

3 实 验

3.1曲面梯度控制

从人眼视觉感知敏感度出发，调整每个面片的梯度使之达到梯度最大，以符合人眼视觉感知对比度增强的效果.下面，讨论不同的参数取值对曲面梯度的影响.给定一组数值:

在通常情况下，α和β的值可以选择任意正实数.令α=4.0，β=1.0，形成的曲面记做P1，图3（a）为P1的插值曲面.显然，当参数不同时，曲面的形状也会相应地改变，因此，曲面的梯度也会不同.通过计算可知，当α=0.01，β=4.21时，曲面梯度达到最大，记最优曲面为P2.图3（b）为P2的曲面形状.图3（c）和图3（d）分别对应图3（a）和图3（b）曲面中当y=0时的曲线形状.对比可知，图3（b）比图3（a）更加陡峭，梯度更大.因此，可以通过调整参数控制曲面的弯曲程度以达到最大梯度，这样更符合人眼对比敏感度规则.

图3　曲面梯度控制示意图

3.2图像插值

如上文所述，通过函数模型绘制在一个单元区域内的等值线，区分出图像的平滑区域和边缘区域.平滑和边缘区域可以通过选择同一个插值模型的不同参数来处理.在边缘区域，需要对有理插值函数的参数自适应优化处理，使得曲面的梯度达到人眼对比敏感度增强目的.笔者选取6张图像作为测试图像.比较的算法是被很多文献引用且比较过的算法:NEDI［4］，DFDF［7］，SAI［6］.

表1　不同算法客观质量评价数值

把高分辨率图像下采样得到对应的低分辨率图像，下采样方法为隔行隔列下采样.峰值信噪比（Peak Siginal to Noise Ratio，PSNR）是对图像平均的质量评价，所以首先采用PSNR对图像进行客观评价.而基于结构相似性（Structural SIMilarity，SSIM）评价是一种基于视觉感知的质量评价方法，IW̠SSIM评价方法是反映主观感知的客观质量评价方法，也广泛应用在图像质量评价中.表1不同算法分别把低分辨率图像重建为高分辨率图像的PSNR，SSIM和IW̠SSIM值.从数据上可以看出，在表1中，文中算法的平均PSNR，SSIM和IW̠SSIM值是最高的.

PSNR和SSIM仅仅只是图像客观数值误差的比较，也应该考虑算法的主观效果.图4～图6为各种算法对Lighttower，Couple和Dollar这3个图中局部细节的插值效果.从图中可以看出，NEDI和SAI算法在栏杆，门等部分出现了噪点和变形，如图4和图5所示.在图5中，NEDI和SAI算法花瓶内的花细节信息严重丢失.在图6中，NEDI，DFDF和SAI算法使衣服上的纹理严重变形.与NEDI和SAI算法比较，文中算法有较好的视觉效果.而相对于DFDF算法，虽然视觉效果差不多，但是文中算法客观质量评价数值要好.尽管文中算法在时间复杂度上要高于比较算法，但有较好的图像客观质量评价数值.所以，总体来说文中算法占优势.

图4　Lighttower图像比较图

图5　Couple图像比较图

图6　Dollar图像比较图

4 结 论

文中提出一种基于含参有理函数的视觉感知自适应插值算法.根据人眼对不同像素结构的敏感度不同，自适应地将图像分解为平滑区域和边缘区域.分解阈值通过有理函数构造模型自适应选择.在平滑区域采用参数都为1的有理插值；边缘区域采用最优化有理函数参数的方法，使插值曲面满足人眼对比敏感度要求.文中很好地将图像像素结构与人眼感知插值融合在一个模型里，整个插值过程是一个有机整体，能够最大限度地保护图像内在自然属性.含参有理函数的优势在于通过人眼感知规律来调节参数，以满足人眼复杂的观察要求.实验证明，该算法具有良好的主观和客观效果.

［1］杨贞萍，牛海军，丁磊.一种新的NSCT超分辨率图像复原技术［J］.西安电子科技大学学报，2012，39（1）:34-37. YANG Zhenping，NIU Haijun，DING Lei.New Image Super-resolution Restoration Method by NSCT［J］.Journal of Xidian University，2012，39（1）:34-37.

［2］WANG L F，XIANG S M，MENG G F，et al.Edge-directed Single-image Super-resolution via Adaptive Gradient Magnitude Self-interpolation［J］.IEEE Transactions on Circuits and Systems for Video Technology，2013，23（8）:1289-1299.

［3］DONG W S，ZHANG L，LUKAC R，et al.Sparse Representation Based Image Interpolation With Nonlocal Autoregressive Modeling［J］.IEEE Transactions on Image Processing，2013，22（4）:1328-1394.

［4］LI X，ORCHARD M T.New Edge-directed Interpolation［J］.IEEE Transactions on Image Processing，2001，10（10）: 1521-1527.

［5］ASUNI N，GIACHETTI A.Accuracy Improvements and Artifacts Removal in Edge based Image Interpolation［C］// Proceedings of the 3rd International Conference on Computer Vision Theory and Applications:1.Setubal:Institude for Systems and Technologies of Information，Control and Communication，2008:58-65.

［6］ZHANG X，WU X.Image Interpolation by Adaptive 2-D Autoregressive Modeling and Soft-decision Estimation［J］. IEEE Transactions on Image Processing，2008，17（6）:887-896.

［7］ZHANG L，WU X.Image Interpolation via Directional Filtering and Data Fusion［J］.IEEE Transactions on Image Processing，2006，15（8）:2226-2238.

［8］HU M，TAN J Q.Adaptive Osculatory Rational Interpolation for Image Processing［J］.Journal of Computational and Applied Mathematics，2006，195（1）:46-53.

［9］WANG Q M，SHI W Z.Utilizing Multiple Subpixel Shifted Images in Subpixel Mapping with Image Interpolation［J］. IEEE Geoscience and Remote Sensing Letters.2013，11（4）:798-802.

［10］TANG Y，YUAN Y，YAN P，et al.Greedy Regression in Sparse Coding Space for Single-image Super-resolution［J］. Journal of Visual Communication and Image Representation，2013，24（2）:148-159.

［11］ZHANG Y F，BAO F X，ZHANG C M，et al.A Weighted Bivariate Blending Rational Interpolation Function and Visualization Control［J］.Journal of Computational Analysis and Applications，2012，14（7）:1303-1321.

［12］SUN Q H，BAO F X，ZHANG Y F，et al.A Bivariate Rational Interpolation Based on Scattered Data on Parallel Lines ［J］.Journal of Visual Communication and Image Representation，2013，24（1）:75-80.

［13］MAJUMDER A，IRANI S.Perception-based Contrast Enhancement of Images［J］.ACM Transactions on Applied Perception，2007，4（3）:17-39.

（编辑:李恩科）

Rational function for image interpolation based on human contrast sensitivity

LIU Yifang1，2，ZH ANG Yunfeng1，2，GUO Qiang1，2，ZH ANG Caiming1，2
（1.School of Computer Science and Technology，Shandong Univ.of Finance and Economics，Ji’nan 250014 China；2.Shandong Provincial Key Lab.of Digital Media Technology，Ji’nan 250014，China）

A new image interpolation algorithm based on the rational function model with both smoothing and surface constraints is proposed.The rational function has a simple and explicit expression with two parameters.The image edge regions can be detected adaptively by using contour analysis.Basically，the detective threshold is selected based on the rational function construction.Selecting different parameters in the rational function model，the edge regions and smooth regions are interpolated by bicubic interpolation and rational interpolation，respectively.The optimal rational interpolation parameters can be obtained with a set of exact solutions by solving a maximization problem based on the contrast sensitivity enhancement of human eyes.Experimental results demonstrate that the proposed method achieves competitive performance with the state-of-the-art interpolation algorithms，especially in image details features.

rational interpolation；image interpolation；human contrast sensitivity；contour analysis；adaptively optimize parameters

TP391.41

A

1001-2400（2016）01-0151-06

10.3969/j.issn.1001-2400.2016.01.027

2014-10-11 网络出版时间：2015-04-14

国家自然科学基金资助项目（61373080，61202150，61202364）

刘一方（1990-），女，山东财经大学硕士研究生，E-mail:sdliuyifang@163.com.

网络出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20150414.2046.027.html