基于图像先验和结构特征的盲图像复原算法

干宗良，邱一雯，朱秀昌

(南京邮电大学通信与信息工程学院，南京 210013)

0 引言

图像模糊造成图像的主观质量下降，影响图像的清晰度。目前，大部分的去模糊算法是将图像模糊建模为原始图像与一个模糊核线性卷积的过程。因此图像去卷积的过程就是模糊图像复原的过程。当模糊核已知时，就是对模糊图像用已知的模糊核进行去卷积，这种方法称为非盲去卷积法。但实际中，模糊核大都是未知的，那就需要在去卷积的过程中同时估计模糊核，这样的方法称为盲去卷积。

模糊图像的盲去卷积是一个比图像复原更加病态的问题，仅由一个观测到的模糊图像要估计出两个未知量——去模糊图像和模糊核。部分盲去卷积方法是通过输入多幅图像来实现的，如Rav-Acha［1］需要同时输入两幅运动模糊图像;Yuan［2］则是输入一幅模糊图像和一幅噪声图像。一些方法是利用外加的硬件，如Ben-Ezra［3］把一个低分辨率的摄像机附在一个高分辨率的摄像机上，依靠摄像机来记录模糊核的运动轨迹。另外还有部分算法利用了图像的先验信息，如Fergus［4］对图像的长拖尾先验分布进行零均值的高斯混合分布拟合，再采用变化的贝叶斯估计出复原图像和模糊核。虽然复原图像的主观质量较好，但算法需要用户在模糊图像中划出一个小块，并输入模糊核大小，最终的去模糊效果与用户的这两个输入有关。Shan［5］在利用图像先验知识的同时，通过迭代的方法交互估计去模糊图像和模糊核，这类方法针对一类模糊，且计算时间较长。

针对模糊核参数未知的情况，对模糊核参数进行离散化，规避模糊核的估计，利用离散化的模糊核参数对模糊图像进行去卷积，得到对应各离散模糊核参数的复原图像序列。在最大后验概率框架下，充分利用图像的先验知识和图像结构特征，针对复原图像存在的模糊、振铃等现象，提出一种复原图像的判决准则，通过对复原图像序列的判决，从中选择出质量最优的复原图像。本文提出的盲复原算法消除了由于模糊核估计不准确造成的复原效果不理想的情况，且无需用户输入信息，另外，该计算方法无迭代，减少了复杂度。

1 基于图像先验和图像结构特征的模糊图像盲复原算法

1.1 问题描述

图像的模糊降质过程可用下面的数学模型来描述

式中，x是原始清晰图像;H是模糊核;y是模糊图像;n是噪声。

由式(1)可以看出，从模糊图像y恢复出清晰图像x的去卷积过程是一个典型的病态问题。而直接估计模糊核H又比较困难，且准确度也不能较好的保证。若采用迭代的方式同时估计模糊核和复原图像则较容易产生过拟合现象。基于上述问题，从另一角度出发，将表征模糊核函数的模糊核参数进行离散化，避免由模糊核估计所带来的一系列问题。

1.2 提出的盲复原算法

假设由模糊核参数表示的模糊核函数为

式中，p为模糊核参数。

所提出的盲复原算法首先将模糊核参数进行离散化，即

式中，pi为离散化的模糊核参数。

然后对模糊图像y采用由不同的模糊核参数得到的模糊核进行去卷积，得到对应的一系列复原图像 X={x1，x2，x3……xn}，然后，利用本文提出的复原图像判决准则，从复原图像序列中选出最优的复原图像x*。盲复原算法的流程框图，如图1所示。

图1 提出的盲复原算法流程框图

1.3 基于最大后验估计的复原图像判决准则

已知模糊图像y及由n个模糊核参数{pi，i=1，2，3……，n}去卷积得到的复原图像序列 X={x1，x2，x3……xn}，从中选出最优的复原图像x*，其最大后验估计(MAP，maximum a posteriori)的求解目标函数为

根据贝叶斯公式，式(4)可转化为

对于同一幅模糊图像y，P(y)固定不变，所以式(5)可简化为

对上式右边取对数，其单调性不变，最终可得

上式的数学理解为，使得式logP(x)+logP(y|x)最大的复原图像x即为模糊图像y的最优的复原图像x*。

上式的物理理解为，P(x)表示复原图像的保真度;P(y|x)表示复原图像与模糊图像的相似程度。当复原图像x保真度较高且与模糊图像y具有较大相似度时，该复原图像即判断为最优的复原图像x*。

由于去卷积后的图像会存在模糊、振铃等现象，因此复原效果较好的图像应具备模糊度小、振铃小且与模糊图像在内容上有相似性的特点。本文采用三个指标来衡量复原图像的复原效果:(1)基于图像梯度统计特性的模糊度描述指标，定义为D;(2)描述复原图像振铃现象的指标，定义为R;(3)采用变化后的基于梯度的结构相似度［6］指标来衡量复原图像与模糊图像的相似程度，定义为G。其中前两个指标对应于MAP框架，即式(6)的前项P(x)，第三个指标则对应于后项P(y|x)。

最后，由三个描述指标进行简单的加权求和，得到本文的复原图像判决准则E

式中，λ1，λ2是权重系数。

1.3.1 图像的梯度分布特性D

在实际中，虽然自然图像的场景千变万化，内容各不相同，但Field［7］研究发现:自然图像的梯度统计特性普遍遵循一个长拖尾的分布(a heavy-tailed distribution)，即自然图像梯度的幅度值主要为零或者很小，图像中边界、边缘处梯度的幅度值较大，形成一个长拖尾的分布。而模糊的自然图像，由于图像的边界和边缘被模糊了，强边缘边界已经丢失，无较大的梯度幅度值，因此模糊图像的梯度幅度值几乎都集中在零值周围，不满足长拖尾分布。

图2的(a)和(b)分别是一幅自然图像和一幅模糊图像。(c)是它们的梯度幅度分布。从图中可以看出，清晰图像的梯度幅度值满足长拖尾分布，而模糊图像的梯度幅度值分布无长拖尾，且模糊程度越大梯度幅度值分布就越集中在零值周围，拖尾也越短。

图2 自然图像与模糊图像

这里利用图像梯度的这一统计特性，来衡量图像的模糊程度。

首先，计算复原图像水平和垂直方向上的梯度，对水平和垂直梯度图像分别计算其对数的分布。然后，分别对两个分布进行简单的指数函数拟合，设拟合函数为f(d)，d为梯度，如图3所示，图中，星星点是梯度分布取对数后的散点图，曲线是这些散点的拟合曲线。

图3 图像梯度对数分布的曲线拟合图

这里，将复原图像清晰度指标D定义为D=－f(d*)，即拟合函数f(x)在梯度值为d*处的函数值的负数，D很大时图像很模糊。

1.3.2 复原图像的振铃程度R

大部分的模糊图像在去卷积后会产生振铃现象。复原图像产生振铃现象的因素有很多，包括去卷积算法的参数不同、去卷积算法假设的图像表示模型和实际图像之间的误差，以及模糊图像本身受噪声污染等。

为了说明图像的振铃现象，严重的振铃图像如图4所示。从图中容易看到边缘附近出现与原图边缘形状相同的重复振荡纹理。而这种在复原图像中出现的振铃现象在原清晰图像中是不存在的。因此，振铃现象严重影响复原图像的主观质量。

图4 复原图像的振铃现象

这里采用对边缘图像平行曲线统计的方法［8］，来衡量复原图像的振铃强度。

Step1.对去模糊图像进行边缘检测，得到边缘二值图像B。

Step2.采用共生向量来测度B的平行振铃曲线。

二值图像的共生向量定义为

式中，r是距离范围，在像素点的r距离范围内测度该像素点的平行振铃曲线;ω是扫描方向。这里对B在四个方向(ω=0，3)上进行共生向量C扫描。

Step3.对四个方向的共生向量值进行求和并归一化，得到衡量复原图像振铃强弱的指标R

式中，H和W分别是图像的长和宽。容易看到，R越小振铃现象越弱。

1.3.3 图像相似程度G

前面提出的两个指标——清晰度指标D(表征图像的模糊程度)和振铃指标R(表征图像振铃强弱)是从复原图像本身提取的。但对于部分复原图像，如图5所示，主观上很容易看出图5(a)的复原效果优于图5(b)，但两幅图计算得到的振铃指标R相差不大，图(b)的清晰度指标D甚至优于图(a)。这主要是因为图(b)具有更多的非正常细节，这样就不能准确地判决出最优的复原图像了。因此，还需要一个指标来衡量复原图像与模糊图像结构上的相似度，结合指标D和R共同判决最优解。

图5 复原图像比较

这里采用基于图像结构信息的图像质量评价方法［9］(SSIM，structural similarity)。这种方法是有参考的图像质量评价。将已知的模糊图像设为参考图像，评价复原图像与模糊图像之间的相似程度。由于基本的SSIM对图像边缘、跳变、纹理处的结构信息不敏感，在这里并不能很好的衡量模糊图像与复原图像的相似度，所以本文采用改进的基于梯度的SSIM 评价方法［6］(GSSIM，gradient based structural similarity)。基于梯度的结构信息评价方法对图像的边缘纹理敏感，适用于这里所遇到的问题。

Step1.提取复原图像和模糊图像的梯度信息，得到梯度图像x'和y';

Step2.对两幅梯度图像进行SSIM的评价，得到梯度结构相似度评价指标GSSIM，具体见文献［6］。GSSIM越大，两幅图像的相似度越大。

图像相似程度描述G=1－GSSIM(且令G满足0≤G≤1)是衡量模糊图像与复原图像之间的差异程度指标，G越小，两幅图的差异越小，即越相似。

2 实验结果与分析

为验证本文提出的盲复原算法的有效性，实验对Lena(512×512)、Boat(512×512)、Barbara(512×512)和Hill(512×512)等标准图像进行测试，算法在Matlab7.0平台上实现。

实验采用三种非盲复原算法，分别是:近几年较为流行的基于图像块匹配的三维滤波算法(简称BM3DDEB)［10］，正则化滤波算法和经典的 Wiener滤波算法［11］。实验对高斯模糊和运动模糊两种常见的图像模糊进行复原。以高斯模糊为例，首先对测试图像加高斯模糊，高斯模糊窗口固定为25，强度为σadd，然后用离散化的高斯模糊核参数，实验中设定为 σ ={0.5，1，1.5，2，2.5，3，3.5，4，4.5，5，5.5，6，6.5，7，7.5，8，8.5，9，9.5，10}依次作为非盲去卷积算法的输入参数，得到相应的复原图像X={x1，x2，x3……x20}。最后利用本文提出的复原图像判决准则衡量各复原图像质量，得到最优的复原图像x*，x*所对应的高斯模糊参数σ即为所选择的高斯模糊强度。运动模糊图像的实验类似。在进行了大量的统计实验后，将判决准则的加权系数设为λ1=0.31，λ2=0.61。

本算法利用以上三种不同非盲复原方法对受不同程度高斯模糊的图像复原结果的客观评价和所选择的σ，见表1。实验中BM3DDEB代码在http://www.cs.tut.fi/～ foi/GCF-BM3D 上下载得到，正则化算法和Wiener滤波算法直接采用Matlab中的函数。

由表1可以看出，本文的算法选择的σ接近于σadd，即使采用不同的非盲复原算法，本算法在选择σ上都较理想。另外，判决得到的最优复原图像与原始清晰图像的PSNR和SSIM与非盲复原算法本身的去卷积效果有关，如BM3D和Wiener滤波处理高斯模糊效果较好，因此采用这两种方法作为本算法的非盲复原算法在客观指标上较正则化滤波法好。通过大量实验，本算法在选择σ上的准确度在80%以上。

表1 三种非盲复原算法应用于本文算法复原高斯模糊的复原图像客观效果

下面，将本文提出的盲复原算法与文献［5］、文献［12］的运动模糊盲复原算法进行主观质量比较。本实验中，文献［5］和文献［12］的算法直接使用他们在网上提供的可执行程序，且均采用默认参数进行实验，同时采用BM3D作为本文算法的非盲复原算法。

图6是对Lena图加水平方向的运动模糊，长度为9。可以看到，文献［12］的复原图像有纹影，且模糊仍存在。文献［5］的复原图像存在振铃现象，特别是图像的左侧边缘部分、帽子边缘、头发等处。而本文的算法准确寻找到了最优图像，图像的主观效果较理想。

图7是对Barbara图加垂直方向的运动模糊，长度为21。可以看到，当模糊较大时，文献［12］，文献［5］的复原图像出现块现象，复原效果不是很理想，这主要因为这两种算法是要估计模糊核的，而模糊核估计不够准确，影响了复原效果。本文的算法由于是寻找最优图像，避免模糊核估计，因此采用较好的非盲复原算法就能得到质量较高的复原图像。

图6 Lena图复原结果比较

图7 Barbara图复原结果比较

3 结语

提出的盲复原算法，将模糊核离散化为一系列模糊参数，避免了由图像模糊核估计带来的负面影响。同时，利用图像的先验知识和复原图像结构特征提出一种复原图像的判决准则，对得到的一系列复原图像进行质量判决，选择出最优复原图像。实验结果表明，所提出的基于图像先验和图像结构特征的盲复原算法，能有效的处理常见的图像模糊问题，对使用的非盲复原算法无具体要求，适用广泛，且复原图像在主观和客观质量上均有良好表现。另外，提出的算法无需迭代，复杂度不高。但由于受图像本身内容及评价准则的权重系数设定影响，该算法在选择模糊核参数的准确率上还存在一定的问题，因此下面的工作将进一步研究复原图像的评价准则，以期在准确率上有改进。

［1］RAV-ACHA A，PELEG S.Two Motion Blurred Images are Better than One［J］.Pattern Recognition Letters，2005，26(3):311-317.

［2］YUAN L，SUN J，QUAN L，et al.Image Deblurring with Blurred/Noisy Image Pairs［C］//In SIGGRAPH，2007.

［3］BEN-EZRA M，NAYAR S K.Motion-Based Motion Deblurring［J］.TPAMI，2004，26(6):689-698.

［4］FERGUS R，SINGH B，HERTZMANN A，et al.Removing Camera Shake from a Single Photograph［J］.ACM Trans.Graph.2006，25(3):787-794.

［5］SHAN Q，JIA J，AGARWALA A.High-Quality Motion Deblurring from a Single Image［J/OL］.ACMTrans.Graph，(2008-08-15).http://www.cse.cuhk.edu.hk/～ leojia/projects/motion deblurring/index.html

［6］杨春玲，陈冠豪.基于梯度信息的图像质量评判方法的研究［J］.电子学报，2007，35(7):1313-1317.

［7］FIELD D.What is the Goal of Sensory Coding?［J］.Neural Computation，1994，6(4):559-601.

［8］左博新，明德烈，田金文.盲复原图像振铃效应评价［J］.中国图象图形学报 A，2010，15(8):TP753.

［9］WANG Z，BOVIK A C，SHEIKH H R.Image Quality Assessment:from Error Visibility to Structural Similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600-612.

［10］DABOV K，FOI A，EGIAZARIAN K.Image Restoration by Sparse 3D Transform-domain Collaborative Filtering［C］//Proc.SPIE Electronic Imaging，2008.

［11］WIENER N.Extrapolation，Interpolation，and Smoothing of Stationary Time Series［M］.MIT Press，1964.

［12］XU L，JIA J.Two-Phase Kernel Estimation For Robust Motion Deblurring［C］//In European Conference on Computer Vision(ECCV’10)，2010.