考虑局部自相似性的图像模糊去重仿真

程 亮

(内蒙古农业大学教务处，内蒙古 呼和浩特 010020)

1 引言

摄影图像在民用、测绘和军事侦查等邻域中有着广泛的应用[1]。无论是深空探测成像还是观察成像，近年来都得到了飞速发展，但摄影图像受摄影设备老化、环境条件等因素的影响，摄像机成像质量在一般情况下都不符合静态设计参数，容易出现摄影图像模糊的现象，在一定程度上对摄影图像的目标识别和图像解译产生了限制[2-3]。改进摄影设备是最直接的提高摄影图像分辨率的办法，但改进摄影设备的成本较高，在上述背景下提出了图像模糊去重方法[4]。

顾国华等[5]人提出基于亚像素模糊检测的图像模糊去重方法，该方法在任意方向中计算图像的模糊运动方向，根据计算结果获得模糊尺度，预设先验信噪比，通过多次迭代获得最优值，实现图像的模糊去重，该方法计算摄影图像的模糊尺度时，所用的时间较长，导致图像模糊去重所用的时间较长，从而导致去重效率降低。王灿进等[6]人提出基于光纹特征的图像模糊去重方法，该方法采集模糊图像样本，构建尺度金字塔，在尺度空间中挖掘摄影图像的光纹特征图像块，通过能量函数去除摄影图像中存在的噪声，在迭代复原的基础上实现图像模糊去重，该方法在尺度空间中挖掘摄影图像光纹特征图像块所用的时间较长，去重效率也很低。强钰琦[7]等人则提出基于块合成的图像模糊去重方法，该方法用“幸运度”描述摄影图像的清晰度，将“幸运度”引入构建的图像模糊图像中，通过基于图像块合成的方法在当前帧的时间窗内实现图像模糊的去重，该方法去重处理后的摄影图像清晰度较低，去重的效果很差。

上述方法中的图片模糊去重方法存在去重效率低或去重效果差的问题，为了解决这些问题，提出考虑局部自相似性的图像模糊去重的方法。

2 图像预处理

2.1 图像退化数学模型

存在很多原因会造成摄影图像的退化，通常包括点退化和空间退化两种类型[8]。造成空间退化的原因包括大气湍流、电子元件失常、对焦不准以及目标和图像传感器的相对运动。噪声即为点退化，容易产生在图像数字化和电子元件中。

设f(x，y)代表的是为清晰的未退化的摄影图像；h(x，y)代表的是点扩散函数，即模糊核；n(x，y)代表的是各种类型的噪声，通常包括椒盐噪声和高斯噪声。

图像退化模型的表达式如下

g(x，y)=f(x，y)⊗h(x，y)+n(x，y)

(1)

式中，⊗描述的是卷积运算。不考虑噪声产生的影响，且点扩散函数h(x，y)为已知的，可以通过反卷积运算获得清晰的摄影图像。

2.2 边缘提取方法

考虑局部自相似性的图像模糊去重方法在数值约束和梯度约束的基础上实现图像边缘的提取。建立摄影图像的梯度约束，用灰度图像代替模糊图像，在边缘检测的基础上获得梯度图像[9]。设el代表的是梯度模值；eo代表的是梯度方向，梯度强度在局部区域内的显著性边缘可以根据纹理强弱的不同计算得到

gx=ux(1+c1×cos2(eo)×el)

(2)

gy=uy(1+c1×sin2(eo)×el)

(3)

式中，gx、gy代表的是图像不同方向的显著性边缘；ux代表的是在x方向上输入模糊图像对应的梯度值；uy代表的是在y方向上输入模糊图像对应的梯度值；c1代表的是控制梯度增强程度。

较弱的显著性边缘增强力度与较强的显著性边缘值相比可以忽略[10]。在梯度约束的基础上构建模糊图像边缘提取模型，其表达式如下

w(m)=[Bx-gx]2+wi[By-gy]2

(4)

式中，wi代表的是梯度约束的权重系数；Bx代表的是x方向中的模糊图像像素值；By代表的是y方向上的模糊图像像素值。

将数值约束引入模糊图像边缘提取模型中，对模糊图像边缘提取模型进行优化

wi(m)=w(m)+(B-u)2

(5)

基于上述步骤，完成图像的预处理。为得到更清晰的图像，本文将在图像退化数学模型、图像边缘提取过程的基础上，进行图像模糊去重。

3 图像模糊去重方法

3.1 图像模糊去重重建

考虑局部自相似性的图像模糊去重方法在自相似性和局部回归的基础上重建摄影图像，实现图像的模糊去重。

由多个简单的局部图像结构构成摄影图像，可以通过有限个类型的显著基元描述摄影图像的结构[11]。

较低尺度图像中存在的显著结构与较高尺度图像中存在的显著结构是非常相似的，即局部的显著基元通常存在尺度不变性。

从图像块的角度出发，可以用局部回归问题代替图像模糊去重问题，即低分辨率图像块通过非线性的映射函数f映射到高分辨率的图像块空间中。

低频带图像块yl与高分辨率图像块xl之间在第l次放大过程中存在未确定的映射函数关系xl=f(yl)，设v代表的是低频带图像块yl对应的相似块，获得泰勒展开式

xl1=f(v)+∇fT(v)(yl-v)

(6)

映射函数f(v)=u通常是描述的是高分辨率图像块，与低频带图像块v相对应，u的取值根据局部图像存在的尺度不变性选自X0～Xl-1图像中的概率较高，考虑局部自相似性的图像模糊去重方法为了减少运算量，重建模型选择一阶回归

xl2≈u+∇fT(v)(yl-v)

(7)

分析上式可知，在局部一阶回归模型中只需要梯度函数∇f，不需要映射函数[12]。考虑局部自相似性的图像模糊去重方法采用主成分分析法对低频带图像块和高分辨率图像块进行学习，根据学习结果获得过完备字典，在较短的时间内通过稀疏表示方法获得映射梯度函数∇f。

在一阶回归模型中引入图像块样本对{yl-1，xl-1}，获得下式

xl3≈xl-1+∇fT(yl-1)(yl-yl-1)

(8)

对每个等待模糊去重处理的摄影图像块xl，在第l次放大时，获得样本块对{yl-1，xl-1}，在梯度映射函数字典的基础上获得∇f(yl-1)，通过上式获得高分辨率图像块xl。

一阶回归处理选取的J个非局部自相似块，减少回归变量，获得的结果通过权值进行平均组合

(9)

式中，wj代表的是权值，其计算公式如下

(10)

式中，γ代表的是正则化因子。

通过最小二乘估计法获得下式

(11)

在非局部自相似的基础上获得加权一阶回归模型，对图像块进行重建，获得高分辨率的图像块xl，实现图像模糊的去重重建。

3.2 字典学习

通过分辨率较高的摄影图像构建过完备字典Φh∈RM×K，其中M代表的是“原子”的大小；K代表的是“原子”的数量，可以通过过完备字典Φh原子的稀疏线性组合对待处理的摄影图像X中的任意块x∈RM进行表示

(12)

式中，α代表的是稀疏向量。

通过下式求解输入图像块y对应的稀疏解向量α*

(13)

式中，F描述的是特征提取算子。在稀疏向量的基础上对上式进行优化

(14)

图像特征根据上文的分析选择一阶梯度，即由一阶梯度滤波器组构成特征提取算子F，主要包括

(15)

特征提取算子F是在图像中应用上述滤波器组，获得响应组合，将式(12)转变为下式

∇f(yl-1)=Φhα*

(16)

(17)

(18)

通过训练样本子集Pk获得对应的子字典Φk，可以用子字典Φk描述训练样本子集Pk中存在的任意一个样本，在子字典Φk中需要尽可能的稀疏表示训练样本子集Pk，通过上述分析可知子字典Φk满足目标函数

(19)

式中，Λk描述的是在子字典Φk中训练样本子集Pk对应的稀疏表示系数矩阵。

4 实验结果与分析

4.1 实验环境

为了验证考虑局部自相似性的图像模糊去重方法的整体有效性，在Intel M460 I5双核处理器、主频为2.53GHz，内存为4GB的硬件环境中对考虑局部自相似性的图像模糊去重方法进行测试，本次测试所用的编程软件为VC++6.0。

4.2 去重所用时长分析

分别采用考虑局部自相似性的图像模糊去重方法、基于亚像素模糊检测的图像模糊去重方法和基于光纹特征的图像模糊去重方法进行测试，对比三种不同方法对图像模糊去重所用的时间，测试结果如图1所示。

图1 三种不同方法的去重时间

分析图1可知，在多次迭代中本文方法对图像进行模糊去重时，所用的去重时间均在1.0s以下；在多次迭代中亚像素模糊检测方法对图像进行模糊去重时，所用的去重时间在1.5-2.2s内波动；而基于光纹特征的图像模糊去重方法对图像进行模糊去重时，所用的去重时间在0.8-1.4s内波动。分析三种方法的测试结果可知，考虑局部自相似性的图像模糊去重方法对图像进行模糊去重时所用的时间最少，因为考虑局部自相似性的图像模糊去重方法在图像退化数学模型的基础上通过数值约束和梯度约束提取摄影图像的边缘，缩短了图像模糊去重所用的时间，提高了考虑局部自相似性的图像模糊去重方法的去重效率。

4.3 去重清晰度分析

分析本文过程可知，在进行图像去重前，需提取模糊图像的边缘，本文将在NYU2数据集中任意选取一张图像进行实验，如图2所示。并结合文章2.2节内容方法进行图像的处理，提取图像边缘，得到处理结果如图3所示。

图2 模糊图像

图3 模糊图像的边缘提取

在上述提取结果下，进行去重实验，同时为进一步验证本文方法的有效性及可行性，本文将分别与基于亚像素模糊检测的图像模糊去重方法和基于光纹特征的图像模糊去重方法进行对比实验，采用上述三种方法进行测试，对比三种方法的图像清晰度，测试结果如图4所示。

图4 三种不同方法的图像清晰度

图4(b)为考虑局部自相似性的图像模糊去重方法的测试结果，分析图4可知，对比考虑局部自相似性的图像模糊去重方法、基于亚像素模糊检测的图像模糊去重方法和基于光纹特征的图像模糊去重方法的测试结果可知，考虑局部自相似性的图像模糊去重方法的图像清晰度较高，图像清晰度越高表明方法的模糊去重效果越好，因为考虑局部自相似性的图像模糊去重方法根据图像局部自相似的特性实现摄影图像的模糊重建，提高了摄影图像的清晰度，同时，本文方法还进行了图像边缘提取，通过获取确定的图像边缘，为模糊图像的去重奠定了一定的实验基础。最后，经仿真验证了考虑局部自相似性的图像模糊去重方法的有效性。

5 结束语

图像在保存、传输和获取的过程中，容易受到散射、目标运动、对焦不准和大气扰动等因素的影响，降低摄影图像的质量，出现细节丢失和模糊的情况，无法准确的识别目标，因此需要对图像模糊去重方法进行研究。当前图像模糊去重方法存在去重效率低和去重效果差的问题，提出考虑局部自相似性的图像模糊去重方法，可在短时间内通过图像模糊去重重建提高图像的清晰度，解决了当前方法中存在的问题，为图像模糊去重技术和图像识别技术的发展奠定了基础。