混合非凸非光滑正则化约束的模糊图像盲复原

耿源谦，吴传生，刘 文

（1. 武汉理工大学理学院，武汉430070； 2. 武汉理工大学航运学院，武汉430063；3. 交通物联网技术湖北省重点实验室（武汉理工大学），武汉430063）

（∗通信作者电子邮箱wenliu@whut.edu.cn）

0 引言

在图像的成像过程中，由于成像设备与被拍摄物体之间的相对运动等原因，获得的图像会存在一定的模糊现象。近年来，随着便携式成像设备在日常生活、医疗、通信、视频监控、太空探索等各个领域的广泛应用，如何从捕获到的模糊图像中复原出清晰图像，从而为其他领域提供高质量的图像成为了图像处理领域亟待解决的问题。因此，研究图像复原有着重要意义。

图像复原根据模糊核是否已知可分为非盲复原和盲复原。图像非盲复原是已知模糊图像和模糊核的情况下，估计出清晰图像；而盲复原则是仅由观测到的模糊图像复原出清晰图像。在实际生活中得到的模糊图像的模糊核往往是未知的，所以图像盲复原更加符合实际情况。图像盲复原是一种病态的反问题，为解决此类不适定问题，往往需要借助一些额外的先验知识对模糊核和清晰图像进行正则化约束。因此，建立合适准确的正则项是正则化方法成功的关键。

早年间一些方法认为，大多数清晰图像的梯度近似服从一种严重的重尾分布，而模糊图像梯度不具有这样的分布，并将该性质作为清晰图像的正则化约束进行图像复原［1-2］。Fergus 等［1］在多尺度复原框架下提出一种零均值的混合高斯分布来近似图像梯度重尾分布的特性；同时，采用混合指数分布来拟合模糊核的稀疏性。Shan等［2］提出一种分段函数的方法来近似这种重尾分布；然后对模糊核采用L1范数进行稀疏约束。2011 年，Krishnan 等［3］利用L1/L2范数对自然图像梯度添加正则化稀疏先验，而对于模糊核则采用与Shan 等［2］相似的方法来约束模糊核的稀疏特性。2016年，Pan等［4］发现模糊图像的暗通道不具有稀疏性，提出了基于暗通道的图像先验。随后，Yan 等［5］在暗通道基础上结合图像亮通道，提出了混合亮暗通道先验。近年来，基于图像梯度的稀疏性，常利用图像梯度的L0范数［6-9］来加强模糊核估计的精度，这种方法模型简单，在保证精度的同时还提升了运算速度。但进一步研究发现，不仅一阶图像梯度存在稀疏性，二阶情况下也同样存在［10-13］。除了基于正则化的图像复原方法，深度学习作为一种有效的工具已被应用到模糊图像复原问题当中［14-18］。这一方法需要大量的样本数据，因不同场景下的模糊图像复原问题存在较强的特异性，很大程度上限制了深度学习方法在模糊图像盲复原领域的应用。同时，基于深度学习的模糊图像复原方法不能够有效处理模糊程度较大的情况。因此，本文将基于图像先验的正则化方法开展模糊图像盲复原研究。

客观地说，研究“动点路线问题”就是追踪点的运动路线，这种路线就是符合某些条件的所有点的集合，本质上就是轨迹问题.初中“点的集合”体现在两个方面：一个方面是平面几何中的“集合”，如角平分线、线段垂直平分线、圆(或圆弧);另一方面是“函数的图像”，坐标满足一定函数关系的点的集合就是该函数的图像，初中主要有“一次函数—直线”、“反比例函数—双曲线”和“二次函数—抛物线”.

综上分析，现存方法大多对清晰图像只进行了单一的正则化约束，因此不能准确地表达出其内在特性，从而降低了复原图像的质量。针对此问题，本文提出一种混合正则化约束的模糊图像盲复原方法。大量的实验结果说明所提方法在定量和定性评价指标上都具有更好的性能。

1 混合正则化模糊核估计模型

图像模糊退化过程的数学模型为:

其中:B 表示模糊图像；I 为清晰图像；k 为模糊核；n 为加性噪声；“∗”表示卷积算子。由于图像盲复原是一类病态反问题，现存方法常利用图像的先验知识来改善其不适定性。其中基于极大后验分布（Maximum a-Posteriori，MAP）框架下的模糊核估计模型为:

其中:γ，λ 为正则项参数；D(I，k，B)为数据拟合项；Φk(k)和ΦI(I)分别为模糊核和清晰图像的先验分布。由式（2）可知，如何正确选取模糊核和图像的先验知识是基于MAP 框架下复原技术的关键。

1.1 模糊核估计模型

首先，结合模糊核稀疏性的特点，采用模糊核L0范数正则项对模糊核进行稀疏约束，与现有的模糊核稀疏约束方法［2-3］相比，本文则采用L0范数进行稀疏约束。众所周知，L0范数可以很好地解释稀疏性，但由于L0范数在优化上存在非凸和非光滑的特性，现存很多方法都将L0范数转化为它的最优凸近似L1范数进行求解。为解决L0范数最小化的NP问题，本文采用交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）将其化为几个简单的子问题，该算法能够保证每个子问题都有闭合解，进而估计出准确的模糊核。然后，基于图像梯度的稀疏性，提出了混合梯度稀疏约束的方法，即混合一阶和二阶图像梯度的L0范数。与单一的稀疏约束方法相比，本文算法能较好地保留图像结构特征和细节。混合正则化的模糊核估计模型如下:

本文提出的模糊核估计方法基于传统的MAP 框架，因此可分为如下两步来计算:1）模糊核估计；2）清晰图像梯度估计。

《燕丹子》以在秦汉之际流传颇广的荆轲刺秦故事为题材，叙述战国燕太子丹为报质秦之仇和解社稷之危，募得壮士荆轲入秦，陛刺秦王。主要情节可分为逃归、募士、刺秦三节，涉及有名有姓的人物达10人之多，而以太子丹和荆轲为主。

上述样品均加溶剂适量，机械振摇至分散均匀，再超声处理10 min使溶解，放冷，用溶剂稀释至刻度，摇匀，离心，滤过，取续滤液进样，记录色谱图。

1.2 数值计算

1.2.1 模糊核估计

国内高校旅游管理专业中，重点本科院校以理论学习为主，旅游管理专业所涉及的管理类课程较多，专业课程也基本以基础课为主，注重培养学生的学术科研思维，培养学生的管理能力，实践环节所占的比重比较低，缺少实习过程，如华东师范大学、厦门大学等。招收普通本科的院校基本都采取了理论学习与实践相结合的方式，人才培养方案当中实践教学所占比重在30%左右，多数学校采用“理论学时+实验学时”的课程安排，注重实习尤其是顶岗实习的作用，让学生走进企业，直接参与企业的生产管理活动，如临沂大学、潍坊学院等。

对两组患者在临床治疗过程中的血糖情况进行检测和比较，同时对患者的神经疼痛度通过VAS评分[5]进行评价，最高为10级，等级越高表示疼痛度越高[6]。同时对患者的血糖指标情况进行对比，从护理前后的餐后2小时进行比较。对患者的用药依从性进行对比，其中用药依从性采用本院自制依从性评定量表进行评定，总分100分，依从性等级分为3级，分为完全依从（70～100分）、部分依从（40～70）和不依从（0～40分）三个等级，分数越高表示患者的依从性越高，在临床上能够更好的按照医生的要求来进行相关的活动。

在模糊核估计过程中，给出已知的∇It，模糊核在第t + 1次的外部循环中的优化问题等价于求解如下问题:

为获取此非凸非光滑优化问题的最优解，采用ADMM［19］对其进行求解。首先引入辅助变量w，将此无约束优化问题（4）转化为如下的带约束优化问题:

此时，可得此带约束优化问题（13）的增广拉格朗日函数为:

为适应药物制剂学的发展需要，本校在药学、中药学、临床药学三个本科专业同时开设了药用高分子材料学课程。本课程主要研究各种药用高分子材料的来源、制备、结构与性质、应用等内容，为药物新剂型设计与新剂型处方提供新型高分子材料和新方法。该课程在大四第一学期设置，旨在使学生了解药用高分子材料学的基本理论和药物研发、药品生产中常用的高分子材料的性能和应用，初步利用相关知识理解和研究高分子材料在一般药物制剂、缓释制剂、控释制剂及新型药物传递系统中的应用；进一步加深学生对药剂学课程的学习与实践，深入理解高分子材料在药品研发和生产中的重要地位[3]。

其中:ζ表示拉格朗日乘子；ρ1为惩罚因子。

利用ADMM 将式（6）分解为两大子问题的优化求解，即k子问题和w子问题。接下来，对k子问题和w子问题进行交替求解，并更新拉格朗日乘子ζ直至结果按要求收敛到最优解。

在第s+ 1 次潜在图像梯度内循环中，当固定变量(Ys，Zs)和(ξs，φs)时，∇I子问题可表示为如下问题:

在第s+ 1次的模糊核内循环中，固定ws和ζs时，k的子问题可表示为:

因此，针对w 子问题，可通过硬阈值算子（Hard-Thresholding operator）Γ得到该子问题的数值解为:

乙醇浓度对AB-8大孔树脂解吸的影响：已吸附饱和的树脂分别用体积分数为20%、40%、60%、80%和100%的乙醇溶液进行洗脱，静态解析时用100 mL乙醇解析3 h，动态解析时用100 mL乙醇以1 mL/min的流速冲柱洗脱，记录洗脱的花色苷溶液的浓度。

其中:F表示傅里叶变换；F-1表示逆傅里叶变换。

2）w子问题的求解。

当固定变量kt，s+1和ζs时，w 子问题是一类典型的带L0正则化项的最小二乘问题:

其中:s= 0，1，…，Smax表示模糊核内循环次数，并且每次内循环中kt，0= kt，kt，Smax= kt+1。kt，s+1可通过最小二乘问题解决:

其中:Γa，b(x)= sign(max(|x|- 2a b，0))∘x 表示硬阈值算子；sign(⋅)表示符号函数。

3）ζ拉格朗日乘子更新。

在每一次交替迭代过程中，为保证数值求解过程的稳定性，拉格朗日乘子更新如下:

其中:τ为迭代步长，本文取τ = 1.618。

综上所述，针对非凸非光滑的模糊核估计模型（4），本文提出了一种基于ADMM 的数值优化算法对其进行求解。首先，通过引入辅助变量w，将无约束优化问题转化为带约束优化问题，并得到其增广拉格朗日函数；然后，通过固定相应的变量将原问题分解为k 子问题和w 子问题；最后，利用快速傅里叶变换对k子问题进行迭代求解，并根据硬阈值算子求得w子问题的数值解。

(3) 随着围岩弹性模量的增加，地表沉降值逐渐减小。围岩弹性模量为 400 MPa、800 MPa 和1 200 MPa时，最大地表沉降值分别为 1.8 mm、3.5 mm 和 6.2 mm。

构建一个线上展厅，此展厅涵盖：新疆博湖县大型节日的时间地点、安排节日期间需要展示的非遗商品，以视频展示该节日当日盛况。

中国科学技术信息研究所出版的“中国科技论文统计源期刊”，又称“中国科技核心期刊”，学科范畴主要为自然科学领域，是目前国内比较公认的科技统计源期刊目录。其受科技部委托，权威性名列国内首位 。2018年11月，中国科学技术信息研究所公布了《2018年版中国科技期刊引证报告(核心版)》，《中国安全生产科学技术》再次被收录。

儿童来生信念与父母来生信念得分以及死亡话题亲子谈话的相关矩阵如表5所示。BA量表总分与儿童来生信念总分有显著负相关，说明父母越相信存在死后生活，他们的孩子越倾向认为死后功能继续。PDCA量表总分与知觉问题、情绪问题、愿望问题以及儿童来生信念测量的总分有显著负相关，说明父母与儿童谈论死亡时的越多地使用描述死后生活、心理状态的词汇，他们的孩子越倾向认为死后功能继续。

同样采用ADMM 算法对问题（12）进行求解，求解过程同1.2.1节。

首先引入辅助变量Y和Z，将此无约束优化问题（12）转化为如下的带约束优化问题:

此时，可得此带约束优化问题（5）的增广拉格朗日函数为:

其中:(ξ，φ)表示拉格朗日乘子；(ρ2，ρ3)为惩罚因子。

同理，利用ADMM 算法将问题（14）分解为两大子问题的进行优化求解，即∇I子问题和(Y，Z)子问题。接下来，将∇I子问题和(Y，Z)子问题进行交替求解，并更新拉格朗日乘子(ξ，φ)直至结果按要求收敛到最优解。

1）∇I子问题的求解。

1）k子问题的求解。

A段旋律是一条小小的抛物线，旋律从低到高，再从高到低，最高音是固定音高小字二组的2，最低音到达固定音高的小字一组的2。A段旋律停在主音上。接着一个八度的大跳进行到了B段的b1，b1在“冲开封建家庭的牢笼，去寻求自由的爱情，去寻求自由的爱情”这三句是第三拍的节奏的后半拍开始，节奏以八十六为主，增强了歌曲的力度，表现了子君冲破牢笼的决心。接下来节奏用长音加三连音了歌曲的高潮部分，使乐曲节奏紧凑又舒缓，在这段中还加入了升下属音，加强了力度上的变化和戏剧性。A1是再现乐段，使用了“同头换尾”的手法，让歌曲结束时意犹未尽，给人想象。

其中:s= 0，1，…，S′max表示潜在图像梯度内循环次数，且∇It，0= ∇It，∇It，S′max= ∇It+1。用 快 速 傅 里 叶 变 换 即 可 得 到∇It，s+1的数值解:

在kt+1已知的情况下，潜在图像梯度在第t + 1 次外部循环中可通过如下问题求解:

其中:

2）(Y，Z)子问题求解。

当固定变量∇It，s+1和(ξs，φs)时，(Y，Z)子问题是一类典型的带L0正则化项的最小二乘问题，可表示为:

采用与1.2.1节相同的硬阈值算子方法求得:

其中:τ为迭代步长，本文取τ = 1.618。

1.2.2 清晰图像梯度估计

本文模糊核估计模型（3）的数值求解过程如算法1所示。

2 清晰图像复原

估计出模糊核后，采用非盲反卷积的方法复原清晰图像。最简单的方法是RL算法，但RL算法对模糊核很敏感，一旦模糊核估计出现错误，复原出的图像将会出现较为严重的振铃效应。本文采用L1范数数据拟合性项和全变分（Total Variation，TV）的方法进行非盲反卷积:

印度外交部长今年早些时候表示，印度不会接受美国的单方面制裁，但由于印度对美国金融体系的敞口，印度不得不减少对伊朗原油的依赖。印度是伊朗第二大石油客户，仅次于中国。中国也表示将继续购买伊朗原油。

其中数据拟合项采用L1范数，与L2范数相比能够克服奇异值对图像复原过程的影响，更具有鲁棒性［20］，有利于提升复原质量。本文根据文献［20］，采用交替最小化算法（Alternating Minimization Algorithm，AMA）求解式（23）。

综上，本文模糊图像盲复原算法流程分为两个步骤，分别为模糊核估计和清晰图像复原，如图1 所示。模糊核估计部分对应文中的式（3），得到模糊核之后用式（23）非盲反卷积的方法复原出清晰图像。本文采用交替求解的方法来解决式（3）中的非凸非光滑问题，即固定当前潜在清晰图像梯度的估计值，更新对模糊核的估计，然后在固定模糊核的基础上更新图像梯度，循环迭代直至结果收敛。

图1 本文算法流程Fig. 1 Flowchart of the proposed algorithm

3 实验与结果分析

本文分别在合成模糊图像和真实模糊图像上进行定量和定性分析，并且与当前最为经典的方法作比较，证明本文算法的有效性。

3.1 合成模糊图像实验

本文合成图像采用Köhler 等［21］公开提供的图像数据集:模拟人手持相机拍摄时手抖动的环境，并记录由抖动而造成的相机运动轨迹，认为这些运动轨迹充分接近真实情况下的模糊核。从中挑选出12种轨迹用于数据集的建立，即将12个模糊核分别作用于4 张真实的清晰图像，得到48 张模糊图像来模拟现实的模糊情况。本文首先选取常用的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似性（Structural SIMilarity，SSIM）作为定量评价指标。表1 给出了8 种盲复原算法［1-3，6-7，22-24］与本文算法的PSNR 和SSIM 的对比结果。从表1 的数据中可以看出，本文算法有着最高的PSNR 与SSIM的平均值，说明本文算法的复原结果质量更高，从颜色和结果上更加接近真实的清晰图像；并且PSNR和SSIM标准差最小，说明本文算法更加稳定，对不同模糊核大小的模糊图像都有着较好的复原结果。Zhang 等［25］比较了几种全参考图像质量评价算法，统计了每种全参考图像质量评价算法的客观值和主观值之间的相关系数，验证了特征相似性（Feature SIMilarity，FSIM）的评价结果准确性最高。表2 给出了FSIM（灰度图像）及FSIMC（彩色图像）的结果对比，结果显示本文算法有着最高的FSIM 及FSIMC值，说明本文算法复原出的图像更接近真实的参考图像。

表1 PSNR和SSIM的结果对比Tab. 1 Comparison of PSNR and SSIM

表2 FSIM和FSIMC的结果对比Tab. 2 Comparison of FSIM and FSIMC

为进一步说明本文提出的混合正则化约束模型的有效性，图2 给出一张合成模糊图像的复原结果对比图，实验所用的模糊图像来源于Köhler 等［21］提供的数据集，其图像模糊核大小为145× 145。由图2 可以看出，针对模糊核较大的合成图像，本文算法也可以估计出较为准确的模糊核，并且复原出的图像质量明显提高。综上实验结果表明，针对合成的模糊图像，本文算法在评价标准和视觉效果上都有显著提升。

图2 合成模糊图像复原结果Fig. 2 Restoration results of synthetic blurred image

3.2 真实模糊图像实验

为进一步评价本文算法的复原质量，由3.1 节实验结果中选取3 种结果较好且最为经典的算法进行真实模糊图像实验分析。其中，真实的模糊图像是拍摄过程中由于相机抖动而产生的模糊图像，本文实验所用的真实模糊图像由Pan［6］、Xu［7］提供。图3给出了7张真实模糊图像的复原结果对比（模糊 核 大 小 分 别 为27× 27、31× 31、35× 35、35× 35、41×41、55× 55、55× 55）。为保证实验结果的公平性，其他算法的复原结果均来自于其作者公开提供的程序。从图3 可以看出，本文算法针对不同大小模糊核的真实模糊图像有着很好的复原效果。

针对模糊核较大情况下的模糊图像复原是一个具有挑战性的问题，现存的有些方法无法估计出较为准确的模糊核，从而降低了复原结果的质量。图4 为3 张较大模糊核的真实图像复原结果对比（模糊核大小分别为59 × 59、95× 95、135×135），以此验证了本文算法的有效性。Krishnan算法［3］复原的结果有明显的振铃效应，致使复原结果严重失真，为减轻振铃效应带来的负面影响，本文在非盲反卷积部分采用L1数据拟合项和TV 正则项，有效地抑制了振铃效应。Pan 算法［6］、Xu算法［7］的复原图像细节部分不够清晰并且估计出的模糊核中有异常值的存在，降低了复原图像的质量；而本文算法采用混合正则项对图像边缘细节进行稀疏约束，对细节部分仍有着很好的去模糊效果。在对比实验中，Krishnan算法［3］采用L1范数对模糊核进行稀疏约束，而本文基于L0范数的特性对模糊进行稀疏约束，有助于模糊核稀疏性的表达，从而估计出更加准确的模糊核。与此同时，与Pan算法［6］采用的图像一阶梯度的稀疏正则化方法相比，本文改用混合图像一阶梯度和二阶梯度的正则化方法有助于估计出更加准确的模糊核，从而复原出更清晰的图像。综上，本文算法针对模糊核较大的真实模糊图像仍有着很好的复原效果。

尽管目前有很多种盲复原算法被提出，但是这些方法主要都是基于自然图像先验。由于文本图像的分布不同于自然图像，所以往往这些方法不能有效地处理文本图像。又因人脸图像含有比较少的纹理信息，现存的很多方法很难恢复其清晰的边缘来帮助模糊核估计。为证得本文算法的实用性和灵活性，针对文本图像、人脸图像进行复原并比较分析。图5的实验结果表明，Krishnan 算法［3］、Pan 算法［6］和Xu 算法［7］无法估计出准确的模糊核，从而严重影响了复原结果；而本文算法的混合稀疏约束能够得到准确的模糊核，复原出更高质量的文本图像。

图3 真实模糊图像复原结果Fig. 3 Restoration results of real blurred images

图4 模糊核较大的模糊图像复原结果Fig. 4 Restoration results of blurred images with large-scale blur kernels

图5 文本模糊图像复原结果Fig. 5 Restoration results of text blurred images

针对人脸图像，如图6 所示，基于图像梯度的混合约束，本文算法能够较好地保留图像结构特征和细节，有着很好的去模糊性能。

除此之外，由于水上模糊图像包含大片天空区域和水域，大量模糊图像盲复原算法无法对其有效地去模糊。图7 的实验结果表明本文算法对水上模糊图像仍具有较好的去模糊能力。

图6 人脸模糊图像复原结果Fig. 6 Restoration results of face blurred images

图7 水上模糊图像复原结果Fig. 7 Restoration results of ocean blurred images

综上实验结果对比验证了本文提出的模糊图像盲复原算法的有效性和鲁棒性。

4 结语

为了实现高质量的模糊图像盲复原，本文基于模糊核的稀疏性，提出了L0范数的模糊核正则化约束，稀疏先验保持了模糊核估计的准确性。同时采用混合图像梯度的稀疏先验，即混合一阶和二阶图像梯度的L0范数的正则化方法，保持了图像梯度的稀疏性和显著边缘，有助于稳定模糊核估计。并利用ADMM 算法解决了带有L0范数的非凸非光滑问题。最后通过大量的实验，不仅从客观的评价标准上验证了本文算法的有效性，而且在主观视觉效果上也得到了很明显的改善。