强边缘提取网络用于非均匀运动模糊图像盲复原

黄彦宁 李伟红 崔金凯 龚卫国

模糊图像盲复原用于弥补由于硬件设备缺陷造成的图像模糊,被广泛应用于太空探索、人脸识别、视频监控、医学影像识别等诸多领域.运动模糊是一种典型的图像模糊类型,主要是由于相机抖动和被拍摄物体间相对运动造成的.图像模糊模型一般可由式(1)描述.

其中,x为清晰图像,*为卷积运算,k为模糊核,n为噪声,y为模糊图像.

实际中模糊核k通常是未知的,模糊图像复原过程是一个严重的病态问题,即盲复原.当一幅图像中各个区域被同一个均匀的运动模糊核污染,为均匀运动模糊图像,如图1 (a),1 (b)所示.当一幅图像的不同区域被不同程度的运动模糊核污染时,则为非均匀运动模糊图像,如图1 (c),1 (d)所示.

图1 均匀运动模糊图像和非均匀运动模糊图像及其模糊核示意图Fig.1 Uniform and non-uniform motion blurry image and their blur kernel diagram

均匀运动模糊图像复原方法的基本思路是将病态问题转化为良态来解决,大致分为两类,一类是先验辨识法,即通过人工挖掘图像和模糊核的先验知识,估计出精确的模糊核,再采用非盲复原方法复原出清晰图像.另一类是联合辨识法,即估计模糊核的同时复原出清晰图像.前期我们开展的研究工作主要针对均匀模糊图像盲复原[1−5],其中文献[4]采用先验辨识法,提出根据图像的先验信息在频域估计出模糊核,并将估计出的模糊核用于均匀运动模糊图像复原,该方法对模糊核尺寸较小的均匀运动模糊图像复原效果较好.文献[5]采用联合辨识法,通过对模糊核正则项的约束,得到潜在清晰图像.该方法可以较好地复原均匀运动模糊图像,也可用于背景单一、细节不丰富的非均匀运动模糊图像.但该方法正则化参数较多、复原时间较长.对于非均匀运动模糊图像的复原,人们也展开了针对性的研究工作,其基本方法是将图像分块进行模糊核估计,再通过估计出的不同模糊核对不同图像块进行复原.不过目前的方法均存在各种局限性,比如对运动模糊核的运动方向、模糊核的种类等有所限制.Shen 等[6]使用一种模糊核映射正则化方法来解决非均匀运动模糊图像复原问题,该方法考虑了图像块之间具有的一致性,从而提高了图像块模糊核估计的精度.但是该方法对于图像细节恢复效果差,模糊程度的不同也会使算法失效,因此在非均匀模糊图像复原上仍不能达到较好的效果.近年来,深度学习的快速发展,使基于卷积神经网络的模糊图像复原取得较大的进展.Chakrabarti[7]利用卷积神经网络在频域预测模糊核的傅里叶系数,由此估计出模糊核.再采用传统非盲复原方法复原图像.该方法在均匀运动模糊图像复原上效果较好,但复原时间非常长.Xu 等[8]提出利用卷积神经网络在梯度域提取模糊图像的边缘信息,通过边缘信息补充图像模糊核的先验信息,提高模糊核估计的准确性,进而提高复原效果.该方法可以较好地复原均匀运动模糊图像,但由于非均匀模糊图像边缘特征不明显,在图像黑暗处,该方法无法提取到图像边缘信息,估计出的模糊核不准确,复原效果较差.Xu 等[9]提出端到端的卷积神经网络实现模糊图像盲复原,该方法的优点是不需要估计模糊核,直接输出潜在清晰图像,主要用于散焦模糊图像的复原.Tao 等[10]设计了一个多尺度卷积神经网络(Scale-recurrent network,SRN)用于模糊图像复原,它可在同一幅模糊图像的3 个尺度上提取模糊特征.由于卷积神经网络具有强大的自动学习特征的能力,该网络可以较好地复原非均匀运动模糊图像,不足的是对模糊图像中的明显边缘复原效果不理想.2014 年,生成对抗网络(Generative adversarial net,GAN)[11]被提出,它可以令端到端图像处理网络生成更加细腻的图像.吴梦婷等[12]基于GAN 提出了一种双框架端到端模糊图像复原方法,该方法可以复原模糊尺度较小的均匀模糊图像,但该方法只是在模糊图像复原领域基于GAN 的尝试,并没有很好的鲁棒性,对非均匀运动模糊图像的复原效果较差.Kupyn等[13]基于GAN,提出一种端对端的模糊图像复原方法-DeblurGAN.该方法可以较好地复原出模糊尺度较小的均匀和非均匀运动模糊图像.但由于设计的卷积神经网络结构比较单一,使网络的感受野较小,不能较好地复原模糊尺度较大的非均匀模糊图像.

从上述分析可见,由于非均匀运动模糊图像的模糊核不确定、模糊程度不均匀,且边缘信息损失严重,使非均匀运动模糊图像的复原成为目前极具挑战的课题.在现有研究方法中,端到端的图像复原方法虽然方便有效,但是在图像复原过程中始终是在输入图像和输出图像之间建立网络映射,在有限的训练集下完成对输入和标签的未知转换,网络的特征提取能力和去模糊学习过程局限在了输入到网络的这些图像对中,无法得到更多有助于图像复原的信息,这种映射通常是不确定的,需要大量经验进行调参才能将网络参数约束到一个较理想的范围内,难以保证网络有方向性地 “学习” 到真正的去模糊功能,这也导致了现有方法鲁棒性通常较差,因此不容易在此基础上取得更大突破.而在传统方法中,我们可以使用很多数字图像处理工具来得到有关于一幅图像的更多先验信息,甚至可以在处理图像的过程中不仅仅局限于空间域,这些处理方法的综合使用使图像处理领域日新月异.那么在深度学习领域,我们仍可以利用传统方法的优势来提升图像复原的效果.图像的强边缘是图像的边缘中能够描述图像轮廓的部分,边缘包含大量使人们获得清晰图像的重要信息,经过主观观察,对模糊图像强边缘的恢复效果实际上直接影响复原图像的主观效果.

基于此,本文提出一种基于强边缘提取的非均匀运动模糊图像复原网络,用于非均匀运动模糊图像复原.其中核心部分是设计的强边缘提取网络,它用于提取非均匀运动模糊图像的强边缘特征,利用提取到的强边缘特征图与对应网络层的特征图融合,这些强边缘特征将作为图像复原网络训练的 “先验知识” 和约束条件,在图像复原网络训练中约束网络特征提取和反向传播优化过程,使网络参数的解空间缩小到 “去模糊” 范围内,最终得到真正用于去模糊的网络映射参数.结合卷积神经网络强大的特征自动学习能力,本文的方法能够加强网络对不同类型、不同模糊程度的非均匀运动模糊图像的自适应复原能力.最后,本文在GoPro数据集上进行了相应的实验,验证了提出方法的有效性.

1 提出的非均匀运动模糊图像复原网络

本文提出的非均匀运动模糊图像复原网络如图2 所示,该网络以GAN 为基础,由生成网络和判别网络组成.

图2 提出的非均匀运动模糊图像复原网络结构图Fig.2 Proposed network structure for the non-uniform motion blurry image deblurring

生成网络包括:模糊特征提取网络(Features extract net,FEN),用于提高网络的感受野,使其在较大的感受野下有效提取模糊图像的模糊特征.强边缘提取网络(Strong-edge extraction network,SEEN) 是本文的核心,包括子网络SEEN-1 和SEEN-2,用于在梯度域滤除模糊图像细节信息,提取非均匀运动模糊图像的强边缘特征图.特征融合网络(Features mix net,FMN),用于融合FEN 提取的特征图和SEEN 提取的强边缘特征图.

判别网络[13]由4 个基本的卷积层组成,使用LeakyReLU 作为激活函数,通过卷积层不断降维,最后输出0 或1 来对输入的图像进行判别,判定生成网络复原的潜在清晰图像与输入的真实清晰图像的接近程度.判别网络要尽可能准确识别出输入的图像是否为生成网络所生成,从而约束生成网络的训练过程,使生成网络尽可能生成使判别网络判别结果接近于真的图像,通过不断的对抗训练,提高生成网络复原图像的效果.

1.1 强边缘提取网络(SEEN)

图像强边缘指图像中主要组成部分的边缘轮廓,是获取清晰图像的重要信息,非均匀运动模糊图像中模糊核的多样性,使图像的强边缘被不同方式和程度退化,无法像均匀运动模糊图像一样通过构建相同的先验信息,完成对模糊图像边缘的复原,这也是造成非均匀运动模糊图像难以复原出高质量清晰图像的原因.

图像梯度是获得图像边缘最有效的方法,但通常情况下,模糊图像的边缘细节信息损失严重,通过计算图像梯度,无法得到明显的边缘信息,并且模糊的边缘细节会导致梯度图像产生大量与边缘信息无关的内容.为此,本文提出的图像强边缘提取方法,其基本原理为:首先使用双边平滑滤波器[14]滤除模糊图像中的细节信息,保留图像的边缘信息.然后使用L0范数梯度最小化平滑滤波器[15]增强模糊图像的边缘信息[8].图3 为提取到的模糊图像的强边缘实例,图3 (c)和3 (e)分别是模糊图像的双边滤波图像及其梯度图.可以看到它得到了滤除与边缘无关的细节后模糊图像的梯度特征.图3 (d)和3 (f)分别是模糊图像的L0滤波图像及其梯度,可以看到模糊图像的强边缘被较好地提取出来.

图3 模糊图像强边缘提取原理示意图Fig.3 Diagram of strong edge extraction of blurred image

根据上述基本原理,本文设计了强边缘提取网络(SEEN),用于提取非均匀运动模糊图像强边缘信息,如图4 所示.该网络中SEEN-1 子网络实现双边滤波器的功能,用于提取滤除了细节信息后的图像边缘.SEEN-2 实现L0平滑滤波器的功能,用于增强边缘信息并得到模糊图像的强边缘.SEEN-1 的输出将做为SEEN-2 的输入.

图4 强边缘提取网络结构示意图Fig.4 Structure diagram of strong edge extraction network

SEEN-1 使用编码器−解码器网络结构,主要由下卷积、特征提取和上卷积三部分组成.SEEN-2在SEEN-1 的基础上增加了用于叠加SEEN-1 中对应特征图的特征融合层,特征融合层一共有三处,分别位于下卷积、特征提取和上卷积部分,如图4中SEEN-1 和SEEN-2 间使用直线箭头的连接处所示,它们可以通过权重共享提升SEEN 的训练效果.

SEEN-1 的卷积层计算如式(2)所示.

其中,inputi为特征图中的每个像素点,outi为激活函数的输出值,通过将负数轴斜率设置为0.2,避免传统ReLU 激活函数容易导致神经元梯度为0而无法继续训练的问题.

网络的最终输出使用tanh 作为激活函数,如式(4)所示.

其中,inputi为特征图中的每个像素点,outi为激活函数的输出值,使用tanh 作为最后输出层的激活函数可以使网络输出的图像具有较好的可视化效果.

SEEN-2 中的卷积层计算方法与SEEN-1 相同,但是在下卷积部分、特征提取部分和上卷积部分会使用特征图叠加的方式进行权重共享,如图4 中直线箭头所示,特征叠加公式如式(5)所示.

其中,outj为SEEN-2 第j层的所有特征图,outSEEN−1为SEEN-1 中对应层特征图,concat 为特征层叠加操作.

SEEN-1 和SEEN-2 中对应叠加的特征层的特征图数量是相同的.SEEN-1 与SEEN-2 对应叠加的特征层权重共享,在叠加操作之后会使用式(2)和(3)的卷积过程进行特征提取和降维.使用叠加的方式进行特征融合可以提高网络对边缘的提取能力[16],同时增强网络的学习能力.通过卷积神经网络强大的自动特征提取能力,本文设计的强边缘提取网络可以对不同模糊程度、不同模糊类型的非均匀模糊图像的强边缘特征进行自动分析,自适应、有效地提取模糊图像的强边缘.

在模糊图像输入SEEN 前,本文对原始模糊图像进行梯度化预处理,目的是使网络能够快速有效地提取模糊图像的强边缘,而不用浪费多余的网络参数来对模糊图像进行梯度化处理.由于图像的梯度计算具有方向性,不同方向的梯度图像提取的强边缘仅包含该方向上有用的边缘信息,如果使用单一方向的梯度提取图像强边缘,会损失较多其他方向的边缘信息,如图5 (b)所示.因此,本文提出一种可以融合相互垂直方向梯度信息的双方向融合梯度计算方法,计算公式如式(6)所示.

其中,∂yh是图像的横向梯度,∂yv是图像的纵向梯度,对每个方向梯度取绝对值,并在每个像素点取两个方向梯度的最大值得到最终的梯度图像∂y.

图5 为模糊图像双方向融合梯度图像实例.从图5 可以看到,图5(b)中的梯度图只提取到了纵向边缘,横向边缘全部丢失.图5(c)中的梯度图则保留了所有有效的边缘信息.而且通过梯度化预处理可以消除模糊图像一些非边缘细节信息的干扰,并得到一部分不明显的边缘信息,有利于提升强边缘提取网络对边缘的提取效果.

图5 本文提出的双方向融合梯度计算方法示意图Fig.5 Diagram of gradient calculation method of two-directions fusion proposed in this paper

1.2 模糊特征提取网络(FEN) 和特征融合网络(FMN)

模糊特征提取网络(FEN)主要用于在模糊图像中提取模糊特征从而建立模糊图像到清晰图像的网络映射.残差模块(Residual block)是目前最常用的特征提取模块,其结构如图6 (a)所示,它能够降低网络复杂度,加速网络训练过程,经常被用于分类任务中,但是在图像处理任务中,由于其感受野较小,容易导致特征提取不充分.而另一种常用的特征提取模块Inception block 则可以通过增加网络宽度而提高特征提取的多样性[17].受此启发,本文设计了一种新的交叉特征提取残差模块(Cross residual block),如图6 (b)所示.该模块的卷积层设计为大小分别为3 和5 的滤波器,通过这两个滤波器大小不同的通道分别提取模糊图像的特征图,并在特征叠加层进行特征图叠加和权重交换,将新的特征图再使用滤波器大小为3 和5 的两个卷积层通道进行特征提取,最终得到模块的输出特征图,我们设计的交叉特征提取残差模块可以保持输出的特征图与输入的特征图在维度和分辨率上一致.

图6 改进残差模块Fig.6 Improvement of residual block

本文设计的交叉特征提取残差模块的主要作用是增大特征提取网络的感受野,提高网络的特征提取能力.图7 是滤波器大小分别为3、5、7 的卷积层感受野示意图.残差模块所使用的滤波器大小为3,如图7 (a)所示,其感受野较小.在图像处理任务中,较小的感受野通常会导致模糊图像特征提取网络在提取非均匀运动模糊图像特征时,无法获取图像目标像素周围更多的信息.而图7 (b)所示的大小为5 的滤波器的感受野,可以明显看出它获取到了目标区域的边缘信息,因此在滤波器大小为5 的卷积层中,它可以提取到与边缘更加相关的特征.图7 (c)所示的是大小为7 的滤波器的感受野,它同样可以获取到目标区域的边缘信息,但是通过实验发现,使用滤波器大小为7 的卷积层并不会明显提高复原效果,反而由于滤波器过大,导致网络参数过多,从而使网络的训练和测试时间都非常长.因此本文使用滤波器大小为3 和5 的卷积层,设计了交叉特征提取残差模块.

图7 不同大小滤波器的感受野Fig.7 Receptive field of different size filters

特征融合网络(FMN)主要用于将模糊特征提取网络和强边缘提取网络所提取到的特征图进行融合,其主要由下卷积部分、融合特征提取部分、上卷积部分和输出部分组成.特征叠加层也分别位于这几个部分.下卷积部分将SEEN-2 和FEN 的下卷积对应层特征图进行叠加,进行融合特征提取前的预处理,使各个子网络的特征图成为FMN 的输入.融合特征提取部分将SEEN-2 和FEN 特征提取部分的对应层叠加,这时各网络特征图已经过初步处理,叠加后便于融合特征提取.在特征融合提取过程中,强边缘特征图将会作为图像强边缘位置的权重矩阵对图像复原网络的前向传播过程进行引导,使图像复原网络加强对图像强边缘位置的特征提取和模糊复原,进而约束网络在反向传播过程中的参数优化过程,增强模糊图像中强边缘的复原效果,从而提升图像复原的主观效果.为使整个网络能够更全面地利用模糊特征和强边缘特征,在上卷积部分再将SEEN-2 和FEN 的对应层特征图进行叠加,指导上卷积过程,得到可以用于输出清晰图像的大量特征图,最终输出复原后的清晰图像.

1.3 损失函数

本文在训练强边缘提取网络中SEEN-1 和SEEN-2 时,均使用L1损失和TV 正则化损失[8],如式(7),(8)所示.由两式对图像中每个像素进行计算并相加作为损失函数值.

其中,O1(∂b) 是SEEN-1 的输出,O2(∂b) 是SEEN-2 的输出,λ是TV 正则化系数,∂LB(y) 是清晰标签图像双边滤波后的梯度图像,∂L0(y) 是清晰标签图像双边滤波后的L0滤波图像的梯度图像.

当SEEN 训练完成后,再与FEN 和FMN 一起,在生成对抗网络框架下进行训练,生成对抗网络损失函数采用内容损失LGAN和对抗损失LX的结合[13],如式(9)～ (11)所示.

其中,λ取值为100,IL是清晰标签图像,IB是模糊图像,φi,j是在ImageNet[18]上进行预训练得到的VGG-19 网络中第i个最大池化层前的第j个卷积层的输出特征图,Wi,j和Hi,j是特征层的维度.

1.4 网络训练

本文提出的非均匀模糊图像复原网络在训练时分为两部分,首先对强边缘提取网络进行训练,再结合模糊特征提取网络和特征融合网络,在GAN框架下进行训练.网络训练流程如 “网络训练流程1” 所示.

网络训练流程1.

经过多次实验总结,为得到最优的实验结果,本文在训练过程中使用的批大小(BatchSize)为1,优化器为Adam,学习率和迭代次数的调整细节如下:

1) 在单独训练SEEN 时,共进行500 轮训练,学习率的初始值设置为0.0002,并依次递减为0.0001、0.00005、0.00002、0.00001,对应的训练轮数为150 轮、150 轮、100 轮、50 轮、50 轮.

2) 在与FMN 和FEN 共同训练时,网络学习率和对应训练轮数的设置与单独训练SEEN 时相同.

2 实验结果与分析

2.1 实验数据集

本文采用在非均匀运动模糊图像复原研究领域广泛使用的GoPro 数据集[19]进行网络的训练和测试,该数据集包括2103 对训练图像和1111 对测试图像,每对训练和测试图像都包含相应的清晰图像和模糊图像.分辨率均为1280×720,其中的模糊图像均为非均匀运动模糊图像.如图8 所示,其中8 (a)是训练集的模糊图像,8 (b)是训练集的清晰图像.

图8 数据集示例图像Fig.8 Sample images of dataset

为了开展相应的验证实验,我们制作四个图像子集.清晰图像和模糊图像来自GoPro 数据集中的图像对;清晰图像双边滤波梯度图像子集使用文献[14]的方法计算得到.清晰图像的L0滤波梯度图像子集使用文献[15]的方法计算得到.

我们随机裁剪出四个图像子集中相同区域256 ×256 像素的图像小块作为训练网络时的输入和标签.在单独训练强边缘提取网络时,我们使用清晰图像的双边滤波梯度图像和L0滤波梯度图像,分别作为SEEN-1 和SEEN-2 的标签,即第1.4 节训练流程中的标签∂LB(y)和∂L0(y) .而SEEN 的输入是模糊图像小块,即训练流程中的输入b.在训练特征融合网络时,清晰图像小块作为训练时的标签,即训练流程中的标签y.模糊图像小块同样作为训练时的输入,即训练流程中的输入b.

实验评价指标为结构相似性(Structural similarity index,SSIM) 和峰值信噪比(Peak signal to noise ratio,PSNR),其计算方法如式(12)和(13).

其中,x,y为两幅输入图像,µx是x的平均值,µy是y的平均值,是x的方差,是y的方差,σxy是x和y的协方差.c1=(k1L)2,c2=(k2L)2是用来维持稳定的常数.L是像素值的动态范围.为了避免计算公式的分母为0 并保持计算稳定性,通常取k1=0.01 ,k2=0.03 .

其中,MSE是清晰图像和模糊图像之间的均方误差.

本文在PyTorch[20]深度学习框架下实现网络的训练.网络训练和测试在一块Nvidia GTX 1080Ti显卡上进行.

2.2 强边缘提取网络有效性验证实验

图9 为强边缘提取网络有效性验证实验结果,图9 (e)组图像为未使用强边缘提取网络的复原图像,图9 (f)组图像为加入本文设计的强边缘提取网络得到的复原图像.与 图9 (g)组清晰图像进行对比,可以看出,图9 (e)组图像有一定的复原效果,但边缘并不清晰,图9 (f)组图像则边缘非常清晰.可见,增加了强边缘提取网络,使模糊图像的强边缘信息被有效利用,复原出的图像主观效果较好.

图9 有无强边缘提取网络的非均匀模糊图像复原结果比较实例 ((a) 模糊图像;(b) 模糊图像梯度图;(c) SEEN-1 输出;(d) SEEN-2 输出 (强边缘);(e) 无强边缘提取网络的复原结果;(f) 有强边缘提取网络的复原结果;(g) 清晰图像)Fig.9 Comparison of restoration results of non-uniform motion blurry image with or without edge extraction network((a) Blurry image;(b) Gradient of blurry image;(c) Output of SEEN-1;(d) Edge of SEEN-2 (Strong edge);(e) Restoration results of network without strong edge extraction network;(f) Restoration results of network with strong edge extraction network;(g) Clear image)

图10 为强边缘提取网络在边缘提取各阶段的结果,图10 (b)组为模糊图像的梯度图像,可以看到模糊图像的梯度图像边缘并不清楚,并且明显包含较多与边缘无关的杂点,图10 (c)组是SEEN-1的输出,相当于双边滤波后的梯度图像,可以看到模糊图像梯度图清晰的边缘,同时与边缘无关的杂点也被滤除,图10 (d)组是SEEN-2 的输出,相当于L0滤波后的梯度图像,可以看到模糊图像的强边缘被有效地提取出来.对比SEEN-1 的输出,图像边缘得到明显增强,为了证明了这一点,本文也对SEEN-1 和SEEN-2 的输出进行了客观指标的分析,如图11 所示.

图10 强边缘提取网络中间结果分析Fig.10 The intermediate results analysis of strong edge extraction network

图11 为3 幅模糊图像对应的梯度图和网络SEEN-1、SEEN-2 输出的边缘图像块实例.第一组图像中,左侧为非均匀模糊图像实例,本文从中提取了一个图像小块,并得到了梯度图像(ii),可以看到边缘信息无法辨别;(iii) 为强边缘提取网络中SEEN-1 的输出,可见通过SEEN-1 后模糊图像小块的边缘已经被基本提取出来;(iv)是SEEN-2 的输出,模糊图像小块的边缘在(iii) 的基础上更加清晰.同样,我们可以看到第2 幅和第3 幅模糊图像对应结果可以得出相同的结论:SEEN-1 滤除模糊图像中无关的梯度值,保留了对复原有用的边缘梯度信息.SEEN-2 对SEEN-1 输出的边缘进行了进一步的提取和增强,使提取的强边缘更加清晰.

图11 (v)为灰度分布图,图11 (vi)为列灰度值加和曲线图,本文同时绘制了模糊图像小块梯度图、SEEN-1 输出、SEEN-2 输出图像的灰度分布图和列灰度值加和曲线图来客观分析强边缘提取网络的边缘提取效果.从图11 (v)进行观察和分析,模糊图像的梯度像素值分布比较平均,也就是说由于图像的模糊,边缘信息损失的比较严重,边缘两侧像素灰度值差距已经不明显,而通过SEEN-1 后,位于非边缘的像素和位于边缘的像素灰度值被明显分开,绝大部分非边缘像素被滤除,占据比重较少的边缘像素点被提取出来,而通过SEEN-2 后,位于边缘的像素的灰度值得到进一步增强.从图11 (vi)所示曲线图进行观察和分析,模糊图像的梯度图由于边缘模糊导致的信息丢失,对于存在边缘和不存在边缘的列区域,其灰度值差别很小,无法明显寻找出边缘存在的区域,而对于SEEN-1 的结果,我们可以明显地寻找到边缘所在的列区域(曲线的波峰波谷处),对于SEEN-2 的结果,其存在边缘的列区域灰度值峰值比SEEN-1 的结果有明显提升.这说明本文设计的强边缘提取网络的两个子网络分别完成了第1.1 节中强边缘提取方法两个步骤的功能,提取并得到了模糊图像的强边缘信息.

图11 强边缘提取网络效果分析 ((i)模糊图像小块(30×30);(ii)模糊图像小块边缘(30×30);(iii) SEEN-1 输出;(iv) SEEN-2 输出;(v)灰度分布图;(vi)列灰度值加和曲线图)Fig.11 Effect analysis of strong edge extraction network ((i) Blurry image patch (30×30);(ii) Edge of blurry image patch (30×30);(iii) Output of SEEN-1;(iv) Output of SEEN-2;(v) Gray value distribution;(vi) Column gray value addition)

2.3 交叉特征提取残差模块有效性验证实验

本文在模糊特征提取子网络中使用了交叉特征提取残差模块,目的是提升模糊特征提取时网络的感受野,提高模糊特征提取能力.本文使用对比实验的方法对交叉特征提取残差模块的有效性进行了验证.

为保证对比实验的准确性和有效性,用于对比实验的网络结构仅将整个网络中的交叉特征提取残差模块替换为普通的残差模块.网络的其他部分结构、实验的超参数设置及训练流程均不改变.

在GoPro 数据集上的实验结果如表1 所示.

表1 交叉特征提取残差模块有效性验证实验结果(GoPro 数据集)Table 1 Validation experiment results of cross-resnet block (GoPro dataset)

由表1 可以看到,使用交叉特征提取残差模块的网络复原效果要明显优于使用普通残差模块的网络.

2.4 非均匀运动模糊图像复原对比实验

本节将本文提出的方法与5 种非均匀图像复原方法进行了对比实验,实验结果实例如图12 所示.

可以看到,文献[13]的方法对明显的边缘复原效果较好,如图12 (iv)所示的窗户边缘.但是对于细节的复原效果极差,如图12 (i)所示的文字.文献[7]的方法和文献[21]的方法对非均匀运动模糊图像的整体复原效果较差,对强边缘和图像细节均无法有效复原,而且复原图像容易产生波纹现象,如图12 (ii)所示,严重影响复原效果.文献[4]的方法可以通过参数的调整对部分模糊情况不复杂的非均匀运动模糊图像得到较好的复原效果,如图12 (iii)所示,其文字复原效果比较清晰.但是如果复原参数不合适或者复原模糊情况较复杂,该方法就会失效,不仅得不到应有的复原图像,还会产生严重的波纹现象,如图12 (ii)和12 (iv)所示,影响复原效果.文献[10]的方法在复原非均匀运动模糊图像上的效果相对较好,但是边缘的复原效果并不锐利,如图12 (ii)中的车灯边缘和12 (iv)中的窗户边缘,导致主观效果有所下降.本文方法则不需要对复原过程进行参数调整,无论非均匀运动模糊图像的模糊过程复杂与否,均可以自适应地进行复原,并得到较好的复原效果.通过对比实验结果可见本文的方法在主观复原效果上是非常好的,对于图像中的细节信息(如文字等)可以有效地复原出清晰的结果,而且使复原出的图像中强边缘更加锐利清晰,达到了本文研究的目的.

图12 对比实验结果Fig.12 Results of comparative experiments

从表2、表3 和图13 所示的对比实验图像的客观指标中可以看出,本文方法的客观指标在几组实验中处于领先水平.表4 为7 种不同方法在GoPro数据集测试集上复原结果的平均PSNR 和SSIM值.从表4 可以看到,本文方法的平均PSNR 值为30.2227,平均SSIM 值为0.8944,在几组对比实验中也均处于领先水平.

表4 复原图像的平均PSNR 值和平均SSIM 值(GoPro 数据集)Table 4 Average value of PSNR and SSIM of restored images (GoPro dataset)

图13 对比实验图像的PSNR 和SSIM 指标值柱状图Fig.13 Histogram of PSNR and SSIM values of comparative experimental images

表2 对比实验图像的PSNR 值比较Table 2 PSNR value comparison of comparative experimental images

表3 对比实验图像的SSIM 值比较Table 3 SSIM value comparison of comparative experimental images

3 总结

本文以非均匀运动模糊图像复原为研究对象.提出了一种用于非均匀运动模糊图像盲复原的强边缘提取网络,该网络在梯度域提取模糊图像的强边缘,并将强边缘特征与模糊图像模糊特征融合,将强边缘特征作为 “先验知识” 约束网络的前向传播及反向传播参数优化过程,缩小了网络映射参数的解空间,结合卷积神经网络自动学习特征的能力,增强了非均匀模糊图像复原过程中对边缘的恢复效果,解决了其他图像复原方法无法有针对性地对非均匀模糊图像边缘进行有效复原的缺陷,较好地复原出清晰的图像.同时也为基于深度学习的非均匀运动模糊图像盲复原研究提供了新颖的研究思路.大量实验结果表明,本文设计的强边缘提取网络可以有效地应用在非均匀运动模糊图像的复原中,获得清晰的复原图像并提升模糊图像边缘恢复效果.