一种阶梯型多尺度神经网络条带噪声降噪模型

王 诏,王 燕,苏国辉,史升凯

(青岛海洋地质研究所,山东 青岛 266071)

0 引 言

中国遥感卫星初步具备了全天时、全天候观测能力[1],形成的遥感影像大数据已深入应用到各行各业,对国民生活和经济发展起到重要支撑作用[2]。但在遥感影像采集系统中,受光线变化及线阵相机硬件影响,成像过程中存在辐射响应非均匀性、不同行或列读出电路不一致等问题[3],在扫描方向上容易产生条带噪声。这种噪声会对遥感影像质量及后续分析产生极大影响,因此去除条带噪声是遥感影像预处理的关键一环。目前高分遥感影像分辨率能达到亚米级[4],每个像素都包含了大量信息,因此对遥感影像进行降噪时需要最大化保留影像细节特征。而传统图像降噪方法如灰度信息统计法、数字滤波法[5-7],存在噪声去除“不干净”、丢失图像细节信息、图像模糊等问题,对图像细节处理表现欠佳。

随着大数据、计算机硬件的快速发展,基于卷积神经网络的机器学习算法在图像降噪[8]、图像识别[9-10]、语义分割[11]等计算机视觉领域展现出了巨大潜力,这为遥感影像大数据降噪提供了参考技术与方法。Jain 等[12]在2008年率先利用CNN处理自然图像的去噪问题,并且得到了与小波变换和马尔可夫随机场相近或更优的去噪结果;Zhang等[13]提出了一种针对高斯噪声的去噪模型DnCNN,结合残差学习和批量归一化(BN)技术提高了模型的降噪性能;Isogawa等[14]使用弹性收缩方法作为神经网络模型的激活函数,并提出了一种针对弹性收缩阈值的比例系数优化方法;Han等[15]提出了一种深度残差学习结合U型网络模型(Unet),用于预测稀疏角度的低剂量CT重建,该方法能较好提取图片中的噪声和条纹伪影特征。但以上降噪模型主要针对点状噪声,仍缺少影响深远的条带噪声降噪模型。

另外,随着卷积神经网络的应用逐渐深入,其结构逐步从单一、多层结构演变为复杂、深层结构,参数量日渐庞大,例如,VGG16模型的参数量达到552 MB[9]。而参数的训练受限于样本数据的规模,过参数化会导致模型过拟合,降低模型泛化能力。因此,权衡卷积神经网络学习能力与模型过参数化、过拟合问题是研究设计深度卷积神经网络结构的重点内容之一。大量学者[16]在轻量化网络架构上相继提出了SqueezeNet、MobileNet-v1、GhostNet等,主要是将1*1卷积替换为3*3卷积,通过降低通道数来减小计算量和参数量。蒋晓奔针对泊松噪声提出了一种多尺度并行模型CT-ReCNN[17],通过深度可分离卷积和空洞卷积轻量化模型参数,缩短了模型训练时间。

总结以上问题,针对遥感影像条带噪声的复杂性,该文从条带噪声精准识别与深度网络模型轻量化设计两方面考虑,引用混合空洞卷积、1*1卷积,提出一种阶梯型多尺度深度卷积神经网络条带降噪模型,通过图像像素级别的降噪处理实现条带噪声影像精细降噪。

1 基本原理

1.1 感受野与卷积核

1962年,Hubel和Wiesel通过对猫视觉皮层细胞的研究,提出了感受野的概念。在卷积神经网络中,感受野是卷积神经网络每一层输出特征图上的像素点在输入图片上映射的区域大小,感受野越大,反映出的图像信息越多、大尺度特征越好。卷积核是对图像做卷积处理的卷积算子,即系数矩阵,通过卷积核对图像进行局部加权求和,逐步遍历整张图像,实现对图像的局部感知到整体感知,卷积核大小一般为奇数,如1*1、3*3、5*5。感受野的大小与卷积核有关,具体地,当前层的感受野大小与卷积核大小和卷积核移动步长有关,同时也与上一层感受野的大小有关,见公式(1)。

(1)

其中,Fi为第i层感受野,Ki为第i层卷积核大小,Stride为卷积核移动步长。

参数量与卷积核大小、通道数、偏置和批量归一化(BN)[18]有关,见公式(2)。

Ci=Ki*Ki*Ni*Mi+3Mi

(2)

其中,Ci为第i层参数量,Ni、Mi分别为第i层输入输出通道数,当包含偏置时,偏置数量为Mi,当使用BN时,还需学习2个超参数,参数量均为Mi,总量为2Mi。

由式(1)、(2)可知,当使用大卷积核时,感受野会变大,但参数量也会增大,导致计算量突增,不利于网络结构深度的增加。

1.2 空洞卷积

空洞卷积于2016年在ICLR会议上被首次提出,主要用于图像分割领域,解决图像经下采样、上采样后导致的信息丢失问题[19]。空洞卷积是在常规卷积上引入了一个扩张率(Dilation rate)超参数,该参数定义了卷积核处理数据时各值的间距,当扩张率大于1时,空洞卷积可以在增大感受野的同时,不增加参数量,如图1所示。其中空洞卷积核大小KD计算公式见式(3),其中R为扩张率。

在不考虑偏置与BN条件下,以3*3空洞卷积为例,当扩张率为1时,其感受野等效于3*3常规卷积,当扩张率为2时,其感受野等效于5*5常规卷积 ,但参数量仍为9N1N2,远低于5*5常规卷积的参数量25N1N2图1 常规卷积核与空洞卷积核

KD=K+(K-1)(R-1)

(3)

2 阶梯型多尺度神经网络降噪模型设计

2.1 总体模型设计

在图像降噪领域应用较多的卷积神经网络模型DnCNN、Unet[20]等,本质上都属于全卷积神经网络(FCN)[21]。FCN最开始由UC Berkeley提出,主要用于实现图像像素级别处理与分类。与常规卷积神经网络不同的是,FCN去掉了网络末端的全连接层,通过下采样、上采样过程,使网络输入、输出张量大小保持一致。在卷积神经网络中下采样、上采样主要是通过池化和反卷积操作实现。池化是通过压缩特征数据起到降低计算量的作用,但在压缩特征时不可避免丢失图像细节特征信息。由于遥感影像的特殊性,需要最大化保留图像细节信息,因此该文不引入池化和反卷积操作,而是通过引入混合空洞卷积、调整网络结构降低计算量。

在卷积神经网络中,低层小感受野能获取分辨率更高的特征,其包含更多的细节、位置信息,但信息量少,高层大感受野能获取信息量丰富的大尺度特征,但分辨率低,细节感知能力弱。通过特征融合,使用多尺度网络结构,取长补短,能有效融合多尺度特征,提高多尺度条带噪声识别能力。

随着卷积神经网络结构加深,易导致梯度消失、梯度爆炸、网络退化等问题,目前多在网络中引入BN、Dropout[22]操作来解决上述问题,而He等[10]从调整网络结构角度提出一种残差网络来解决这一问题。残差网络是在常规权重层输出外,使用恒等映射直接将输入连接到输出上,该输出和权重层输出做相加运算得到最终的输出。大量实验表明,残差网络能提高网络性能,提高网络的鲁棒性和精确性。

综上,该文设计的遥感影像条带降噪模型,总体思想上依据FCN实现图像像素级别的噪声识别,以均方误差(MSE)为目标函数,通过自适应梯度优化,实现噪声图到“干净”图的端到端映射,从而达到降噪目的,网络结构见图2。具体地,在传统FCN模型基础上,摒弃池化、反卷积层,引用混合空洞卷积,在降低网络计算量的前提下尽量保留图像细节信息;使用多尺度网络结构,提高多尺度、非周期复杂条带噪声的识别、降噪能力;优化网络结构,设计一种阶梯型多尺度网络结构,并且引入空洞卷积和1*1卷积,轻量化模型参数;在每一层卷积层后,加入BN正则化层和LeakyReLU激活函数层,缓解梯度爆炸或梯度消失问题,加快收敛速度;在深层网络处引入Dropout和残差网络,优化深度网络学习能力,提高降噪模型的鲁棒性和精准性。

图2 阶梯型多尺度卷积神经网络降噪模型网络结构

2.2 阶梯型多尺度网络结构设计

该文在传统多尺度网络结构的基础上,提出一种阶梯型多尺度网络结构,其能在不使用大卷积核、不增加卷积核数量的基础上,实现多尺度串、并行结构的轻量化网络结构,网络结构如图3所示。由式(2)可知,卷积核越大,网络层参数量以卷积核大小K的二次方形式增长,因此设计的网络卷积层仅由1*1卷积和3*3空洞卷积构成,通过扩张率超参数R灵活调整空洞卷积感受野大小,依据式(1)可知,当前层感受野大小与上一层感受野大小有关,因此以串行连接方式可以逐阶梯增加感受野大小,然后通过并行连接实现多层不同尺度特征融合。与传统多尺度网络结构对比,在保持卷积核数量不变的前提下,阶梯型多尺度网络结构通过改变网络层连接方式,摒弃大卷积核,仅采用3*3空洞卷积可等效实现多尺度感受野融合。因为阶梯型多尺度网络结构采用小卷积核代替大卷积核,由式(2)知,设置合适的输入层、输出层通道数,可以大大减少参数量。为简化阐述,假设输入输出通道数一致,参数量对比见表1,当尺度数为5时,参数量压缩至22.4%,随着尺度数量越多,参数量压缩效果越明显。

表1 网络结构参数量对比

(a)传统多尺度网络结构示意

(b)阶梯型多尺度网络结构示意(当R=1时)图3 多尺度网络结构对比

为便于参数量对比,简化模型参数,假设尺度以等差数列形式增长,n为多尺度数量,组合卷积中的1*1卷积通道数为0.25N,其余卷积层输入输出通道数均为N。

2.3 混合空洞卷积设计

卷积神经网络结构越深、卷积核越大,其感受野越广阔,能获得基于简单特征合成的越复杂的特征,但训练模型需要的计算资源、时间成本越多。受硬件环境限制,为尽可能获得高性能模型,同时降低模型训练的计算资源和时间成本,主要采用3*3空洞卷积,设置扩展率超参数来增加感受野。但多个空洞卷积叠加使用时,虽然会增大感受野,但会损失图像信息的连续性。因此,有人提出混合空洞卷积[23]的概念以解决图像信息不连续问题,其主要有如下两个特征:①叠加的空洞卷积的扩展率不能有大于1的公约数(例如[2,4,6]),不然会产生栅格效应。②设计锯齿状空洞卷积网络结构,例如[1,2,5,1,2,5]的循环结构。该文借鉴混合空洞卷积思想,设置混合空洞卷积扩展率组合主要有[1,2][1,2,5][1,2,5,7][1,3,5,7]。

2.4 1*1卷积网络结构设计

1*1卷积最早在network in network网络结构中被提出,是卷积核大小为1的特殊卷积。使用1*1卷积可以在保证感受野大小不变的条件下,通过降低通道数的方式压缩参数量。如图4所示,如果在输入层与输出层之间增加一个1*1卷积操作,参数量由式(4)变为式(5),当中间层通道数N2满足式(6)条件时,达到压缩参数量的目的。因此,该文设计主干网络、阶梯型多尺度网络时,在通道数大的两个卷积层间适当引入1*1卷积,能在不降低网络识别性能的前提下,进一步压缩卷积神经网络模型参数量。

C1=N1N2+K2N2N3

(4)

C2=K2N1N3

(5)

(6)

3 实 验

3.1 遥感影像数据处理

遥感图像条带噪声可能呈周期性分布,可能呈非周期性均匀分布,也可能是非均匀分布;条带噪声的宽度或宽或窄,呈多尺度分布;条带噪声带有一定方向性,但方向不定,可能垂直、水平或倾斜分布。对于一幅含噪声遥感图像,其加性噪声方程式为:

X'=X+N

(7)

其中,X'为含噪图像,X为纯净图像,N为噪声矩阵。

根据式(7)对公开数据集CCF-BDCI2020的纯净遥感图像进行加噪处理,生成覆盖率分别为0.2、0.5、0.8的均质多尺度非周期条带噪声图和覆盖率为0.5的非均质多尺度非周期条带噪声图,并对图像像素值进行归一化处理,生成便于进行图像降噪实验的遥感条带噪声影像。

3.2 降噪实验

实验数据为纯净的遥感影像和加噪遥感影像,噪声为非均质多尺度非周期条带噪声,图像大小为256*256(像素),共计11 000幅,以8∶2∶1的比例分为训练集、测试集和验证集。以加噪遥感影像数据作为网络输入层、纯净遥感影像数据作为网络输出层,迭代训练出降噪模型。实验在一台高性能计算工作站中进行,显卡为NVIDIA Tesla P100-PCIE-12GB(2片),处理器为Intel(R) Xeon(R) CPU E5-2650 v4@ 2.20 GHz(2处理器),内存为128 G。

根据图2网络结构训练获得SmCNN模型,其大小为5.40 MB。定量化评价阶梯型多尺度卷积神经网络模型降噪性能, 用训练好的SmCNN模型对不同条带噪声进行降噪处理,选择均方误差(MSE)、峰值信噪比(PSNR)、结构相似性(SSIM)[24]三项图像降噪质量评价指标评定降噪效果。由表2可知,对于均质、非均质多尺度条带噪声都表现出较好的降噪性能,SmCNN模型具备较好的泛化能力。与纯净原始影像对比,降噪图像均方误差达到e-04数量级、峰值信噪比均大于30、结构相似性均达到0.97以上,但随着噪声覆盖率的提高,模型降噪性能有所降低,在噪声覆盖率相同的情况下,对均质噪声降噪性能更好。定性观察降噪性能(见图5),肉眼几乎很难察觉到降噪图与原始影像的差异,对原始影像的细节信息保留较好。

表2 不同条带噪声图降噪定量对比

图5 不同条带噪声图降噪定性对比

将SmCNN模型与现在主流的FCN模型和传统的图像去噪方法进行降噪效果对比。为保证实验公平性,对DnCNN、Unet及SmCNN这类FCN模型,采用相同的非均质非周期多尺度噪声图作为训练集、测试集和验证集,并设置相同的自适应优化器Adam与训练参数。各模型降噪性能见表3、图6。分析结果可知,傅里叶变换、小波变换这类传统降噪方法降噪性能明显弱于FCN模型,其中使用傅里叶变换滤噪能获得结构相似性较高的降噪图,但在图像有效信息保留上不如FCN模型;其中,使用Unet模型降噪,图像细节会模糊,且均方误差较大;而对于DnCNN和SmCNN模型,肉眼几乎看不出降噪后的图像与原图的差别,且SmCNN相对于DnCNN,在三项图像降噪质量评价指标上分别提高了61.2%、11.8%和0.7%。

表3 不同方法降噪定量对比

图6 不同方法对非均质非周期多尺度噪声降噪性能定性比较

由实验可知,DnCNN与SmCNN均具备较好的降噪性能,对比两种模型训练时间,见表4中的结构1、3,文中模型由于引入了阶梯型多尺度网络结构,参数量、网络层数增加了1倍左右,模型训练时间也翻倍。

表4 模型参数量和训练时间对比

模型训练数据集10 000幅,epoch为100。参数、模型训练时间压缩程度均以上一种模型为基准。

为验证文中卷积神经网络模型轻量化效果,对比SmCNN与未作轻量化处理的SmCNN的模型参数量、神经网络层数与训练时间,具体结果见表4中的模型2、3。由于SmCNN使用阶梯型多尺度网络结构,采用混合空洞卷积等效代替常规卷积,并适当引入了1*1卷积,其参数量、网络层数相对于模型2分别压缩了66.19%和56.56%,节约了53.11%的模型训练时间,但仍比模型1多了一倍有余的模型训练时间。

4 结束语

针对遥感影像复杂条带噪声,设计了一种阶梯型多尺度卷积神经网络降噪模型,高度融合高、低层网络的特征信息,以提高非均质、高覆盖、多尺度条带噪声识别、去除能力。实验证明,该多尺度降噪模型对不同覆盖率、非均质的多尺度非周期条带噪声,都具备优秀的降噪能力。与其他降噪方法相比,其降噪性能明显优于传统傅里叶滤波降噪和小波系数阈值降噪方法,与经典的DnCNN、Unet降噪模型相比,由于SmCNN提高了对多尺度条带噪声的检测能力,且引用混合空洞卷积,弥补了深度空洞卷积层特征提取不连续问题,使其在均方误差、峰值信噪比、结构相似性三个图像降噪质量评价指标上有明显提高。同时,通过设计阶梯型网络结构、引入特殊卷积以轻量化卷积神经网络模型,大幅度降低了模型复杂度,提高了模型训练速度。

受硬件环境制约,更深、更宽、更灵活多变的阶梯型多尺度网络结构对复杂条带噪声有效识别仍需进一步验证。下一步将模块化引入阶梯型多尺度网络结构,加强网络结构、超参数的科学性研究,提高模型的准确度与泛化能力。