基于真实场景图像下的卷积神经网络去噪算法*

王 纯， 郭春生

(杭州电子科技大学 通信工程学院，浙江 杭州 310018)

基于真实场景图像下的卷积神经网络去噪算法*

王 纯， 郭春生

(杭州电子科技大学通信工程学院，浙江杭州310018)

为了有效地去除实际图像中的噪声，提出了一种基于真实场景图像下卷积神经网络去噪算法，通过构建新的无噪图像数据集，输入至卷积神经网络中进行训练，并结合模拟退火算法提高训练率，建立去噪网络模型，实现真实场景图像去噪。实验结果表明：含噪的灰度图像与相机拍摄图像均取得明显的平滑效果，算法信号—噪音功率比(PSNR)值较高，图像边缘和细节也得到了较好的保留。

卷积神经网络； 真实场景图像； 图像去噪； 模拟退火

0 引 言

图像在采集或传输的过程中常受到随机噪声的污染，在随后的图像分割，特征提取等处理中不可避免地引起图像质量的退化[1]。因此，为了更好地进行图像后处理，需要对噪声图像进行去噪[2～5]。

近年来，越来越多地将深度学习技术应用于图像处理领域，其中，卷积神经网络(convolutional neural network，CNN)由于其强大的数据处理能力而得到了广泛应用。Dong C等人利用其实现图像的超分辨率[6]，受此启发，针对漫画艺术图形提出了一种基于CNN放大和降噪算法,利用CNN训练大量漫画图像，提取其特征进行学习反馈，得到放大降噪模型，并取得了良好的效果。但对于真实场景图像，由于其包含不同于漫画图像的纹理特征，该算法不能很好地分辨噪声和自然纹理，去噪效果甚微。

针对这一问题，本文将深度学习技术引入到图像去噪中，通过构建新的图像数据集和训练算法，提出了一种基于真实场景图像下的CNN去噪算法。该方法考虑人眼视觉系统(human visual system，HVS)的掩盖效应[7]，采用大量具有针对性的图像数据作为模型训练的约束项，并结合模拟退火算法进行训练，最小化误差并提高训练效率，建立真实场景图像的CNN去噪模型，实现了实际图像的去噪。仿真结果表明：对含有噪声的实际图像进行处理后，不仅可以较大程度地去除噪声，还能有效地保留图像细节，取得了良好的去噪效果。

1 基于真实场景图像下的CNN去噪算法

设噪声模型为

y=x+n

(1)

式中y为噪声图像；x为原始图像；n为加性噪声。

为了从y中恢复出理想图像x，利用CNN建立去噪模型，实现含噪图像到去噪图像的映射以达到去噪的目的。本文对网络模型的设计建立在加性噪声干扰的真实场景图像的基础上。假定xi为图像数据集Sn中随机选取的一幅图像，yi则是通过对xi进行噪声干扰后被观测到的噪声图像，CNN实现去噪所应学习的目标公式为[8]

(2)

式中 函数g为卷积神经网络。

可以得出，研究设计去噪网络模型的关键任务在于更新CNN的参数，使映射的去噪图像g(yi)与理想图像xi之间的误差达到最小。因此，本文通过构造新的图像样本数据集建立约束项，再利用CNN训练算法与模拟退火算法相结合对图像样本进行学习训练，抽取出隐藏在样本中图像数据的输入和输出之间的映射关系，从而更新网络参数，得到具有去噪功能的CNN模型。

1.1 算法流程

算法的整体流程如图1所示，其过程表述为：

1)构建新的图像数据集：针对真实场景图像去噪，其中需包含大量的无噪清晰的实际图像数据。数据集分为训练集和测试集，数量比为9∶1。

2)图像训练集经加噪处理后输入到卷积神经网络中，通过前向卷积运算，并利用测试集中的图像数据计算损失函数从而对网络进行反馈优化训练，更新参数，得到CNN去噪网络模型。

3)利用训练完成的模型对含噪图像进行仿真处理，模型输出即为去噪后的图像。

上述过程中，图像数据集的选择与构建、训练去噪模型是本文算法的关键点。

图1 基于真实场景图像下的CNN去噪算法流程

1.2 CNN去噪模型

设G为CNN去噪模型，由式(1)可得，去噪过程表述为

(3)

模型G通过CNN的多层卷积运算，不断学习样本图像数据的特征从而改善自身性能获得。对于CNN第k层卷积层，其特征图输出为

Fk=f(Wk*Fk-1+θk)

(4)

式中Wk为前一层与当前层之间的卷积核；Fk-1为第k-1层的特征图输出;*为卷积操作，其实质是令卷积核Wk在第k-1层关联的特征图上进行卷积运算;θk为第k层的偏置;f为激活函数。

设第k+1层为子采样层，则该层特征图为

Fk+1=f(βk+1down(Fk)+θk+1)

(5)

式中down(Fk)为对第k层的特征图Fk进行子采样;βk+1为第k+1层的乘性偏置;θk+1为第k+1层的加性偏置。

卷积运算过程中，产生的损失函数为

(6)

式中xi为图像数据集Sn中的任一图像；z(xi)为其前向运算输出。

因此，图像数据集输入至CNN网络结构中，经过卷积层和子采样层的交替运算，不断输出特征图，同时最小化损失函数EMSE进行反馈，更新参数优化自身，最终得到针对真实场景图像的CNN去噪模型。

1.3 去噪模型训练

模型训练过程可以概括为以下2个阶段：

1)正向传播阶段。图像数据集Sn输入卷积神经网络，通过前向卷积运算和图像变换函数运算得到实际输出；

2)反向传播阶段。计算实际输出与理想输出间的误差，通过反向传播算法逐层传递误差以减小误差，同时更新各层权值和偏置。

在训练过程中，采用损失函数EMSE作为反向传播阶段的衡量参数，权值和偏置则通过其随机梯度下降得到更新。同时，为了求得损失函数的最小值，并提高大量样本数据集的训练效率，本文在网络模型中结合模拟退火算法进行训练[9]。xi，i=1,2,…,n，为图像输入，z(xi)为其前向输出，损失函数E(xi,z)为目标函数，则问题描述为：要找出合适的图像数据集输入，令E(xi,z)得到最小值。步骤如下：

1)xi为图像输入，产生输出z(xi)，设初始状态i=0，同时设初始温度Ti。

2)对i=1,2,…,n，执行步骤(3)～步骤(6)。

3)产生新的输入xi+1和对应输出z(xi+1)。

4)计算损失函数增量ΔE(xi+1,z(xi+1))-E(xi,z(xi))。

5)若ΔE<0，则接受xi+1和z(xi+1)作为新的输入和输出；否则，以概率exp(-ΔE/T)接受xi+1和z(xi+1)作为新的输入和输出。

6)按一定方式降温，令Ti=Ti+1(Ti+1

7)若满足终止条件，则当前输入xi为最佳输入，结束运算；不满足,则转至步骤(2)。

1.4 去噪实现

利用式(3)进行图像去噪。具体步骤如下：

1)输入外加噪声的灰度图像或者相机拍摄的图片，为防止拍摄图片过大，可在原图像上截取一个图像块，令其为y，读入至训练好的去噪模型G中。

2)为保持与模型中的数据一致，输入的图像先进行尺寸扩充，增加偏移量等处理后，再进行仿真去噪。

2 实验与分析

2.1 图像数据集

针对真实场景下的图像去噪问题，同时考虑人类视觉系统(HVS)的掩盖效应进行图像数据的采集。进行多次尝试后发现，数据集中的图像数据采用室内照片效果优于室外照片，同时，加入具有简单色块、线条等纹理的模拟光滑图像能令去噪效果更佳。其中，对于纹理较复杂的照片数据，人眼视觉敏感度相对较弱，而含有大量色块的图像，人眼更加敏感。因此，采集如下3种图像数据：

1)相机拍摄的室内照片504张。室内照片相对于户外照片复杂性低，纹理相对简单，虽然本身也含有少量噪点，但人眼对其敏感度较弱，常常因其自身的纹理而被人眼忽略。数据集中采用的室内照片，均为同一设备拍摄并具有较高的清晰度。

2)网络下载的且已经处理过的光滑无噪图片431张。这种图片相对于手工拍摄的照片，由于经过了后期处理，几乎不含噪点，因此，在数据集中加入此种图片，能提高图像数据的整体清晰度。

3)包含不同尺寸、不同颜色色块、线条等纹理的模拟图像540张。由于人眼对于大面积色块的图像较敏感，因此，这些图像中的色块形状均匀，纹理简单且光滑无噪。如图2所示。

图2 数据集中包含的各种色块及线条的模拟图像

2.2 实验结果与分析

去噪仿真中，对初始图像加入泊松噪声和标准差 为10的高斯噪声，再进行去噪处理，同时为了说明本文算法的去噪效果，将其与BM3D算法、KSVD去噪算法进行实验比较。本文算法基于Linux系统，利用Torch框架实现，BM3D算法，KSVD去噪算法利用Matlab软件进行实验仿真。

图3给出了各种方法针对灰度图像的去噪结果图，可以看出，本文算法具有较好的视觉效果，去噪后的图像更加清晰，且边缘处能得到较好的保持。

图3 灰度图像去噪结果对比

为了客观验证算法的有效性，表1给出了每种方法的PSNR和结构相似度(structure similarity,SSIM)值。可以看出:对于Pepper图像，本文算法的PSNR和SSIM均优于BM3D算法和KSVD算法;对于House图像，本文算法的PSNR最高，SSIM高于KSVD算法，且与BM3D算法相当，而对于Flower图像，本文算法的SSIM值最佳，PSNR值相对KSVD算法有提升，同时与BM3D算法相当。

表1 不同算法去噪结果比较

图4给出了利用本文算法对相机拍摄图片的去噪处理结果及局部细节放大图，可以看出:去噪后的图像画面清晰，平滑效果良好，图4(c)中楼梯的轮廓、人物的衣服边线及桌椅边缘等细节处也得到了一定程度的保留，因此，对于实际拍摄的照片，本文算法也能取得较好的去噪效果。

3 结束语

提出了一种基于真实场景图像下的CNN去噪算法，该算法通过构建新的图像数据集和训练算法，并结合模拟退火算法提高训练率，建立CNN去噪模型，实现了真实场景图像去噪。仿真结果和客观性能指标表明:对于含噪的灰度图像和相机拍摄图片均能取得明显的去噪效果，同时,对图像边缘处，也能得到较好的保留。

[1] 黄一鹤.一种基于新的小波阈值函数的图像去噪方法[J].传感器与微系统,2011,30(9):76-78,81.

[2] Chan T F,Shen J H,Vese L.Variational PDE models in image processing[J].Notice of the AMS,2003,50(1):14-26.

[3] 刘光宇，卞红雨，沈郑燕，等.PDE模型在声纳图像去噪中的应用研究[J].传感器与微系统,2012,31(2):42-44.

[4] Elad M,Aharon M.Image denoising via sparse and redundant representations over learned dictionaries[J].IEEE Transactions on Image Processing,2006,15(12):3736-3745.

[5] Dabov K,Foi A,Katkovnik V,et al.Image denoising by sparse 3D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing,2007,16(8):2080-2095.

图4 拍摄图片去噪结果

[6] Dong C,Chen C L,He K,et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,38(2):295-307.

[7] 胡许明，张登福，南 栋，等.基于人眼视觉特性的图像视觉质量评价方法[J].计算机应用,2012,32(7):1882-1884,1889.

[8] Wang Xuejiao,Tao Queyan,Wang Lianghao,et al.Deep convolutional architecture for natural image denoising[C]∥International Conference on Wireless Communications & Signal Processing,2015:1-4.

[9] 崔小勇，林 宁.基于遗传模拟退火算法的无线传感器网路由协议[J].传感器与微系统,2016,35(7):32-34.

CNNdenoisingalgorithmbasedonactualsceneimage*

WANG Chun， GUO Chun-sheng

(SchoolofCommunicationEngineering，HangzhouDianziUniversity，Hangzhou310018，China)

An denoising algorithm of convolutional neural network(CNN)based on actual scene image is proposed.By building a new database of noiseless images,then by inputting it into CNN,and combining with simulated annealing algorithm to improve training rate,finally building a model which can realize actual scence image denoising.Experimental results show that both gray images with noise,and images by camera achieve effectively smoothing effect,power signal-to-noise ratio(PSNR)value is high and image edges and details are preserved well.

convolutional neural network(CNN); actual scene image; image denoising; simulated annealing

10.13873/J.1000—9787(2017)10—0147—03

2016—09—30

国家自然科学基金资助项目(61372157)

TN 911.73

A

1000—9787(2017)10—0147—03

王 纯(1992-)，女，通讯作者，硕士研究生，主要研究方向为信号与信息处理，E—mail:wchun_ui@126.com。郭春生(1971-)，男，博士，副教授，主要从事图像处理、模式识别和计算机视觉等研究工作。