基于DR-CNN方法的图像质量评价

马 璐

宿州职业技术学院计算机信息系，安徽宿州,234000

数据图像处理中对于图像质量评价(IQA)方法，通常有主观图像质量评价和客观图像质量评价，目前以客观图像质量评价为主。主观图像质量评价得到的结果最为准确，但是从评价的前期准备、评价过程以及结果产生等操作来看，主观图像质量评价的步骤非常繁琐与复杂，消耗大量人力资源，不利于人们对其进行研究。与之相对应的客观图像质量评价，包括全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。相对于全参考质量评价和半参考质量评价，无参考质量评价是更有研究价值与意义，原因之一是无参考质量评价不需要对原始图像进行比较，而其他的方法需要原始图像，从而增加了许多不确定因素。

卷积神经网络[1]是深度学习中具有代表性的网络模式之一，它的产生加快了神经网络发展。2012年，在计算机视觉大赛ImageNet中Alex-Net网络脱颖而出成为冠军后，卷积神经网络被人们所熟知。此后，卷积神经网络在每年的ImageNet比赛中一直以高比分占据冠军之位，在2015年，改进后的卷积神经网络算法错误率已降低至4.94%，低于人类预测错误率0.06%，最终奠定其在人工智能领域的引领地位。目前被广泛使用的有VGGNet,GoogLeNet两种卷积神经网络，分别是通过16层与22层进行搭建的多级网络架构，架构非常简单，但具有很强的鲁棒性。因此,它们在处理数字图像质量评价、识别和边缘检测等问题时被广泛采用，然而在处理比较繁杂的数据集时，速度相对缓慢些同时加大了高风险性。针对这些问题，本文提出DR-CNN算法，即基于原有的卷积神经网络技术，通过在图像进入卷积层前加入降维层，减小客观图像质量评价与主观图像质量评价之间的差距，同时有效地提高计算速度，以此解决图像质量评价问题。

1 卷积神经网络

卷积神经网络是深度学习网络模型的一种，它是多层级结构网络数学模型。传统神经网络在进行数据图像处理过程中，即使图像相对应的像素不高，但反映到传统神经网络上其所参与的参数都是非常庞大的，最终的结果对于其他机器学习模型而言并没有本质上的提高，甚至有的略微降低。卷积神经网络通过局部感受野(local receptive fields)与权值共享的特点大大减少了神经网络中参与的参数量，同时把庞大的数据图像信息不断降维处理，最终快速准确地对数据完成训练得出结果。卷积神经网络中每一个层级中基本上需要包含有以下几个相同操作。

1.1 卷积层

卷积层[2]是整个卷积神经网络模型中重要的环节，也是这个数学模型中核心，其基本原理如图1所示，其中卷积核相当于滤波器，卷积核的大小就是模拟局部视野的范围，通过矩阵方式来作为卷积核数学输入，其大小为y[a,b]，图像与卷积核操作的过程,其公式为

每次进行卷积操作后卷积核进行移动与下次图像区域再次进行卷积操作，最后形成特征图。把每个卷积核看为神经元，多少个卷积核经过卷积操作后就形成多少个特征图。

图1 卷积层结构图

在形成特征图过程中，由于卷积核大小的因素会造成特征图与原始图像相比像丢失，为保持图像形状不发生改变，在图像与卷积核进行卷积操作之前，先对图像进行padding素的操作，即在图像周围填加值为0的像素点，依据卷积核大小不同，填加的外围像素点不同。在通过卷积操作后形成的特征图与原来的图像大小不发生改变。

1.2 激励机制与优化器

激励机制在传统神经网络中是指激活函数[3]。激活函数引入的主要目的是为了使得网络模型得到更加广泛的使用，因为现实世界中非线性事件往往比线性事件多，激活函数不仅能够处理线性模型而且能够用非线性函数来建立非线性模型。非线性函数主要有Sigmoid、tanh、ReLU和ELU等，选择哪种类型的函数作为网络中的激活函数，既要考虑研究的事物构建的模型，也要考虑到网络模型中所使用的代价函数选取会影响到相应的激活函数类型。

优化器是指在卷积神经网络中对输出的数据与原始数据架构成代价函数，通过对函数的优化，求得最优解。通常采用梯度下降法与误差反向传播法，来对代价函数进行优化操作。

1.3 池化层

池化层[4](pooling)又叫作下采样。其作用有两个方面:一是把图像的特征进行收集，以防止图像特征值丢失。二是为了对图像进行降维操作，大大地缩小过拟合现象。池化层通常有MAX pooling叫作最大池化层和Mean pooling叫作平均池化层，其基本原理如图2所示。

图2 最大池化层，平均池化层

以上是卷积神经网络中每一层的内部结构，多层结构叠加在一起就形成深度学习中代表性的卷积神经网络。

2 DR-CNN的创新分析与研究

DR-CNN是基于卷积神经网络基础来处理数据，CNN是指卷积神经网络，而DR则是指降维层。整个DR-CNN卷积神经网络示意图，如图3所示。

图3 DR-CNN结构图

采用卷积神经网络对图像进行质量评价，它不需要原始图像，属于无参考质量评价[5]的范畴，其次在以往的图像质量评价中,例如：PSNR和SSIM技术方法，需要大量的知识积累与理论推导，使得人们难以理解这些技术方法，同时在进行操作过程中对图像本身而言也会受到噪声、灯光和环境等影响而导致最后结果出入很大。即使以上这些因素都可以通过人为解决，但是不同的特征图像也会因在进行不同方法演算时会出现截然不同的结论。

采用卷积神经网络对图像进行质量评价，就像一个“黑盒子”，人们只要考虑图像的输入信号与最终需要得到的输出特征值即可，而“黑盒子”里面具体的构成不要考虑，这样就减少了人们对一些繁杂与晦涩难懂数学理论的依赖。本文采用卷积神经网络的创新点主要为对原始图像进行降维操作和归一化的改变。

2.1 对原始图像进行降维操作

预先把原始图像进行池化操作的层，这里称之为降维层，如图4所示。在图像输入时，图像本身如果是100×100以上的像素，相比较而言所使用的参数过多，在进行卷积操作时，时间与相对应的神经元的消耗都很庞大，为解决这一问题，提出可以提前对图像进行降维操作，即在图像进入卷积层前对其进行小型池化层操作，这样不仅达到降维的目的，还保留图像所有主要特征值。

图4 降维层

降维层若过大容易造成图像特征丢失，严重影响图像的原始特征；若太小不能够达到降维要求，经过降维层后，图像的维度被降低但图像主要特征依然被保存，下面是图像经过降维层后进入卷积神经网络的流程图，如图5。

通过实验测试发现使用3×3作为降维层的宽度能够达到最好的效果。

图5 流程图

2.2 归一化的改变

归一化也为数据规则化，其目的是为了提前对数据进行一定的处理让其在进入卷积后计算速度加快，同时又可以保证整个网络在鲁棒性数据更强。

数据规则化一般采用的方法是Batch Normalization(BN)，通过BN让数据可以成为标准的正态分布。也有采用Group Normalization(GN)方法进行数据规则化，它是把通道进行分组，然后对每个组进行规则化操作，那么相对BN来说其batch size就要在很小的情况下才有很好的效果。当然还有其他的规范化操作，比如WN、LN和IN等，但这些方法都有各自的优点与缺点，适应不同的batch size和操作环境。

3 实验与讨论

3.1 实验步骤

(1)本文所使用的是训练集是TID2013图像数据库，该数据库的值由971名观察者给出524 340个数据统计得到，从该数据库中抽取100个图像作为训练集，把DMOS的值作为参考值，进行训练。

(2)从数据集中选定120×120大小的训练图像集，进入降维层后图像由120×120变为40×40的特征图像，为了防止数据过拟合情况出现并同时提高计算速度，采取BN方法进行数据规则化操作，此操作后特征图大小没有发生改变仍是40×40。

(3)降维后的特征图进入卷积层，该卷积层采用3×3小卷积核进行卷积操作，使用32个随机产生的3×3小卷积核对降维后的特征图进行卷积操作生成32个40×40的特征图，因采用了对图像进行外围补零方式，使得进入的特征图在进行卷积后大小不发生变化。

(4)对32个特征图进行非线性映射产生了32个40×40的特征激励图像，再把其进行pooling池化操作，生成32个20×20的特征图，此时为卷积神经网络的第一层，把32个20×20特征图送入到下一层，进行卷积操作生成128个20×20的特征图，继续进行映射操作后通过池化后生成128个10×10特征图。

(5)对于10×10的特征图而言是二维的，把其进行平展开形成100向量，进行全链接神经网络操作，把100向量作为输入信息，最后得到一个输出信息，该输出信息可以定义为y，从训练集中找出主观评价的数值h，y与h构成代价函数，通过梯度下降后对网络进行训练，最后找到最优解，完成对网络的训练。

3.2 相关数据研究与讨论

本次卷积神经网络不是一个分类模型网络，而是作为非线性回归模型进行考虑，得到一个结果，从图中可以看出，该网络最终得到一个输出值来评价图像质量。因此在网络最后不使用SOFTMAX函数，这里采用RELU函数作为最后的激活函数。

σ(x)=max(0,x)

建立代价函数，依据主观对图像质量的评价特征，使用交叉熵作为代价函数C，经过梯度下降后得出以下公式：

z表示输入值z=∑wjxj+b，h为主观质量评价值，在TID2013数据库提取出相对应的MOS值，通过代价函数式子中可以看出σ(z)与h相差的值越小说明结果越接近主观质量评价，经过梯度下降后差值越大下降速度越快，差值越小下降越慢，满足期望。

3.3 结 论

进过训练后，其值如图6为：

图6 测试结果

从中发现，初始阶段训练结果变化比较大，训练速度比较快，随着不断靠近，结果值变化逐步变慢，同时慢慢靠近主观值。且在进行训练过程中数据有轻微的反复，但能够很快地重新调整过来。

4 结 语

卷积神经网络是近年来比较热门的深度学习中经典模型，本文详细论述该网络与以往神经网络的区别不同[5-7]。本文在原有卷积神经网络技术的基础上加入降维层，目的是为了使输入图像在保持特征不变的情况下减少图像维数，从而提高了运算速度以及减少大量参数产生。经过实验与测试发现，在图像没有进入卷积层时，提前进行降维后，结果并没有受到影响，同时相对而言，要比没有加入降维层的卷积神经网络要用的时间有显著的提升，收敛的速度更快。