基于深度神经网络的图像分辨率增强技术研究

余 萍

（江苏盐城师范学院 信息工程学院，江苏 盐城 224002）

1 前言

随着大数据时代的到来和计算机运算能力的显著提升，以深度学习为首的智能算法正在占据我们的日常生活。对于提高图像分辨率，可以依靠提高拍摄系统的精度和稳定性来实现。但这样做的费用高，且制作技术难以实现，因此不能很好的解决提高图像分辨率的问题。然而卷积神经网络作为深度学习模型中的一种，在图像识别领域的准确率很高，比人类肉眼更加精准，因此结合深度神经网络在图像分辨率增强技术的出色表现，研究基于深度神经网络的图像分辨率增强技术具有重要的意义。图像信息在我们的日常生活中有着举足轻重的地位，图像的分辨率大小是衡量图像质量的重要指标之一，所以我们也可以利用深度神经网络的优点，将图像和相关的神经网络聚集到一起，使它不仅让图像分辨率增强，也可以广泛应用于图像处理的其他领域，以得到我们需要的结果。

本文讨论的图像分辨率增强技术主要指超分辨率技术，在80年代以前，针对超分辨率提出过长椭球波函数法、线性外推法、叠加正弦模板法等不同的方法，但在实用中的效果并不好[1]。80年代以后，超分辨率技术有了突飞猛进的发展，Huang等在用多幅遥感图像恢复一张高质量的Landsat卫星图像时，采用多幅卫星图像对一幅图像进行增强，取得了较好的效果[2]。随后，基于重建的方法蓬勃发展，形成了基于插值的方法、迭代反向投影法（IBP）、最大后验概率法（MAP）、凸集投影法（POCS）、正则化方法等不同的方法[3]。以上方法都是属于空间域的方法，除此外还有部分学者致力于频域方法的研究[4]。频域方法的基本思想是通过在频域消除频谱混叠，从而达到改善图像空间分辨率的目的，其理论基础是傅里叶变换的平移特性[5]。目前已经很少有学者对频域方法进行进一步的研究。相应的，空间域方法则由于其灵活性而得到了很大的发展，各种方法百花齐放[6]。针对图像质量下降的各种因素，采用不同的数学方法来描述图像的成像和降质过程，并可以运用很多成熟的数学方法进行求解，需要克服的困难就是模型的复杂性和求解的困难性，大量学者在该领域内做出了大量的工作[7-8]。基于深度神经网络的方法是当前超分辨率研究领域的研究热点，与传统方法相比，该方法最大的不同就是指导图像分辨率增强的先验信息并非来源于学者的总结，而是从大量作为参考的高分辨率图像的神经网络中得来[9]。通过对参考图像的高频信息和低频信息之间的规律的学习，从中总结出高频块和低频块对等不同形式的先验信息来指导低分辨率图像所缺失的高频信息的恢复[10]。

本文基于深度神经网络针对实际的图像分辨率，设计了一个图像分辨率增强框架，引入了适当的预处理，通过Retinex理论实现照度的归一化，并针对传统的Retinex方法速度较慢，不符合Retinex理论的先验约束等缺点，设计了基于几何包络的Retinex方法，通过对各方面的图像分辨率增强，有效的提高了实验结果的视觉质量，实验结果也与原始高分辨率图像更接近。

2 方法

2.1 数字图片成像和降质模型

超分辨率的目的是要从观测得到的低分辨率图像还原出“原始”高分辨率图像，本质是观测过程的逆过程，所以首先需要建立一个简洁又符合事实的成像模型和降质模型。首先，假设高分辨率图像为L1N1×L2N2的矩阵。将该矩阵写成行接向量的形式为X=[x1,x2,x3,……,xn]T，其中N=L1N1L2N2，即将图像的每一行所构成的行向量按照顺序首尾相接组成一个一维的向量。这里，x是一个“理想”图像，即它是从原始的连续场景在Nyquist采样率或更高采样率上采集得到的，包含了原始场景的全部信息，可以完整的恢复出原始信号。采样得到的“理想”高分辨率图像并不能直接被人所观测到或者被仪器所记录下来，因为这仅仅是观测过程中的一个中间结果。由于光线在空气中传播的不均匀性、镜头和场景的相对运动、镜头的透光缺陷等因素，“理想”的高分辨率图像又经过了平移旋转等空间变换、散焦运动等模糊因素的影响，投影到CCD感光板上。由于CCD颗粒度的密度有限，它的采样过程是一个降采样过程，即图像的大小又进一步缩小。最后，在光电转换和传输的过程中又有模糊因素的加入，这才是完整的一个观测过程。完整的观测过程可以用以下公式进行表达。

其中，yk为观测到的第k帧图像，x为“理想”图像，Mk为L1N1L2N2×L1N1L2N2的空间变换矩阵，Bk为L1N1L2N2×L1N1L2N2的模糊矩阵，D为N1N2×L1N1L2L2的降采样矩阵，kn为第k帧图像的噪声。

在人脸图像的超分辨率领域，大部分文献没有考虑如此复杂的观测模型，而是简化为：

即忽略了模糊和噪声因素，并事先做好人脸图像的配准，即令Mk=I，I为L1N1L2N2×L1N1L2N2的单位矩阵。

2.2 Retinex光照模型

基于深度神经网络的超分辨率技术是通过神经网络输入图像和训练库中图像的相似性来指导低分辨率图像的增强，但在实际图像中，哪怕是同一场景在不同的光照条件下也会呈现完全不同的灰度分布。所以如何使图像的照度归一化，也是基于神经网络的超分辨率领域的一个研究问题。Retinex理论从人眼的观测原理出发，较好的解释了光照、颜色等视觉理论问题，是解决照度归一化问题的一个突破口[11]。传统的颜色理论认为，人眼感知光照是通过感应物体反射光线的性质决定的。这个理论和人们日常生活中的某些现象不一致，如同一个物品在不同的光照环境下其反射光线明显不同，但人眼可以大致感应出物体的颜色并没有改变[12]。Land对此提出了不同的看法，他认为人类感知颜色不仅仅通过眼睛视网膜的感光，而且有大脑皮层的参与[13]。他认为通过感知长、中、短波长的不同比例，在大脑中经过一定的运算形成了不同颜色的感知，据此提出了Retinex（Retina+Cortex，视网膜皮层）理论，并将之用于图像增强等研究领域[14]。Retinex理论认为，一幅自然图像是由景物的反射系数和入射光照两部分形成的，用公式表示为：

其中R为景物的反射系数分布图像，L为光照强度分布图像，S为形成的自然图像。本文提出了基于几何包络的Retinex算法，在时间效率和实验结果上都取得了良好的效果，并将之应用于图像分辨率增强的预处理，取得了较好的效果。

3 实验

1.图像数据的获取。对数据进行获取记录，分析模式的机理，通过对机理的分析，找出基于深度神经网络的数字图片成像和降质模型在构建过程中需要注意的问题。

2.模型的构建与检测。运用基于深度神经网络的数字图片成像、降质模型和Retinex光照模型的数学算法，对图像的各个层级与类型进行计算与相关分类。

3.模型的设计与应用。针对上述实验结果数据以及图像分辨率的特点，对图片成像、降质模型和Retinex光照模型进行设计，并对相关设计进行实际的应用检测。

4 结果

方法对比分析：

Retinex理论对人眼和图像间的相互作用进行了深入的研究，并且其理论基础就是将一幅输入图像分解为照度分量和反映物体本质属性的反射系数分量两部分。如果利用Retinex理论分离出图像的照度分量，仅保留反射系数分量，则可以起到很好的照度归一化效果。Retinex理论的经典方法有基于路径比较的方法、基于卷积的方法、基于可变框架方法等。其中，目前比较成熟，效果较好的方法有MSR方法和Kimmel方法。MSR方法属于基于卷积的方法，Kimmel方法属于基于可变框架方法。本文提出了一种基于几何包络的方法，能够更好的符合Retinex理论的基本假设，取得了较好的实验效果，并且提高了时间效率。基于几何包络方法和MSR方法与Kimmel方法实验效果的对比，并从理论和实验两方面对三种方法的时间效率进行了对比。Retinex方法常应用于薄云薄雾去除、颜色恢复、照度不均匀校正等领域。在本文中提出这种方法主要是用于修正薄云雾的干扰、颜色的失真和照度的不同。本文选取了薄云雾图像、颜色失真图像、低照度图像各10幅进行实验，这些图像来源包括自拍图像和Retinex的标准测试图像。从实验结果可以看出，MSR方法对比度增强度有时不够，实验结果效果不明显，优点是图像恢复的结果比较自然，视觉效果较好。Kimmel方法容易产生过增强的效果，无形中将噪声也放大了很多，对噪声很敏感，而且在亮点、光源和明暗交界处容易产生光晕现象，很多情况下实验结果的效果很差。本文方法则可以很好的起到对比度增强、颜色保持和恢复、照度补足等效果，可以在去除薄云雾的同时保持自然的颜色且视觉效果较好，很好的对因照度不足而损失的颜色进行恢复。

当一批处理的图像数量较大时，时间效率的提高有着重要的实际意义。多分辨率的基于几何包络方法在时间效率上与目前已经提出的效果较好的MSR方法和Kimmel方法相比有着明显的优势。

实验结果进一步验证了对三种方法实用性，MSR方法尽管是非线性的时间复杂度，但增加的复杂度仅仅是对数项的相乘，很接近线性复杂度。而Kimmel算法由于需要大量的迭代运算，且每步迭代的计算公式较为复杂，所以速度较慢，所以本文提出的方法通过深度神经网络的设计，得出各方法的优劣性。

5 结论

图像分辨率增强技术是一个重要的研究课题，基于深度神经网络的图像超分辨率是本领域的一个研究重点和热点，可以广泛应用在安防监控、公安侦查、国家安全等领域。本文针对图像的分辨率增强技术，指出在实际应用中的输入图像往往和训练库中的图像存在照度和空间方位等的不一致性，降低了基于深度神经网络的效果，并设计了图像分辨率增强的方法框架，通过引入适当的预处理和相应的后处理，增强了算法的结合性，提高了图像分辨率的效果。