梯度方向一致性约束下的多级低照度图像超分辨率重建模型

赵雪静，李仁伟

（中北大学，山西 太原 030000）

0 引 言

由于图像资料的抖动、图像系统精度较低等原因，造成图像对比度低、噪声明显、色彩失真等品质问题。由于图像品质较差，不能让使用者直接了解所包含的数据，因而很难做出准确的判断。因此，如何有效地改善退化的图像品质，成为图像处理领域的一个重要课题。图像品质恶化原因主要有两种：一是自然条件，在低光照条件下，如夜间、雨天、大雾、打雷等，得到的图像整体亮度较低、噪声较大、清晰度较差，难以识别；二是物理因素，因图像采集设备CCD、CMOS 等器件成像精度不高，造成了图像模糊性和空间分辨率下降，很难更好地满足视觉需求，也很难适应具体情况（例如卫星监控、医疗诊断、多媒体通信）。因此，在图像处理过程中，如何提高低亮度、低清晰度图像质量是一个不可忽略的问题。文献[1]提出了基于多级注意力密集残差网络的重建方法，该方法基于密集残差特点，利用低频段冗余信息的低照度分辨率图像，结合空间注意力和信道注意力记忆的方式，突出特征高频成分，从而使网络更好地适应图像特征，从而达到图像重建的目的；文献[2]提出了基于残差通道注意力和多级特征融合的重建方法，该方法在保留信道注意力的基础上提取图像特征，以减小模型参数，提高重建质量，从而达到超分辨率重构的目的。这两种方法都有各自的优点，能够很好地再现图像的细节，但容易在重建过程中引入人为因素，难以保持图像的细节，而且重构的速度也比较缓慢。因此，本文构建了梯度方向一致性约束下的多级低照度图像超分辨率重建模型。

1 图像轮廓线重建

自然图像的边缘为多个像素宽度的灰度区，过渡区图像中的灰度改变往往有一定规律，这种变化与边缘重建[3]有着很大关系。为了在自适应的边缘检测中使用，提出了基于梯度方向一致性约束下的梯度轮廓线重建方法。使用鲁棒映射方法去除灰度梯度波动影响，并用公式（1）描述点(a,b)处水平方向的灰色梯度，并确定梯度数值[4]。

式中：λ表示判定阈值；α表示水平方向梯度值。通过对所得到图像进行横向梯度分析，可以有效地分离出图像中的灰度梯度[5-6]，从而反映出图像边缘灰度变化，但是由于该信息使用不方便，所以设计3×3 相邻区域灰度梯度方向指标。定点(a,b)处梯度值α定义为：

式中：m，n分别表示所研究区域内图像水平方向分布梯度数值。通过对所研究区域的横向梯度值分布进行分析，确定梯度方向和梯度值可以较好地反映边缘处的灰度梯度变化[7]。由于值域太小不利于精细分析，所以利用相邻正交方向梯度值合成水平、垂直方向梯度值，如图1 所示。

结合图1 可知，梯度值合成的水平、竖直方向梯度值计算公式为：

式中：fλ1(a,b)，fλ2(a,b)，fλ3(a,b)分别表示右上、右下、左下方向梯度方向和。从上述结果可以看出，该组合梯度扩大了梯度的范围，能够更好地支持后续边缘区域精确分割和分级[8]；同时，经过适当处理，可以使边缘角分辨率得到明显改善[9]。合成的梯度和边界之间有很好的对应关系，但是合成梯度指数反映了边界的变化，不利于精确边界定位，所以要用梯度的方法进行精确的匹配。利用梯度阈值法[10]提取图像边缘信息，并将其作为辅助指标进行自适应调整。

基于此，采用由两个高斯模型加权而成的梯度轮廓线重建模型，如式（4）所示：

式中：x1，x2表示两个模型混合比例；y1，y2表示两个模型标准差；z1，z2表示两个模型均值。为了缩小模型求解误差，通过最小化模型拟合误差来约束，可表示为：

式中γ表示正则系数。由于高斯混合模型的灵活性，其可以很好地描述形状不规则、不对称梯度轮廓曲线[11]。当γ取值增大时，在重建过程中将重点放在梯度区域上，它能够产生更高分辨率的图像，并使其边缘变得更清晰，但也容易产生假轮廓和噪声。当γ取值减小时，在重建中将更强调图像域作用，因此，得到的高清晰度图像在色彩和对比度方面都尽量符合原始图像，但也存在着振铃效应、锯齿状边缘等问题[12]。在梯度方向一致性条件下，通过等值线转换，可以较好地保留梯度值和等值线形状。因此即使在γ取值很大时，亦能保持原图像颜色、对比度。

2 基于梯度方向一致性约束下的图像块重建

2.1 多级低照度图像增强处理

由于多级低照度图像无法保留原始图像色彩，所以利用非均匀插补强化技术，不但能对大量图像进行动态处理，还能较好地保持原有色彩，并能较好地适应在低光照[13]条件下拍摄的图像。非均匀内插法增强图像示意图如图2 所示。

在不一致空间抽样图中，对所有整数网点进行内插处理。假定光照变化较慢，根据色彩不变，可以认为人的视觉对目标色彩感知仅取决于对象表面反射特征，而不受外界环境光照影响[14]。因此，利用数学方法对原始图像中光照成分进行计算和剔除，尽量保留反映对象基本信息反射成分，以提高成像质量。针对彩色图像的色彩不平衡和失真，引入色彩恢复因子：

式中：C表示色彩恢复函数；W表示经过线性加权处理函数。该方法通过对三个RGB 颜色通道进行色彩恢复功能调节，可以有效地防止色彩畸变，使视觉效果更接近于人类实际视觉感官。

2.2 模型构建

由于输入图像块中必然会产生噪声，所以这种干扰必然会影响到局部梯度精确度，进而降低了算法精度。针对这一问题，采用基于梯度方向一致性约束方法，将单一尺度估计方法推广到多尺度空间，并进一步提出了一种新的多尺度主方向估计方法，从而进一步增强该方法的抗噪能力[15]。

多尺度梯度主方向一致性约束处理过程如图3所示。

针对多级低照度条件下图像超分辨率问题，提出了一种基于梯度方向一致性约束条件下的光照强化功能，以克服弱光干扰缺点。该原理可以按照式（7）来表达：

式中：ε表示稀疏矩阵；c1表示被增强低分辨率数据库；g(u)表示低分辨率图像照度增强函数；φ表示权值参数。与传统具有高分辨率、低频特征数据库相比，加强数据库具有低分辨率、高分辨率图像高频特征。根据Retinex 原理，图像反射成分与光强无关，所以增强图像应在微弱光线下表现出更好的特征。据此，建立了一个反射成分投影矩阵R。基于此，重建的图像块为：

式中F表示标准增益量。采用照度增强功能，提高了高、低分辨率图像对多级低照度图像的表征能力，并从某种意义上解决了在不同光照条件下对图像进行超分辨率重建问题。

3 实验与分析

为了验证梯度方向一致性约束下的多级低照度图像超分辨率重建模型构建的有效性，采用Matlab R2016a，在Windows 7 64 位系统环境中完成实验。

3.1 实验设置

实验数据来源于Exclusive Dark 多级低照度图像数据集（网址：https：//github.com/cs-chan/Exclusively-Dark-Image-Dataset）。以该数据集中的图像为基础，构造超分辨率图像重建数据，并对其进行采样。该系统包含了485 幅训练图像和15 幅实验图像，用于对实际场景中低照度图像进行检测。

选用文献[1]的多级注意力密集残差网络、文献[2]的残差通道注意力和多级特征融合作为对比方法进行主观和客观两个方面的实验测试，具体结果如下。

3.2 主观测试

主观测试是直接对重建后图像观测，分别利用三种方法对图4a）的原始低照度图像进行观测，生成图4b）～图4d）的三种方法观测结果。

由图4 可知，使用文献[1]方法、文献[2]方法的图像纹理和边缘较模糊，而本文所提出的梯度方向一致性约束下的重建方法图像纹理和边缘清晰，其中文献[2]方法出现轻微颜色失真，文献[1]方法在色彩变化区域产生噪声，整体泛白、边缘模糊。

3.3 客观测试

将峰值信噪比、结构相似度和感知质量作为指标，其计算公式及实际数值如下。

1）峰值信噪比

峰值信噪比指的是图像失真程度，该值越大说明图像失真程度越小，其计算公式为：

式中：s表示图像均方差值；st表示最大像素值。

2）结构相似度

结构相似度指的是从结构层次对比图像失真，该数值越大，说明图像失真程度越小，其计算公式为：

式中：ηx表示图像横向平均值；ηy表示图像纵向平均值；μ1，μ2分别表示图像横向、纵向结构变化系数。

3）感知质量

感知质量指的是质量感知评价方式，该值越小，说明图像感知质量越高，其计算公式为：

式中：Ma 表示标准评价分数；NI 表示无参考图像评价指标。

峰值信噪比、结构相似度、感知质量三个指标的理想评价结果如表1 所示。

表1 三个指标理想评价结果

将表1 所示理想数值作为评价指标，分别使用文献[1]方法、文献[2]方法和梯度方向一致性约束下的重建方法进行对比分析，对比结果如图5～图7 所示。

由图5 可知：使用文献[1]方法峰值信噪比最大值为8.5 dB，最小值为3 dB；使用文献[2]方法峰值信噪比最大值为12 dB，最小值为6 dB。对这两种方法进行分析可知，受到人为因素影响，在重建过程中出现了大量噪点，导致峰值信噪比较小，造成了图像失真程度严重。使用梯度方向一致性约束下的重建方法峰值信噪比最大值为21.3 dB，最小值为19.1 dB。由此可知，使用梯度方向一致性约束下的重建方法与理想评价结果最为接近，说明图像失真程度较小。

由图6 可知：使用文献[1]方法、文献[2]方法和梯度方向一致性约束下的重建方法的结构相似度最大值分别为70%，78%和93%；只有使用梯度方向一致性约束下的重建方法与理想评价结果数值一致，说明使用梯度方向一致性约束下的重建方法图像失真程度小。

由图7 可知：使用文献[1]方法、文献[2]方法和梯度方向一致性约束下的重建方法的感知质量最大值分别为10.3 pi，9.8 pi 和6.7 pi；只有使用梯度方向一致性约束下的重建方法与理想评价结果数值一致，说明使用梯度方向一致性约束下的重建方法图像失真程度小。

4 结 语

为了解决多级低照度图像失真程度严重的问题，本文构建了梯度方向一致性约束下的多级低照度图像超分辨率重建模型。该模型能够较好地反映实际图像边界过渡区域的综合梯度指数。通过实验结果表明，该模型可以很好地解决图像边缘检测准确性和抗噪能力之间的一致性，对于弱边缘具有良好的梯度方向一致性，具有良好的重建能力。