基于生成对抗网络的图像增强与修复技术研究

摘要：在低光照与雾天等特殊条件下，图像采集设备捕捉的图像亮度相对较低，容易出现特征遗漏、信息呈现不足等问题，为解决这一问题，本文提出一种基于生成对抗网络的图像增强方法，利用变分PDE中的TV模型对图像进行进一步修复。仿真实验结果显示，本文方法可明显提高图像对比度、可视化效果与质量，且图像修复速度较快，没有明显修复痕迹，有一定的应用与推广价值。

关键词：生成对抗网络；图像增强；图像修复；变分PDE

引言

近年来，图像处理技术的应用越来越多，不过在低光照与雾天等特殊条件下，图像往往存在清晰度低、噪声多、对比度差等诸多问题，图像处理技术面临挑战[1]。在此背景下，图像增强技术得以出现，其目的在于对图像细节进行合理与有效调整，提高原始图像对比度及清晰度，进而实现图像可视效果的优化。以交通监控领域为例，对于晚间或雨雪、大雾等天气，摄像机图像质量会明显降低，有价值信息的提取难度大幅增加，利用图像增强技术，能够对图像细节及对比度进行调整，进而为智能交通系统提供重要帮助，使其更加准确地将车辆与行人识别出来，对道路安全性的提升以及交通事故的预防均具有不容忽视的积极意义。

尽管光照增强领域目前已经取得一定的经验，但当前方法对增强后图片中噪声的影响有所忽视，且对图片的受损情况不够重视，图像质量尚有较大提升空间。基于此，本文提出基于生成对抗网络（generative adversarial network，GAN）[2]的图像增强方法，以实现光照增强目标，进一步配合变分PDE[3]中的TV模型[4]执行图像修复任务，将图像噪声去除，处理图像受损问题，为图像质量提供更好的保证。

1. 生成对抗网络原理

生成对抗网络属于双边博弈鉴别类游戏，主要包括生成网络（generator）与鉴别网络（discriminator）两部分。其中，前者基于噪声生成图像，可取得与真实图像逼近的效果；后者则主要基于真实数据，对前者所生成图像的真假进行辨别，二者通过博弈，持续增强前者的图像生成能力，一直到后者无法辨别图像真假[5]。生成对抗网络原理如图1所示。

分别用G与D表示生成网络与鉴别网络，如果D的评分比较低，意味着G生成图像的效果比较差，这时便需要通过训练对参数做相应调整。在实际鉴别的过程中，D的输出值与1越接近，意味着G所生成的图像越真实。

实际上，G和D属于GAN中的两个相互独立的模型，各步仅能执行一个步骤，G与D单独交替迭代训练。在具体训练的过程中，G生成的数据用Pg（x）来表示，真实数据用P（x）来表示，它们通过D持续迭代训练。G将噪声z在P（x）中映射，通过持续训练G的分布拟合真实数据分布，D无法再完成对P（x）和G生成数据的映射。

2. 基于生成对抗网络的图像增强

基于GAN的图像增强原理如图2所示[6]。根据该图，低照度或雾天环境下的图像在经过抖动与镜像之后输入G，之后经由生成网络增强输出，和正常照度图像进行可微增强，之后向D输入，D结合鉴别的真假结果，经由损失函数向G与自身反馈，以此对参数进行优化，循环该过程，一直到G和D实现平衡。

在上下采样块中，主要基于scSE注意力机制的支持执行空间与通道权重的分配任务，通过残差完成特征叠加，进一步针对性地保留增强特征，通过可微增强模块，在不同增强方式的支持下，实现生成图像及真实图像的增强处理。

2.1 生成网络

基于UNet网络添加残差连接，能够显著增强对图像特征的提取能力，在此基础上加深网络记忆，并有效提升网络稳定性。在执行上下采样任务的过程中，正是因为G所采用的是残差连接的方式，因此，在具体的下采样环节，需要针对上层网络实施卷积处理，目的在于有效减小数据尺度，并相应缩短和下层残差之间的连接。相对应地，在上采样环节，需要针对下层网络实施反卷积处理，对其目的进行分析，即有效增大数据尺度，并与上层残差建立起有效连接。在实际残差连接的全过程中，因为数据形状在相应程度上存在差异，故针对性地对1×1卷积核过渡上下采样的方式加以运用。

2.2 鉴别网络

本文使用PatchGAN全卷积网络鉴别器执行N维矩阵的输出任务，在此基础上求解矩阵均值，进而得到真假的判别结果，此环节将图像各个部分的潜在影响作为综合考虑因素，对于细节的关注更为全面。以图像增强为目标的鉴别网络中，输入主要包括两张图像（待增强的低照度图像与正常照度图像），鉴别网络对两张图像的匹配情况进行分析。除首个下采样未对层归一化加以运用外，鉴别网络中其他下采样所采用的均是标准的下采样块。

2.3 损失函数

本文生成网络对huber损失函数结合BCE损失函数的方式加以运用，前者用于反映目标图像和生成图像之间的差异，后者用于反映生成图像被D判定为假的惩罚。D利用BCE函数对生成图像真假输出矩阵和图像标签的不同进行判别，基于该函数的BCE损失计算如下：

（1）

式中，N为PatchGAN全卷积网络的输出数据大小，反映的是图像像素个数；p（yi）为像素预测为真或假的概率。

3. 基于变分PDE的图像修复

基于变分PDE的图像修复主要是针对待修复区域的图像进行微分扩散方程的构建，在此基础上迭代并更新待修复的像素值，进而达到修复图像的目的。在变分PDE中，TV模型能够在科学保持图像边缘的同时，将部分噪声消除，本文对该模型加以利用，寻找图像能量函数，并求取区域内的极小值，将待修复像素值确定下来，进而实现图像修复。

基于变分PDE的图像修复过程用下式表示：

（2）

式中，M为整幅图像；D为图像中待修复部位；u为图像中待修复部位的像素值；u0为初始值。

基于变分原理，可得Euler-Lagrange公式，如下：

（3）

（4）

对公式（3）变形，有：

（5）

公式（5）属于非线性微分扩散方程，在不断趋向零的过程中，可以获取u的最小值。极值所在边界部位M需要与有偏条件相符，即，此处所表示的即边界位置的法向量。

因为在平滑区存在趋向零的可能，所以，为规避分母为零的可能，一般情况下用

对进行替代，，a为正参数，取值非常小。

由此一来，可将公式（2）变形为

（6）

在此基础上，针对图像待修补位置实施像素差值处理，持续循环此项操作，直到完成整幅图像的修补。

4. 实验分析

为验证本文图像增强与修复方法效果，进行如下仿真实验。

4.1 图像增强实验

此次仿真实验对标准化测试视频序列截图（24位，雾天条件，分辨率为712×623）加以运用，Celeron 2.4GHz，6GB PC机，操作系统为Win7，基于Matlab实现本文基于生成对抗网络的图像增强方法。由于雾天条件下并没有原始标准图像，因而只可以实施无参考评价，经过综合分析，将NR-NIQE设定为图像质量评价标准，并与人的主观评价相配合，得到评价结果，如表1所示。

根据表1，在雾天条件下，利用本文图像增强方法对图像进行处理，对比度、可视化效果以及图像质量均得到较为明显的提升，评价参数亦得到提升，算法具有简单易行、效率高的优势。

4.2 图像修复实验

在图像增强实验的基础上，进一步进行图像修复仿真实验，仿真环境依旧为Celeron 2.4GHz，6GB PC机，Win7，基于Matlab实现本文基于变分PDE的图像修复方法，得到仿真结果。

图像修复效果评价结果如表2所示，其中，前两个（MSE与PSNR）为全参考评价，后两个（NR-NIQE与人的主观评价）为无参考质量评价。

根据表2，本文方法对受损图像的修复速度比较快，修复结果痕迹很小，和原图没有明显差距，且图像质量各项评价指标基本与主观质量评价相符。

结语

本文对基于生成对抗网络的图像增强技术进行探讨，在此基础上，搭配使用变分PDE技术对图像进行修复，经过实验，对此方法有效性及应用价值进行验证，后续将进一步研究针对较大尺度、纹理复杂的图像，如何进一步改善增强及修复效果，或通过模型复杂度的进一步降低，节省网络训练时间。

参考文献：

[1]李丰耀.基于先增强后修复的两阶段弱光照图像增强方法研究[D].南京：南京邮电大学，2023.

[2]周妍，尹勇，邵泽远.基于循环生成对抗网络的海上落水人员红外图像检测方法[EB/OL].（2024-05-31）[2024-06-05].https：//kns.cnki.net/kcms2/article/abstract？v=wYgW8A8u9voQvdVz3A_SntrbHS8oikhd90WU3Vj3s_Ii3-_PrVqDC97Cf7lDoCehKuBxuMQ5Bl8dhiLJF5M7fnqACkhWGvPoh9jt3V1G2CiqRXO9GYbZX9DK5bTm1T94IKSDPEDjrEs=&uniplatform=NZKPT&language=CHS.

[3]唐泉，张新东.基于改进PDE扩散系数的图像去噪研究[J].新疆师范大学学报（自然科学版），2019，38（1）：33-38.

[4]呼亚萍，孔韦韦，李萌，等.改进TV图像去噪模型的全景图像拼接算法[J].计算机工程与应用，2021，57（17）：203-209.

[5]李海洋.基于生成对抗网络的图像修复技术研究与应用[D].兰州：兰州交通大学，2021.

[6]张翔宇.基于生成对抗网络的低光照图像增强技术研究[D].无锡：江南大学，2023.

作者简介：牛军军，硕士研究生，助教，研究方向：数据挖掘、人工智能。