生成对抗网络复原图像的质量测评方法研究

史朝龙 李 旭 刘 乐 赵子伦 董 斐

(1.海装驻北京地区第一军事代表室，北京 100076；2.北京航天计量测试技术研究所，北京 100076)

1 引 言

根据现场环境的复杂性，使得获取图像质量条件复杂，比如精确制导系统，尤其是高超声速导弹武器中，弹上复杂力热环境较为复杂，成像系统随导弹的冲击振动，会产生模糊、抖动现象，由于气动力学、热学效应，红外成像会产生热窗、抖动、模糊、对比度下降等现象。又如战场环境中普遍存在复杂自然环境以及烟雾、主动诱饵等认为对抗干扰，可能导致各类图像退化情况。

生成式对抗网络以其生成图像的优势，在模糊图像复原、运动图像复原、遮挡图像复原等领域得到了大量应用并取得了不错的效果，如DCGAN使用上下文和先前的损失来搜索潜在图像中损坏图像的最接近编码，然后将该编码通过生成模型来推断丢失的内容，恢复图像被遮挡的部分；DeblurGAN是一种基于条件GAN和内容损失的端对端学习模型，总损失包括来自批评者和感知损失的WGAN损失，使图像更加清晰，用于改善由于相机抖动或物体快速移动产生的模糊图像；TP-GAN将从数据分布得来的先验知识和人脸领域知识结合，提出双路径GAN，一条专注于推理全局结构，另一条则推理局部的纹理；SRGAN使用对抗性损失和内容损失的感知损失函数，感知相似性驱动的内容损失生成的纹理更加丰富。

为提高基于生成式对抗网络图像复原系统的可信度，保证图像复原方法的输出图像可靠，必须对复原图像进行质量测评。针对此需求，本文提出了一种基于多方向差异哈希(Multidirectional Difference Hash,MDhash)算法的复原图像质量测评方法。

2 基于MDhash方法的图像复原质量测评

2.1 多方向差异哈希算法

哈希算法是一种可将多种形式的多媒体转换成哈希值的算法。利用哈希算法可产生与图像对应的二进制编码数组(即图像的哈希值)。两幅图像的哈希值越接近，则说明两幅图像的相似性越高。因此，通过比较两幅图像的哈希值，可对其相似性进行度量。

本文提出一种MDhash算法。该算法基于像素域，根据相邻像素之间灰度值的差异计算图像的哈希值。如图1所示，相邻像素的比较在像素矩阵的四个方向进行，分别是当前像素值(如图中的A)与位于其同一行右侧像素值(如图中的B)、同一列下方像素值(如图中的C)、右上方像素值(如图中的D)与右下方像素值(如图中的E)之间进行比较，因此，一幅图像可以得到四个方向的哈希值，分别记为横向、纵向、斜上向以及斜下向哈希值，将这四个哈希值综合起来，即为图像的多方向差异哈希值。

图1 MDhash中的像素关系示意图

对于横向差异哈希值，若当前像素值大于其右边的像素值，则记为 1，否则为 0，如公式(1)所示。

(1)

式中：

G

(

x

，

y

)——(

x

，

y

)位置的灰度值，

G

(

x

，

y

+1)——(

x

，

y

+1)位置的灰度值，

H

(

x

，

y

)——(

x

，

y

)位置的横向差异Hash值。

同理，纵向、斜上向以及斜下向差异Hash值可以用下述公式表示：

纵向差异Hash值：

(2)

斜上向差异Hash值：

(3)

斜下向差异Hash值：

(4)

2.2 图像MDHash值的相似性函数

两幅图像的MDhash值之间的差异可以反映图像自身之间的差异。因此，通过测量两幅图像的MDHash值之间的汉明距离(Hamming Distance)计算两幅图像之间的相似性。

设

x

=(

x

,

x

,

...

,

x

)表示一个长度为

n

的字符串，

y

=(

y

,

y

,

...

,

y

)表示另一个相同长度的字符串，

x

和

y

之间的汉明距离

D

为：

(5)

当所计算的字符串为二进制编码数时，可以利用异或(XOR)操作计算汉明距离。设

a

和

b

表示两个相等长度的二进制编码数，则

a

和

b

的汉明距离等于

a

⊕

b

中值为1的数量。图像的MDhash为二进制编码数所组成的三维矩阵，尺寸为

n

×

n

×4，则两个MDhash值的汉明距离的表达式为：

(6)

式中：

H

——第一幅图像的MDhash值尺寸均为

n

×

n

× 4，汉明距离

D

(

H

1,

H

2)越小，两幅图像越相似。

2.3 基于MDhash算法的复原图像质量测评方法

复原图像的真实度可通过计算复原图像与原始图像的相似性来获得。因此，在本文所提出基于MDhash算法的复原图像质量测评方法中，首先通过在四个方向上比较相邻像素之间的差异计算图像的MDhash值；然后通过计算复原图像和原始图像的MDhash值之间的汉明距离来度量它们的相似程度，即复原图像的真实度。

基于MDhash算法的复原图像质量测评方法的度量方法示意图如图2所示。基于MDhash算法的复原图像质量测评方法的主要步骤为：

图2 基于MDhash算法的复原图像质量测评方法的度量方法示意图

(1)将复原图像A的尺寸缩小到(

n

+1)×(

n

+1)；(2)将缩小尺寸后的图片转换为灰度图，分别记为

G

，

G

，遍历像素矩阵每一行，从左到右分别计算每一个像素点的横向、纵向、斜上向和斜下向四个哈希值，遍历完得到

n

×

n

的矩阵，矩阵元素为哈希值，然后合并四个方向的哈希值得到其MDhash值，为

n

×

n

×4的矩阵；

(3)按照与步骤一和步骤二相同的方法，计算原始图像B的MDhash值；

(4)计算两幅图像哈希值的汉明距离，作为其相似性的度量值，得到复原图像质量。

3 实验方法及结果分析

3.1 实验方法

公开图像数据集gopro dataset作为测试用例，gopro数据集有若干张高帧相机拍摄的街景图像，包含模糊的和清晰的。将模糊图像复原后与原始清晰图像对比，度量相似性。

实验对比了MDhash和广泛使用的SSIM质量测评指标，本文采用主观评分值与以上指标的相关性验证MDhash的优劣，相关性评价为皮尔森线性相关系数(

PLCC

)，其取值范围为[-1,1]，

PLCC

>0表示正相关，

PLCC

<0表示负相关，

PLCC

=0表示完全不相关。计算公式为：

(7)

选择20位测试人员对复原图像与对应的原始清晰图像的主观评分值记录在表1内。

表1 主观评价图像复原效果表

3.2 实验结果分析

采用DeblurGAN网络对模糊图像进行复原，复原结果和原始清晰图像的对比如图3所示，得到的MDhash、SSIM、主观评分值列表如表2。

图3 gopro数据集原始清晰图像和DeblurGAN复原图像

表2 图像复原效果测评方法对比

经计算，MDhash与主观评分值的相似系数为0.9819，可信度优于测评方法SSIM。

4 结束语

本文提出的复原图像质量测评方法。该方法根据相邻像素之间的关系计算图像块的多方向差异哈希值，通过比较复原图像与参考图像的MDHash值之间的汉明距离，从而度量复原图像的质量。实验结果表明，该方法可实现对复原图像质量的准确量化评估，与对比方法结构相似度(SSIM)相比，本文提出的MDhash方法与人的主观评价结果具有更高的相关系数。