基于DCGAN的金相图片生成方法及其应用研究

杨维姝，伊军英，孟雪，邱佳祺，冯庆军

（1.江苏科技大学冶金与材料工程学院，江苏 张家港 215600；2.江苏科技大学苏州理工学院电气与信息工程学院，江苏 张家港 215600）

0 引言

金相图片能够反映出金属材料的微观组织和形貌特征，对研究金属材料的性能具有重大作用。晶粒尺寸不同的金属材料其力学性能有较大差异，晶界越多，晶粒越细，根据霍尔-佩奇公式，晶粒的平均直径越小，材料的屈服强度就越高，材料的力学性能越好。

金相分析是研究金属材料的重要手段之一，在日常的实验研究中，金相分析流程主要依靠实验人员的眼睛观察，并结合个人经验对所需金相显微组织进行判断、分析与分类，这存在着明显不足：鉴定结果受人的主观因素影响较大，在一定程度上缺乏客观性与通用性，而且这样的分析方法效率低，不能实现金相图片的快速分析和复现。为了解决这一问题，目前，已有很多学者开始研究金相图片与计算机网络相结合的方法，以实现金相图片的自动化处理[1][2]，然而此类技术的实现依赖于大量的金相图片数据。在日常的实验中，人力物力的限制会导致在某一具体的实验研究中，图片数据匮乏，限制了金相图片分析技术的进一步发展。

为了解决实验过程中金相图片有限的问题，本文研究生成式对抗网络[3]（GAN），探究此网络在金相图像领域的应用效果。2014年Lan Goodfellow提出基于零和博弈思想的生成式对抗网络，此网络一经提出便成为人工智能领域的研究热点。其中，深度卷积对抗网络（DCGAN）具有模型稳定、分析数据强的优点，可用此网络扩充数据样本[4][5]，从而进行金相图片特征的普遍性研究。

1 图像预处理

金相图片往往包含很多影响观察的划痕、污渍等，为了便于观察研究金相特征，需对图像进行降噪处理，去掉金相显微组织图像中的干扰噪声，保留有用的细节信息，从而得到高质量的金相图片。常用的降噪方法有线性滤波法、中值滤波法、基于离散余弦变换的图像去噪。研究发现，基于小波变换的图像降噪方法[6]在去除金相图片噪声时有着较好的效果，通过低波滤波器对小波分段后的图像进行筛选，保留图像低频部分的主要信息，达到降噪目的。

本文采用一种基于双曲线阈值函数的小波阈值降噪方法，通过改进软阈值函数得到最佳的金相去噪图像。改进前的降噪结果为

至此，便可导入待处理的金相图片，去除图片的划痕等噪声。如此降噪后得到的恢复图像达到了较好的处理效果，在去噪的同时保留了清晰的金相细节特征，如图1所示：

2 生成模型

2.1 朴素GAN原理

GAN起源于零和博弈的思想，并将其结合应用到神经网络中，构建生成网络G（Generator）和判别网络D（Discriminator）两个网络模型。其中，生成模型使新样本图片尽可能近似为真实样本。而判别模型则是一个分类器，其目标是使判断结果准确。两大模型动态博弈，通过交替训练以实现生成模型和对抗模型达到纳什平衡，当D模型不能正确分辨出图片来源时，可认为生成器能够生成“真实”图片，此图片对后续的研究具有同真实图片一样的参考价值。

利用随意梯度下降法对两模型进行优化，建立目标函数对此模型进行监督和判断。当给定G模型时，D模型的优化方式与常规二值分类器的训练一样，用交叉熵表示其目标函数，即

其中G表示生成器，D表示判断器，x为真实数据样本，z为随机噪声矢量，G(z)为噪声矢量z在G空间上映射而成的生成数。式中第一项表示D对真实数据x标注为1，第二项表示D对由G生成的数据标注为0。

判别器D的目标是能正确区分真实数据和生成数据，当输入为真实样本x时应使输出尽可能为1，而当输入为生成数据G(z)时应使输出尽可能为0，所以目标函数式（5）转化为如下表达式：

生成器G与判断器D时刻进行零和博弈，故生成器G的目标函数为

为使两者达到某种纳什平衡，故GAN结合D和G的博弈情况，其优化目标函数可表示为

当GAN搭建完成，便可以利用此网络进行图片生成、图像超分辨率、图像修复等。

2.2 利用DCGAN扩充数据集

GAN避免了反复应用马尔可夫链学习机制，无需变分下限或近似推断，极大的提高了应用效率，但难以保证G网络模型和D网络模型在对抗过程中保持平衡。而深度卷积生成对抗网络[7]（DCGAN）将GAN与CNN相结合，提高了原始GAN训练的稳定性和生成图片的质量。

DCGAN是GAN中一个代表性模型，在朴素GAN的基础上，引入卷积神经网络，替换原先的生成器和判别器结构，从而有效的提高网络的稳定性[8]。DCGAN的生成器和判别器均舍弃了CNN的池化层，其中，判别器使用卷积结构，生成器使用反卷积结构。DCGAN在生成器和判别器后的每一层加了BN层（Batch Normalization），加快训练速度，提高稳定性。移除完全连接的隐藏层，以实现更深层次的体系结构。此外，在生成器中，除输入层使用Tanh激活函数，其余层全部使用ReLU激活函数；在判别器中，所有层都使用LeakyReLU激活函数[7]。

将DCGAN应用到金相图片中，可有效扩充金相图片数据集，在大量样本的基础上，分析结果将更具说服力。

3 金相图片特征分析

利用上述模型，将其应用到铝合金固溶、轧制加工工艺[9]中，DCGAN生成的大量Al-Zn-Mg-Cu合金的金相图片，可对其组织形貌进行特征分析。由DCGAN生成的金相图像，图像数据的增多，使得金相图片的分析更具说服力。

将Al-Zn-Mg-Cu合金在470℃下固溶6h处理，研究轧制变形量对铝合金组织和性能的影响，如图2为具有代表性的未轧制和轧制变形量分别为8%、12%、16%的固溶铝合金金属试样在蔡司显微镜下拍摄得到的金相图片利用上述模型而生成的金相图片。

图2 固溶铝合金金相组织处理后图片

轧制变形量的增加，对固溶铝合金晶粒尺寸产生一定影响,且随着变形量的增加，合金中的孪晶数量越来越多，孪晶的方向也从单一变为交错分布。轧制温度的提高可以促进更多的滑移系开动，使得孪晶变得细长。

由表1可知，轧制变形量对固溶合金的加工硬化效果影响较为显著，当变形量增加至8%时，合金硬度可达到88.16HV，比未轧制的合金硬度提高了23.27%。一定温度范围内，随着轧制变形量的升高，硬度值呈升高趋势。对于固溶处理后的铝合金，以一定的变形量轧制后，试样的晶粒随着轧制变形量的增加得到细化，且孪晶数量增多、趋于交错分布，若再将其进行经过时效处理[10]，可利用孪晶分布的特点从而更进一步提高其硬度值。

表1 固溶铝合金的维氏硬度值（单位：HV）

4 结语

（1）GAN是深度学习领域中一个重要的模块，此网络具有强大的生成能力，在图像分析领域具有重要的作用，将此网络与相应的图像分析方法相结合，能有效的处理样本少、图像质量差的问题，为大数据分析的图像处理方法提供了保障。（2）DCGAN与GAN相比，其生成的图片质量更高且模型稳定，在图像生成领域将具有更广泛的应用，结合金相图像特征复杂的特点，DCGAN更适合用来扩充金相图像样本集。在研究过程中发现，DCGAN稳定性强，具有强大的图像生成能力。（3）轧制变形量的增加使固溶铝合金晶粒尺寸得到细化，合金中的孪晶数量增多，孪晶的方向也从单一变为交错分布，当变形量增加至8%时，合金硬度可达到88.16HV，比未轧制的合金硬度提高了23.27%，且随着轧制变形量的升高，硬度值呈升高趋势。