平行视觉框架下深度卷积神经网络可视化分析

翟永杰，杨 旭，王金娜，王坤峰，赵振兵

1.华北电力大学 自动化系，河北 保定071003

2.中国科学院 自动化研究所 复杂系统管理与控制国家重点实验室，北京100190

3.华北电力大学 电子与通讯工程系，河北 保定071003

1 引言

绝缘子是输电线路中的重要设备，也是故障频发的部件，因此是电力巡检中的重点[1]。传统的人工巡检方式是由巡检人员手持望远镜观察，不仅操作不便，而且漏检率较高[2]。无人机巡检方式的出现，弥补了人工巡检的一些不足[3]。然而在巡检线路时，无人机仅仅是作为望远镜的替代品和近距离拍照的工具，绝缘子目标和缺陷的检测仍需人工对航拍图像进行检查。因此，基于航拍图像的绝缘子目标和缺陷自动检测方法得到越来越广泛的关注。

目前，深度学习发展火热，基于深度卷积神经网络的目标检测[4-6]技术已经被广泛应用于绝缘子目标和缺陷检测。文献[7]应用Faster R-CNN[5]算法进行绝缘子故障检测，取得了较高的准确率。文献[8]应用YOLO[9]目标检测框架，实现了从输入图像到检测结果的端到端的绝缘子检测方法。

虽然深度卷积神经网络在绝缘子目标和缺陷检测中取得了较高的准确率，但是这些复杂模型的内部运作机理，以及它们如何能够取得良好的性能，目前并没有较为明确的论述[10]。例如，在调试网络模型时，通过修改某个参数值，使得准确率得到了较大的提升，但是却无法对调整的原理做出一个准确的解释。为了更好地理解深度卷积神经网络的工作原理，近年来有大量学者都在对深度卷积神经网络的内部特征进行可视化分析，反卷积技术被广泛应用于各种深度模型可视化分析中[11]。文献[12]中提出了一种反向的卷积神经网络，即输入是特征图，输出是图像，从而实现网络特征图的可视化，为研究深度卷积神经网络的内部机理提供了方法。文献[13]提出了多面特征可视化的概念，为每个神经元的作用提供了更清晰全面的描述，有助于更好地理解网络。文献[14]研究了如何发现深度卷积神经网络隐层单元响应不变性的方法，为降低可视化特征计算的复杂度提供了基础。文献[15]则采用了激活最大化技术来生成神经网络的可视化。

因此，本文在平行视觉研究框架下，提出一种基于真实和人工绝缘子图像样本的深度卷积神经网络可视化模型。通过可视化模型，将网络的特征响应用图的形式呈现出来，并基于可视化的结果，分析了绝缘子占比、位置和角度对网络性能的影响，最后根据复杂背景下真实图像和纯背景下人工图像的可视化结果对网络的结构进行调整，进而提升了网络的性能。

2 建立人工对象

平行视觉[16]是复杂系统建模与调控的ACP（Artificial societies，Computational experiments，and Parallel execution）理论[17-19]在视觉计算领域的推广应用。其核心思想是利用人工场景来模拟复杂的实际场景，并对所建立的视觉模型进行训练和评估，最后，通过虚实互动的平行执行来在线优化视觉模型，以实现对复杂环境的智能感知和理解。平行图像[20]是平行视觉的重要组成部分，且作为模型训练的数据来源，本文采用了真实图像和人工图像两种样本，其中人工图像样本是参照真实图像所生成的。

本文依照如图1所示的平行视觉框架，采用真实和人工图像样本所组成的数据集，对影响深度卷积神经网络模型内部的因素进行探究。首先本文通过3D MAX建模工具构建常见的玻璃、陶瓷和复合材料的绝缘子模型，如图2所示为陶瓷绝缘子的3D模型图，之后经颜色渲染，并通过控制绝缘子缩放和旋转等操作生成多样化人工绝缘子图像样本。如图3 所示，其中图（a）分别为白陶、玻璃和复合材质绝缘子真实图像样本；图（b）分别为所生成的陶瓷、玻璃和复合材质人工绝缘子图像样本。相较于真实图像，人工图像具有可控性强、获取样本容易等优势。真实场景中的绝缘子图像，主要通过航拍获取，由于航拍像距、角度等的不同，真实样本间绝缘子在图像中主要的差异在于绝缘子占比、角度和位置不同。因此，本文根据真实图像的特点，建立人工绝缘子图像样本集，具体步骤如下：

（1）根据电力线路绝缘子国家标准（GB/T 1386）进行绝缘子各部件进行标准化三维建模。

（2）对各部件的材质参数进行设定，对三维模型进行颜色和材质的渲染。

为探究不同特点的绝缘子样本对网络的影响，本文采用控制变量的方法，分别用绝缘子占比、角度和位置三个变量创建样本集。以3D 人工玻璃绝缘子样本为例，在控制两个变量不变的条件下，分别改变绝缘子占比、角度和位置其中一个变量，结果如图3（c）、（d）、（e）所示。

图1 平行视觉的基本框架

图2 绝缘子3D MAX模型图

图3 绝缘子图像样本集

3 深度卷积神经网络可视化方法

3.1 反卷积过程

网络可视化是指将网络的特征图用图像的形式呈现出来，其中关键的技术是反卷积（Deconvolution）[21]。深度卷积神经网络[22]的基本结构包括卷积层和池化层。卷积层是由上一层的输出和卷积核做卷积运算得到的，是提取特征的结果。池化层是对卷积层得到的结果进行最大值筛选，是特征选择和信息过滤的结果。如图4（a）所示，卷积过程即为绿色的图像经过卷积运算得到蓝色的特征图，是一个从下到上的过程。

图4 卷积和反卷积过程

反卷积的结构与卷积的结构恰好相反，分为反卷积层和反池化层，分别和卷积中卷积层和池化层对应。反卷积层的运算和卷积层的运算是一样的，不过反卷积层运算时使用的卷积核是卷积层训练结束后得到的卷积核的转置。这里的转置是上下和左右同时颠倒，和线性代数中矩阵的转置不一样。如图4（b）所示，反卷积过程是蓝色的特征图经过反卷积运算得到绿色的图像，是一个从上到下的过程。

在卷积中的池化层保留了图像或特征中的最大值信息，而丢失了非最大值的信息，因此是不可逆操作。利用Zeiler 等人[21]提出的方法，将最大值的位置信息记录并保存下来，这样在反卷积的时候就可以使特征找到在原像素空间中的位置，非最大值的位置补零，这种方法使得卷积成为可逆操作。

3.2 反卷积神经网络

本文采用图5 所示的网络结构对输入图像进行特征图获取和可视化，其包括卷积过程和反卷积过程。

第一个过程是卷积过程，如图5中的convolution部分所示，用于得到输入图像的特征图。该过程包括2个卷积层和2 个池化层，输入图片的尺寸是200×200×3，conv1 的卷积核大小为5×5×32，池化层pool1 的感受野大小为2×2，conv2和pool2的参数同层1。

第二个过程是反卷积过程，如图5 中的unconvolution部分所示，对经过卷积过程后得到的特征图进行可视化。首先对第二个卷积层得到的pool2进行反池化得到unconv2，这个操作使用了从conv2到pool2过程中记录最大值位置的S2。f2′由卷积过程中使用的卷积核f2 进行转置得到，unconv2 和f2′ 卷积得到unpool1。unpool1再利用S1进行反池化得到unconv1，最后unconv1和f1′卷积得到输出图像。

图5 可视化结构

图6 三种不同特征的分类正确率曲线

可视化网络之前，因为网络初始时参数都是随时初始化的，所以需要对网络进行训练，这样得到的特征响应才能反映出网络对目标感兴趣的区域。首先对卷积过程进行训练，网络训练的损失函数根据分类时的类别差值进行计算，损失函数如下式（1）所示：

当一组样本训练结束后，保存网络模型参数。将需要可视化的图像重新送入卷积过程，延用之前保存的模型参数，得到卷积的第一层和第二层特征图。得到的特征图送入反卷积过程，最终得到图像的特征可视化结果。

4 实验结果和分析

4.1 分类准确率和网络性能分析

本实验训练集选用正样本和负样本各12 000 张构成，正样本包括8 000张真实绝缘子图像和4 000张人工绝缘子图像，负样本为12 000张不含绝缘子的图像。测试集由正负样本各4 000张构成，包含4 000张真实绝缘子图像和4 000张不含绝缘子的图像样本。使用以上训练集和测试集进行训练及测试，得到测试集的分类准确率见表1所示。

进一步探究不同的人工图像样本对网络的影响，测试不同占比、角度和位置的人工绝缘子图像样本分类正确的概率，以下简称分类正确率，实验结果如图6所示。

表1 测试集的分类准确率

可以看出，位置对分类正确率的影响最大，曲线波动明显，呈现两边低中间高的趋势，即当绝缘子位于图像正中（-2，1）范围内的分类正确率较高；其次是比例，曲线也呈现出两边低中间高的趋势，即当绝缘子位于图像正中（1，3.3）范围内的准确率较高，但是波动较小；角度的影响最小，曲线呈现较为平缓的趋势。

4.2 可视化结果分析

本文使用的网络结构包括2个卷积层，分别对这两个卷积层进行可视化。首先，利用训练得到的模型参数，将测试的图像逐一输入到模型中。然后，依据如图5所示的反卷积原理，把经过卷积过程得到的2个卷积层的特征图分别进行反卷积，进而得到这2个卷积层的可视化结果。如图7所示，分别为复杂背景下真实图像和纯色背景人工图像的可视化结果。从图7（b）和（e）可以看出，第一个卷积层对绝缘子的轮廓有所响应，但是响应并不是很完整，而第二个卷积层，如图7（c）和（f）所示，其对绝缘子的轮廓响应强烈，且信息包含完整，但受背景的影响，对背景信息也有较大的响应。

图7 特征图可视化结果

同时，对不同占比、角度和位置的人工绝缘子图像样本也进行可视化，得到第一层的可视化结果如图8所示。可以看出当位置不同时，特征网络的响应略有不同。对比绝缘子位于图片中间和左右两边的特征响应，可以看出当绝缘子位于图片中间时响应更为强烈。对比不同比例的绝缘子特征响应，可以看出当绝缘子比例太小和太大时特征响应都不完整。反观绝缘子的角度对特征响应的影响最小，不同的样本均有较强的特征响应。

图8 特征图可视化结果

4.3 改进实验结果

根据图7所展示的两个特征层的可视化效果，可以看出，第一层的响应较弱，第二层响应虽强，但对背景响应过多，出现了较为严重的堆叠现象。根据这一现象分析网络结构发现，第一层卷积层采用的是尺寸为5×5×32 的卷积核，步长为4，第二层卷积层采用的卷积核尺寸为5×5×64，步长为2。因此对卷积核的尺寸和步长进行优化，调整第一层卷积层的步长为2，将第二层卷积层的卷积核尺寸调整为3×3×64。

将测试的绝缘子图像输入优化后的模型中进行可视化，得到如图9所示的可视化结果。对比图9（b）和图7（b）可以看出，调整之后的网络第一个卷积层的特征响应得到了加强，同时也较之前完整；对比图9（c）和图7（c）可以看出，调整之后第二个卷积层对背景的响应减少，绝缘子的特征响应更清晰。

图9 优化后的可视化结果

选取复杂背景下的真实绝缘子图像进行优化前后的可视化测试，得到如图10 所示的测试结果。对比图（b）和（d），以及图（c）和图（e）可以看出，针对背景复杂的真实绝缘子图像，优化后第一层对绝缘子的响应更为完整，同时第二层对背景的响应减少，起到了一定的过滤作用。

图10 复杂背景下的可视化结果

图11 优化后3种不同特征的分类正确率曲线

依据对不同比例、角度和位置绝缘子样本的可视化结果，通过人工场景优化人工图像，丰富训练样本中的绝缘子人工样本。测试样本不进行调整，保证优化的可信度。将调整后的网络和样本进行训练和测试，计算其分类准确率。识别目标为绝缘子（Insulator）、杆塔（Tower）和防震锤（Damper），实验方法增加经典的分类网络Lenet 和VGG19。实验结果见表2 所示，可以看出改进后的网络在绝缘子分类中取得了最高的准确率，杆塔和防震锤的最高准确率方法为VGG19，但是在平均准确率上改进后的网络和VGG19仅相差0.02%，改进后的网络的训练时间仅为VGG19的51.4%。VGG19总共拥有16个卷积层和3个全连接层，而改进后的网络只有2个卷积层和2个全连层，网络层数大幅减少，性能相差无几，训练时间大幅减少。

表2 几种方法的对比实验结果%

利用改进后的网络，对不同位置、比例和角度的人工绝缘子图像样本再次进行实验，得到不同特征绝缘子的分类正确率曲线和可视化结果，如图11、12所示。对比图6 和图11 优化前后的曲线，可以看出，优化后位置的影响明显减弱，3个特征的正确率都有所提升。同时对比图8 和图12 的3 种不同特征优化前后的可视化结果，优化前的特征响应只对绝缘子伞裙的一半有响应，优化后的特征响应对绝缘子的伞的两边都有了响应，响应更为完整。并且优化后，绝缘子位置、大小和角度的改变对特征响应的影响削弱，不同的样本都有较为完整明显的响应。

5 结论

本文在平行视觉研究框架下，提出了一种基于真实和人工两种绝缘子图像样本的深度卷积神经网络可视化的模型，该模型将网络中的特征响应以图的形式呈现出来。

图12 优化后3种不同特征的可视化结果

首先，根据分类正确率曲线和特征可视化结果，分析了绝缘子不同占比、角度和位置对网络性能的影响，结果表明绝缘子位置的变化对网络的影响最大，当绝缘子位于图像的中间时分类正确率最高。

其次，根据复杂背景下真实图像和纯背景人工图像的可视化结果，对网络结构进行了合理的调整，使网络的性能得到了一定的提升。

该方法为调整和解释网络提供了一种可行性的方法，同时也提升了绝缘子目标和缺陷检测的性能。