特高压换流站保护系统全景监视图像超分辨率重建方法研究

谢民，邵庆祝，汪伟，俞斌，于洋，徐晓冰

(1. 国网安徽省电力有限公司，安徽 合肥 230022； 2. 合肥工业大学 电气与自动化工程学院， 安徽 合肥 230009)

随着特高压同步电网的发展，电网互联区域越来越广，而大电网输送功率巨大，为受端电网提供大量电能的同时，也影响整个系统的平稳运行，因此在特高压日常的运维过程中需要人工巡检排查设备故障，以保证系统的安全稳定性。然而人工巡检模式的工作强度大，巡检性能易受人员的经验和巡检强度等主观因素影响，例如因不同巡检人员的经验和技术不一导致人为判断错误。为了提升对特高压换流站运维管理的效率，站内广泛部署了全景监视系统。监视设备在长期使用中不可避免会受到震动而抖动，以及镜头出现积灰等干扰，使得视频图像模糊，全景监视数据采集不准确，因此迫切需要一种特高压换流站保护系统全景监视图像超分辨率重建方法，使得重建后的高分辨率图像满足巡检人员全景监视的需求。

传统的图像增强重建方法通常利用提高图像对比度以突出目标景物，主要包括直方图均衡[1]、对数变换[2-3]、锐化、小波变换[4]以及不同尺度的Retinex等方法[5-6]。上述方法计算资源低、可移植性强，但是作为通用算法的增强效果有限，处理后的图像难以满足特定场景下全景监视的需求。图像增强重建是计算机视觉中经典的研究课题，图像超分辨率重建(single image super resolution，SISR)是其中重要的组成部分。SISR利用一组低分辨率、低质量图像来产生单幅高分辨率、高质量图像，获取更高空间分辨率的感兴趣区域，实现目标物的专注分析，使图像实现从检出水平向识别水平的转化，或更进一步实现向图像细粒度分类识别的转化，以提高换流站全景监视图像的识别能力和识别精度。

目前SISR算法大致可分为基于插值[7-8]、基于重建[9-11]和基于深度学习[12-14]3种。插值算法计算量低且实时性高，但是缺乏外部信息的特征，使得图像退化后丢失高频特征，所生成的图像存在明显的模糊和振铃效应；相比于插值算法，基于重建算法的效果更加明显，但是随着重建倍数的增大，图像高频特征出现平滑模糊的问题；深度学习方法近年来成为主流，利用观测的低分辨率(low resolution，LR)图像和原始高分辨率(high resolution，HR)图像之间的映射关系以及大量训练样本，学习更多高频细节的HR图像，然而重建的图像依然存在细节特征失真和计算复杂度较高的缺陷。

针对基于深度学习的SISR算法存在的缺陷，本文提出一种基于多尺度卷积块和残差网络的图像超分辨率重建方法，通过增加具有较小内核的深度卷积层来获取图像的鲁棒细节特征，并在训练过程中加入残差网络，加快网络收敛速度，解决消失梯度的问题，改善图像重建质量。对标准数据集和特高压换流站全景监视图像数据集进行重建和目标识别实验研究，以验证本文方法的有效性。

1 相关理论

1.1 基于卷积神经网络(convolutional neural network, CNN)的SISR算法

CNN因其强大的图像特征学习能力而被广泛应用于视觉分析。近年来，基于CNN的SISR算法被提出，并取得了显著的性能提升效果。文献[15]提出一种超分辨率CNN(super-resolution CNN, SRCNN)，将字典建模[16]替换为隐层参数的自动调整，学习低分辨率输入至高分辨率输出的非线性映射关系，提高重建精度，减少计算时间。然而SRCNN也存在一些不足，例如双三次插值会导致图像产生边缘模糊和锯齿状边缘，并且在模型参数量不变的情况下，超分倍数越大表明输入的分辨率越大，模型的计算量越高。文献[17]针对SRCNN训练慢的缺陷提出改进算法的快速SRCNN(fast SRCNN, FSRCNN)，采用反卷积进行上采样，同时使用1×1的卷积核进行降维，减少模型的计算量以加快训练的速度。

1.2 残差网络(residual network, ResNet)

深层网络中经常出现退化现象，即随着网络层数的增多，训练集损失值逐渐下降，然后趋于饱和，若再增加网络深度，训练集损失值反而会增大。为解决该问题，K. He等人提出一种残差结构来建立非常深的卷积网络，命名为ResNet[18]。ResNet的核心是在卷积层输出与其之前的卷积层输入之间添加一个跳跃连接以解决梯度消失的问题。残差学习比原始特征直接学习更容易，如图1所示，图1中：A(x)为由几个叠加的卷积层拟合的底层映射，第一个卷积层的输入是x，x连接到最后一个卷积层的输出，B(x)为该层网络学习的映射。堆叠的层只需要学习映射B(x)=A(x)-x，如果B(x)为0，则残差单元可拟合恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。

图1 残差结构 Fig.1 Residual structure

2 深度多尺度残差网络框架

本文提出一种图像超分辨率重建方法——深度多尺度残差网络(deep multi-scale residual network, DMRN)，面对特高压换流站采集的全景监视图像，使用单一的卷积层提取原始的底层特征，然后对多尺度卷积块进行叠加以获取细节信息，通过最后一层卷积层重建全景监视HR图像，网络采用全局残差和局部残差相结合的方式进行训练。

2.1 DMRN

DMRN网络架构如图2所示，该网络由卷积层、k个多尺度卷积块(multi-scale convolution block, MC block)和跳跃连接组成。网络引入了一种新的多尺度卷积块来建立一个深层CNN。多尺度卷积块的堆叠以获得更大的深度，同时对卷积块采用不同尺度小内核的卷积操作进行改进，以提取图像不同尺度上的细节特征进行融合，提高了网络对输入全景监视图像微观纹理和宏观几何特征的重建能力，从而生成细节信息更逼真的HR图像。网络的训练过程中加入残差结构，实现特征复用，减少网络冗余，加快网络收敛速度，解决消失梯度问题。

图2 深度多尺度残差网络架构Fig.2 Structure of deep multi-scale residual network

2.2 多尺度卷积块

DMRN使用多尺度卷积块架构来执行超分辨率任务。具有不同尺度的卷积层组成一个多尺度卷积块，可以生成和组合不同层次的细节特征。

单个多尺度卷积块的结构图如图3所示，图中：x为多尺度卷积块的输入，y为卷积块的输出。Relu为卷积核的激活函数，不同尺度的卷积块可以提取不同频率的细节，在每个多尺度卷积块中，对输入图像分别使用3×3、3×2、2×3和2×2这4种尺度的卷积核，提取多层次细节特征后将4种尺度的特征图通过交错机制，在指定维度上进行两两拼接，再送入尺度为3×3的卷积层中进行特征映射，生成与输入大小相同的新特征图，送入下一层多尺度卷积块。多尺度卷积块更好地保留了图像的边缘信息，增加重建后的高分辨率图像的细节信息。

图3 多尺度卷积块结构Fig.3 Multi-scale convolution block structure

2.3 残差学习机制

本文所提出的DMRN网络架构，引入全局残差学习和局部残差学习机制进行网络训练。由于LR图像与HR图像的相似性，DMRN通过输入输出之间的跳跃连接建立了一个从LR到HR的恒等映射，以进行全局残差学习[19-20]。

使用局部残差学习的原因有：①高分辨率重建中所需要的细节是高频特征和低阶特征的总和，图2中的第一个卷积层作为编码器提取了LR图像的原始低阶特征，局部残差学习可以保留低阶特征；②低阶特征与多尺度卷积块之间存在多条路径，通过局部残差学习，能够增强网络学习更复杂特征的能力。局部残差学习定义如下：

Hi=Gi(Hi-1)+F.

(1)

式中：Gi为第i个多尺度卷积块学习得到的特征映射；Hi为第i个多尺度卷积块的输出；F为第一个卷积层提取的原始低阶特征。

设F0为第一个卷积层(带ReLU)需要学习的映射，F-1为最后一个卷积层(不带ReLU)需要学习的映射，则基于全局残差和局部残差学习得到的k个多尺度卷积块映射可以表示为

IHR=R(ILR)=F-1(Gk(Gk-1(…(G1(F)+

F)…)+F)+F)+ILR.

(2)

式中：F=F0(ILR)是原始的低级特征；ILR为输入低分辨率图像块；IHR为重建后高分辨率图像块。

2.4 DMRN网络细节

图2给出了DMRN的主体结构。与ResNet不同，DMRN去除了池化层和批量归一化层。这是由于SISR的目标是实现精确的像素预测，去除池化层有利于保留更多的图像细节；批量归一化层对特征进行了归一化[21]，会消除网络的范围灵活性，不利于图像重建，因此也将其去除。DMRN使用步长为1的卷积核并使用ReLU激活，因此可以接受任意大小的图像作为输入。此外，DMRN在第一层和最后一层使用了2个大小为5×5的卷积层来提取粗糙的特征，并融合多尺度细节特征重建HR图像。

3 实验结果与分析

3.1 实验数据集、环境及评价指标

本文选取某特高压换流站全景监视系统采集的800幅监视图像，图像的分辨率为1 600×1 200(单位像素，下同)。在Windows 10系统环境下实验，使用Pytorch深度学习框架进行训练，编程语言版本为Python 3.7，内存大小为32 GB，CPU 型号为Intel Core i7-9700f，显卡型号为NVIDIA TITAN V。

(3)

式中θ为DMRN的参数，采用Adam优化器[22]最小化损失函数。

训练完成DMRN网络后，首先使用Set5、Set14和Urban100这3个基准数据集进行测试。由于人类视觉对亮度变化更为敏感，因此将图像转换至YCbCr空间，如图4所示，采用Y通道上的峰值信噪比(peak signal to noise ratio，PSNR)和结构相似指数(structural similarity index，SSIM)来评价超分辨率重建的性能。

图4 YCbCr转换图Fig.4 YCbCr conversion diagram

DPSNR定义为信号的最大功率与噪声功率之比，单位为分贝(dB)，常被用来评价图像压缩的质量，数值越大表示生成图像的真实性越高，计算公式为

(4)

式中：eMSE为原始图像与处理后图像的均方误差；DMAXI为图像像素颜色的最大值。

SSIM可评价原始图像与处理后图像之间的相似性，取值范围为[0，1]，数值越大表示图像失真越小。图像X、Y的SSIM值

DSSIM=lX,YcX,YsX,Y,

(5)

(6)

(7)

(8)

式中：uX、uY、σX和σY分别为图像X、Y的均值、标准差；σXY为图像X和Y的协方差；C1、C2和C3为常数，通常取C1=(K1L)2，C2=(K2L)2，C3=C2/2，K1=0.01，K2=0.03，L为像素值的范围[23]。

3.2 DMRN模型深度分析

多尺度卷积块的数量决定了DMRN的深度，选取具有不同数量多尺度卷积块的模型(k∈{8,10,12,14})，图5给出了在Set5、 Set14和Urban100测试数据集中随机选取的50幅图像的平均PSNR和SSIM。

图5 不同模型深度下的PSNRFig.5 PSNR performance under different model depths

如图5所示，随着多尺度卷积块的数量增加，DMRN在Set5、Set14和Urban100上的PSNR性能随之稳步提高，这表明本文方法实现了“越深越好”的预期目标。适当增加网络深度对于图像恢复具有一定的提高效果，然而，网络太深也会带来计算复杂度提升的问题，k=14较k=12性能提升有限，因此后续特高压换流站监视图像识别实验采用k=12的参数设置。

3.3 基准数据集的性能测试结果

本文所提出的网络架构对基准数据集Set5、Set14和Urban100进行测试的SSIM和PSNR值分别见表1、表2。表中还与其他方法进行了对比，包括双三次插值、SRCNN和FSRCNN。

从表1和表2中可以看出：k=12的DMRN模型比其他层数DMRN模型的SSIM和PSNR效果更好，因此选取k=12的DMRN作为比较模型；与其他算法进行对比可以看到，DMRN模型生成的图像真实性更高，失真更小，这一结果表明本文算法可以通过融合低阶和高阶特征，采用全局残差和局部残差相结合的方式建立LR到HR的非线性映射关系，提高网络对输入全景监视图像微观纹理和宏观几何特征的重建能力，从而生成细节信息更逼真的HR图像。

表1 数据集Set5、Set14和Urban100的SSIM Tab.1 SSIM of Set5, Set14 and Urban100 dataset

表2 数据集Set5、Set14和Urban100的PSNRTab.2 PSNRs of Set5, Set14 and Urban100 dataset

图6、图7分别给出了k=12的DMRN模型和多种超分辨率算法在基准数据集Set5上的重建效果比较图，虽然图7没有能够重建出人物脸上的雀斑细节，但也可以看出k=12的DMRN模型的重建效果较其他方法是最好的，能够更好地重建图像的细节信息。

图6 儿童1重建图Fig.6 Reconstruction images of child 1

图7 儿童2重建图Fig.7 Reconstruction images of child 2

3.4 特高压换流站监视图像重建结果

图8—10分别给出了特高压换流站全景监视图像的超分辨率重建效果图，包括二次设备、硬压板和端子锈蚀图像。同样将本文方法与双三次插值、SRCNN和FSRNN等方法进行了比较，实验结果见表3和表4；将重建前后图像分别输入特高压换流站站内所使用的Yolov3、Yolov4、Yolov5、Faster R-CNN、Cascade RCNN识别模型，所得到的识别结果见表5。实验结果表明：与其他方法相比，DMRN具有更佳的SSIM和PSNR性能，恢复了更清晰的边缘和更多的细节，例如第1幅图像中的指示灯以及对应的模糊文字信息，第2幅图

图8 二次设备监视图像重建状态Fig.8 Reconstruction status of secondary equipment monitors images

表3 特高压换流站监视图像SSIMTab.3 SSIM of extra-high voltage converter station monitoring images

表4 特高压换流站监视图像PSNRTab.4 PSNRs of extra-high voltage converter station monitoring images

图9 硬压板图像重建状态Fig.9 Reconstruction status of hard plate images

图10 端子锈蚀图像重建状态Fig.10 Reconstruction status of terminal corrosion images

表5 特高压换流站监视图像识别结果Tab.5 Extra-high voltage converter station monitoring image detection results

像中的硬压板开关状态以及文字显示，第3幅图像中的端子锈蚀状态，可以更好地帮助巡检人员进行全景监视。

4 结束语

本文提出了一种DMRN以实现特高压换流站保护系统全景监视图像的超分辨率快速重建，以满足巡检人员全景监视的需求。在DMRN中，堆叠多尺度卷积块，采用不同尺度小内核的卷积操作进行改进，可以缩减参数加快速度，提取图像不同尺度上的细节特征进行融合，以解决图像细节提取不完备的问题。同时在DMRN网络的训练过程中加入残差结构，可以保留低阶粗糙特征，实现特征复用，减少网络冗余，解决消失梯度问题。实验结果表明，与其他方法相比，DMRN具有更佳的SSIM和PSNR性能，重建的图像真实性更高，失真更小，堆叠多尺度卷积块提高了网络对输入全景监视图像微观纹理和宏观几何特征的重建能力，从而生成细节信息更逼真的HR图像。重建后的特高压全景监视图像集有更清晰的边缘和更多的细节，提升了站内所使用的深度学习模型的检测精度，满足换流站对特高压换流站保护系统全景监视的需求。

本文方法也存在一定不足，例如：采用的k=12的多尺度卷积块数是在某换流站数据集上经过不断实验得到的重建效果最好的超参数，对于不同的换流站实地采集的数据集，这个值并不固定，因此不具备普适性；更换数据集后，为了得到最好的模型，需要不断训练调参，这会花费大量时间，在后续研究中，希望网络可以自适应调整多尺度卷积块数，即对于不同数据集，都可以自动找出模型效果最好的多尺度卷积块的层数。