基于改进CNN的增强现实变压器图像识别技术

李军锋 何双伯 冯伟夏 熊山 薛江 周青云

摘 要： 研究了增强现实变压器图像识别技术，为解决增强现实中变压器图像识别问题，首先在介绍深度学习的经典模型之一，即卷积神经网络CNN的基础上，提出基于两个并行结构的改进卷积神经网络模型（改进CNN），利用改进CNN模型对增强现实摄像头扫描得到的图像进行分类，实现变压器图形化识别。与普通卷积神经网络、SIFT图像识别算法等对比，改进CNN具有更低的错误率，并对变压器图像识别的准确率更高，通过仿真实验验证了此方法的准确性。

关键词： 增强现实； 改进CNN； 变压器； 图像识别； 识别准确度； 卷积运算

中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2018）07?0029?04

Improved CNN based transformer image recognition technology

in augmented reality environment

LI Junfeng1， 2， HE Shuangbai2， FENG Weixia2， XIONG Shan2， XUE Jiang2， ZHOU Qingyun2

（1. College of Automation， Guangdong University of Technology， Guangzhou 510006， China；

2. Education and Training Evaluation Center， Guangdong Power Grid Limited Liability Company， Guangzhou 510520， China）

Abstract： The image recognition technology of transformer in augmented reality environment is studied. In order to solve the problem of transformer image recognition in augmented reality environment， an improved convolutional neural network （CNN） model based on two parallel structures is proposed on the basis of introduction of CNN as one of the typical deep learning models. The images obtained by scanning of an augmented reality camera are classified by means of the improved CNN to realize the transformer graphical recognition. In comparison with ordinary CNN and SIFT image recognition algorithm， the improved CNN has lower error rate， and higher accuracy for transformer image recognition. The accuracy of this method was verified with simulation experiments.

Keywords： augmented reality； improved CNN； transformer； image recognition； recognition accuracy； convolution operation

0 引 言

增強现实（Augmented Reality，AR）作为虚拟现实技术的拓展，在近年来取得了很大的进展，通过将虚拟对象叠加到现实环境中增强对事物的认知，将现实中没有的物体具体化[1]。在电气工业中，增强现实技术的应用也日渐开展，利用增强现实技术实现事故模拟等现实中不宜直接试验的运行状况。增强现实中重要的一步是图像识别，在增强现实变压器事故模拟中，通过增强现实摄像头的扫描功能获取现实物体的图片，之后通过图像识别技术识别出目标对象变压器，然后才能在目标对象上建立变压器着火的虚拟景象，增加对变压器事故的认知。文献[2?3]研究了增强现实在教育、移动学习中的应用，其相应技术可以延伸到电气领域的作业工作辅助中，具有一定借鉴意义。

本文在研究卷积神经网络的基础上，将其应用于增强现实变压器图像识别，提出基于两个拓扑结构的改进CNN模型，通过增强现实摄像头扫描得到变压器的图像，将其进行分类，解决变压器图形化识别问题。

1 卷积神经网络及改进CNN模型

1.1 卷积神经网络结构

卷积神经网络是神经科学与计算机科学相结合的成果，其设计灵感主要来源于视觉认知机制[4?5]。受视觉神经感受野的启发，卷积神经网络的神经元之间通过稀疏连接的方式进行连接，具有较多的隐含层，每一个隐含层有多个数据矩阵平面，每个数据矩阵平面的神经元共享权值参数矩阵。相比于传统的BP神经网络，卷积神经网络的隐含层增加了卷积层与降采样层，保证在提取特征的同时保持时间和空间上的位移不变性，文献[6]设计的LeNet网络模型在手写字识别上取得了十分优秀的效果。

卷积神经网络的基本结构一般包括输入层、隐含层、输出层，隐含层一般包括卷积层（C层）、降采样层（S层）与全连接层（F层），其典型结构如图1所示，卷积神经网络的输入层与隐含层连接，隐含层由卷积层和降采样层交替连接组成，卷积层从输入层获取归一化后的矩阵之后进行卷积运算处理，然后通过稀疏连接与降采样层相连，上一层的输出作为本层的输入，最后通过全连接层连接到输出层。卷积神经网络通过卷积层进行特征提取，通过降采样降低运算量，从而使网络结构对样本矩阵具有比较高的畸变容忍能力，更准确地实现对数据的分级表达，进而得到更加理想的输出。

输入样本数据一般为矩阵形式，即每个样本为一个二维矩阵，对二维矩阵进行归一化处理，归一化采用常用的线性函数归一化（Max?Min scaling）方法，其处理公式为：

式中：[Xij]为归一化后矩阵的第[i]行第[j]列的元素；[xij]为归一化前矩阵的第[i]行第[j]列的元素；[xmax]为矩阵中最大的元素；[xmin]为矩阵中最小的元素。

卷积神经网络中卷积层的主要作用是在提取数据局部特征的同时降低矩阵维度，一个隐含层一般由几个平面构成，每个平面的表达形式为二维特征矩阵，代表一种提取特征，通过一个共享卷积核实现特征提取。通过卷积核的共享使得网络具有权值共享和位移不变性，在并行地提取矩阵特征的同时减少了权值偏置参数的数量，从而对数据矩阵起到降低维度和提取特征的作用。不同特征矩阵对应的卷积核不同，多个特征矩阵用于提取输入数据矩阵中的多个非显性特征。离散卷积运算的计算公式为：

卷积运算的原理如图2所示，输入的特征矩阵维度为[n×n，]将其与维度为[k×k]的可学习卷积核进行卷积计算，得到维度为[m×m]的输出特征矩阵，输入矩阵、卷积核与输出矩阵三者之间的维度关系满足[m=n-k+1，]式（3）为卷积过程的计算公式：

式中：[l]表示卷积神经网络的层数；[K]表示[l]层的卷积核；[B]表示[l]层的偏置矩阵；[Xlo]表示[l]层输出；[Xl-1i]表示[l]层输入。

卷积神经网络的另一个重要的隐含层便是降采样层，降采样层可以对来自上一层的数据进行池化处理以达到数据降维的目的，通过缩放映射过程来降低输入矩阵的维度，从而在保持特征的同时减少计算量。

降采样的过程如图3所示，矩阵的维度值关系可以表示为[m=nk。]降采样层通常采取平均池化的降采样方法[7]，在防止过拟合的同时可以缩放不变地提取输入数据矩阵的特征，在卷积神经网络中起到二次特征提取和降低数据维度的作用，降采样过程的计算公式如下：

1.2 改进CNN模型

与传统的神经网络等方法相比，卷积神经网络在增强现实变压器图像识别上已经具有很好的优势，但是在训练次数刚达到对应错误率最低值时，测试结果存在一定的波动。本文在卷积神经网络的基础上提出包含两个拓扑结构的改进CNN模型，通过将两种不同的拓扑结構组合，提高了测试结果的稳定性，从而使模型在较少的训练次数下满足错误率要求。改进CNN模型如图4所示，图中改进模型由2个卷积层CNN拓扑构成，其中一个拓扑的结构为5C?4S?4C?2S；另一个拓扑的结构为5C?2S?5C?3S。其中5C表示卷积层的卷积核为5×5，4S表示降采样层的池化矩阵维度为4×4，将两个拓扑分别经过两个不同的卷积和池化过程之后，最后连接到分类器，通过不同的拓扑可以增加变压器图片特征信息的提取，这样可以将两个拓扑提取的特征进行优势互补，兼顾更加复杂的样本数据，从而使训练的网络更加稳定，增强网络的学习泛化能力。

通过训练样本对改进CNN进行训练之后，得到并保存训练好的改进CNN网络参数，将图像样本输入后，通过调用训练好的网络参数即可得到对应的变压器分类结果，无需再次训练，极大地节省了运算时间。

2 仿真实验与分析

在得到变压器图像识别样本库之后，便可以对卷积神经网络、改进CNN模型进行实验测试，实验所采用的平台参数如表1所示。

第一种方法采用本文所提出的改进CNN模型，第二种方法采用网络结构为5C?4S?4C?2S的卷积神经网络（CNN1），第三种方法采用网络结构为5C?2S?5C?3S的卷积神经网络（CNN2），第四种方法采用文献[9]所提传统的SIFT（Scale Invariant Feature Transform）图像识别方法。用上述四种方法对变压器图像样本库进行实验，实验结果如表2所示。其中，识别错误率是针对测试样本中30张变压器图像，识别错误的图像数占总图像数的百分比；平均耗时是识别测试样本库中30张变压器图像平均每张图像所消耗的时间。

由表2可知，本文所提的改进CNN模型对变压器图像识别错误率明显低于普通卷积神经网络和传统的SITF图像识别算法，具有更高的图像识别率；虽然改进CNN平均耗时略微高于普通卷积神经网络，但是差距微小，在电力工程中可以忽略，每张图像的平均耗时明显少于传统SITF算法，相比之下改进CNN具有很大的优势。

对前三种方法进行50次训练，训练次数与变压器图像识别错误率的关系如图5所示，由图5可知，改进CNN模型的图像识别错误率明显低于CNN1和CNN2模型的错误率。当训练次数为18次时，改进CNN的错误率降为0，CNN1在训练24次时错误率降为0，CNN2在训练21次时错误率降为0，但是CNN1和CNN2模型在错误率初次降为0后随着训练次数的增加还存在一定的波动，而改进CNN则不存在这样的问题，在错误率降为0后便稳定的维持在0左右，由此可见，本文的改进CNN在更少的训练次数下即可达到图像识别错误率的最小值，而且识别稳定，具有图像识别率高、更稳定的优点。

4 结 论

本文提出了基于两个CNN拓扑结构的改进CNN模型，研究了基于改进CNN的增强现实变压器图像识别技术，通过实验研究得出以下结论：

1） 本文所提改进CNN模型可以准确地对增强现实变压器图像进行识别，针对文中样本库，训练次数达到18次时识别率可达100%，具有很好的识别效果；

2） 本文所提改进CNN模型在相同的训练次数下图像识别错误率低于卷积神经网络算法，图像识别率更高、更稳定，比传统的SIFT算法具有更高的图像识别准确率，消耗时间更短，性能更优越。

参考文献

[1] 陆平.移动增强现实中的图像处理关键技术研究及应用[D].南京：东南大学，2015.

LU Ping. Research on key technology of image processing in mobile augmented reality and its application [D]. Nanjing： Southeast University， 2015.

[2] 蔡苏，王沛文，杨阳，等.增强现实（AR）技术的教育应用综述[J].远程教育杂志，2016（5）：27?40.

CAI Su， WANG Peiwen， YANG Yang， et al. Review on augmented reality in education [J]. China remote education magazine， 2016（5）： 27?40.

[3] 李青，张辽东.基于增强现实的移动学习实证研究[J].中国电化教育，2013（1）：116?120.

LI Qing， ZHANG Liaodong. Empirical study of mobile lear?ning based on augmented reality [J]. China electrochemical education， 2013（1）： 116?120.

[4] RASCHMAN E， DURACKOVA D. New digital architecture of CNN for pattern recognition [C]// International Conference Mixed Design of Integrated Circuits and Systems. [S.l.]： IEEE， 2009： 662?666.

[5] MU Nan， XU Xin， ZHANG Xiaolong， et al. Salient object detection using a covariance?based CNN model in low?contrast images [J]. Neural computing and applications， 2017（2）： 1?12.

[6] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[7] 徐姗姗.卷积神经网络的研究与应用[D].南京：南京林业大学，2013.

XU Shanshan. Research and application of the convolution neural network [D]. Nanjing： Nanjing Agricultural University， 2013.

[8] 陈先昌.基于卷积神经网络的深度学习算法与应用研究[D].杭州：浙江工商大学，2014.

CHEN Xianchang. Research on algorithm and application of deep learning based on convolutional neural network [D]. Hangzhou： Zhejiang Gongshang University， 2014.

[9] 白廷柱，侯喜报.基于SIFT算子的图像匹配算法研究[J].北京理工大学学报，2013（6）：622?627.

BAI Tingzhu， HOU Xibao. Research on image matching algorithm based on SIFT operator [J]. Journal of Beijing Institute of Technology， 2013（6）： 622?627.

[10] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [C]// Proceedings of ICCV. [S.l.]： IEEE， 2015： 1?14.