基于域自适应的二屏电能表显示屏质量检测方法

刘永光，谭赣江，刘型志，徐晓飞，黄亚娟, 吴 兰

基于域自适应的二屏电能表显示屏质量检测方法

刘永光1，谭赣江1，刘型志2，徐晓飞1，黄亚娟1, 吴 兰3

(1.许继集团有限公司，河南 许昌 461000；2.国网重庆市电力公司计量中心，重庆 404100；3.河南工业大学电气工程学院，河南 郑州 450000)

针对人工显示屏检测和机器检测存在精度较低及效率低下的问题，提出了一种基于域自适应的二屏电能表显示屏检测方法。为有效提高检测效率，对奇、偶二屏显示字段的虚显、断显、漏显和多显进行检测，快速实现对电能表显示屏字段、电能表显示屏驱动回路元器件及其生产过程的虚焊、漏焊、连锡等质量问题的检测。利用局部域自适应进行源域和目标域的对齐，提取显示屏中的细粒度信息以获取更高检测精度。实验结果表明，所提方法有效提高了电能表显示屏字段及其驱动回路质量的检测效率和检测精度。

电能表显示屏检测；奇数屏；偶数屏；域自适应

0 引言

随着人们生活水平的不断提高，智能电能表已成为工业中的的必需品。智能电能表作为国家电网计量体系中的关键设备，已经逐渐普及使用，但在生产过程中，由于显示屏及其驱动回路元器件质量、焊接质量等原因可能会产生各种质量问题，如显示屏虚显、断显、漏显及多显等显示缺陷，为了保证电能计量显示内容的准确性，智能电能表在生产及检表过程中都需要对其显示屏驱动回路进行质量检测，智能电能表显示屏的质量直接影响电能表的整体品质。因此，智能电能表显示屏检测是智能生产过程中不可或缺的环节。当前各大电能表生产商多数采用人工检测，而人工检测在增加了人力成本的同时降低了检测效率。检测结果容易受检测人员的主观因素影响。机器视觉系统的特点是保证生产的可靠性，实现自动化生产，运用机器视觉相关技术进行检测已成为当前社会热点。在大规模工业生产过程中，机器视觉检测方法替代检查产品质量效率不高且精度差的人工视觉，明显提高了生产效率和自动化生产程度。另外，在一些人工操作不便的极端条件或人类视觉不能满足的场合，机器视觉常用来代替人工进行质量检测。为充分发挥神经网络在计算机视觉检测方面的优势，文献[1-5]提出基于神经网络的智能电能表显示屏检测。现有的显示屏检测技术主要集中在缺陷检测方面。文献[6]提出一种具有较高鲁棒性的算法，利用多项式逼近和欧式距离度量进行检测。文献[7]利用独立分量分布分析的算法进行缺陷边缘的提取，并采用K均值聚类得到最终分类结果。这些方法虽建立了数学模型，但结构复杂，不利于工程实现。文献[8]利用多项式曲面拟合来描述Mura伪缺陷，通过比较得出最终的分类标签，但需较多的实验基础，难以实现自动化。文献[9-12]基于回归诊断或者曲面拟合的背景估计方法进行缺陷检测，在时间方面难以达到实际要求。文献[13-15]分别提出基于Gabor变换、离散傅里叶变换和离散余弦变换在频域上处理之后采用阈值分割的方法识别缺陷。文献[16]提出基于特征量化的缺陷检测算法，对图像进行分块并统计了四个方面的投影特征，分别是傅里叶能量谱、灰度均值、方差以及在水平和垂直方向所得到的特征检测缺陷。文献[17]在摄像头可移动拍摄前提下，使用1D光流法检测缺陷，其处理的速度快，但容易受到光照的影响。文献[18-21]采用单分类器的算法，主要使用SVDD进行检测，有效解决了缺陷样本不足的问题，但在检测效率上有待提高。文献[22]提出了基于数据挖掘的配网数字化计量系统运行特性监测和评价方法研究，并通过分析一年的有功电量误差获得两种数字化计量系统设计方案的优缺点，为数字化计量系统未来的应用提供了实践和选型的依据。

综上所述，显示屏检测方法依赖高质高量的样本，故检测的精度得不到保证。为此，为解决低质少量样本下造成检测精度不高的问题，提出利用迁移学习进行显示屏检测的方法。

迁移学习可以改善机器学习领域中跨域任务上的模型性能，当目标域标签样本低质少量时，可使用包含大量标签数据的源域作为辅助信息去训练泛化能力较强的分类器。然而，迁移学习存在一大障碍域间差异，域适应可以有效克服这一障碍。域适应即缩小域间数据分布差异，从而将源域分类器更好地推广到目标域。目前，域自适应方法已应用在诸多场景，如图片分类[23-25]、图片翻译[26-27]、情绪分析[28-29]和目标检测等。

基于此，本文提出了一种基于域自适应的二屏电能表显示屏质量检测方法。主要研究内容有：

1) 利用二屏检测思想对电能表显示屏进行质量检测，减少了训练过程中的样本量，提高了检测效率；

2) 使用域自适应二屏电能表显示屏进行检测，有效增加了检测过程中的细粒度信息，提高了电能表显示屏质量检测的检测精度。

1 基于域自适应的二屏电能表显示屏质量检测方法的原理

1.1 二屏电能表显示屏质量检测方法原理

无论是显示屏字段存在的问题，还是驱动回路元器件存在的问题，以及存在的虚焊、漏焊、连锡等质量问题，都会导致奇数屏或偶数屏显示异常。因此只需检测奇、偶二屏字段的正常显示、虚显、断显、漏显和多显情况，可快速实现对电能表显示屏字段、电能表显示屏驱动回路元器件及其生产过程的虚焊、漏焊、连锡的质量判断。二屏电能表显示屏质量检测方法，与按电能表原有功能进行质量检测方法相比，较大地提高了电能表液晶屏字段及其驱动回路质量的检测效率。

1.2 域自适应方法

人工进行显示屏检测时，由于检测工作量大，长时间工作会产生视觉疲劳造成漏检、错检等失误。目前工业上采用机器视觉技术检测物品缺陷已经成为了主流的方法，其工作原理是通过工业相机采集物体图片，上传至上位机后进行检测并给出结论，相比人工质检的准确率更高、检测速度更快。因此，提出了一种基于域自适应的二屏电能表显示屏的检测方法，有效实现了电能表显示屏的自动检测。

域自适应是针对源和目标的任务一致但数据分布不一致的情况，且源域有大量的标签样本，目标域却没有(或者少量)标签样本的场景下的一种迁移学习方法。它已取得了一定的研究成果[30-38]，现多数文献均面向单源无监督场景。单源无监督域自适应研究是指学习两个域的域不变特征，将含有标签信息的单个源域分类器推广到没有标签信息的目标域，从而获得目标域的标签信息。在单源无监督的场景中，有两种主要的思想：基于对抗的域自适应和基于散度的域自适应。基于生成对抗网络的思想是将对抗思想运用到域自适应场景中，促使源域和目标域对齐，使模型中所包含的生成器和鉴别器能够互相抗衡从而达到学习的目的。基于最小化散度的方法[33-34]是利用距离度量函数对源域和目标域的数据概率分布之间的差异性进行缩减，以达到域间对齐效果。在借鉴距离度量思想下，将源域和目标域数据的距离作为网络模型的损失函数，即可通过优化迭代，使源域和目标域在特征空间内映射“对齐”。这些衡量源域和目标域数据距离的数学公式有KL 散度、最大平均差异(maximum mean discrepancy, MMD)和Wasserstein distance等。

MMD最早被提出是解决双样本的检测(two-sample test)问题，用于判断两个分布P和Q是否相同。它主要集中于源域和目标域的全局分布对齐，而没有考虑不同域中的同一类别之间的关系，它对源域和目标域进行了全局域变换，经过调整后，源域和目标域的全局分布基本一致。对于目标检测问题，同一类别中样本的相关性更强，分类精度相对较高。

但全局对齐可能会导致一些不相关的数据过于接近，反而降低分类精度，故本文利用域适应进行域间的对齐，以提升分类精度。

2 基于域自适应的二屏电能表显示屏质量检测方法

2.1 总体框架

本文的总体框架是：首先获取奇数偶数屏为源域，保存全屏图片为目标域，其次利用局部最大平均差异进行源域和目标域的对齐以后，将源域(奇数偶数屏)分类器推广到目标域(全面屏)，最终实现对全面屏的检测，其总体框架如图1所示。

图1 总体框架图

2.2 二屏电能表显示屏质量检测方法

2.3 源域分类器训练

为了提高全面屏的检测效率，期望利用奇数屏和偶数屏(源域)中显示屏字段及其驱动回路中学到的知识对全面屏(目标域)中无标签数据进行分类。源域分类损失表示为

2.4 局部特征对齐

为了有效提高全面屏的检测精度，本文采用局部特征对齐的方法，将细粒度概念应用到全面屏检测场景中，其原理如图2所示。利用源域(奇数偶数屏)和目标域(全面屏)进行局部域自适应，使得源域和目标域的特征分布空间更接近，源域(奇数偶数屏)的知识更有效地运用到目标域(全面屏)中。为了使相关子域对齐(本文将子域定义为类别)，将局部最大平均值差异损失表示为

式中：和分别为和中的样本实例；和为两个域中第个类别的数据分布；表示具有特征核的再生核希尔伯特空间(RKHS)。

2.5 总体损失函数

本文所提模型的总体损失函数由源域分类损失和局部特征对齐损失构成。

式(6)中，第一部分为源域分类损失，第二部分为局部特征对齐损失。模型通过两个损失函数的迭代优化，实现源域(奇数屏和偶数屏)对目标域(全面屏)的质量检测。

3 基于域自适应的二屏电能表显示屏质量检测实验

本文使用的源域数据集主要具有虚显、断显、漏显、多显的奇、偶二屏显示字段，目标域数据集主要是电能表显示屏字段、电能表显示屏驱动回路元器件，通过本文所提算法可有效判断显示屏字段、驱动回路元器件及其虚焊、漏焊、连锡等质量问题。

3.1 检测精度

为了证明本文所提模型对于全面屏检测的可行性，本文对模型的总体损失函数进行了分析。训练集损失函数曲线如图3所示，测试集损失函数曲线如图4所示。从图3和图4中的损失函数曲线可以观察到，当模型没有进行迭代时，训练集损失处于最大值16，而当经过10 000次迭代之后，模型整体损失基本趋于最小值，达到稳定状态。训练集在迭代7000次左右达到明显稳定，测试集在经过8000次迭代之后状态明显稳定。由此可得，经8000个样本训练后，本文所提方法满足实用要求，表明本文所提方法的有效性。

学习率曲线如图5所示。在对电能表显示屏进行检测时，本文开始时的学习率为0.01，在迭代10 000次之后，学习率变为0.002左右。

图3 训练集损失函数曲线图

图4 测试集损失函数曲线图

图5 学习率曲线图

本文提出的基于域自适应的二屏电能表显示屏检测方法已在许继仪表的电能表自动生产线中进行实验，2021年7月—10月的实验结果如表1所示。可以看出，本文所提算法在实际应用中的误判率较低，表明所提算法的可行性。

本文所提方法与现有的机器视觉方法进行了精度对比分析，对比结果如图6所示。在4个月中，本文所提方法的检测精度最高，表明通过局部域自适应方法，提取了更多特征的细粒度信息，有效提高了检测精度。

表1 许继仪表2021年7月—10月的使用效果

图6 不同方法检测精度对比

3.2 检测效率

为了证明本文方法可有效提高电能表质量的检测效率，本文对比分析了每只电能表中人工检测与机器检测的时间，实验结果如表2所示。按二屏电能表显示屏质量检测方法，每只电能表人工检测时间平均需要约12 s。按基于域自适应的二屏电能表显示屏检测方法，一台检测设备安装一个摄像头，机器自动检测时需要20 s，一个检测设备安装6个摄像头时仅需要3.4 s。许继仪表单相电能表自动产线的生产节拍为4 s，人工检测需要3个工人，一台带6个摄像头机器检测可以代替3个工人。由此可得，本文所提算法的检测效率完全能满足实际使用要求。

表2 每只电能表的人工检测与机器检测的检测时间

4 总结

本文为提高显示屏质量的检测效率，提出基于域自适应的二屏电能表显示屏检测方法，以奇、偶二屏图片为源域，全屏图片为目标域进行检测。同时为有效提高检测精度，提取显示屏中更多的细粒度信息，利用局部域自适应进行源域和目标域对齐，并将源域分类器推广到目标域，实现对全面屏的检测。通过在许继仪表电能表自动生产线中进行实验，结果表明，本文所提方法在检测效率与检测精度方面都有较大的提高，并满足实际使用要求。

[1] 顾晓东, 唐丹宏, 黄晓华. 基于深度学习的电网巡检图像缺陷检测与识别[J]. 电力系统保护与控制, 2021, 49(5): 91-97.

GU Xiaodong, TANG Danhong, HUANG Xiaohua. Deep learning based defect detection and recognition of a power grid inspection image[J]. Power System Protection and Control, 2021, 49(5): 91-97.

[2] 何宁辉, 王世杰, 刘军福, 等. 基于深度学习的航拍图像绝缘子缺失检测方法研究[J]. 电力系统保护与控制, 2021, 49(12): 132-140.

HE Ninghui, WANG Shijie, LIU Junfu, et al. Research on infrared image missing insulator detection method based on deep learning[J]. Power System Protection and Control, 2021, 49(12): 132-140.

[3] 曾纪钧, 温柏坚, 梁哲恒. 基于深度学习的安全帽识别算法研究与模型训练[J]. 电力系统保护与控制, 2021, 49(21): 107-112.

ZENG Jijun, WEN Bojian, LIANG Zheheng. Research and model training of helmet recognition algorithm based on deep learning[J]. Power System Protection and Control, 2021, 49(21): 107-112.

[4] 刘谋海, 胡军华, 丁国栋, 等. 基于深度学习的电力监控视频超分辨率重建[J]. 电力系统保护与控制, 2021, 49(11): 181-187.

LIU Mouhai, HU Junhua, DING Guodong, et al. Super- resolution reconstruction of a power monitoring video based on deep learning[J]. Power System Protection and Control, 2021, 49(11): 181-187.

[5] 孟明, 舒展. 基于缺陷扣分法和三角模糊数层次分析法的智能电能表全生命周期质量评价[J]. 电力系统保护与控制, 2012, 40(22): 88-93.

MENG Ming, SHU Zhan. Full quality evaluation on smart meters based on the defect deduction method and the AHP of triangular fuzzy number[J]. Power System Protection and Control, 2012, 40(22): 88-93.

[6] KIM W S, CHUNG Y, OH J, et al. The detection of curve-type defects in the TFT-LCD panels with machine vision[C] // TENCON 2005-2005 IEEE Region 10 Conference, November 21-24, 2005, Melbourne, Australia: 1-5.

[7] 汪志亮, 高健, 赵伟明. 面向 OLED 屏像素缺陷检测的新方法[J]. 计算机工程与应用, 2012, 48(26): 177-180.

WANG Zhiliang, GAO Jian, ZHAO Weiming. A new method for OLED screen pixel defect detection[J]. Computer Engineering and Applications, 2012, 48(26): 177-180.

[8] 张昱. 基于机器视觉的TFT-LCD屏mura缺陷检测技术研究[D]. 哈尔滨: 哈尔滨工业大学, 2006.

ZHANG Yu. Research on TFT-LCD screen mura defect detection technology based on machine vision[D]. Harbin: Harbin Institute of Technology, 2006.

[9] MALING W Z. Implementation of region-mura detection based on recursive polynomial-surface fitting algorithm[C] // Proceedings of the 2nd Asia International Symposium on Mechatronics, 2006, Hong Kong, China.

[10] CHEN S L, CHANG J H. TFT-LCD mura defects automatic inspection system using linear regression diagnostic model[J]. Journal of Engineering Manufacture, 2008, 222(11): 1489-1501.

[11] ZHANG Y, ZHANG J. Automatic blemish inspection for TFT-LCD based on polynomial surface fitting[J]. Opto- Electronic Engineering, 2006, 10: 108-114.

[12] CHUANG Y C, FAN S S. Automatic TFT-LCD mura inspection based on studentized residuals in regression analysis[J]. IEMS, 2009, 8(3): 148-154.

[13] TSAI D M, LIN C P. Fast defect detection in textured surfaces using 1D Gabor filters[J]. The International Journal of Advanced Manufacturing Technology, 2002, 20(9): 664-675.

[14] KIM W S, OH J H, PARK H C H. Image enhancement forautomated TFT-LCD inspection system using estimation of intensity flow[J]. IEICE Transactions, 2007, 90(11): 2126-2130.

[15] CHEN L C, KUO C C. Automatic TFT-LCD mura defect inspection using discrete cosine transform-based background filtering and ‘just noticeable difference’ quantification strategies[J]. Measurement Science and Technology, 2007, 19(1).

[16] TANIGUCHI K, UET A, TATSUMI S. A mura detection method[J]. Pattern Recognition, 2006, 39: 1044-1052.

[17] LIU Y H, HUANG Y K, LEE M J. Automatic inline- defect detection for a thin film transistor-liquid crystal display array process using locally linear embedding and support vector data description[J]. Measurement Science and Technology, 2008, 19.

[18] LIU Y H, LIN S H, HSUEH Y L. Automatic target defect identification for TFT-LCD array process inspection using kernel FCM-based fuzzy SVDD ensemble[J]. Expert System Application, 2009, 36(2): 1978-1998.

[19] LIU Y H, LIU S, CHEN Y Z. High-speed inline defect detection for TFT-LCD array process using a novel support vector data description[J]. Expert System Application, 2011, 38(5): 6222-6231.

[20] LIU Y H, CHEN Y J. Automatic defect detection for TFT-LCD array process using quasiconformal kernel support vector data description[J]. International Journal of Molecular Sciences, 2011, 12(9): 5762-5781.

[21] GAN Y, ZHAO Q. An effective defect inspection method for LCD using active contour model[J]. IEEE Transactions on Instrumentation and Measurement, 2013, 62(9): 2438-2445.

[22] 任伟, 徐子立, 宋晓林, 等. 基于数据挖掘的配网数字化计量系统运行特性监测和评价方法研究[J]. 高压电器, 2020, 56(8): 183-191.

REN Wei, XU Zili, SONG Xiaolin, et al. On-site monitoring and evaluation method of operation characteristics of MV distribution digital metering system based on data mining technique[J]. High Voltage Apparatus, 2020, 56(8): 183-191.

[23] LONG M, ZHU H, WANG J, et al. Deep transfer learning with joint adaptation networks[C] // International Conference on Machine Learning, 2017, Australia: 2208-2217.

[24] TZENG E, HOFFMAN J, SAENKO K, et al. Adversarial discriminative domain adaptation[C] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, USA: 7167-7176.

[25] GANIN Y, LEMPITSKY V. Unsupervised domain adaptation by backpropagation[C] // International Conference on Machine Learning, 2015, Lille: 1180-1189.

[26] SAITO K, WATANABE K, USHIKU Y, et al. Maximum classifier discrepancy for unsupervised domain adaptation[C] // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, USA: 3723-3732.

[27] ROY S, SIAROHIN A, SANGINETO E, et al. TriGAN: image-to-image translation for multi-source domain adaptation[J]. arXiv Preprint arXiv: 2004.08769, 2020.

[28] DAI Y, LIU J, REN X C, et al. Adversarial training based multi-source unsupervised domain adaptation for sentiment analysis[J]. arXiv Preprint arXiv:2006.05602, 2020.

[29] LIN C, ZHAO S, MENG L, et al. Multi-source domain adaptation for visual sentiment classification[C] // Proceedings of the AAAI Conference on Artificial Intelligence, 2020, New York, USA: 2661-2668.

[30] PAN S, TSANG I W, KWOK J T, et al. Domain adaptation via transfer component analysis[J]. IEEE Transactions on Neural Networks, 2010, 22(2): 199-210.

[31] GONG B, SHI Y, SHA F, et al. Geodesic flow kernel for unsupervised domain adaptation[C] // 2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, USA: 2066-2073.

[32] TZENG E, HOFFMAN J, DARRELL T, et al. Simultaneous deep transfer across domains and tasks[C] // 2015 IEEE International Conference on Computer Vision, December 7-13, 2015, Santiago, Chile: 4068-4076.

[33] SUN B, SAENKO K. Deep coral: correlation alignment for deep domain adaptation[C] // European Conference on Computer Vision, 2016, Springer, Cham: 443-450.

[34] ZHU Y, ZHUANG F, WANG J, et al. Deep subdomain adaptation network for image classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 32(4): 1713-1722.

[35] LONG M, CAO Y, WANG J, et al. Learning transferable features with deep adaptation networks[C] // International Conference on Machine Learning, 2015, Lille: 97-105.

[36] LONG M, ZHU H, WANG J, et al. Unsupervised domain adaptation with residual transfer networks[J]. Advances in Neural Information Processing Systems, 2016, 29.

[37] 张梦洁, 刘峰, 程薇. 国外自适应学习技术研究主题与趋势分析[J]. 计算机时代, 2021(10): 35-40.

ZHANG Mengjie, LIU Feng, CHENG Wei. Research topics and trends of foreign adaptive learning technology[J]. Computer ERA, 2021(10): 35-40.

[38] 毛威, 高宏力. 一种结合域自适应的图像语义分割算法[J]. 机械设计与制造, 2021(10): 300-303.

MAO Wei, GAO Hongli. An image semantic segmentation algorithm combined with domain adaptation[J]. Mechanical Design & Manufacture, 2021(10): 300-303.

Display quality detection method for a two-screen watt-hour meter based on domain adaptation

LIU Yongguang1, TAN Ganjiang1, LIU Xingzhi2, XU Xiaofei1, HUANG Yajuan1, WU Lan3

(1. XJ Group Corporation, Xuchang 461000, China; 2. Measurement Center of State Grid Chongqing Electric Power Company,Chongqing 404100, China; 3. School of Electrical Engineering, Henan University of Technology, Zhengzhou 450000, China)

There are problems of low accuracy and low efficiency in manual display detection and machine detection. Thus, this paper proposes a display quality detection method of a two-screen watt-hour meter based on domain adaptation. To effectively improve detection efficiency, this paper deals with detection of quality problems such as virtual or missing welding and tin connection in the display field of an electricity meter, the driving circuit components of electricity meter display and their production processes. It detects virtual, broken and missing display and multi-display of the display field of odd and even screens. To improve the detection accuracy, local domain adaptation is used to align the source and target domains, and to extract fine-grained information in the display. The experimental results show that the method proposed in this paper improves detection efficiency and accuracy in quality detection of the LCD screen field of the electric energy meter and its driving circuit.

power meter display detection; odd screen; even screen; domain adaptation

10.19783/j.cnki.pspc.211692

国家自然科学基金项目资助(61973103)；国家电网有限公司总部科技项目资助(5500-201927267A-0-0-00)

This work is supported by the National Natural Science Foundation of China (No. 61973103).

2021-12-11；

2022-04-22

吴 兰(1981—)，女，博士，教授，博士生导师，主要研究方向为迁移学习和多模态机器学习。E-mail: wulan@ haut.edu.cn

(编辑 姜新丽)