一种应用于变电站场景下的误入间隔行为检测技术

刘云厚，吕强，张艳杰

（国网技术学院，山东 济南 250002）

针对变电运检工作中人工智能安全防控的需求，基于深度学习技术，研究适应变电站安防场景工作人员多摄像头目标检测定位、目标跟踪、目标识别的机器视觉算法，形成变电站场景的低功耗、轻量化机器视觉监视方案[1-2]。研制变电站场景中对安全工器具、人员操作行为等目标进行跟踪识别的在线机器识别的智能穿戴设备及后台安防分析系统，通过智能穿戴设备对变电站现场操作跟踪识别，具备变电站现场操作跟踪识别、安全预警与评价考核功能，达到变电站安全监护目标[3-5]。

1 违规场景描述与整体方案

变电运检工作中违规场景主要包括：①通用场景下的通用违规动作识别，如未按规定穿戴绝缘手套、未按规定佩戴安全帽；②结合特定复杂业务场景下，如误入间隔，完成指定动作的识别（500 ms 以内）。

系统主要技术流程如图1 所示。

图1 变电站违规技术检测技术路线图

本文重点研究误入间隔行为检测。误入间隔行为检测技术的关键在于将数据操作票系统与间隔铭牌识别功能相结合。根据当前间隔铭牌的识别结果与操作票系统需要的正确间隔比对，进行误入间隔行为的判定。

2 误入间隔检测方法

2.1 操作票管理终端与操作票信息同步

由于变电站内部通信机制的特点，站内固定摄像头无法与具体的操作票结合，为了与业务场景更加紧密结合，需要将操作票接入到整个系统中。通过预留接入生产管理系统（PMS）操作票的接口，实现操作票的下发，在操作票终端中集成误入间隔检测识别算法，进行综合判定。

图2 为操作票任务示意，其中 “220 kV 出线Ⅰ”表示正确操作间隔。实时识别部分的关键在于铭牌文字识别算法。

图2 操作票任务示意图

2.2 铭牌文字识别算法

铭牌的文字识别将分为2 个步骤完成：①采用单目标多框检测（SSD）算法将铭牌区域进行识别；②在铭牌区域内完成文字的识别。

与通用的光学字符识别（OCR）相比，本文OCR的主要特点在于：①铭牌在视野范围内存在一定的变形；②需要考虑不同的反光情况；③铭牌数据中存在区分较为困难的字符，如1、l（字母L 的小写）、Ⅰ（罗马字母1）等。铭牌文字示意如图3 所示。

图3 铭牌文字示意图

本文采用的算法为：①针对所有可能在铭牌上出现的文字内容和字体规范，生成500 000～800 000 行的训练数据，同步加入畸变、噪声，形成符合实际情况的训练样本。②采用卷积循环神经网络（CRNN）为OCR 任务的骨干网络。OCR 的任务具有图像中目标识别和不定长的文字识别两大特点。传统图像目标识别一般采用卷积神经网络（CNN）方法，而文字识别一般采用循环神经网络（RNN）任务。结合了这2 种方法的优点，即采用CRNN 的方法。在CRNN 的底部，卷积层自动从每幅输入图像中提取一个特征序列。在卷积网络之上，构建一个递归层，对卷积层输出的每一帧特征序列进行预测。在顶部的转录层，将递归层每帧的预测转换成标签序列。③训练数据特点与数据增广。

训练数据样例如图4 所示。

图4 训练数据样例

变电站的铭牌中大量存在1、Ⅰ、Ⅱ、Ⅲ这些易混淆的字符，为了提高Hard Samples 的正确率，采取以下3 种措施：①采用数据增广办法扩展数据，数据增广是深度学习中常用的技巧之一，主要用于增加训练数据集，让数据集尽可能多样化，使得训练的模型具有更强的泛化能力；②在数据增广过程中，重点关注1、Ⅰ、Ⅱ、Ⅲ这些易混淆的字符；③在模型的训练中，引入困难样本挖掘机制Hard Example Mining，对于模型一直学不会的样本，将其扔进网络再继续训练，从而加强分类器的判别能力。

2.3 铭牌文字识别结果

根据上文的算法设计了试验，以视频为基础数据，需要录制约20 h 的原始有效视频数据，筛选出20 万～30 万张工作场景数据，然后采用数据标注平台进行标注，采用其中1/2 的数据用于训练，剩余数据用于测试。铭牌文字识别结果如图5 所示。

图5 铭牌文字识别结果

算法统计结果如下。

测试条件：标准测试集上的字符识别率为99%；单次识别时间不超过100 ms；测试集样本数大于等于10 000，待识别目标有效像素数不小于8 000。

测试结论：测试样本数2 万，正确识别数为19 900 个，识别准确率为99.9%。

3 端侧算法性能优化

根据行业实时计算标准，端侧算法性能超过10 fps（单帧运算时间不超过100 ms）可以认为是实时计算，本研究采用骁龙865 平台。

深度神经网络（DNN）已成为当今机器智能的关键推动因素。近年来，DNN 系统的一个趋势是将预测管道从云数据中心转移到终端设备（例如智能手机、可穿戴设备、物联网等）。通过在终端设备上部署DNN，可以更好地保护用户数据隐私以及降低不必要的网络传输，甚至在无公用网络的情况下仍然可以实现机器学习算法。完成设备上DNN 的关键部分是推断性能（延迟和吞吐量），给定大多数设备的硬件资源受到严格限制。这样的任务不能部署到云/边缘服务器，因为超低延迟要求以及潜在的电磁干扰，均由于低延迟要求和数据隐私问题无法利用远程服务器的计算资源。在通常情况下，较宽较深较大的模型往往比较窄较浅较小的模型精度要高，但是较宽较深较大的模型对计算资源要求更高，而现在模型应用越来越倾向于从云端部署到边缘侧，受限于边缘侧设备的计算资源，不得不考虑设备存储空间（Storage）、设备内存大小（Memory）、设备运行功耗（Power）及时延性（Latency）等问题，特别是在移动终端和嵌入式设备等资源受限的边缘侧应用场景中更加需要进行优化。因此，模型量化应运而生[6-7]。

本文考虑在端侧直接将算法进行优化和部署。模型量化即以较低的推理精度损失将连续取值（或者大量可能的离散取值）的浮点型模型权重或流经模型的张量数据定点近似（通常为int8）为有限多个（或较少的）离散值的过程，其是以更少位数的数据类型用于近似表示32 位有限范围浮点型数据的过程，而模型的输入输出依然是浮点型，从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标。

在Android 操作系统上实施了本文算法端到端的算法量化。支持设备上CPU、GPU 和DSP 推理的运行时，考虑到移动CPU 包含大小核心问题，使用POSⅠX APⅠ在大核心上运行推理。此外，考虑到许多DNN 推理任务异步运行，所以建立一个Thread Pool 和一个Ⅰnference Finish Listener 来控制推理执行作为策略顺序。系统有3 个DNN 级联，涉及6 个不同的子模型、2 个变电站实际工作中的视频流和2 个终端设备。系统算法运行的工作流图如图6 所示。

图6 算法运行的工作流图

算法优化结果如表1 所示。对照实时计算的要求，单帧运算时间没有超过100 ms，满足实时运行的基本条件。

表1 算法单帧性能优化结果

4 结论

本文分析了变电运检工作中人工智能安全防控的需求，深入研究了误入识别间隔的系统结构与算法实现，在移动端侧计算芯片上实现了算法的实时计算。这将为变电站实时行为检测打下坚实的基础，具有继续深入研究的价值。