多路视频流边缘智能识别设备设计

王兴涛，廖 逍，邱 镇，靳 敏，徐 凡，张晓航，李文璞

(国网信息通信产业集团有限公司 信通研究院，北京 100052)

0 引言

变电站是电网输、变、配、用电领域的重要环节，是电能输送和配用的转换枢纽，其稳定可靠运行是电网安全与用电质量的重要保障，变电站运行维护质效直接决定了其运行安全性和可靠性。传统变电站运维采用人工巡检方式，工作强度大、效率低下、存在人为不可控因素和安全风险，随着大电网建设的快速发展，变电设备数量增长迅速，而运维人员数量相对短缺，设备运维工作量激增。近年来，人工智能和边缘计算等先进技术快速发展，电力物联网和变电数字化建设的不断推进，变电站运维对设备智能管控及管理精益化提出了更高要求，无人值守的智慧变电站成为解决人员短缺和集约化管理的重要手段[1-3]。

目前，人工智能已经在变电站得到了广泛推广应用[4-7]，可实现变电设备缺陷智能识别、人员行为智能管控、以及固定视频相机和巡检机器人联合自主巡检等功能。文献[8]基于计算机视觉与深度神经网络技术开展了变电设备状态监测，能够提高变电站运行可靠性与安全性。文献[9]开发了一套变电设备温度预警系统，通过变电站自主巡视机器人，融合红外测温与可见光视觉，通过无线WiFi将数据上传后台服务器，并在远程监控系统利用人工智能技术对数据进行处理分析，预警异常缺陷故障。文献[10]针对Mask-RCNN网络进行了优化设计，实现了变电站设备锈蚀的智能检测分析，取得了优于原始的Mask-RCNN网络的准确率和召回率。人工智能技术在变电领域的成功应用提高了日常运行维护的工作效率，减轻了运维人员的劳动强度，但当前变电设备视频数据通常由光纤等信道统一传输到后台服务器进行分析处理，增加了通信带宽及数据集中管理的成本压力，降低了数据分析的时效性和即时性，尤其变电站视频采集终端数量大，且仍在不断增加，前端视频成像质量和分辨率不断提高，通信信道和后台服务器性能要求持续提高，图像识别和处理效率大幅下降。

因此，本文基于人工智能、边缘计算、流媒体处理、以及深度学习计算加速等技术，开发了面向变电设备缺陷人工智能识别算法模型，研制了多路视频流智能识别设备，并在变电站开展应用，实现了变电多路视频流实时采集、缺陷在线智能识别、边缘计算推理加速、以及视频处理推流等功能，每台设备可接入32路视频流，在边缘侧完成智能识别处理，减小了网络传输带宽压力，提高了识别效率与时效性，运维效率大幅提升，进一步提升变电站智慧管理成效。

1 总体架构设计

变电站多路视频流智能识别设备可接入场站内多路视频装置，同时对多路视频流进行抽帧、解码、编码、分析识别、推流等操作，主要包括“交互控制单元”和“推理加速单元”两部分组成，具备AI芯片计算加速与推理功能，实现边缘侧图像视频的分析计算与智能识别，设备总体架构如图1所示。

图1 设备总体架构设计

1)交互控制单元：基于工控机处理器，采用嵌入式Linux操作系统，布设Docker容器，主要完成视频流采集、抽帧、网络通信、进程调度、视频流推送、人机交互等功能，提供网络与PCIE通信接口，实现多路视频流在不同推理加速单元进行边缘计算的调度控制。

2)推理加速单元：通过PCIE接口与交互控制单元通信，采用基于国产AI处理芯片的推理加速板卡，每个推理加速单元配置3个AI芯片，每个芯片可处理3路视频流，根据交互控制单元PCIE接口个数，每台设备可配置多个推理加速单元。支持Faster-RCNN、Yolo、TensorFlow等多种框架算法识别模型的固化调用与计算加速，单个加速单元可提供高达105.6TOPs INT8算力和6.6TOPs FP32算力，支持高精度计算。

多路视频流智能识别设备通过中继交换机接入多路摄像头，由交互控制单元完成多路摄像头视频数据采集接入、抽帧操作，然后基于内存交互，将抽帧图片调入推理加速单元内存，由推理加速单元调用人工智能算法模型对图片进行分析与识别，之后对图片与视频数据进行硬压缩，将结果转发到交互控制单元内存中，最终由交互控制单元对视频流进行优化与推流，在主控端进行实时显示。通过对人工智能识别模型基础算子归类与自定义算子特性分析，面向多路视频流边缘智能识别设备的架构特性，融合深度学习基础算子与自定义算子技术，开发自定义算子的接口，建立基础算子与自定义算子之间的高性能计算机制，提升底层计算硬件资源的利用效率，从而提升设备整体数据运算与智能分析效率。

设备硬件结构与接口面板如图2所示，主要包括：电源接口、机械硬盘、开关按钮、LED指示灯、USB端口、RJ45以太网端口、推理卡通道、VGA端口、以及RS232端口等部分组成，设备外壳背面由带有散热通道的盖板组成，其他由侧面盖板组成。

图2 设备硬件结构及接口示意图

2 主控软件设计

多路视频流智能识别设备采用YOLOv4的深度学习网络结构实现设备缺陷与人员作业行为的智能识别，采用Live555流媒体服务器与实时流传输协议(RTSP，real time streaming protocol)实现视频流传输与推送[11-12]，设备主控软件处理流程如图3所示。

图3 软件处理流程图

首先，在交互控制单元中，采集变电站内多路摄像头的视频流数据，分别从每路视频流中每5帧抽取一帧图像数据，拷贝到推理加速单元的内存中，推理加速单元调用YOLOv4识别模型，对图像数据开展人工智能计算分析，实现表计读数、设备缺陷、人员行为等目标识别，得到目标类别、坐标等结果，并将识别结果标识在图片中；然后，加速推理单元将带有识别结果标识的图片进行硬件H.264编码，并推送到码流队列中，若码流队列的长度大于1，则先释放队首元素，使得码流队列中始终存储当前的最新图像帧；最后，将码流队列拷贝到交互控制单元内存中，搭建RTSP服务器，基于Live555流媒体框架完成多路视频流的推流，用户平台端即可通过拉流实现多路视频流的实时识别与展示。

变电站多路视频流智能识别与展示要求检测识别的高实时与低延时，而标准通用的Live555流媒体推流策略是将H.264码流直接加入队列中，且不对队列进行处理，当RTSP客户端发起接流请求后，服务器端将队列中的H.264码流按顺序推流。当RTSP客户端长时间不发起请求时，会不断有新的H.264码流加入队列，直到内存溢出，造成客户端接流时最先解码展示队列中“过去态”的信息，实时性和展示效果不适配变电站智能运检业务[13-15]。

图3所示设备主控软件优化了RTSP推流策略，可有效解决视频展示延时大问题，提高多路视频流智能识别实时性与变电智能运检业务适配性。首先，根据加速推理单元的性能指标与测试验证，在视频流采集抽帧阶段，每5帧图像抽取其中一帧进行智能识别，其它4帧图像复用该帧图像的识别结果，缩短识别耗时，并保持识别结果的连续性，不影响展示端的视觉效果；其次，基于加速推理单元高性能硬件处理能力，采用硬件编码方式，快速完成智能识别与结果标识后的帧数据H.264编码；最后，对码流队列进行判断处理，当码流队列长度大于1时，释放队列首元素，保持队列存放当前最新的帧数据。

3 算法模型设计

本文采用YOLOv4目标检测算法识别多路视频流抽取的图像，该算法包括Input、BackBone、Neck、以及Prediction四部分，每个部分均采用了一定的优化策略，提升了算法检测精度和识别速度[16-17]。

Input部分采用的优化策略主要包括数据增强Mosaic、跨微批量标准化(CmBN,cross mini-batch normalization)、以及自对抗训练(SAT,self-adversarial-training)；BackBone部分采用CSPDarknet53主干特征提取网络，分别从增强学习能力、降低计算瓶颈、降低内存成本3个方面提升了性能，Backbone使用Mish激活函数，在训练稳定性、平均准确率以及峰值准确率等方面进行优化[18-19]，如式(1)所示：

Mish=x·tanh(ln(1+ex))

(1)

Neck部分主要采用了SPP-Net (spatial pyramid pooling networks)和FPN (feature pyramid networks) + PAN (path aggregation network)的优化策略，SPP-Net可有效增加主干特征的接收范围，显著分离出最重要的上下文特征，FPN与PAN相结合，从不同主干层对不同检测层进行参数聚合，有效融合了各层级信息[20]；Prediction部分采用CIOU进行BBOX回归损失计算，将预测框与真实框的重叠面积、中心点距离，长宽比都融入到公式中，优化提高了预测回归的速度和精度，如式(2)所示：

(2)

其中：IOU是目标检测中常用的指标，用来反映预测框和目标框的检测效果；Distance_2表示预测框与真实框中心点的欧氏距离；Distance_C表示预测框与真实框最小外接矩形的对角线距离；v是衡量长宽比一致性的参数，其定义如式(3)所示:

(3)

CIOU表示预测框与真实框的偏离程度，其Loss函数如式(4)所示:

(4)

同时，YOLOv4将通用筛选预测框的Nms中计算IOU的部分优化为DIOU的方式，提升了检测效果[21]，如式(5)所示:

(5)

4 测试与应用验证

4.1 算法识别精度测试

本文面向变电站智能运维场景，基于国家电网变电影像样本数据库，开展变电设备缺陷、仪表读取、人员行为识别等方面的检测分析精度测试，完成算法模型设计、编译、训练后，将算法模型部署在变电站多路视频流智能识别设备，该设备内置3个推理加速单元，每个加速推理单元配置3块TPU，基于YOLOv4的各类型算法识别精度如表1所示。

表1 变电站识别算法精度

经测试表明，该设备的算法模型识别精度能够满足变电站巡视业务需求，可辅助运维人员开展变电站日常巡视工作，有效支撑无人值守变电站数字化建设。

4.2 变电站应用验证

截止目前，该设备已在国家电网10余座变电站或换流站部署应用，能够接入站内巡检机器人、可见光摄像头、以及红外摄像头采集的视频流，并在边缘侧实现多路视频流的实时高精度智能分析处理，通过分别部署不同的图像识别算法模型，既可以识别可见光图像，也可以识别红外图像，具备设备实时监控、图像智能识别、人员安全管控、红外分析诊断、环境安全检测等智能识别告警功能。如图4所示，多路视频流智能识别设备在边缘侧完成高精度分析处理后，将附带识别结果的视频流信息实时上传至变电信息综合处理系统，在应用服务端实时展示多路视频流分析识别情况，并将分析结果及时上报变电站运维人员，同时还可以接收地市级巡视指令，辅助实现机器人与摄像头联合巡视，配合完成变电站“一键顺控”等智能控制类业务，为变电站运行维护从人工巡检方式转变为智能巡检无人值守方式提供强有力的技术支撑，极大地提升了变电站运行安全水平。

图4 变电站应用验证

5 结束语

随着智能电网及以新能源为主体的新型电力系统建设的不断推进，变电站设备数量和运维工作量剧增，但变电运维人员短缺的矛盾日益突出，且对运维人员的综合技术水平和能力要求越来越高。人工智能与边缘计算技术的成熟

发展为解决这一问题提供了方法手段，因此，国家电网大力推动智能变电站建设，采用人工智能技术、边缘计算、以及大数据等先进技术改造升级变电站运维数字化与智能化水平，大量人工智能与边缘计算设备被推广应用。本文根据变电站智能巡视需求，研制了变电站多路视频流边缘智能识别设备，分别从总体架构、主控软件、以及人工智能算法模型等方面开展了设计研发，并基于变电影像大数据样本库开展了算法模型识别精度测试，面向变电站运维场景开展了试点应用验证，通过测试和推广应用，验证了该设备指标与性能能够满足智能变电站巡视业务需求，可辅助运维人员开展变电站日常巡视工作，有利支撑了变电站智能运维水平。