基于边缘计算与强化学习的配电物联网体系架构研究与应用

官国飞，宋庆武，张万生，徐 妍，李 澄，蒋 超

(1.江苏方天电力技术有限公司，江苏 南京 211100；2.江苏润和智融科技有限公司，江苏 南京 210012)

0 引言

构建融合人工智能技术、现代信息技术、泛在物联网技术的智慧配电物联网体系架构系统被视为协同环境、资源、社会发展三者可持续和谐发展的直接途径之一，是实现人类千年发展大计的重大战略部署，具有显著的异构数据融合、电力与信息双向互动、高度的自主感知与决策、广泛的能量交换等特性[1]。智慧配电物联网体系架构系统一般涵盖异构数据获取、配电运行自主感知、输电运行自主决策、电网资产自动化管理等功能，实现电网运维全寿命周期下的人机交互、时标信息提取、供配电运维数据收集与应用、电网运维健康状态评估及故障预警等功能，为高度市场化下的电网运维提供借鉴。以国家电网公司关于新型智慧配电物联网体系架构系统总体规划纲要为总指导[2]，深度剖析泛在物联网与智慧电网融合背景下涌现的万物云化下的智能决策与协同自治、能源生产与消费双向互逆流动、云管边端数据控制流深度融合、边缘计算泛化能力与学习能力均衡、多维差异性数据融合传送机制、数据融合及优先级自动退避机制等新型需求，构建具有自我感知、自我分析、自我决策属性的智慧配电物联网体系架构系统是国家电网公司在新时代的重大战略部署[3]，对统筹协调电网企业、电网用户、电网市场可持续健康发展具有重要意义。

在此，通过融合泛在物联网与分布式智慧电网智能体系，建立多维差异性信息物理高度融合模型，构建自主全面感知、全局最优协同、物理资源虚拟化管控、软硬件深度解耦的一体化配电物联网体系架构[4]，引入边缘计算机制增强配电物联网体系架构的边缘计算层级，实现边缘计算泛化能力与学习能力的动态平衡，引入强化学习算法实现配电物联网体系架构的智能决策与协同自治。在典型环境下对智慧配电物联网体系架构进行多维度性能仿真，从而验证该物联网体系是否能够较好解决配电物联网自主感知与智能决策之间的耦合矛盾[5]，实现全局最优，具有稳定性高、抗干扰性强、自主感知性高等优势。以国网江苏省电力有限公司辖区某小型配电网为效能评价载体，开发对应的原型系统并对模型进行了实证分析，验证体系架构是否具备配电设备泛在互联、运维状态全面自主感知、配电策略全局最优自主决策、极端运维环境下的协同自愈等完整体系效能。

1 融合泛在物联网与智慧电网的配电体系架构设计

针对能源大规模开发利用背景下的若干新型需求，对智慧电网配电体系架构进行内涵优化，处于能源革命中心环节的智慧电网系统对自主感知与决策属性具有很强的依赖性，智慧电网逐渐呈现出明显的集群全局协同控制属性。引入多智能体思想，构建智慧电网海量异构设备的信息共享与自我学习机制[6]，实现社会属性下的智慧电网海量异构设备全局协同控制，基于多智能体共享信息的智慧电网体系架构具备智慧电网电力线路参数实时全景感知与融合、异构网络拓扑快速计算与暂存、归一化格式下的多线程传输、实时解码与全景复现等全方位立体智慧电网全寿命周期拓扑与数据建模体系效能，构建具备智慧电网电力线路参数获取、传送、解码回复、全景复现等全链复现机制，设计了基于多智能体思想的智慧电网全寿命周期拓扑与数据建模体系专用架构，如图1所示。以智慧电网全寿命周期拓扑与数据建模体系全链条运维需求为指引[7]，将智慧电网全寿命周期拓扑与数据建模体系架构划分为数据感知层、信息共享层、自我决策层、人机交互层等，其中，数据感知层借助嵌入Storm流计算的数据融合算法对线上电压、网络功率分布、功率损耗、阻抗参数、电压降落、潮流计算、窃电检测等多维数据进行快速计算与暂存；信息共享层通过多智能体机制，把配电网电力线路相关核心参数视为具有自主感知与决策能力的智能体，在自身状态更新的同时主动向外界共享自身状态信息；自我决策层引入第二代机器学习中的深度强化学习算法实现异构智慧配电网策略自动最优生成与数据自主精确建模机制，利用多智能体共享信息生成目标智慧电网参数策略集合，为智慧电网系统全局最优决策提供支撑，实现智慧电网系统整体运维成本最低；人机交互层利用跨平台应用系统实现友好人机交互。

图1 基于多智能体思想的智慧电网体系架构示意

为落实国家相关部门以及国家电网公司关于落实国家关键信息基础设施保护、分级等级保护、电力行业泛在网络安全防护要求[8]，融入多维度网络安全防护技术，构建万物云化环境下面向配电物联网安全体系架构，如图2所示。万物云化环境下，融合泛在物联网的配电网具有较强的开放包容性，很容易遭受不法分子的网络攻击，电力行业关乎国计民生，电力数据历来作为国家秘密妥善保管，构建可信互联、分层防护、精准防护、安全互动、自主感知防护为一体的全面防护体系至关重要。以基于多智能体思想的智慧电网体系架构为网络安全防护设计蓝本，在数据感知层分别独立设置场级防护、边级防护、端级防护，其中，场级防护与边级防护互为耦合，场级与边级通过轻量级防护实现协议解析软防护，引入区块链技术实现电网漏洞精准挖掘，通过构建边缘流量分析机制实现全网总线安全；端级防护通过在用户终端设备中安装固件监测[9]、安全基线设置、安全SDK开发、漏洞管理学系统、设备管理系统等软件进程实现端级设备安全；在网络层(对应图1中的信息共享层与自我决策层)通过管级防护实现数据与控制流安全，管级防护主要通过构建网络安全接入(包含泛在电力物联网所有通信载体技术)与网络状态审计机制实现开放模式下信息共享的安全性；在应用和平台层(对应图1中的人机交互层)通过云级防护实现人机数据交互的安全性，通过引入多种云安全插件，实现无缝隙的应用安全。

图2 万物云化环境下面向配电物联网安全体系架构示意

2 基于边缘计算与强化学习的配电物联网体系架构实现

与万物云化环境下基于边缘计算与强化学习的配电物联网体系架构相对应，构建泛在物联网下的全面云化机制，实现配电设备泛在互联、运维状态全面自主感知、配电策略全局最优自主决策、极端运维环境下的协同自愈等全寿命周期内的动态实时全景感知是基于边缘计算与强化学习的配电物联网体系架构的内在需求，以配电物联网全寿命周期实时监测体系全链条运维需求为指引，对基于边缘计算与强化学习的配电物联网体系架构关键模块进行工程化研发。以基于边缘计算与强化学习的配电物联网体系架构全链功能数据流走向逻辑为依据，辨识其核心功能涵盖配电网状态数据全景感知与融合、配电物联网智能决策与协同自治、软硬件深度解耦与数据协同等，分别引入基于泛在物联网的状态全景感知与融合计算子架构、基于强化学习的配电物联网智能决策与协同自治子架构、基于边缘计算的软硬件深度解耦与数据协同子架构等进行效能实现。

2.1 基于泛在物联网的状态全景感知与融合计算子架构

依据国家电网公司指导性技术文件《配电网智能化改造技术规范》中的相关指导性意见，以国家电网公司IEC61850行业标准规范为设计指导[10]，结合国家电网江苏省电力有限公司辖区某小型配电网主体设备现状，对基于泛在物联网的状态全景感知与融合计算子架构进行可行性方案设计。配电网状态全景感知与融合计算子架构采用工业级兼容性数据采集模块，选用北京恒颐创兴科技有限公司研发的泛在物联网框架协议下的智能RTU数据采集终端HY-MON-02为电力设备物资数据全景感知硬件载体，内置32位意法半导体微处理器，工业级频率可达400 MHz，支持ZigBee无线自组网等多种数据通信方式，具有故障自修复功能，内置64 G大容量数据存储器，可以分时进行高速原始数据暂存，掉电不丢失，为全景还原配电网真实工作状态提供基础原始数据[11]。针对基础原始数据存在的有益信息冗余严重、内存资源消耗量较大、格式多维且优先级不明确等弊端，融合嵌入Storm流计算的数据融合算法对基准位移、环境温度、环境湿度、机体噪音、机体振动、泄露电流、动作电压、谐波电流等多维差异数据进行快速计算与暂存，获取连续时间序列下的全景观测数据，改善基础原始数据维度分散且存储无序，给出具有一致性解释的归一化全景数据集，则基于泛在物联网的状态全景感知与融合计算子架构逻辑如图3所示。

图3 基于泛在物联网的状态全景感知与融合计算子架构逻辑示意

基于硬件资源消耗与实时性考虑，提高多维差异数据分布式实时处理的效率和容错水平，针对基于模糊神经网络的多传感器数据融合算法存在的大体量差异多维数据数据流融合效率较低、分布式数据采集框架下的有益信息摄取效能较低，并行实时流处理机制缺失等弊端，给出了一种融合嵌入Storm流计算的数据融合算法。涵盖基准位移、环境温度、环境湿度、机体噪音、机体振动、泄露电流、动作电压、谐波电流等配电网多维差异数据以大量、快速、时变的流形式持续到达，具有时间序列持续性、潜在大小不可估计性、原始数据源复杂且格式多维、具有周期性的存储覆盖性、数据整体系统价值性等属性，在进行数据归一化处理的同时进行实时计算，构建配电网数据全景感知与融合计算同步机制。如图4所示，给出了配电网数据全景感知与融合计算同步机制工作流程[12]，Storm集群采用主从架构方式，主节点是Nimbus，从节点是Supervisor，有关数据融合相关的信息存储到ZooKeeper集群中，采用Topology进行数据流与数据融合并行计算，存在数据融合进程的Topology与Spout/Bolt内置的 Task任务具有一对多的物理映射，均匀分布在多个从节点Supervisor蕴含的多个Worker内部，而每个Worker又与 Executor存在一对多的物理映射，则根据实际对Topology的配置在运行时进行融合计算并分配。

图4 状态全景感知与融合计算子架构同步机制工作流程示意

2.2 基于强化学习的配电物联网智能决策与协同自治子架构

基于强化学习的配电物联网智能决策与协同自治子架构开创了解决高维、复杂、耦合、非线性、连续状态空间下的自我感知、自主决策属性下的配电物联网智能控制的新途径，具备未知复杂环境下的高维信息感知融合能力与耦合高维因素作用下的决策能力[13]，较好地解决了智能感知与决策模型空间限制性问题。基于强化学习的配电物联网智能决策与协同自治子架构包括状态参数自主全面感知、配网调度全局最优协同、物理资源虚拟化管控、软硬件深度解耦等子过程，如图5所示。其中，状态参数自主全面感知子过程对原始配电网运维产生的海量状态参数进行清洗处理，为了便于进行状态参数自主全面感知，引入数据流触发机制，配电网上电运维即时进行状态参数采集；配网调度全局最优协同子过程利用预处理过的数据进行强化学习，在深度卷积神经网络过程中融入Q学习机制[14]，基于单层Q网络模型，通过输入信息异道机制实现交互环境奖励值与动作执行奖励值隔离，融入双重Q网络(策略网络和估值网络)实现配网调度全局最优感知与决策；物理资源虚拟化管控及软硬件深度解耦子过程进行强化学习效果的分析测试与软硬件纵向扩展，利用单层Q网络模型中内置的卷积核学习运行环境数据，双重Q网络内置卷积核学习动作信息数据，实现物理资源的虚拟化管控，进而实现配电网软硬件资源的深度解耦。

图5 基于强化学习的配电物联网智能决策与协同自治子架构逻辑示意

为了准确高效地传输智能决策与协同控制流，基于配电物联网设备存在多维耦合的实际情况，选用Mesh自组网实现控制流可靠传输。采用直接序列扩频技术构建数据包多线程传输机制，融入基于Mesh协议的节点网络自组织和自愈功能，通过协调网络拓扑结构的自组网协调器实现多线程传输，如图6所示。

图6 传输智能决策与协同控制流数据包多线程传输工作流程

协调器软件主要分为设备通信初始化子进程、面向传感器集群的协调器自组网子进程、路由节点和传感器节点入退网子进程。数据信息处理(包括数据收发功能)子进程等具体工作流程如下：

a.ZigBee多节点无线物联自组网上电启动后进行协调器软件初始化并实时监测传感器集群硬件自组网是否成功。

b.开启节点网络监测机制，若监测到网络[15]，则选择协调器或者路由节点作为初始父节点申请加入网络，否则把节点属性设置为协调器组建网络机制。

c.开启子节点入退网监测机制，如果申请入网，则根据组网需求增加子节点并为子节点分配NWK参数，如果申请退网，释放原有的NWK参数关联。

d.开启多维数据传输机制，选择被测数据传输子节点，接收终端节点的多维数据进行数据上传。

ZigBee多节点无线物联自组网工作在2.4 GHz频段，划分为16个信道，步长值为5 MHz，编号为1l～26，协调器通过调用信道轮询函数对信道能量波动进行实时扫描，能量水平高标志该信道无线信号活跃，协调器根据能量扫描信息选择一个可以利用的信道建立自己的无线网络实现多维数据有效传送。

2.3 基于边缘计算的软硬件深度解耦与数据协同子架构

边缘计算的本质在于扩展数据来源结构，实现万物云化环境下的异构数据多维耦合，构建软硬件深度解耦与数据协同子架构。经过融合嵌入Storm流计算的数据融合算法处理形成的具有一致性解释的归一化全景数据集，引入边缘计算进行数据源迁移，采用ZigBee多节点无线物联自组网进行数据编码打包操作，通过基于Mesh协议的自组网协调器实现编码数据包多线程传送。设定传送频率为250 Hz，则每秒有250个数据包进入上位机存储单元，每个数据包由33个字节组成，包括固定起始字节区、数据索引标识区、通道1～8电力设备物资多维状态数据区、校验数据区、固定结束字节区等，按照时间序列正序对各区进行数据包实时解码，为应用软件端进行数据合并、重塑和复现提供有序数据素材。如图7所示，融入边缘计算模型，PyCharm内核集成开发环境下，基于Python 3.7.4内核，引入Numpy扩展程序库，对经过边缘计算模型处理过的数据包进行格式归类，生成CSV格式文件，借助Pandas结构化数据集处理工具集创建合并数据表，利用Merge函数对合并数据表进行交集处理、实现匹配合并；利用Append函数对匹配合并数据集进行重塑处理，建立时间序列与面板对象的物理映射[16]，通过Levels进程建立有益信息推断钥匙机制，实现基于数据特征的分组标记；利用Group_by和Pivote_table函数对分组标记数据集进行相关性合并与冗余度校验，给出融合时间和空间序列的全景数据复现集，通过Pyecharts类库，实现边缘计算模型下的软硬件深度解耦与数据协同。

图7 基于边缘计算的软硬件深度解耦与数据协同子架构逻辑示意

对基于边缘计算的软硬件深度解耦与数据协同子架构进行公式化处理并编程实现，基于Python 3.7.4内核，在PyCharm集成开发环境下，选取某小型配电网增量变电站感知传感器集群中的变压器感知数据为验证载体，利用国网江苏省电力有限公司辖区内某220 kV变电站为基础原始数据采集环境，选取2019年6月—12月配电网所属的某型号主变压器中性点电流感知数据为仿真数据载体，对基于边缘计算的软硬件深度解耦与数据协同子架构进行了仿真验证，仿真参数设定如下：初始化训练网络，128×128×24；折扣因子γ初始值，0.98；学习率α初始值，0.001；动作奖励值的绝对值，[0,1.1]。仿真环境设定如下：Python3.6.5编译内核；TensorFlow-GPU 1.8.0；Keras 2.2.2和Gym0.10.8。仿真结果如图8所示。

由图8可知，基于边缘计算的软硬件深度解耦与数据协同子架构具有较好的数据融合与边缘数据迁移效能，具备基于功能区划分的数据定位、基于冗余度分析的数据合并、基于Append函数的数据集匹配合并及重塑处理、建立时间序列与面板对象的物理映射，基于Levels进程建立有益信息推断钥匙机制，构建基于数据特征的分组标记下的融合时间和空间序列的全景数据迁移集等基于边缘计算的软硬件深度解耦与数据协同子架构完整寿命周期实现效能，为实现配电物联网架构下的软硬件深度解耦与数据协同提供有力支撑。

图8 基于边缘计算的软硬件深度解耦与数据协同子架构仿真效能

3 配电物联网体系架构工程化应用效能验证

为了实际验证文中所提基于边缘计算与强化学习的配电物联网体系架构系统在一线运维环境下的实际效能，选取国家电网智慧供应链中的实物ID系统验证配电物联网体系架构的工程应用效能。引入电网实物资产统一身份编码机制，具体如图9所示，实现电网主配网存量全息运维数据的一键式获取，借助配电物联网体系架构提供的基于强化学习的配电物联网智能决策与协同自治机制，构建具备编码自动分配与一致性校验、隐患排查信息完整可追溯、跨系统贯通与平台可移植、全息数据深度聚类分析与主动预警等功能的电力资产全局协同精准化管理架构。借助基于边缘计算与强化学习的配电物联网体系架构可以便捷地构建实物 ID 在智慧供应链中的应用原型系统，系统具备电力设备全息数据便捷获取与融合、电力资产普查台账实时更新、隐患排查数据的实时反馈与预警等全方位立体电力资产普查与隐患排查体系效能，主配网设备物料分类、增存量设备分类、资产普查分类、隐患排查分级预警等多码对应的一致率达100%，实现了电力资产全息数据全维度收集、全过程追踪、全方位共享，验证了基于边缘计算与强化学习的配电物联网体系架构工程应用层面的时效性，提供了定量化的案例参考。

基于经济性考虑，采用微应用扩展的模式对国网江苏省电力有限公司辖区某小型配电网现役的ERP系统进行适应性改造，增加多维差异性信息物理高度融合模型构建、配电物联网体系架构的边缘计算层级扩展、配电物联网体系架构的智能决策与协同自治等全方位立体配电物联网全寿命周期软件处理进程，分配单独的内存资源，定期进行业务数据内网交互，实现架构内数据全景共享，如图10所示。从构建泛在物联网下的全面云化机制，实现配电设备泛在互联、运维状态全面自主感知、配电策略全局最优自主决策、极端运维环境下的协同自愈等全寿命周期内的动态实时全景感知等层面对微应用扩展模式下的配电物联网体系架构进行工程化应用布置，为基于边缘计算与强化学习的配电物联网体系架构在国网江苏省电力有限公司辖区内推广应用提供案例支撑。

结合图9给出的实物ID在供应链中配电物联网应用场景拓扑和图10给出的面向工程化应用的配电物联网体系架构软硬件部署方案，从定性和定量2个层面分析基于边缘计算与强化学习的配电物联网体系架构的工程化应用效能，选取国网江苏省电力有限公司辖区某小型配电网现役的TDS-FDS-200型低压配电网作为对照组，从运维数据感知有效率等多维度验证了配电物联网体系架构的工程应用效能，如表1所示。

图9 实物 ID 在供应链中配电物联网应用场景拓扑示意

图10 面向工程化应用的配电物联网体系架构软硬件部署

表1 配电物联网体系架构工程化应用效能对比

4 结束语

以国家电网公司关于新型智慧配电物联网体系架构系统总体规划纲要为总指导，着重针对国家电网公司现役的配电网络架构存在的可扩展性较差、全网运维状态感知失衡、边缘网端划分密集且计算困难、协同自治与智能决策机制缺失、对抗环境下的模型性能下降严重等固有弊端，提出了一种基于边缘计算与强化学习的配电物联网体系架构模型。通过引入边缘计算机制，从根本上优化了配电物联网的远端计算性能，扩展了数据来源渠道，实现了万物云化环境下的异构数据多维耦合，构建了融合时间和空间序列的全景数据复现集，通过Pyecharts类库，实现边缘计算模型下的软硬件深度解耦与数据协同；通过在强化学习中融入深度学习，构建具有自主感知与自主决策属性的面向配电物联网的多维差异性信息物理高度融合模型，构建自主全面感知、全局最优协同、物理资源虚拟化管控、软硬件深度解耦的一体化配电物联网体系架构。选取恰当的典型仿真场景，在Gym-TORCS环境下对架构感知决策进行效能仿真验证，在此基础上，国网江苏省电力有限公司辖区某小型配电网为效能评价载体，对架构模型进行了工程应用分析，结果表明架构模型具备自主全面感知、全局最优协同、物理资源虚拟化管控、软硬件深度解耦的一体化配电物联网体系架构效能，较好地解决了配电物联网自主感知与智能决策之间的耦合矛盾，实现全局最优，具有稳定性高、抗干扰性强、自主感知性高等优势，符合智慧配电网体系在万物云化环境下的发展趋势。