基于HBase 的乡村智能电网数据自动分析平台设计

苏余泉，王 玮，谢海芳，苏锦青

（1.国网福建省电力有限公司，福建福州 350001；2.国网福建营销服务中心，福建福州 350001；3.福建省供电服务有限责任公司，福建福州 350001）

乡村电网建设的迅速发展，解决了部分边远乡村地区的用电问题，提高了人们的生活质量，推动了农村经济的快速发展[1]。但是，由于受乡村地域、自然环境或局部负荷过重等各种因素的影响，导致传统的乡村电网无法保障良好的电压质量和可靠的供电性能。再加上乡村电网成本较高，严重制约着乡村经济的发展[2]。

为此，必须根据乡村供电需求的特点，利用智能技术建立智能电网大数据分析平台，可以为乡村各类分布式电源的实时供需平衡提供决策支持，同时也保障了乡村供电的可靠性。计算每个聚类中心点，并按照相同的策略对其进行划分后得到最大迭代数[3]。通过建立统一规范的信息模型、接口和信息对象编码，实现乡村智能电网数据自动分析平台的标准化管理。但目前该数据自动分析平台缺乏对网格协同监测的整体考虑，无法实现故障主动式检测，从而导致分析结果不准确。针对这一问题，设计了基于HBase 的农村智能电网数据自动分析平台。

1 系统硬件结构设计

针对乡村智能电网数据分析领域对大量数据量、敏捷响应以及数据分析任务多样化的需求和特点，设计了一种基于HBase 集群扩展数据分析任务的分层软件平台。其中包括数据聚合层、云计算层、中间层和展示层，应该从低层向高层提供信息和数据服务[4-6]。基于HBase 的乡村智能电网数据自动分析平台硬件结构如图1 所示。

图1 智能电网数据自动分析平台硬件结构

由图1 可知，数据聚合层的数据同步引擎主要包括数据同步编码，负责对全部范围内同步采集数据；电能数据采集模块负责采集数据；数据备份模块负责备份本地数据；数据预处理模块负责资料抽取、转换及信息传输[7]。

云计算层引入HBase 平台，采用MapReduce 架构，实现对数据分析和处理任务的分布式并行处理，提高了计算速度。HDFS 是基于分布式文件系统的底层预处理电源数据，能有效、持久地存储在列数据库中[8-9]。

中间层包括Web 后台程序、数据加权模块和关系型数据库等，在这种情况下，网络后端负责实现层的业务逻辑，例如响应用户操作等，并将输出分析数据转换为适合Visual GUI 的数据[10-12]。

展示层负责给系统提供操作指导、显示操作界面和数据分析结果。

1.1 HBase体系结构

HBase 是基于Hadoop 的HDFS，因此其结构与Hadoop 的主从模式相似。HBase 的体系结构主要包括HBase 主服务器和区域服务器集群，可以有效地控制和分配数据的管理工作[13]。HBase 体系结构如图2 所示。

图2 HBase体系结构

由图2 可知，Hregion 服务器负责区域的服务和管理，使用Hregion 服务器存储特定区域的数据，可以在一个或多个区域服务器中存储指定表的数据。将数据添加到HBase 中，无需直接删除或更新数据，即可更新所有数据。当合并HBase 后，将会对数据进行更新或删除[14]。如储存的档案数目超出设定的最低数目，多个储存单位合并为一个储存单位会被扣分。该方法以HRegion 为基础，通过对加载区的划分，使新型计算机能够恢复加载区的数据。

1.2 数据同步平台

访问层应用程序可以相互调用，或通过地址分配、路径分配、合并和交换等方式进行同步调用或异步消息传递，从而建立服务注册和发现机制[15]。

通过解析MySQL 的SQL 二进制日志，实现数据中心之间的增量、准实时和双向数据同步。通过数据审核和验证，确保最终数据的一致性。为提高数据同步效率，各中心应采取相应的同步策略。个性化服务中，两个中心只对静态数据和配置数据进行同步[16]。不同数据中心之间的数据同步可以实现远程运动状态下的数据，并解决了不同数据中心之间存在的延迟性和不一致的问题，实现远程数据同步。

2 系统软件部分设计

为了提高电能数据的分析处理能力，设计了一种基于HBase 技术的乡村智能电网数据自动分析平台。该系统程序设计步骤如下所示：

步骤一：HBase 平台在接到电网数据分析指令后，在云计算层运作下建立数据分析模型，在该模型中分析数据。

步骤二：平台调用HBase 提供的大量电力数据来完成存储任务。

步骤三：关系数据库存储数据分析模型分析得到的电力数据。

步骤四：根据任务的需要，后台程序将查找关系数据库中的数据分析结果，并将结果图形化地显示在网页上。

2.1 基于HBase电网时序数据处理

与传统关系数据库不同，HBase 提供了一种数据组织模式，其特点是：灵活、定制和面向集群。在Hadoop 系统中，HBase 实现了为海量数据提供良好面向集群存储和在线应用支持的功能。HBase 数据模型如图3 所示。

图3 HBase数据模型

由图3 可知，该模型采用分层存储机制，能较好地实现在线实时处理。使用HBase 中的数据，应用程序可以直接使用自定义模式，同一数据表的不同行可以有不同的列。对所有用户的日用电量数据按式（1）进行归一化，将数值映射到范围[0，1]，并将所有数据统一到同一参考标准之下。

式（1）中，xi表示电网时序数据的第i个值；表示归一化电网时序数据的的最大值，表示归一化电网时序数据的最小值。

2.2 分析流程设计

电网数据自动分析流程如下：

步骤一：基于智能电网的电力消耗记录，MAP 操作由多层监控节点中的第一层执行。

步骤二：如果监控节点执行第一层运算，则其监控节点在预设的时间间隔之后执行映射运算。同时，每层中的第二层监控节点负责第一层监控节点在其管辖范围内的通信操作。

步骤三：在预定的时间间隔内，多层第n层的监控节点合并包含多层第(n-1)层的监控节点，而合并的结果则存储在第n层的监控节点中，其中n是整数。

步骤四：依据智能电网区域内的用电记录，包括用电情况、用电方式、用电量、用电量等，生成多个键值对，其中键值对的关键字为电力消费模式编号。

步骤五：将合并结果缓存于n层监控节点中，减少了各监控节点间的数据分析延迟，提高了智能电网负荷数据分析效率。

3 实验分析

调查数据来自不同省的电网，从电网数据的统计结果来看，以乡村居民用电量的4 个类型为依据，其中每个乡村常住人口均超过百户人口数量，参照国民经济和行业分类标准，对基于HBase 的乡村智能电网数据自动分析平台进行了实验验证和分析。

3.1 用电行为分析

该项目在实际开发过程中，从电网公司获得的数据量十分有限。其中，大客户的数据收集能力较弱，部分大客户在特定的时间段内没有电量数据。为了保证数据质量，在测试过程中，对测试数据进行了筛选，以保证主用户供电数据完全可靠。

乡村的4 个类型电网数据相关信息如表1 所示。

表1 乡村的4个类型电网数据相关信息

用户每天的电力消耗趋势与具体的电力消耗无关，因此用归一化值来表示。用电量数据归一化后数值如表2 所示。

表2 用电量数据归一化后数值

由表2 可知，2 月初至3 月初是中国传统的新年，大多数农民和建筑工人回家过年。所以2 月份工业停产，用电量大幅度下降。3 月初，由于工人大量返工，用电量又回到了原来的水平。相反，畜牧业和生物质产业的劳动力相对稳定，所以2 月份春节期间每日用电量波动较小。

3.2 实验结果与分析

分别使用基于K-means 算法、云计算和基于HBase 乡村智能电网数据自动分析平台分析乡村的4 个类型用电量情况，并与实际用电量对比分析。三种平台用电量分析结果，如图4 所示。

由图4（a）可知，使用基于K-means 算法平台农业类用电量归一化后数值在[0.4-0.9]范围内，畜牧类用电量归一化后数值在[0.3-0.7]范围内，建筑类用电量归一化后数值在[0.3-0.6]范围内，生产类用电量归一化后数值在[0.6-0.9]范围内。

由图4（b）可知，使用基于云计算平台农业类用电量归一化后数值在[0.6-1.0]范围内，畜牧类用电量归一化后数值在[0.2-0.7]范围内，建筑类用电量归一化后数值在[0.4-0.9]范围内，生产类用电量归一化后数值在[0.5-0.7]范围内。

由图4（c）可知，使用基于HBase 平台农业类用电量归一化后数值在[0.3-0.7]范围内，畜牧类用电量归一化后数值在[0.2-0.7]范围内，建筑类用电量归一化后数值在[0.3-0.7]范围内，生产类用电量归一化后数值在[0.4-1.0]范围内。

图4 三种平台用电量分析结果对比

综上所述，利用所设计基于HBase 的乡村智能电网数据自动分析平台分析后的数值均在实际用电量数值范围内，误差也在可控范围内，具有精准分析效果。

4 结束语

从系统硬件结构和软件需求方面进行了设计，结合HBase 数据模型对电网数据进行了智能分析。为保证乡村偏远山区用电稳定可靠，建立了一个环保、简单实用、灵活兼容、高质量的乡村智能电网技术支撑平台。该平台在HBase 时序数据分析技术的支持下，实现了物联网大数据下分布式时序数据存储，为乡村和各地区提供了高质量的电力供应。