电网调控集群分布式实时数据库的设计与关键技术

吴庆曦,彭 晖,3,王 瑾,靳 晶,魏 娜,赵家庆

(1.南瑞集团公司(国网电力科学研究院),江苏省南京市 211106;2.国电南瑞科技股份有限公司,江苏省南京市 211106;3.智能电网保护和运行控制国家重点实验室,江苏省南京市 211106;4.国网苏州供电公司,江苏省苏州市 215004)

电网调控集群分布式实时数据库的设计与关键技术

吴庆曦1,2,彭 晖1,2,3,王 瑾1,2,靳 晶1,2,魏 娜1,2,赵家庆4

(1.南瑞集团公司(国网电力科学研究院),江苏省南京市 211106;2.国电南瑞科技股份有限公司,江苏省南京市 211106;3.智能电网保护和运行控制国家重点实验室,江苏省南京市 211106;4.国网苏州供电公司,江苏省苏州市 215004)

为解决电网调度控制系统大规模实时数据的处理性能问题,设计了一种集群分布式实时数据库,通过分布式技术实现海量数据存储,并使用集群技术实现数据的统一访问和管理。对集群分布式实时库架构及所使用的分布式存储技术、分布式数据定位技术和分布式访问技术进行了讨论,解决了调度控制系统实时数据的灵活分片、分布式存储和快速定位问题。最后通过测试和现场运行验证了集群分布式实时数据库能在确保系统高可靠性的条件下,实现实时数据的高性能访问。

集群;分布式;实时数据库;横向扩展;调度控制系统

0 引言

随着特高压交直流混合电网[1]的大规模建设及“大运行”[2]体系建设的全面推进,实时数据采集范围扩大[3],部分应用及其关联数据有从各级调度分级处理向集中处理发展的趋势[4],使得调度控制(简称调控)系统数据量、计算量不断增加[4-5],对系统的服务能力、处理能力、可扩展性、可靠性提出了更高的要求。各类集中式调控系统[6-9]的数据规模已经突破百万级别,向千万级别发展。上述趋势对电网调控系统实时数据库的数据存储容量和处理效率提出了更高的要求。

现有的集中式实时数据库采用单节点或双节点(主/备模式下)方式存储实时数据,并通过单个节点对外提供实时数据访问,数据处理采用串行处理方式,在数据存储规模和处理效率上难以兼顾,需要新的实时数据存储和访问技术来解决上述问题。

目前国内电力系统领域对分布式实时数据处理已经有所研究。文献[10]介绍了包含实时数据库多种数据库的基本工作原理;文献[11]提出了基于广域系统的数据协作的分布式处理,但不涉及单一系统及集群化的实时数据库管理。在计算机领域内,分布式数据库的研究很多,但均不涉及分布式实时数据库方面。文献[12-13]介绍了分布式数据分片技术,实现了数据的分布式存储,但其所述分片方式不符合电力调控实时数据处理的特点;文献[14]实现了分布式处理,其所述的技术多用于交易系统,难以满足电网调控系统的实时数据处理需求。

本文设计了一种基于集群管理的电网调度分布式实时数据库,采用分布式数据存储和并发访问手段来实现大规模实时数据的存储和并发访问,并通过集群技术实现数据分布式管理在逻辑层面的统一组织,按照数据的不同种类和使用要求将分布式存储的数据划分为多个集群进行管理,满足电网调控系统对大规模实时数据的处理性能要求。

1 集群分布式实时数据库

1.1 概念

电网调控系统实时数据库是面向电网实时监控、电网分析等应用的专用数据库,其特点是实时性强、吞吐量大和可靠性高。现有的实时数据库架构多为集中式存储架构并采用双机部署的方式,各数据节点都存储全部的数据,通过双机主备的方式保证数据的可靠性。数据访问一般由主机进行处理,备机只在主机故障时对外提供访问。

分布式实时数据库将实时数据分布存储在多个实时数据存储节点上[11],能够有效分解单台计算机上实时数据的存储和处理压力,并实现数据在多台计算机上并行处理,大大提高了效率。在此基础上,分布式存储能够通过增加节点的方式快速实现存储和处理能力的横向扩展,提高了系统的扩展性。

集群分布式实时数据库在前述的分布式实时数据库的基础上,引入集群计算[15]技术,实现了分布式数据的统一访问和管理。系统中分布式存储的各类数据按照不同用途,划分为不同的集群,并以集群为单位进行管理和访问。集群根据数据的特点采取不同的数据管理方式,提供统一访问服务,从而屏蔽数据的存储和分布特性。

如图1所示,集群分布式实时数据库根据数据的用途,定义了两个集群。实时数据集群用于存储和管理集群分布式实时数据库中的实时数据;定位数据集群用于存储和管理分布式数据定位所使用的存储位置数据。两个集群的数据都采用了分布式方式进行存储,但其数据组织方式完全不同,并可以作为一个完整的实体对外提供服务,访问者无需关注集群内部的数据组织和分布方式,可直接将集群视为一个逻辑整体进行访问。两个集群使用的资源相互独立,但可部署在相同的物理设备上。

图1 集群分布式实时数据库Fig.1 Cluster based distributed real-time database

1.2 系统架构

集群分布式实时数据库架构如图2所示。集群分布式实时数据库采用层次架构,包括基础设施、存储层、定位层、访问层和应用层等5个层次。

图2 集群分布式实时数据库架构Fig.2 Architecture of cluster based distributed real-time database

1)基础设施包括服务器、存储设备、网络设备等硬件平台及上层操作系统等,是系统运行的基础。

2)分布式存储层为实时数据提供分布式存储能力,存储层的功能包括数据分片的定义,通过集群方式实现的数据分布式存储和数据在节点间的迁移和冗余互备。

3)分布式定位层实现了数据在分布式环境下的高效定位。是否具备高效的数据定位系统,是一个分布式数据库是否具备实用性的重要指标。分布式定位层通过独立的定位数据集群,解决了定位数据的存储、访问和可靠性管理等问题。

4)分布式访问层提供了应用对数据的访问手段,包括统一的数据访问接口、分布式数据查询和并发式的访问处理。统一的访问接口使得应用能够将分布式的实时数据库视为一个完整的逻辑整体进行访问;分布式数据查询为访问接口提供了从多个节点上查询数据的标准流程;在分布式查询访问多个节点数据时,并发式的访问处理能够实现多路数据请求在多个存储节点上的并行处理,从而实现了高效的分布式数据访问。

5)应用层包含调控系统的各类应用,如数据采集与监控(SCADA)、高级应用软件(PAS)等,应用通过访问层提供的统一数据访问接口操作实时数据,是集群分布式实时数据库系统的最终使用者。

2 集群分布式实时数据库关键技术

2.1 实时数据分布式存储技术

2.1.1 实时数据分片技术

分布式数据库将数据库的表通过分片操作划分成多个不相交的子表进行管理,这些子表称为数据分片,数据分片存储是实现分布式数据库的基础。电力系统数据处理的实时性和高吞吐特点,特别是监控类应用(如SCADA)对实时数据有嵌入式使用的要求。此时,实时数据分片不能采用分布式数据库中常见的关键字取模[13,15]方式进行划分,而需要根据电力调控业务的需求进行划分。本文所述的集群分布式实时数据库提供了两种数据分片的划分方式:基于关键字的直接分片和基于外键的关联分片。

基于关键字的直接分片方式直接对数据表的关键字进行划分,生成关键字和分片的一一映射关系。

基于外键的关联分片方式通过外键关系将数据表和外键所在的数据表进行关联,记录和记录外键对应的记录同属一个分片,数据库只需要记录预定义的分片外键,可动态计算数据所属的分片。

以厂站表和开关表分片处理为例。厂站表实行直接分片,每条记录被分配到一个所属分片;开关表实行关联分片,以厂站ID作为关联外键,每条记录被划分到其厂站ID对应的数据分片,如图3所示。

图3 数据分片Fig.3 Data slicing

数据表的分片方式中,直接分片生成的关键字和分片号的映射关系,以及关联分片产生的关联表和关联外键的映射关系称为分片元数据。

集群分布式实时数据库启动时,根据分片元数据,计算每张表的分片个数和记录所属分片,将数据写入不同的分片文件中。

集群分布式实时数据库运行过程中,分片元数据可根据数据的插入、删除情况进行更新,并触发分布式存储和数据所属分片信息更新,从而维持数据库数据的完整性和一致性。

2.1.2 分布式数据存储技术

分布式数据存储技术在数据分片的基础上,对实时数据进行独立存储,为此集群分布式实时数据库建立了如下的存储结构,如附录A图A1所示。图中表示的是断路器表(breaker)的数据组织。

集群分布式实时数据库将存储的数据分为元数据、索引数据和分片数据等3个部分进行管理。

1)元数据包括数据表的内部信息和表结构数据,通过独立的文件brk.dat存储。

2)索引数据包含了数据表定义的索引信息,其中主键索引中包含了所有主键对应的分片信息和存储位置,因此主键索引是必需的,由文件brk_pk.dat存储。另一方面,集群分布式实时数据库允许在数据表的不同字段上建立多个索引,这些索引按照内部的编号存储在各自的数据文件中。例如brk_idx_01.dat是短路器表第1号索引的数据文件,01表明了内部的索引编号。

3)分片数据包含了各分片的记录数据,brk_slc01.dat记录了数据分片1的所有数据,集群分布式实时数据库中不同的分片数据记录在不同的文件中,通过文件名中的编号区分。

分布式数据存储按照分片为最小单位将不同的数据部署到不同的存储节点上,每个节点部署一部分分片,最终将所有的节点构成一个实时数据集群进行管理。对一个定义了6个分片的4节点实时数据集群,数据部署方式如表1所示。

表1 分布式存储数据部署Table 1 Deployment of distributed data storage

表1中,节点1上部署了数据分片1,2,3;节点2上部署了数据分片2,3,4;节点3上部署了数据分片4,5,6;节点4上部署了分片5,6,1。为实现数据可靠性要求,每个分片都在两个节点上进行冗余部署。每个节点上除部署分片文件,还部署了主文件和索引文件(主键索引和非主键索引),这些文件中只包含了当前节点所含数据相关的信息。当部署配置发生变化时,分片文件随配置变化在节点间迁移,并同时对索引信息和主文件数据进行重构。

2.1.3 实时数据内存管理

2.1.3.1 内存映像管理

实时数据库以数据实时访问为其特征,为了实现数据存取的高吞吐和低延时,集群实时库会建立数据的内存映像以实现数据的内存访问,并通过内存池和内存管理器对这些数据表映像进行管理。

集群实时数据库以数据表为单位建立内存映像,这些映像可以动态加载到内存中。为了减少映像建立和回收带来的系统开销,系统中使用的内存映像被放置在各个实时数据节点的内存池中。

内存管理器根据数据访问的请求,确认所需使用的内存映像是否已经存在于内存池中,如果内存池中已有该映像,内存管理器将映像的访问句柄返回给请求者,并在映像的引用计数上加1;如果映像不存在,内存管理器会创建映像,并将引用计数记为1。访问请求完成后,内存管理器会回收该内存映像的访问句柄,并减少映像的引用计数,引用计数为0时,表示当前映像无人使用。

考虑到内存数据反复使用的场景,内存管理器一般不释放引用计数为0的内存映像。为防止内存溢出,内存池设置映像总大小的上限,当内存池中的映像总大小接近内存池容量上限时,如果新建映像的请求导致映像总大小超出容量上限,内存管理器触发清理过程,此时,内存管理器会遍历所有的映像,从最小的映像开始,释放引用计数为0的映像,直到映像总大小能够满足新的分配要求。如果所有引用计数为0 的映像释放后仍无法满足要求,则触发内存不足的运行异常,此时映像分配失败并导致上层的数据访问失败。

2.1.3.2 数据持久化

集群分布式实时库数据操作都在内存映像内进行,采用持久化方式写入文件中。持久化具备卸载时写入和快照加日志两种方式。

1)卸载时写入方式是在内存管理器释放引用计数为0 的映像时,会将映像中的数据一次性写入数据文件中。

2)快照方式是集群分布式实时数据库系统定期将内存映像中的数据写入临时的数据快照中,同时,所有的增删改操作异步写入系统的REDO日志,日志数据存储在持久化介质中,当系统因为外部原因崩溃或掉电后,集群分布式实时数据库可根据最新的数据快照和日志进行恢复。同时,历史快照也可用于重建特定时刻的数据断面。

2.1.4 分布式数据冗余管理和数据迁移

2.1.4.1 数据冗余管理

如2.1.2节所述,实时数据集群中,实时数据按照分片在多个节点部署时,为保证可靠性,采用冗余部署的方式,保证每个分片同时部署两个副本,一主一备,主备两个副本严格部署在不同节点上(见表1)。主备副本采用同步写入、主机访问的方式,数据写入时先写备机、再写主机,写入主机失败时,将主机数据反写备机后,再返回失败,以保证写入失败情况下数据的一致性。数据冗余管理还设置了数据检查点,对主备数据进行比较同步,消除单侧写入失败条件下的数据不一致;数据读取时,通过主机完成。

当分片数据主副本所在的节点异常时,备节点切换为主节点进行服务,从而保证了部分节点故障情况下的系统可靠性。

2.1.4.2 数据迁移

数据迁移主要面向如下两种情况。

1)随着节点数的增加,数据分片可以迁移到新的分片上,按照上述的主、备不同节点和节点分片均分的方式,对全局的分片部署方式进行调整。如上例中,增加了两台机器后,机器总数变为6,分片部署方式为节点1上部署分片1和2;节点2上部署分片3和4;节点3上部署分片5和6;节点4上部署分片6和1;节点5上部署分片2和3;节点6上部署分片4和5;数据迁移之后实时数据集群达到了新的状态,从而实现了规模的横向扩展。

2)当节点出现异常时,某些分片的副本数少于2,导致了故障状况下的可靠性不足,此时,实时数据集群对节点进行存储再分配。对于只有一份数据的分片,在部署了较少分片的节点上生成新的分片副本,形成向该节点的分片数据迁移,保证了分片数据的冗余配置和集群节点的负载均衡。

2.2 分布式数据定位技术

2.2.1 定位数据

集群分布式实时数据库中,实时数据的分布式定位依赖于数据所属分片和分片所在节点这两部分信息,用于表示这两部分信息的数据称为定位数据。

数据所属分片信息属于静态数据,一旦分片划分完成,该数据基本不再发生变化,但实时数据库中数据规模庞大,每条记录都有其对应的分片信息,故无法进行集中式存储和访问,需采用分布式技术。

分片所在节点信息数据属于动态数据,随着系统的运行,实时数据集群状态的动态变化,分片所在的节点会随着数据迁移不断变化。此外,由于分片个数和实时数据集群节点个数一般在数十到数百之间,数据量较小,可进行集中存储和访问。

2.2.2 定位数据存储和访问

为存储定位数据,集群分布式实时数据库中建立了存储定位数据的定位数据集群。针对2.2.1节所述定位数据特点,定位数据集群采用不同方式管理分数据的分片信息和数据分片的所在节点信息。

1)数据的所属分片信息采用关键字—数据值(key-value)方式进行表示,通过一致性哈希算法[16]进行存储。定位数据集群将所有记录关键字和集群节点ID同时映射到一个32 bit的无符号整型数上,使用该整型数作为节点和数据在哈希环上的位置。为了提高数据所属分片信息数据的存储冗余,对定位数据集群使用的一致性哈希算法进行了改进,使之能够允许数据存储在多个节点,数据冗余部署算法具体如下。

对任意关键字KA,有哈希值IA,即IA=Hash(KA),则对应记录的分布信息存储的节点(节点总数为n)如下:若IA>Nn,则为第1个和第2个节点;若Nn≥IA>Nn-1,则为第一个和最后一个节点;若Nk≥IA>Nk-1(k>2),则为第k和第k+1个节点。其中Nn为最后一个节点的编号哈希值;Nk和Nk-1分别为第k和第k-1个节点的编号哈希值。

2)分片所在节点信息采用一主多备方式存储。多个定位数据集群的节点通过选举产生一个主节点,该节点负责管理实时数据集群上所有分片的所在节点信息,并向备节点同步分片所在节点的信息。一旦实时数据集群的状态发生变化,主节点将向实时数据集群获取所有分片的所在节点信息,更新主节点的相关数据,并对备节点进行同步。

定位数据集群提供统一的访问接口对分布于集群中各个节点的定位数据进行访问,应用可通过实时数据的访问接口使用定位数据,也可以通过定位数据的访问接口直接访问定位数据。

2.2.3 定位数据高可用管理

2.2.2节已对定位数据的存储进行了描述,本节讨论部分节点失效情况下定位数据集群的处理。

1)对于数据的所属分片信息,2.2.2节描述了数据冗余部署的算法。对于某个关键字K,如果其对应的所属分片信息存储在节点k和k+1上,则有Nk≥IKEY>Nk-1(k>2),其中IKEY为关键字K的哈希值。

正常情况下,数据定位从节点k获取数据,考虑如下情况:①当节点k+1离线时,查询算法仍会从节点k获取数据,因此,数据访问并不受影响;②当节点k离线时,k+1节点将自动替代节点k的位置,此时有Nk+1≥IKEY>Nk-1(k>2)。

因此,查询算法找到的即为k+1节点,确保了数据的所属分片信息能够从节点k+1查询到。

另一方面,当节点k和k+1有一个离线时,数据的双副本状态基本被打破,定位数据集群会对数据进行迁移,以保证数据的双副本部署。考虑节点k离线的情况,此时,对于任意关键字K,若有Nk≥Hash(K) >Nk-1,则关键字K对应数据的所属分片信息只存储在第k+1个节点。此时,定位数据集群会将这部分数据从第k+1个节点复制到第k+2个节点,以保证数据至少存在一份冗余。此时因这部分数据访问并不指向第k+2个节点,数据复制过程不会影响第k+2个节点上数据的访问。

2)对于分片所在节点信息。主节点通过广播进行选举,由当前在线节点中IP地址最小的节点当选。一旦主节点选举完成,主节点会向所有线上节点广播自己的状态,一旦有节点发现主节点的状态异常,即可发起新的主节点选举,重新选举主节点。

2.3 分布式数据访问技术

2.3.1 统一访问接口

集群分布式实时数据库提供了统一的访问接口,允许应用将各个集群(实时数据集群和定位数据集群)作为逻辑整体进行访问,屏蔽了各集群的内部存储实现和部署方式,简化了应用的数据操作过程。

统一访问接口屏蔽了数据分片的细节,应用直接使用面向数据表的操作函数实现数据访问。通过分布式数据查询,应用无需预知数据的分片信息和数据部署位置,即可实现全部数据范围的查询访问。

统一接口产生的数据访问请求由各个实时数据集群节点上的实时数据服务进行响应和处理,各个节点上的服务根据本节点部署的数据返回请求的结果,并最终由接口层进行汇总。

2.3.2 分布式数据查询

在实时数据分布式存储的条件下,数据分布在多个节点上,现有的客户端到服务端点对点的访问方式已经不适合,集群分布式实时数据库为此建立了分布式数据访问机制。分布式数据查询分为以下两种情况。

1)基于关键字的分布式数据查询,其查询条件为数据关键字,查询过程根据关键字条件定位数据,具体流程如下。

步骤1:如图4所示,数据访问接口根据访问请求,通过定位数据集群查询记录关键字对应的分片号。

步骤2:通过分片位置管理获得分片在实时数据集群中对应的物理节点信息。

步骤3:数据访问接口负责将访问请求分发到数据所在的物理节点,并将各物理节点返回的访问结果归并成完整的请求结果返回到请求发起者。

图4 分布式数据查询Fig.4 Distributed data query

2)基于条件的数据查询,其查询条件为非数据关键字,查询过程由实时数据集群的全部节点按如下步骤协作完成。

步骤1:数据访问接口会将访问请求按照不同分片并行发送到所有的实时数据集群节点,并开始等待数据返回。

步骤2:实时数据集群各节点的数据服务收到请求后,对本节点所辖的分片逐个执行条件查询和数据处理,并返回结果,每个分片的查询过程独立执行、并行处理。

步骤3:数据访问接口将不同节点返回的数据进行拼装,形成完整的访问结果。

2.3.3 并发访问处理

在分布式访问中,大量的查询请求需要发送到多个节点进行处理,并汇总为最终的访问结果,采用串行方式会产生大量等待时间。并发访问处理采用多路并发访问技术,所有的数据请求可以通过异步方式一次性进行发送,并由一个接收线程进行读取和汇总。此时各个节点上的请求可以进行并行处理,根据测试,4个节点情况下,数据查询时间降低到串行方式的1/3。

3 测试情况

集群分布式实时数据库测试包括模拟系统测试和现场系统验证。模拟测试系统环境仿照某大型地调的SCADA运行环境,采用8节点服务器集群,数据分为8个数据分片,部署在8个数据节点上,定位数据集群使用4个节点进行部署。

3.1 系统可用性测试

系统可用性测试包括数据节点离线故障和定位数据集群节点离线故障。测试结果表明,对于集群分布式实时数据库而言,单个数据节点的离线故障对数据访问没有影响,所有数据访问无中断现象;单个定位数据集群节点离线,哈希环在1 s之内可以恢复访问。另一方面,只要数据集群和定位数据集群还有工作的节点,数据库即可保证访问,因此,系统的稳定性和可靠性可以得到保障。

3.2 单表性能测试

测试数据集为单表800万条记录,分为8个分片,测试同时查询分布在多个数据分片中的一组数据,测试结果显示了实时数据集群节点数分别为1,2,4,8的情况下,从测试集中查询数据的耗时随节点数增加有显著下降,充分发挥了并发查询的优势,如附录A图A2所示。由于采用了多分片并发查询的技术,即使在单个节点上,其查询性能也远高于现有集中存储的实时库。

3.3 现场系统验证

集群分布式实时数据库在某大型地区智能电网调控系统进行了验证,系统配置为单机CPU(8核X4,内存64 GB),使用千兆以太网,系统包含800个厂站,共约320 000个遥测、480 000个遥信测点。测试结果如附录A图A3所示。在节点数据增加1倍的情况下,使用4节点集群分布式实时数据库的SCADA应用数据吞吐率接近传统双机使用实时数据库的SCADA应用的两倍。现场系统验证表明，集群分布式实时数据库具备对大数据规模应用的支撑能力。由于SCADA业务处理流程比单纯的实时数据并发访问测试复杂得多,其并发度受业务流程影响,因此实际系统中节点增加带来的性能提升小于数据库访问。

4 结语

本文介绍了一种集群分布式实时数据库,用于实现实时数据库系统的横向扩展,以解决特高压交直流混合电网和“大运行”体系下电网调控系统面临的大规模实时数据存储和处理难题。试验表明,集群分布式实时数据库能够满足调控系统对高可靠性的要求,并且集群能够有效实现数据的并行化处理,实现了大规模数据的高效访问,有效解决了实时数据规模不断扩大的情况下实时数据库的处理性能问题,并已在某大型地区调控系统投入使用,取得了良好的运行效果。

针对集群分布式实时数据库面向调控系统大规模实时数据存储和管理的问题,目前解决了单系统内数据的管理,进一步的研究将着眼于上下级和同级调控系统之间数据的分布式统一管理。

本文工作得到江苏省电力公司科技项目“苏州供电公司智能电网调度控制全息动态调试系统的研发与应用”,以及江苏省软件新技术与产业化协同创新中心部分资助,特此致谢!

附录见本刊网络版(http://www.aeps-info.com/aeps/ch/index.aspx)。

[1] 艾琳,王超,陈为化.三华特高压同步联网及其对调度方式的影响[J].能源技术经济,2011,23(5):38-41.

AI Lin,WANG Chao,CHEN Weihua.Analysis on UHV synchronous interconnection of three regional power grids of China and its influence on dispatch mode[J].Energy Technology and Economics,2011,23(5):38-41.

[2] 荣莉,徐迪,李伟玉.大运行体系下智能电网调度支持系统的改革及应用[J].中国电业(技术版),2012(11):46-49.

RONG Li,XU Di,LI Weiyu.Reform and application of SG-OSS under large operation system[J].China Electric Power (Technology Edition),2012(11):46-49.

[3] 姚建国,严胜,杨胜春,等.中国特色智能调度的实践与展望[J].电力系统自动化,2009,33(17):16-20.

YAO Jianguo,YAN Sheng,YANG Shengchun,et al.Practice and prospects of intelligent dispatch with Chinese characteristics[J].Automation of Electric Power Systems,2009,33(17):16-20.

[4] 姚建国,杨胜春,单茂华.面向未来互联电网的调度技术支持系统架构思考[J].电力系统自动化,2013,37(21):52-59.

YAO Jianguo,YANG Shengchun,SHAN Maohua.Reflections on operation supporting system architecture for future interconnected power grid[J].Automation of Electric Power Systems,2013,37(21):52-59.

[5] 赵俊华,文福拴,薛禹胜,等.云计算:构建未来电力系统的核心计算平台[J].电力系统自动化,2010,34(15):1-8.

ZHAO Junhua,WEN Fushuan,XUE Yusheng,et al.Cloud computing:implementing an essential computing platform for future power systems[J].Automation of Electric Power Systems,2010,34(15):1-8.

[6] 辛耀中,石俊杰,周京阳,等.智能电网调度控制系统现状与技术展望[J].电力系统自动化,2015,39(1):2-8.DOI:10.7500/AEPS20141008024.

XIN Yaozhong,SHI Junjie,ZHOU Jingyang,et al.Technology development trends of smart grid dispatching and control systems[J].Automation of Electric Power Systems,2015,39(1):2-8.DOI:10.7500/AEPS20141008024.

[7] 徐春雷,余璟.基于云技术的区域调控技术支撑系统[J].江苏电机工程,2015,34(3):5-9.

XU Chunlei,YU Jing.Regional dispatching control technical support system based on cloud technology[J].Jiangsu Electrical Engineering,2015,34(3):5-9.

[8] 彭晖,葛以踊,吴庆曦,等.地县调控一体化系统分区解并列机制的设计与实现[J].电力系统自动化,2014,38(6):75-79.DOI:10.7500/AEPS20130704011.

PENG Hui,GE Yiyong,WU Qingxi,et al.Multi-region communication network division/recovery mechanism for prefecture-county integrated dispatching automation system[J].Automation of Electric Power Systems,2014,38(6):75-79.DOI:10.7500/AEPS20130704011.

[9] 彭晖,任远,宋鑫,等.基于双核架构的分布式地县配一体化技术支持系统设计[J].电力系统自动化,2013,37(12):75-80.

PENG Hui,REN Yuan,SONG Xin,et al.Technical support system design of distributed city-county distribution automation based on dual-core structure[J].Automation of Electric Power Systems,2013,37(12):75-80.

[10] 彭晖,陶洪铸,严亚勤,等.智能电网调度控制系统数据库管理技术[J].电力系统与自动化,2015,39(1):19-25.DOI:10.7500/AEPS20141009018.

PENG Hui,TAO Hongzhu,YAN Yaqin,et al.Database management technology for smart grid dispatching and control systems[J].Automation of Electric Power Systems,2015,39(1):19-25.DOI:10.7500/AEPS20141009018.

[11] 翟明玉,王瑾,吴庆曦,等.电网调度广域分布式实时数据库系统体系架构和关键技术[J].电力系统与自动化,2013,37(2):67-70.

ZHAI Mingyu,WANG Jin,WU Qingxi,et al.Architecture and key technologies of wide-area distributed real-time database system for power dispatching automation system[J].Automation of Electric Power Systems,2013,37(2):67-70.

[12] 王光耀.基于异构网络的分布式数据库技术研究与实现[D].杭州:浙江工业大学,2014.

[13] 阳振坤,杨传辉,李震.海量结构化数据存储管理系统OceanBase[J].科研信息化技术与应用,2013,4(1):41-48.

YANG Zhenkun,YANG Chuanhui,LI Zhen.OceanBase—a massive structured data storage management system[J].E-Science Technology &Application,2013,4(1):41-48.

[14] 分布式数据库中间件DBScale的设计与实现[D].哈尔滨:哈尔滨工业大学,2015.

[15] 申红芳,罗四维,赵宏.集群计算系统的模型结构[J].计算机应用研究,2004,21(2):52-55.

SHEN Hongfang,LUO Siwei,ZHAO Hong.Model structure of cluster computing system[J].Application Research of Computers,2004,21(2):52-55.

[16] BALAKRISHNAN H,KAASHOEK M F,KARGER D,et al.Looking up data in P2P systems[J].Communications of the ACM,2003,46(2):43-49.

DesignandKeyTechnologiesofClusterBasedDistributedReal-timeDatabaseforPowerDispatchingandControlSystem

WUQingxi1,2,PENGHui1,2,3,WANGJin1,2,JINJing1,2,WEINa1,2,ZHAOJiaqing4

(1.NARI Group Corporation (State Grid Electric Power Research Institute),Nanjing 211106,China;2.NARI Technology Co.Ltd.,Nanjing 211106,China;3.State Key Laboratory of Smart Grid Protection and Control,Nanjing 211106,China;4.State Grid Suzhou Power Supply Company,Suzhou 215004,China)

In order to solve the problem of processing performance of large-scale real-time data in power dispatching and control systems,a cluster based distributed real-time database is designed,which uses distributed technologies to achieve massive data storage and cluster technologies to achieve uniform data access and management.Key technologies of cluster based real-time database are discussed including distributed storage,distributed data location and distributed data access.The problem of flexible slicing,large-scale data storage and fast data locating of real-time data in a power dispatching and control system is also solved.Testing and on-site system verification prove that the cluster based distributed real-time database system is able to achieve high efficient data access and the condition of high reliability of the system is ensured.

This work is supported by State Grid Corporation of China.

cluster;distributed;real-time database;scale-out;dispatching and control system

2017-05-06;

2017-07-26。

上网日期:2017-08-29。

国家电网公司科技项目“物理分布、逻辑统一的调控系统平台广域分布式数据管理关键技术研究”。

吴庆曦(1984—),男,通信作者，硕士,工程师,主要研究方向:电力系统及其自动化。E-mail： wuqingxi@sgepri.sgcc.com.cn

彭 晖(1974—),男,硕士,高级工程师,主要研究方向:电力系统及其自动化。

王 瑾(1980—),男,硕士,高级工程师,主要研究方向:电力系统及其自动化。

(编辑章黎)