阙凌燕,蒋正威,肖艳炜,卢 敏
(国网浙江省电力有限公司,杭州 310007)
近年来,随着特高压的投产、交直流网络的运行以及新能源发电的快速增长,电网结构和运行日益复杂,对电网的管理和调度运行提出了更高要求。同时,国家倡导的节能减排和能效提升,对综合能源的统一优化调度提出了新的需求,传统的调度方式无法满足实际运行需求。云计算技术的引入,为冷热电气等多种类型能源的产、输、配、用等环节数据,以及气候、经济、政策、环境等信息融合及系统资源的统一调度管理提供了新的思路。
云计算[1]是一种通过网络便捷、按需访问资源共享池的模式,因其具有资源共享、按需服务、高可靠性、易扩展性等优点,被广泛应用于各行业信息系统建设的各个方面。如水、电、气等公用事业,云计算提供IT 基础设施,通过虚拟化技术,提供计算能力、存储能力、网络能力,通过服务模式实现平台、软件、应用的共享。按部署和运营方式,云计算分为公有云和私有云,公有云主要是大型互联网公司为应对公众的IT资源需求而提供的云计算服务;私有云则部署在企业内部,为企业内部的管理、运营以及数据应用等提供基础支撑。
GCP(谷歌云)使用谷歌核心基础架构、数据分析以及机器学习等技术,提供计算引擎、应用引擎、容器引擎、数据存储等,支持自由的搜索、视频等业务,并提供基础设施托管和开发人员服务等。AWS(亚马逊云)是目前世界上最大的云服务商,主要提供弹性计算EC2、简单存储S3、简单数据库Simple DB、简单队列SQS、弹性MapReduce、内容推送CloudFront、电子商务DevPay、灵活支付FPS 等服务,更侧重于IaaS(基础设施)层。阿里云底层提供云基础设施、互联网技术以及智能能力;中层通过数据中台,提供数据获取、清洗、归档以及处理能力;上层通过智能中台,实现数据化、智能化,最终赋能业务,重点打造实时计算平台。主流公有云厂商针对不同行业各有侧重,运营模式也存在差别。
为保证数据、业务的安全,大型企业选择建设私有云,通过对基础设施层的虚拟化、平台层和应用层的服务化,为高级应用的开发提供支撑。 中国移动建设了移动云,在传统的IaaS、PaaS(云平台服务)层、SaaS(云应用服务)层之外,基于业务特点,增加了计算能力层,提供数据挖掘工具库、云存储中间件和搜索引擎核。国家电网公司也高度重视云计算技术在电网中的应用,为提升运营效益、电网安全、客户服务及拓展新业务,发布了国网云建设总体方案,计划“十三五”末,建成生产控制云(以下简称“调控云”)、企业管理云与公共服务云,共同组成国网云。
国网云的目标是建成资源调配更弹性灵活、数据利用更集中智能、服务集成更统一高效、应用开发更快速便捷的云平台,实现云基础设施、数据、服务、应用等IT 资源的一体化管理,支撑业务处理类、分析决策类、采集监控类和生产控制类应用。企业管理云提供数据的跨域计算,实现业务应用从搬数据向搬计算转变,支撑规划、建设、运检、营销、经营等各类企业管理业务;公共服务云部署公司外网业务和互联网业务,支撑电商、金融、客服、售电等各类业务;调控云采用国分、省地二级部署,通过资源高速同步网,实现二级云的互联与协同,基于统一的调度业务数据模型,支撑调度运行与调度管理的各类业务。
本文基于云计算的特征,以及电网调度业务的实际需求,研究调控云的关键技术,分析建设过程可能存在的问题,并对未来进行展望。
随着特高压交直流电网建设的全面提速、新能源的快速发展、电力市场化改革的深入推进,电网交直流高度融合,一体化特征凸显。电网事故的关联性、复杂性越来越高,电网运行中智能控制(自动)、处置协同(人工)跨越调度管辖、跨越电力范畴、跨越专业管理的需求尤为迫切。特高压电网进一步加强后,现有电网实时模型已不能完全满足在线分析的要求,当前电网在线分析软件使用的模型采用本地局部模型、外网等值模型、全模型定期分发,对与外部电网融合度较高的电网而言,这几种模型都存在明显缺陷:本地局部模型忽略相邻电网影响,边界线路计算误差较大;外网等值模型,边界线路误差变小,潮流发生较大变化时误差仍较大;全模型定期分发方式存在较大延时,影响在线分析实时计算。因此急需从以下几个方面来提升调控业务支撑能力。
为解决调控系统应用平台整体支撑能力不强,硬件互备能力不足、并行处理能力不强、软件集成化程度不高等问题,需要研究如何应用多活技术、资源弹性分配技术、任务动态调度技术、分布式计算技术、广域消息总线技术、电网对象标准化建模技术、模型多版本技术、深度学习技术、小样本学习技术等,提升调控系统应用平台支撑能力。
调控系统当前人机交互方式较为单一,仅支持键盘、鼠标输入方式,不支持自然方式进行交互。需要研究基于神经网络的适用于电网调度的人机语音交互支撑平台、面向电网全景监视的地理信息图技术、人机增强可视及表达技术、移动终端人机展示技术、电网自动成图技术等,提升调控系统自然人机交互能力。
针对当前电网调控系统缺乏对跨区扰动与故障的迅速定位、缺少面向电网监控业务的告警信号综合分析与处置决策的技术支撑手段,以及从监视到辅助决策过程不够便捷、连贯等问题,需要研究基于事件链的跨区电网故障及扰动的故障源定位及按需推送技术、大电网多级调度协同的自适应巡航技术、电网数据的广域高速交换汇集技术等,提升电网全局运行监控能力。
针对调控中心内部缺乏数据跨专业的综合分析、智能应用,调度系统范围内缺乏跨调控机构的广域查询、全局搜索、智能分析能力和联网应用等问题,需要研究基于大规模并行计算的全网统一分析预警服务、基于电网运行大数据的调控知识库的智能搜索、基于office 插件方便快捷的智能报表等,提升电网运行智能化水平。
调控云是国网公司“三朵云”规划中的一个重要组成部分,为适应“统一管理、分级调度”的调度管理模式,调控云采用统一和分布相结合的分级部署设计,形成国分主导节点和浙江调控云的二级部署,共同构成一个完整的调控云体系。浙江调控云纵向与国分云有机结合作为调控云的省级协同节点,在省调和各个地调部署源端工具,用于采集实时数据、历史数据和图模维护,横向与公司全业务数据中心按需交互,为其他业务系统提供统一标准的模型及数据服务。
调控云软件架构按照云计算典型分层设计自下而上分进行层次划分,包括IaaS 层、PaaS 层和SaaS 层,并配置云安全防护功能,如图1 所示。
(1)IaaS 层主要由硬件基础设施层和虚拟化平台层组成。 硬件基础设施层主要包含计算、存储、网络、安全等硬件物理资源,支持主流厂商的服务器、存储、网络、安全等设备;虚拟化平台层,通过云平台软件的虚拟化功能、设备管理功能、异构虚拟化等功能,将物理数据中心内,不同厂商的基础物理设施、不同类型的虚拟化平台,分别以计算资源池、存储虚拟化资源池和网络资源池方式统一纳入开放的OpenStack 框架下,对上层提供统一云资源管理工具和开放的API(应用程序编程接口),形成统一的资源池管理和动态的资源调度。
图1 调控云软件架构
(2)PaaS 层主要提供云平台公共组件、模型数据云平台、运行数据云平台、实时数据云平台、大数据平台、源数据端以及纵向和横向服务等。公共组件为应用开发人员服务,提供支撑应用运行所需的软件运行环境、相关工具与服务,包括关系数据库、Web 中间件、消息服务中间件、日志服务、监控服务等;模型数据云平台为全网提供模型数据,包含元数据管理、字典管理、模型数据管理以及图模管理等;运行数据云平台基于电网模型云平台提供电网全模型,完成运行数据,即量测历史数据、计划预测数据等历史数据的抽取、同步以及数据存储与分析;实时数据平台实现全网的实时数据采集、汇聚、处理、存储、管理等,对外提供全网统一的实时数据服务及一体化展示;大数据平台实现数据采集、数据存储、数据处理、数据分析挖掘等功能,为PaaS 层的大数据存储、计算、分析等提供统一的平台支撑。
(3)SaaS 层为调控业务提供应用服务注册、部署、发布统一管理,实现一个基础应用和五大中心,即:全景展示中心、分析预警中心、运行管控中心、调度指挥中心、技术支持中心。
虚拟化平台通过云平台软件的虚拟化功能、设备管理功能、异构虚拟化功能等,将物理数据中心内,不同厂商的基础物理设施、不同类型的虚拟化平台,分别以计算资源池、存储虚拟化资源池和网络资源池方式统一纳入开放的Open-Stack 框架下,对上层提供统一云资源管理工具和开放的API,形成统一的资源池管理和动态的资源调度。
虚拟化技术可满足调控云的应用虚拟机,同时可采用双机主备在线运行的要求,并具备针对后续新增应用快速分配和管理虚拟机的能力;同时具备资源动态调度、弹性管理、虚拟机容灾、虚拟机高可用性、虚拟机迁移和备份等功能,提升整体资源利用效率,提高系统运行可靠性和可用性。当一台物理服务器故障时,自动在集群的其他可用物理服务器上重新启动运行虚拟机。
存储虚拟化是对不同存储硬件资源进行抽象化表现,向用户提供统一的存储服务。存储虚拟化是作用在一个或者多个实体上的,这些实体用来提供存储资源及存储服务。
服务器内部可引入网络功能部件虚拟交换机,虚拟交换机提供了虚拟服务器之间、虚拟服务器与外部网络之间的通信能力。网络虚拟化用来支撑云与虚拟化的建设要求,包括软件定义网络控制器、业务逻辑网络虚拟化和网络功能虚拟化三部分。
调控云数据存储体系分为同步层、统一层、分析层,如图2 所示。
图2 调控云数据存储体系
同步层:运行数据通过kafka 实时将各个地区汇集的数据同步到HBase 和关系数据库,其中关系数据库只保留近两年的历史数据,HBase 数据库保留所有历年数据;非结构化数据离线批量导入存储于Hdfs。
统一层:运行数据(含气象数据)采用Spark技术离线T-1 处理,存储于Hive,首先经清洗加工转换为明细的熟数据,然后通过特值征和标签计算,形成派生数据;模型数据采用Sqoop 技术离线T-1 处理,存储于Hive,不做任何清洗转换操作,与模型云平台保持一致,本身生成分析维度数据表。
分析层:聚类、预测等分析挖掘应用通过应用数据服务、离线T-1 处理后存储于Hive,并将需要展示的数据同步至MPP(大规模并行处理);复杂指标计算通过应用数据服务、离线T-1 处理后存储于MPP,直接用于展示。
集中运维体系对IaaS,PaaS,SaaS 资源进行集中监视,通过对收集的各类信息进行拓扑分析、血统分析,构建智能化运维体系(见图3)。
图3 调控云智能运维
云平台管理:对云平台运行环境的信息、计算资源、云平台服务信息、SaaS 应用信息等进行采集或通过流程进行统一规范管控。
云平台监视: 结合告警信息对云平台IaaS层、PaaS 层、SaaS 层进行分层监视、有机结合、相互关联,通过可视化手段展示正常运行方式和异常运行方式。
智能运维:实现对云平台运行双活环境的统一管控、一键切换,对云平台资源一键巡视,辅助分析评估虚拟机分配的合理性。
调控云管理信息大区安全框架如图4 所示,整体保障严格按照分层、纵深防御的思想。从物理基础设施安全、网络安全、主机安全、应用安全、数据安全、管理安全、安全服务等层面进行综合防护,同时满足《信息安全技术云计算服务安全指南》和《信息安全技术网络安全等级保护安全设计要求》。
图4 调控云管理信息大区安全框架
传统的IT 行业软件大多都是各种独立系统的堆砌,系统的扩展性差、可靠性不高、维护成本高。后来引入SOA(面向服务的体系结构)服务化,但是SOA 总线模式是与某种技术栈强绑定的,导致企业的一流系统很难对接,切换时间长,成本高。
微服务框架是一种使用一套小服务来开发单个应用的方式,每个服务运行在自己的进程中,并使用轻量级通信机制。这些微服务基于业务能力构建,并能够通过自动化部署机制来独立部署,微服务可以使用不同的编程语言实现,以及不同数据存储技术,并保持最低限度的集中式管理。
调控云微服务框架如图5 所示,它提供广域和内部2 条服务总线,提供一套基础的架构,微服务之间主要通过私有RPC(远程过程调用)协议进行协作, 实现在结构上“松耦合”,在整体上成为一个统一的整体,包含统一风格的界面、权限管理、安全策略、调度方式、监视与告警、日志管理、访问入口等。
微服务总线包含服务注册、配置和治理中心,实现调控云微服务应用的快速构建、实时监控和高可用保障。
图5 微服务框架结构
(1)全生命周期模型管控:建立与基建工程相协调、覆盖规划建设运行环节、贯穿省地县三级调度、横跨安全Ⅰ区和Ⅲ区的模型维护体系,各调控中心从模型数据云平台裁剪所辖区域模型数据。分析决策类应用根据业务需要从模型数据云平台按照时间维度、空间维度、业务维度获取模型;实时/运行数据云平台从模型数据云平台获取完整模型。
(2)全系统协同控制体系:全方位感知电网运行薄弱环节,统筹全网可调可控资源,采用统一决策、分散控制的多级调度协同控制新模式以及灵活、精准、智能、自动的源网荷储控制手段,实现全局风险协同防控、复杂故障快速协同处置和正常状态自适应巡航,全方位保障电网安全稳定运行。
(3)全过程分析决策体系:构建事前、事中、事后全过程分析决策体系。事前通过运行态势风险分析和稳定裕度在线计算,评估潜在风险,并提出防控策略;事中通过稳定特性实时分析、智能辅助决策和处置决策实时评估,保障操作安全,正确快速处置故障;事后通过事故过程仿真评估,分析处置策略。
云计算作为国家战略性新兴产业,极大地推动了信息化的发展。党中央、国务院高度重视以云计算为代表的新一代信息产业发展,要求加快建设“数字中国”,推动物联网、云计算和人工智能等技术向各行业全面融合渗透,推进基于云计算的信息服务公共平台建设,构建万物互联、融合创新、智能协同、安全可控的新一代信息技术产业体系。
在此背景下,国调中心从2016 年开始组织开展调控云平台技术架构前期调研和论证,下发了《国调中心关于印发国家电网公司2018 年调度控制重点工作任务的通知》,要求加快调控云与调控大数据关键技术的研究和试点,深化调控云关键技术研究,实现全网模型数据与运行数据标准化,开展调控云省级试点项目建设,部署云基础设施、电网模型管理功能。根据《国调中心关于加快调控云建设的通知》(调自〔2017〕25 号),调控云按照“研究—试点—推广”的原则稳步推进,到“十三五”末,将建成资源调配弹性灵活、数据应用规范统一、功能服务集中智能的调控云。
随着调控云建设的开展和深入,调控云主导节点、协同节点以及源数据端之间的交互势必更加紧密,未来在广域分布式环境下将达到安全、实时、高效的云节点之间协同共享和柔性互动,使计算资源实现全方位安全共享、集中管控和弹性解耦,进一步提高适应电网一体化运行特征的全网信息感知、协同交互与同步支撑能力,推进“三型两网”世界一流能源互联网企业建设仍面临着巨大挑战。
调控云未来的业务架构由五个业务中心构成,其中电网模型、实时数据、运行数据为业务中心提供数据支持。基础应用为五大中心的高级应用提供基础服务。 统一门户和统一权限实现IaaS层、PaaS 层、SaaS 层各类应用软件的统一访问入口和统一用户权限认证体系,根据用户角色不同分配不同的访问界面。
电网模型云平台提供模型定义和数据编辑功能,将电网资源模型发送给PMS(设备资产运维精益管理系统),并从PMS 和营销业务系统抽取资产数据和用户数据形成完整的主配合一的完整电网模型,提供给省地各个EMS(能量管理系统)和配电自动化系统。
实时数据云平台汇集各EMS 和配电自动化系统的实时数据,运行数据云平台抽取OMS(调度管理系统)、PMS、电量管理系统、用电采集系统和外部气象系统的数据并提供给业务中心。
基础应用通过引入语音识别、大数据引擎等新技术实现状态估计、潮流计算、数据查询、智能报表、智能搜索,这些基础的应用模块将为全景展示中心、分析预警中心、运行管控中心、调度控制中心、技术支持中心提供基础业务所需的数据和服务。
(1)全景展示中心以GIS(地理信息系统)、电网接线图为基础,采用可视化方式直观显示电网概况、电网运行、电网状态、电网规模、地理气象等,为业务人员提供电网感知手段。
(2)分析预警中心结合传统拓扑分析方法和大数据分析方法,实现状态评估、负荷预测、停电综合分析、充裕度分析、气象影响分析、经济运行分析等,为电网安全运行优化、薄弱环节发现提供支持。
(3)运行管控中心从电网运行管控、电网发电管控、检修停电管控、现货交易管控等角度出发,形成各项指标数据,提升电网工作管理水平,同时提供专业报表管理,为数据上报提供支持。
(4)调度指挥中心实现故障主动处理、应急指挥、保供电管理、危险点管理等功能,从各个方面及时解决问题,保证电网安全稳定运行。
(5)技术支持中心可通过移动APP 应用为现场人员和调度人员提供技术支持,包括调度员仿真培训、专家远程支持、知识库管理、大数据支持等。
面向特高压互联电网一体化特征建设调控云,利用两级调控云平台的信息交互和云计算的计算优势,为电网调控运行及管理业务提供支撑,提升信息及支撑平台能力、自然人机交互能力、电网全局运行监控能力和电网运行智能化水平。本文介绍了调控云的建设背景及需求,设计了调控云的总体架构,研究了智能运维、微服务框架等关键技术,分析调控云建设过程中面临的挑战,并对未来发展进行了展望,提出了调控云下一步的重点工作及攻关方向。