基于超融合架构的风电场监控中心云化研究

文 | 戴建军，崔峰，吴樟林，廖元文，汤光浩

经过十几年的高速发展，我国的风力发电技术日趋成熟，新技术层出不穷。但作为风力发电系统重要组成部分的风电机组监控系统，却仍停留在采用传统的数据中心部署方式上，即分别独立建设计算、存储、网络和安全各功能模块。

这种架构存在的主要缺陷是：（1）安全性低，大部分服务器和存储资源都是单机使用，并未实现互为热备份，数据丢失后便会造成很大损失。如所有系统都采用双机备份，实现成本较高。（2）新业务交付慢，当一个新的系统需要计算资源时，目前平均交付流程在一个月以上，效率非常低。（3）计算资源利用率低，经过对8个风电场67台服务器的抽样调查，部署的各类业务系统平均CPU利用率为6%，内存利用率为33%，三年内硬盘空间利用率为30.1%，资源综合利用率低。

风电行业竞争日益激烈，传统风电场监控系统部署模式已经不能满足需求。近年来，随着云计算技术的不断发展和完善，基于超融合架构（Hyper-Converged Infrastructure，或简称“HCI”）的信息技术部署方式成为一个较好的选择。

超融合架构的基本原理

超融合架构是指将物理计算资源（CPU、内存）、存储空间统一集成在单个x86服务器节点内，若干台服务器节点通过简单叠加，实现所有资源的统一管理、共享分配。超融合平台可以通过软件定义的方式实现计算资源虚拟化、存储空间虚拟化、网络虚拟化和安全虚拟化。用户可以非常方便地新建、弹性调整、删除、备份和快照一台云主机；可以将多台物理机的存储资源融合为一个大的存储池，再进行适当划分以便资源共享；可以利用NFV实现云主机所处网络的自由定义，包括新增交换机、路由器、防火墙，及不同的网络策略。可以利用安全虚拟化，实现分布式防火墙策略的制定、底层杀毒软件植入以及态势感知的监控。基础架构如图1所示。

图1 超融合基础架构

一、计算虚拟化

计算虚拟化一般是指在每台服务器内安装虚拟化软件，构成计算资源池，再通过超融合平台虚拟化若干云主机，以供不同的用户和应用程序使用。计算虚拟化使资源动态分配、灵活调度和跨域共享成为很简便的事情。

主流的虚拟化软件通过在硬件和操作系统之间部署的x86虚拟化技术，实现将物理服务器内的CPU、内存、接口资源转换为一组或者多组可被统一管理、调度和分配的物理资源，再将物理资源逻辑化，能在单个服务器上同时运行多个相互隔离的云主机，各云主机分别占用该物理服务器的部分计算资源。云主机可以通过集群调度的方式实现热迁移（在不同的物理服务器将副本进行启机，实现云主机无缝迁移到另一台物理服务器）。通过在不同的物理服务器存储不同的云主机配置文件，当某主机宕机时，在其他物理服务器上也能够自动启机，以此可实现云主机的高可用性。此外，超融合平台还可以按业务变化实现单台云主机的CPU、内存的手动或自动按需增减。

二、存储虚拟化

超融合技术可以实现将所有物理服务器的物理磁盘变成逻辑资源池，当云主机需要使用时，可以定义存储空间大小，这种存储方式被称为分布式存储。

分布式存储能够很方便地实现横向扩展（Scale-out），运行在这种架构上的云主机，可以像传统层次架构那样支持vMotion、DRS和快照等功能。由于数据通过服务器的主板高速通道进行磁盘间的交互，因此，大大提高了传输性能。分布式存储的另一个重要意义在于安全性和读写性能的提升，由于分布式存储的数据不会存在于某一单台服务器，而是分布存储到不同的磁盘上（有点类似Raid技术），因此，磁盘读写效率会成倍提升。此外，超融合平台一般支持云主机及其逻辑磁盘的双备份或三备份，而这些备份都是分散到不同服务器的不同磁盘上（这个资源调度算法是基于超融合平台算法实现的），因此，某单片磁盘甚至某单台物理服务器发生故障都不会影响数据安全，并且切换是毫秒级的，用户不会有感知。

三、网络虚拟化

在超融合网络架构里，硬件只需要用到二层交换机，其他的网络设备全部通过在服务器内建虚拟化服务的方式来实现。为了实现云主机之间、云主机与外部网络之间的按需通信，网络虚拟化可以提供虚拟交换机vSwitch、虚拟路由器vRouter、虚拟防火墙vFW、虚拟私有网络vVPN、虚拟广域网优化vWOC等，这些设备除了可以分别实现传统网络设备的功能，还支持东西向流量的VxLAN网络和南北向与物理网络的安全连接。

网络虚拟化带来的好处是显而易见的，所有网络设备以扁平化的方式呈现在一个管理界面内，极大简化物理部署，非常便于运维与排故。由于这些虚拟的网络设备置于HA的平台内，如果一台服务器宕机，其他服务器马上就会接管，因此，可靠性比传统网络设备高。

四、安全虚拟化

超融合架构下，传统的防火墙、态势感知设备都被虚拟化成不同模块。通过在不同子网、不同主机之间配置虚拟的分布式防火墙、边界防火墙、威胁检测探针、负载均衡和VPN等手段，不仅实现南北向流量的防护，还重点对东西向的流量进行了监测和防护。安全虚拟化可以实现2～7层的全方位防护，通过风险扫描、漏洞检测、Web防护和入侵防御，未知威胁、潜在木马病毒和勒索病毒都可以被云化的态势感知平台提前感知到。

对云主机而言，一般通过部署杀毒软件的代理端来实现主机内部的安全。网络上，通过分布式防火墙的一键下发策略，将云主机之间进行适当隔离，基于协议和端口的精度可以保证云主机之间的按需通信。

风电场监控系统云化方案

一、业务需求

某风电场共有24台单机容量为2MW的风电机组，其监控中心包含以下子系统：用于风电机组主控制器信息搜集和监控的SCADA系统、SCADA数据转发软件，用于风电机组大部件振动状态监测的CMS系统、CMS数据转发软件，用于对全场进行风功率调节的WPPM系统，用于风能预测的风功率预测系统。从运行安全考虑，这些系统全部需要实现双机热备。如果按照传统数据中心部署方式成本很高，采用超融合方案则大大简化了硬件配置，且还能实现互为备份和资源冗余，如表1所示。

表1 超融合与传统模式部署比较

从硬件对比上来说，超融合方案在服务器数量、总体配置、占用机柜和能耗上都有明显优势，而且所有云主机都利用HA实现了热备能力，这是传统模式很难做到的。

二、部署方案

在某风电场升压站机房的服务器机柜内安装两台超融合一体机，并安装两台交换机。在管理平台内可以看到所有物理机的资源。每台服务器都有4个网口。其中，Eth1配置为管理口，Eth2配置为数据通信口VxLAN，Eth3配置为北向数据口，Eth4配置为分布式存储口。

根据现场业务需求，开通6台云主机。每一台都根据实际需求而不是最大需求配置计算资源。选择名称、分组、存储位置和运行位置、CPU、内存、磁盘，以及网络IP地址配置信息。主机的操作系统可以重新安装，也可以复制已有的云主机，还可以根据已有的云主机生成模板并根据模板新建云主机。超融合平台支持大部分的服务器操作系统，比如Windows、Linux的各种版本。新增一台云主机的界面如图2所示。

图2 新增云主机

在网络配置上，只需要将云主机配置到特定的二层交换机下，按需配置防火墙和端口组，并配置好分布式防火墙，以保证按需获得网络连通。云主机开通后可以通过远程桌面（如：Windows RDP、Linux VNC）或者特定工具（如：PuTTY）的方式进行连接。需要特别注意的是，云主机和网络要开通远程连接的端口。

此外，还需要配置云主机的备份策略。新建备份组，并为该组添加备份策略。一般备份策略可以按周、天、小时的精度，保留副本则按日、周、月为单位。并在备份组内加入不同的云主机。超融合平台可以为云主机的系统盘和数据盘实现自动备份，一旦系统遭遇病毒或者其他误操作，便可以很方便地恢复到不同的时间点。

表2 单云主机单虚拟磁盘测试负载描述

三、性能测试

超融合架构相较于传统部署方式的功能优势是显而易见的，由于性能可靠，能完全胜任各类业务的承载。下文以核心关注点之一的虚拟存储性能为例进行测试说明。

测试目的：最优性能测试，测试各种IO模型的性能参数，用于比较各类平台。

测试方法：主要通过模板部署若干台云主机，并接入同一台虚拟交换机。使用Iometer测试脚本执行读写操作，并得出结果。

测试配置：3台物理机（CPU：28核 X 2[Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz]； 内 存：128GB； 磁盘：2×480GB SSD(SM863a)，6×1T B HDD）；云主机（CPU：8核，内存：4GB，虚拟磁盘：60GB（预分配））；网络为万兆；操作系统为Cent OS。

测试模型：4kB、8kB、64kB随机读，随机写，混合读写，随机写；128kB、1MB随机读，顺序读，混合读写，顺序写，如表2所示。

测试内容：（1）单云主机单虚拟磁盘基本指标；（2）单云主机6虚拟磁盘基本指标；（3）集群（15云主机3虚拟磁盘）基本指标。

测试过程：利用Iometer软件进行实际测试，如图3所示。测试各个IO模型的随机读写性能和顺序读写性能（可以评估存储是否满足单个应用程序的IO性能需求；也可以根据需求，选择其中的一到两项测试）。脚本会运行2次Iometer，第一次是准备数据，第二次才是实际的IO测试。

四、测试结果

本文共测试了单云主机单磁盘、单云主机6虚拟磁盘、集群（15云主机3虚拟磁盘）3种负载，每种负载情况又分为不同块大小的20种工况，每种工况再分6种IO深度，共进行了360项测试。测试结果表明，各种工况下的平均波动率为0.02%，平均时延小于0.56ms，平均最大时延小于30ms，其中在4kB/15云主机的情况下最高IOPS达到了386318。整体性能较优。

图3 Iometer 测试页面

图4 4kB 100%随机读测试项六种IO深度测试结果

网络安全合规问题

为满足电监会《电力监控系统安全防护规定》（2014）、《风电、光伏和燃气电厂二次系统安全防护技术规定（试行）》（2012）和国家能源局《关于印发电力监控系统安全防护总体方案和评估规范的通知》（国能安全36号文），以及国家电网公司、南方电网公司的相关细则，对于风电场二次系统安全防护工作的要求，须严格执行“安全分区、网络专用、横向隔离、纵向认证”的要求，传统的风电场网络架构如图5所示。

由图5可以看出，在计算资源方面，每个系统至少需要独立配置一套服务器、一套客户端，数据量大的系统还需部署磁盘阵列；在网络架构方面，风电机组内的工业以太网交换机与监控中心后台的核心工业以太网组成环网，各系统接入核心工业以太网。在这个架构内，计算资源、存储是分散式的，每个服务器都只能承载单个业务。

采用超融合架构后的风电场网络架构如图6所示。由图6可看出，以防火墙为中心，左边是安全I区，右边是安全II区。安全I区的物理出口连接的是工业以太网核心交换机，安全II区物理出口连接的是正向/反向隔离装置。防火墙、服务器、交换机、网络隔离装置的配置策略与传统方式完全相同。超融合架构下的风电场完全满足了监管机构的技术要求。

图5 传统风电场网络架构

图6 超融合网络架构

总结

风电场监控中心采用超融合架构，通过HA实现了所有业务服务的热备计算，通过数据自动备份实现了所有数据的安全备份，通过虚拟化网络实现了网络结构的灵活设置，通过安全虚拟化实现了分布式防火墙和底层的杀毒软件植入。以上的这些改进措施，在很大程度上提高了监控中心业务整体的安全性与整个系统部署的生产效率。该架构计算性能较好，资源利用率高，将云计算技术与工业场景相结合，创造出良好的经济效益，值得全面推广。