基于云存储的电力全量业务数据归集体系研究

张建松 周升 沈思琪

摘 要 目前，国家电网公司拥有大量的历史库存数据和种类日益丰富的实时业务信息资源，电力公司的数据围绕使用关系数据库进行集中存储，难以实现高效的数据计算、挖掘。在此基础上实现了业务操作的整个数据采集，数据存储是数据处理系统的关键环节。基于云计算技术的研究框架，减少云基于存储数据收集框架，提出了可以解决数据存储的问题在整个过程中业务数据还原过程稳定和有效的，并且可以依赖，保证供应的整个业务数据。

关键词 云存储;数据还原;运行数据

引言

建设全业务、全时间维度、全类型的数据中心是国家电力公司运行监控中心数据采集工作的基础。其目的是在此基础上为电力公司的各种决策提供全面的信息支持和高效的分析计算。为了改变冗余数据，对提取的数据进行局部返工，采用了全方位配套电力公司的大数据分析与应用。然而，由于国家电网电力公司参与了许多应用程序系统，包括E RP、营销、生产、调度和其他业务系统，这些系统积累了大量的股票数据，同时需要考虑的各种实时数据采集设备和复杂的外部环境数据，数据量是非常大的。在此基础上，海洋数据的清查是一个必须解决的问题，才能完成作业数据的完整清查。考虑到模块的存储容量存储在集合存储在瓶颈问题，打开大尺寸，模块的存储容量存储在云，因此被认为是存储数据的体积进入模块存储在云端。

1基于云存储的约简系统介绍

基于汇聚的云存储是源于云计算框架的一个新概念，它源于海洋数据存储问题，专注于大数据存储的解决方案。它主要通过集群技术和新开发的网络技术，将大量的数据存储和准备工作结合在一起，能够存储和访问提交给单个系统的数据。云存储是一种低成本、可伸缩的网络类型，适用于实际使用的服务[1]。

目前，国家电网公司交通监管中心的数据中心不仅有大量的结构化和非结构化库存数据，而且有来自各个业务系统的实时数据采集。还有国家电网数据的增长率、数据的保密性等问题。出于这个原因，有必要综合考虑大数据存储的特点问题国家电力网络基于云存储和存储，并制定一套全面的数据存储系统基于云存储的电能存储科学和理性，提供和支持业务操作的全面的数据收集。

2基于云存储的电力全业务数据采集系统

根据国家电网公司交通监管中心对全业务数据采集的整体架构和技术路线的统一要求，电力公司的数据首先要连接到缓冲区。逐步建立热点数据库、实时数据库、数据集市场和数据仓库。因此，基于云存储的数据约简收集系统的框架主要由以下几层构成。

2.1 存储与存储层

存储层是云存储与存储数据约简系统中基群的一部分。它位于系统的底层，由多个存储和备用设备组合使用，包括用作缓冲区的MyS QL数据库和适用于分布式帧的Mon goD B。它能够支持高并发、低延时的吞吐量操作和海量数据的部署，能够支持多种复杂的数据格式，非常适合国家电网电力大数据的分布式存储和高速读写。

2.2 存储诱导引擎

主要是对数据库的管理，但它是云存储诱导系统的核心层。由于云存储是基于网络技术的模块，需要通过集群协作来完成，因此需要强调数据的安全性、一致性和容错性。领导机构的主要技术有DHT数据分布、强单值数据复制、数据压缩、聚类状态管理、同时进行数据重构和自愈等，以保证数据的一致性、安全性和灾后恢复能力。

2.3 存储服务层

服务层主要用于提供数据访问和数据备份服务。基于云存储的数据采集系统要求授权用户使用标准服务接口登录，使用内部的数据资源。同时，为了保证大量用户登录时的访问速度，需要缓存技术M。该层主要由分布式快照、本地化缓存、精简配置、分层存储和数据备份模块组成。

2.4 存储接口层

基于云存储的电力全业务数据采集系统主要基于iSCSI/RBD接口协议。其中，iSCSI是指IP协议中的SCSI指令集，是一种开放的标准。它主要采用TCP/IP协议进行指令封装。因此，基于该协议，它可以在任何基于IP的网络中传播。采用SCSI/RBD接口协议标准，用户可以方便地存储和访问数据。

3基于云存储的电力全量业务数据归集体系关键技术

3.1 虚拟分布存储技术

虚拟分布存储技术是指虚拟存储技术，通过虚拟仿真方法，从不同的厂家，不同的业务系统，不同的类型，不同的信息和协调的存储和存储链接，每个组的身体系统映射到一个统一的资源池，并通过虚拟正交线数据系统管理，它可以用作数据的物理配置及其变构属性的屏幕，从而降低了数据管理和维护的成本。sub-distribution方法是基于虚拟simulacrity技术建立虚拟simulacrity分散信息源，进行存储和存储的部分负荷负载通过多个相互关联的存储和存储服务器、存储和执行定位和信息通过位置服务器在同一时间，所以这项技术可以用来提高系统的可扩展性和效率[2]。实现了不同的数据采集系统、不同的存储设施、不同的服务在云存储中的高效协作。

3.2 基于重复数据擦除的数据准备

随着全国电网电气数据量的增加，数据的冗余部分不断增加，导致更多的存储空间被占用，同时也给数据储备带来了巨大的压力。因此，擦除复杂数据是一种不常见的数据压缩技术，它基于擦除操作逻辑来消除数据中的冗余位、数据块或文档。在保证的系统中只存储单个数据。增加的数字被传输到进程中的有效数字。同时考虑了原始数据出错、假删除等情况下的数据恢复问题，数据储备技术也是系统不可缺少的一部分。因此，在数据擦除技术的过程中，也减少了数据存储工作的数据存储容量，解决了不必要的存储空间问题。

3.3 數据安全技术

家庭数据的安全一直是人们关注的问题。数据安全主要是指数据泄漏、数据丢失和数据修正。在存储和存储框架中，数据离用户越近，就越安全。然而，在云存储的框架下，数据离用户越近，越安全。基于云存储的数据采集系统通过大量的类网客户端对系统的运行进行异常监控和测量。当它可以到达网络时，获取疾病病毒和木马进程的信息并推送到服务器端进行处理。之后，将木马病毒和解决方法发送给所有客户端。通过将整个身体捆绑成一个防御系统，海洋数据的安全性得到了保证。

4基于云存储的数据约简系统的优点

4.1 提高存储和存储资源利用率

虚拟仿真是基于云存储的数据采集系统的特点之一。通过该技术，可以提取并呈现出全国电网利用率较低的信息源。从源更高的利率，所以这些资源不受现有的框架与传递限制的配置系统，通过使用低的组件重组，可以最大化物理硬件的使用，最终目标来改善整个身体的使用。

4.2 基于云存储的数据约简采集系统

为了提高系统的运行效率，也实现了数据存储与海量数据存储同时使用。也就是说，在存储数据的同时，也实现了应该使用的存储能量。系统的能量存储设备和服务器同时，可以大大减少数据的存储设备和减少能源瓶颈和单点故障问题由服务器的存储系统，从而降低系统的成本。通过减少数据传输的环数，实现了整个存储系统的高效运行。

4.3 加强了系统的安全性

基于云存储的数据聚合系统所采用的安全技术在防病毒功能上比传统的防病毒策略具有更多的优势。由于大量的客户端被用来监测网络系统的异常运行，系统往往在防病毒技术的竞争中处于领先地位，同时，由于并行处理与网格计算等新技术的融合，可以实现快速的自动异常分析和处理，并将解决方案应用于每个客户。原则上，只要有足够的客户端，就可以意识到只要有新的木马或病毒，就会立即被获取和处理，从而大大提高整个存储系统的安全性能

4.4 系统的可扩展性

开放阶段使传输系统的存储系统各节点的运行信息通过一定策略的执行得以实现。基于云存储的数据采集系统，采用松耦合和非配对帧，便于对数据路径外元素的数据服务器进行控制。这种集中控制的方法支持新层的扩展，具有以下优点：

（1）存储节点不需要从网络节点接收验证信息，更多的资源用于提供对读写服务的访问。

（2）客户可以通过虚拟仿真、实例或快速klyo的硬件部分来实现云存储。

（3）消除了节点间共享大量状态所产生的开针和家庭网络互联的需要，进一步降低了存储系统的成本。

（4）利用采集中控制功率和能量的数据，利用存储节点实现深层分类，实现对现有资源的精细化管理。

5结束语

针对电力公司运行监控中心全业务数据采集过程中存在的数据量大、数据类型复杂、数据更新速度快等问题，提出了一种适用于全业务数据采集工作的存储系统克服了数据采集问题，存储系统具有成本高、处理速度慢、扩展性能差等优点，解决了大规模业务海量数据的存储问题。同时，该系统具有设备虚拟化、数据安全、访问速度快、运行效率高等优点，能够很好地满足当前全业务对业务数据采集工作的需要，对于后期可能出现的新问题，以系统的高可扩展性为保证，最后针对整个业务数据采集工作过程中的数据采集问题提供了完整的解决方案。

参考文献

[1] 嚴霄凤，张德馨.大数据研究[J].计算机技术与发展，2013，23（4）： 168-172.

[2] 乔琳，许晖.复杂企业决策支持环境下的数据仓库体系结构的演化[J].计算机工程与应用，2000，36（7）：98-100.