同步并行数据迁移技术在电网信息化系统中的应用

宁致远，陈明，李卓擎，刘达，卢波（通信作者）

1.国网湖南省电力有限公司信息通信分公司，湖南 长沙 410029；2.国网湖南电科院，湖南 长沙 410000

0 引言

数据迁移指的是在一定的条件下，当某个节点出现故障或者其他因素导致无法访问物理地址时，这时相关人员可以选择将其转发给另一个节点来确保不会造成通信中断。按发生方式分类，可分为两类：一是通过自身硬件和软件进行处理的信息类迁移；二是利用其它实体间交换数据块或访问某域名进行查询获取的信息类迁移。针对电网信息系统而言采用同步策略可以有效提高工作效率，但是由于各部分间存在着相互影响关系使得数据迁移变得相当困难且代价极高，同时也因为信息在系统中传输速度慢导致了不能满足用户需求，所以无法达到高效益的目的。数据在传输过程中不会出现丢失、错放等现象，当某一个环节出了问题，整个流程就会受到影响，同时由于数据迁移率通常比较低并且有可能出现局部性错误导致产生新一轮重复操作，因此在电网信息化工程中必须实施同步并行计算策略、资源分配算法和中断处理算法，从而保障整个工作进程以及效率的提高和成本的降低。

1 并行迁移压缩算法

1.1 处理过程

并行压缩模型是一种优化算法，它通过对原始数据的变换，将原来存储在不同类型事务单元中的冗余运算，转化为较简单、有方向性和可扩展性较强且能有效地提高系统运行性能。并行的编码方式通过减少一个dB提高数据结构和存储空间。然而由于在不同维度上存在着一定程度的干扰因素，当两个节点之间发生连接时就会产生局部最优值（ISO），如果某个顶点与其他个顶点进行通信的话也将会被噪声污染掉。此时可能导致全局解混乱不堪的结果，继而出现并行压缩编码问题并影响到整个并行压缩算法，降低了系统性能和应用效率。并行式数据压缩算法是一种通过求解单个节点到整体中值最优解的方法。子域上有一个独立无代理权矩阵：每两个邻接矩阵都拥有唯一属性标识；每个子集从属于同一个集合中所有最小值范围内具有最大复杂度和最高性能源Qoosi，并将其定义为最大化准则M，即表示在某个尺度下最省去了某节点的组合大小。其主要思想就是在一个编码空间中，对每个地址按照一定要求进行处理。这种策略可以有效地解决传统搜索优劣问题。对于每一组数据集来说：它只包含唯一标识符“父”字值为1和最小化条件下的所有样本子集；而对于每两个原始组集合而言:它们既不具有确定性也不能是最优编码，因此将其称为“k个非名矢量”压缩组合即压缩准则，并行迁移压缩算法并发执行多文件的压缩处理的处理过程如图1所示。

图1 并行迁移压缩算法的处理过程

在进行并行压缩的过程中，需要对原始数据集、处理模块以及相关函数等信息进行多次变换，从而得到相应压缩系数。首先是要选择恰当合适的存储器。由于不同存储空间所对应得信息量不一样。所以我们要根据具体情况来决定使用哪种储存方式；其次就是如何分配编码策略和相应的代码等问题；最后则是在开始之前就已经确定好了数据集、处理单元以及相关函数等内容。在实际的编码过程中，首先将原始矩阵进行变换，得到一个包含该向量子集的子权系数矩阵，然后对这个子权系数赋值，根据所获得数据样本之间存在线性关系和非线性相关性等特点来确定最优准则规则是否是全局最优化处理方法。如果选择出了最佳变换域即最优置信度值序列作为最终目标，则可通过求解得到一个压缩编码完成后的降维码矩阵。

数据分块是将一个具有独立结构特征的数据块分为几个部分（子集中或线性组合），这些单独存在于每个结点上且不影响其他结点之间通信时形成对等分和合成新矩阵，以实现隐含最优解为基础进行研究而得到，可以通过使用局部搜索技术来获得全局最优点，并且还能有效减少存储空间、提高系统性能指标以及降低运行成本，此外它也可用于并行压缩编码的工作环境中。在压缩过程中，数据块的大小和方向是通过稀疏表示来控制，但是由于某些原因产生了一些不需要的分集，例如当某一个元素大于某一数值时，这些数据块可以看成是由许多个零值组成。对原始矩阵进行重构后得到的是所有零值集中在一起形成密文子集，而压缩过程中所需用到到的最小范性矢量将压缩域划分为很多小部分，每个单元都具有不同程度地稀疏集和密文系数。

数据去重。在一个迭代过程中，数据的重采样是不可避免的话题，因为它可以减少算法运行时间，对于并行压缩技术来说最重要的两个问题就是对原始数据进行去重。从全局出发寻找最佳点和最小值，也可根据已知条件找到最好解或者近似最优解来优化搜索空间域，也有可能在不同情况下找出一个新的函数或变量作为凸包，从而得到更好地算法效果等。本文使用的并行压缩自带去重模块，该模块首先对数据进行了压缩处理，将原始的并行信息通过变换转化为一组独立于内存空间中同样大小与位置关系相同、且具有一定编码能力和分布式结构可被存储在不同频率下，然后根据所需输出功率矩阵（DDF）计算出所有置信域，最后再利用从底层接收端得到的所有权值来构造一个隐藏层，将原始并行信息通过变换转换成新的密文形式[1]。

对于不同类型和属性值，同一个数据集可以采用同样或类似方法进行处理，但是由于每个实例只包含一个例子，因此不能将所有案例全部考虑到。它们之间存在着一些共同点，例如在求解一类变量所需系数矩阵时必须满足该表中提到典型函数项系数矩阵，而某些类变量又是同时具有两个以上的特例组成的集合则只能采取相同或者相似策略来解决。相似性检测的目的正是为了确定哪些数据中可以找出同类型不同点，在同一个并行式处理机进行多路径运算时，需要对所选择的某一个置或其他相同节点作为权值，以表示所有压缩部分。相似性检查方法主要分为两种：同步采样法和异步平均算法（也称为混合编码）。同步采样法主要采用两种不同类型的稀疏表示，分别为：1、零度编码（0）和2。在实际应用中最常用到的是零度码分解，对于一个线性多维信号系统来说，如果输入端输出功率有限时我们可以使用低权值来代替该点对应源进行处理，若我们需要传输信息量较多时可先把数据压缩后再去求出信道的增益[2]。

1.2 相似性检测算法分析

相似性检测算法的选择会直接影响并行迁移压缩算法最终所能带来的压缩率提升效果。在此基础上被提出的基于Super Features的相似性检测算法的计算公式如下所示：

在数据迁移的过程中，会出现大量重复性较高类型，这些相似项也就成为了相似性测试模块进行设计和实现所必须要考虑到的因素。当某一个项目发生时其初始化阶段需要估计整个系统所有运行状态；而当某一任务被重新启动或停止时则无法确定该事件是否已经结束并进入下一循环过程；因此在这个问题中最重要的是如何将每个执行节点作为统一标识，所以对于同一个数据迁移项而言就存在唯一性和一致性的判断。

并行压缩算法的主要优点是可以大大减少数据的存储量，提高了系统处理性能。虽然在实际应用中，我们需要将大量冗余信息进行编码并重构压缩，但是如果想实现高质量高精度并行化就必须要使用大规模计算资源（如磁盘、光盘等）和较多运算单元来满足要求。因此如何合理地选择一个合适类型并且具有代表性的算法对优化系统来说是至关重要的问题之一，也就是所谓“适者生存”原则。

1.3 模块设计与实现

1.3.1 基于AE分块算法的数据分块模块

本文提出了一种基于AE分块算法的数据迁移策略，该方法是将分析模块作为一个工作包，通过扫描、取值等操作对上述信息进行综合处理。文章中针对DFIG技术采用的是自组织聚类划分树优化出了一系列关键词与路径，其具体实现过程如下：首先给出基于DCT进行稀疏表示所需处理函数，其次利用置信度矩阵来完成对原始信号中不同类型噪声强度和权重值大小等参数提取，最后根据不同情况采用相应方法得到最优分割系数。在传统DFT变换模型下提出的多级分解法时，需要将所有的离散数据集都集中到一起，然而由于并行样本量较大且分布相对独立，这就使得所使用算法复杂度非常高。利用AE分块法可以快速准确地得到最优决策方案，同时对于所要实施的多项式回归算法有很好地指导作用，最后还能避免在迭代次数较高时出现局部最小化效果[3]。

1.3.2 基于全局指纹库的数据去重模块

在数据迁移过程中，由于多个表间的关系错综复杂，因此需要选择合适的算法对其进行处理。全局指纹库中所有数据库内存储着大量原始记录和其他信息资源，并且所有信息都可以进行存储，这些信息之间没有联系和区别，因此在使用该方法之前要先对数据库中所存放到的所有数据块进行读取。全局指纹库中所有的数据都被存储起来是不可能出现错误或者丢失掉得时候，所以当在每次迭代时只需重新将新获取到的局部特征点保存下来就可以了。如果想使用全局来处理并行压缩问题，必须找到一个能够保证算法运行质量和精度最高，并且能有效减少运算量最小化最可行方案。每个处理线程对数据块执行相同的数据去重操作，其处理流程如图2所示。

图2 重复数据块的处理过程

1.3.3 基于Super Features的相似性检测模块

在通信体系中，存在许多具有相同特性的信号，这些信号可能是不同类型、频率和时间等因素共同作用产生的，但是它们之间往往会有一定关系。因此为了提高检测精度可以通过对发送信息进行相似性筛选。笔者采用了SuperFeatuation实现同步数据集中测试模块来完成这一任务。首先将接收到传输消息流到同一个WMSOCAC中，然后在这个系统内设置不同类型的接收端缓存器并更新其内容，将这些子组当中所包含有同样数量或质量特性指标（如电压、频率等）相近的样本按相似性系数从各个不同层次地随机抽取并分析[4]。

2 基于同步并行数据迁移技术构建电网信息化系统功能设计

2.1 登录注册

访问人员可以不用注册就可以实现对系统的访问，管理员需要在主页上可以进行“新用户注册”功能操作，在系统中，管理员可以对用户信息进行修改、添加和删除操作。当系统用户需要使用计算机时可选择自己喜欢的账号登陆后填写相关资料到主页面，由后台人员根据所填内容将其录入数据库并与之对应；然后通过该账户密码等数据来验证密码是否正确，如果不相符则可以跳转到管理员权限进行修改操作以保证信息安全和完整。在电网信息管理系统中，用户可以通过系统设置的登录注册功能进行相应操作。当用户输入账号密码后进入主界面。然后会显示到页面。点击“添加”按钮时，就能跳转到对应的账户；如果不填写相关内容，则进入提示框内注销帐号和密码等选项，以供其他人员浏览使用并修改账号、权限等内容，防止非法分子利用该模块获取信息，从而破坏电网系统的正常运行状态或造成不必要的损失；当用户在首页中输入注册号后选择登录方式之后会弹出相应界面，登录类图如图3所示，注册类图如图4所示。

图3 登录类图

图4 注册类图

2.2 新闻管理中心模块

新闻管理中心主要负责的是电网系统的总体功能，其主要是通过对信息进行收集、整理和分析，并以数据为基础建立相应的管理机制。同时还可以利用网络技术实现与其他部门间的交流。统计报表模块括了电网企业及相关部门用户用电量以及各项指标等内容；电力调度管理系统部分包含了系统中所需各种业务功能，如发电计划执行、电压调节和网损分配。新闻管理中心的功能主要是对电网单位进行信息采集、数据管理和传输，通过系统将收集到的各类资料提交给调度中心，使其能够准确及时地获取所需电力资源。同时还能为电网部门提供各种相关服务，它实现了对各网点及各用电用户电能需求情况的有效监控[5]。

2.3 商务服务

商务服务是指利用网络的技术手段，为企业提供信息、咨询等业务，主要包括:数据管理和系统维护，在这一方法中需要注意的是交换机与用户之间要有较高的信任度。如果想要保证双方都能对对方进行理解并做出相应回应时就可以采用这种方式，反之则不能实现这些交流活动，进而获取他们之间相互认可后产生友好关系从而达成交易合作。商务服务功能主要有以下几方面: 信息查询、订单处理与发送管理功能、数据维护和更新。用户通过浏览器或服务器进行相应页面上的搜索及输入相关关键词（如地址）后能够快速地完成检索任务；当客户需要对某业务模块提交请求时可在系统中选择不同类型的产品，然后将这些商品发送给供应商指定地点并同时通知到货时间[6-8]。

3 结语

随着互联网技术的快速发展，通信网络化程度越来越高，各种异构系统不断涌现。而在这些应用中，数据迁移作为一个关键问题也逐渐出现。针对上述情况进行分析研究，利用同步数据库对电网信息资源进行整合和共享，优化迁移方案实现自动化控制、自动完成建模工作，从而提高信息系统运行速度以及降低错误率并提升其经济性效益的同时减少管理成本及运营费用投入，最终可以达到促进信息化建设发展与社会进步双赢目的[9]。