基于预处理迭代方法的高效大型电网工程数据分析

方 明，胡 龙

（广东电网有限责任公司广州供电局，广东广州 510600）

随着电力工业和电网工程建设管理体制的不断改革与发展，电网基建工程的造价管理和分析水平已有显著提升[1]。但电网工程数据规模却大幅增加，且数据类型也多种多样[2]。目前，造价数据的评价范围由可研估算审核逐步扩展至初设概算、施工图预算等阶段，分析标准也逐渐提高。因此，与之对应的大型电网海量数据的处理方案也需要重点研究[3]。

相比于传统数据处理，基于云计算大数据的新型处理技术可以大幅提高数据处理效率，并最大程度地挖掘分析电网数据[4]。充分利用云计算技术可以有效提高数据处理效率和计算精度，避开存储压力，便于大型电网工程数据的整合、分析及汇总[5-6]。

大型电网工程数据可以分为结构化数据和非结构化数据[7]。对于结构化数据，其处理包括采集、清洗、去重等过程；非结构化数据不容易组织或格式化，通常采用文件的形式储存[8-9]。

根据不同角度可以把数据处理技术分为3 种：1）分类处理：预先设定分类标准和虚拟分类模型，自动化地分类和处理；2）关联规则处理：根据不同数据之间的联系性将其有机结合；3）情感分析处理：从感性的角度对数据进行提取、分析和处理操作[10-11]。

对于评审业务，电网规划中心过去的数据处理手段已无法满足日益庞大的数据量分析需求，需要更先进的技术参与完成电网工程技经评审数据的整合、优化等处理[12-13]。文中设计了数据接口，创建了数据仓库系统，提出了基于预处理迭代方法的高效大型电网工程数据分析应用架构体系，研究开发了某供电局电网工程投资造价智能评估分析系统，以便提高工作效率。

超声检测法：以波动的形式在弹性介质中传播的机械振动特性对试件进行宏观缺陷检测。以其适用范围广、穿透能力强、定位较准确、灵敏度较高、对面积缺陷检出率较高、检测成本低等优点使其广泛应用在制造、石油化工、造船、航空航天、核能、军事工业、医疗器械以及海洋探测等领域。

1 数据预处理

1.1 数据挖掘

1）数据分类。主要目的是将大型电网工程的数据按照规则细分为不同的模块。随着电网规模的扩大化，各种模块内的数据经常会有新的类型出现。数据分类需要考虑各种类型来完善数据分析系统，为智能化技经评审、评估分析提供数据支撑。

【评析】通过师生一起努力，与量角器形状相同的半圆形，即量角器的雏形出现了。由于亲自设计并创造出量角工具，学生对那些角和边的由来有了清晰的认识,他们可轻松找到量角器的中心点、刻度线、标准角，不再对角“视而不见”。

汉语词汇丰富，许多近义词看似意思相近，但运用时有细微差别。为了让学生仔细辨别词语，可以在阅读文本时让近义词语对对碰，引导正确辨析、使用词语。

2）关键特征提取。对于不同的数据种类，合理制定各类分析模板，提升数据的统计与分析工作效率、开展造价研究、深入分析技经指标数据、挖掘数据价值、构建电网工程造价因素库，有助于深层次分析造价偏差和预测造价趋势，提升电网工程造价分析和预测水平，提高投资决策能力。

采用热能动力学方法进行火电行业超低排放限值下的排放绩效的理论计算研究。首先将机组分为300、750和1000 MW三档规模，年利用小时数均按照《火电行业排污许可证申请与核发技术规范》规定的5000 h，300 MW及以上机组的排放限值按照超低排放限值，即二氧化硫35 mg/m3，氮氧化物50 mg/m3，烟尘5 mg/m3；300 MW以下机组的二氧化硫和氮氧化物按照超低排放浓度限值，烟尘排放浓度限值根据实施计划分两个阶段执行，即10 mg/m3和5 mg/m3。污染物排放绩效计算公式如下：

3）情感分析。利用已建立的技经数据库，辅助定额价格水平的测算和年度造价控制计划的编制。延伸创新辅助评审模式至评审现场，搭建现场评审辅助工具，建立一套标准的现场评审资料收集规范，以此保证评审资料数据的一致性和连贯性，全面促进造价评审全过程的提升。

1.2 数据压缩

在大型电网工程数据分析之前，需要解决数据的存储和缓存问题。考虑到电网数据的体量较大，为确保平台效率和数据的真实性，缓存数据采用MemCached 技术。用于缓存数据的MemCached 技术原理图如图1 所示[14]。

图1 MemCached技术原理图

MemCached 技术首先采用MemCached 架构实现分布式部署，将总体数据分散到多台服务器来实现数据缓存，然后利用此技术实现分布式部署的数据同步。MemCached 架构便于存储“数据库、文件”及“用户同步信息”两种数据。

根据观察，除缓存外还需要对数据进行一定程度的压缩，为保证数据压缩后的准确率，该文采用非线性Delta 误差技术对数据实时解压缩：

综合奉新县在南昌大都市区域规划中所处的空间层次，结合上述实际情况分析，奉新县在经济再发展中要注重人与自然的关系，寻求经济社会发展诉求点、自然资源的承载点、区域功能要求的契合点，综合三点考虑，发展社会经济，构建绿色生态产业，引导城镇共同发展。同时由于县内文化资源丰富，可以大力构建新的旅游产业发展模式——全域旅游。

1）参数定义。样本：RtPro；预警限制：δi；报警上下限：Ldate、Hdata；压缩值：σ。

2）报警数值处理。当σ=1 时，报警数据不需要进行压缩，只需要记录即可，处理规则如下：

即σ=1，表示要记录这些数据。

3）非报警数据处理。当σ=φ1φ2∈(0.8,0.9)时，非报警值数据是项目中变化较小的稳定数据，处理规则为：

pCDH/HSP27组和阴性对照组U266细胞用终浓度为0、5、10、20、40和80 nmol/L的BTZ处理8 h后，蛋白酶体活性检测结果（图8）显示，随着BTZ浓度的递增，2组U266细胞中20S蛋白酶体的活性均被抑制；在10、20、40和80 nmol/L BTZ浓度组中，pCDH/HSP27组U266细胞中20S蛋白酶体的活性均明显高于阴性对照组（P值均＜0.05）。这一结果表明，HSP27表达上调可减弱BTZ对骨髓瘤细胞蛋白酶体活性的抑制。

4）多级预警压缩。当σ=φiφ1∈(k1,k2),i=1,2,3,…,k1、k2∈(0.2,0.7)时。处理规则为：

则blSavetoDB←false。反 之，则blSavetoDB←true，lrtVal←rtVal。

5）压缩率。压缩率由式(5)进行计算，图2 所示为解析成折线表示的数据压缩变换模型。

则blSavetoDB←false。

图2 压缩变换模型

2 系统构架和模块开发

2.1 电网工程数据应用体系架构

由于传统数据分析系统已无法满足大数据分析的需要，设计针对大型电网工程海量数据分析所设计的应用系统架构[15-16]，如图3 所示。

2.3.1 数据管理

图3 应用体系架构

2.2 电网工程数据应用体系架构参考模型

应用参考模型包括5 层，其中数据采集处理层实现数据抓取。图4 为大数据应用架构参考模型。

“无规矩不可成方圆”。党中央的“八项规定”“三严三实”及“自律准则”“处分条例”等就是最好的规矩。千里之堤毁于蚁穴，一些巨贪，往往就是从贪小便宜步步为“盈”“炼”成的。“易鱼”类似事件的严肃处理，体现的是“抓早抓小”，防微杜渐，以遏制由量变到质变。“好规矩”需善始善终，严要求产生好成效，严管理养成好习惯，严标准才能得民心。杜绝“易鱼”类似案例发生，打虎学武松拳头要硬的同时，拍蝇力度亦不能松。

图4 电网工程数据应用架构参考模型

1）数据源：包括大型电网工程中的各种实时和非实时数据。

2）存储层：对于完全结构化数据源，数据能够在关系型数据库中存储，半结构化数据在NoSQL 数据库中存储，通过单一文件命名的空间实现高吞吐量数据访问。

3）数据采集处理层：通过分布式并行处理架构进行解析，利用Hadoop 计算框架实现离线处理，使用流式分析架构实现实时数据分析，图5 为数据的处理框架。

图5 数据处理框架

4）分析层：同步处理结果到数据仓库、数据集市中，实现深入挖掘。

5）应用层：系统安全与服务管理模块为大数据应用架构参考模型的公共模块，设计大数据安全架构时要考虑多种因素。

2.3 应用体系架构设计

经济发展较好的地区，农民群众的体育需求也相对较高。这些地区农民群众劳动条件得到了改善，物质生活也较为富足，他们对于体育这种兼具娱乐、休闲以及健身的活动存在很大的需求[2]。

规划中心提升管理分析业务，利用信息化手段将传统业务搬迁至系统上进行。图8 所示为造价管理的业务模块。

1）数据导入：加载时，通过提交参数设置事务数据文件输入路径，加载结束或失败时在数据日志表中记录。

将处理好的数据以图表模板格式为基础，进行可视化处理，为指挥决策服务。图7 为可视化服务器的结构。

2）数据清洗：分析实体评估指标，定位数据质量问题。

本次计算中取泊松比为υ=0.35，Ib=0.7，rm=12.5。室内试验测得的主固结完成后的剪切模量为G=0.664 MPa。

3）数据治理：创建策略模型提高数据质量。

2.3.2 数据安全设计

2.3.3 数据存储

图6 安全态势感知系统模型

现代大数据网络系统数据处于多源多样化的趋势中，且数据格式与粒度各有不同，导致安全态势感知出现困难。图6所示为安全态势感知的系统模型。

采用云存储技术，部署系统时从应用服务器上开辟一块内存进行数据共享，服务器的数量越多，可缓存的数据量越大。

2.3.4 可视化服务器

桑：在盖博牺牲之后，浮西努曾用很长时间来思考感情的问题。在她这个年纪，正是见解成熟，思力旺盛的时期，并且能够很好地处理一些情感上的问题，准确些说，可以更合理地把自己从种种困惑中解脱出来。只能说即使是若干世纪之后，时间还是这样不紧不慢，天气仍是诡谲神秘，一定仍会有人像自己，像是轮回转世一样，仿佛自己又复生了一般。对于为盖博殉情的苏珊娜，浮西努最终选择了原谅，并把她的遗物与盖博合葬在德克萨斯。

图7 可视化服务器的结构

2.4 电网工程数据应用模块

妊娠期急性脂肪肝作为特有的妊娠期疾病，主要发生于中晚期妊娠，目前临床医学对妊娠期急性脂肪肝的病因、具体发病机制仍未完全明确[8]；相关研究认为与妊娠晚期患者体内的激素水平发生改变有关，因妊娠能导致雌激素等相关激素表达水平显著升高，造成脂肪酸相关代谢出现障碍，使游离的脂肪酸堆积于患者的肝细胞、脑部及肾脏等相关器官内，引起多器官损伤，影响妊娠结局，危害母婴健康[9-10]。因此，及早发现、诊断并实施有效治疗，适时终止妊娠，对改善预后具有重要意义，但临床医学针对妊娠期急性脂肪肝并发多器官功能损害尚无特效疗法，多以对症治疗、控制病情进展为主，但疗效及预后欠佳[11]。

图8 造价管理业务模块

1）主配网投资造价智能评估分析。将传统技经评审方式搬迁至线上，统一规范、标准化的数据内容和格式，实现工程数据真实、完整、有效的收集和管理，实现标准化管理。与规划中心现有主配网评审平台集成，获取智能评估分析在线平台，并将评审结果反馈给技经评审专家，最终出具评审意见和质量评分。

在各类并网发电的能源中，地热电站的容量因素仅次于核电站。目前，美国地热发电装机总量超过38 GW。根据美国地质调查局的勘探和评估，其水热型地热系统和增强型地热系统地热资源潜在发电装机容量超过100 GW。但是只有技术创新才有可能使这些地热能转变为具有经济价值的实用资源。

2）主配网权威技经数据库。将规划中心零散的历史工程数据按工程特有的项目特征进行清洗、分类，打造权威技术经济数据库。

3）创新型辅助评审模式。通过分析整理技经评审工作中标准化的内容，使用信息化方法将其标准化、模板化、直观化。利用大数据处理构建数据之间的匹配，辅助评审专家进行偏差原因分析。

4）基建项目造价控制指标测算。主配网权威技经数据库按工程项目特征进行归类，而主配网基建项目造价控制指标同样按工程项目特征进行分类。创建一种匹配模型，从技经数据库中抽取特定指标填充到测算模型中，最终测算出参考的造价控制指标。

有一天北舞来招生，我就想试一试吧，不用有太大压力，反正相比那些从五六岁就开始练的同学，我跳得挺烂的，肯定没戏，就不知天高地厚地去考试了。当时跳完之后，评委席上的老师都“扑哧”笑了。

5）造价分析模型。通过工程项目特征快速筛选需要进行分析的数据，创建数据抽取分析模型，提取出技经专家重点关注的数据类型。

6）现场评审辅助工具。研制现场评审辅助工具软件，打通工具软件与在线平台系统间的数据通道。实现评审专家在正式评审会议现场开展审核工程造价、相关资料、编制意见初稿、质量打分、收集造价补充资料等现场评审全过程工作，并支持后续对数据的有效应用和分析管理。

3 实验与测试

经过上述数据处理，分散的数据资源实现了集中管理，有效地将类似历史工程造价与典型造价融合，形成文件数据库。通过与拟审工程进行对比，实现智能化技经评审。同时根据每年评审的工程造价，自动形成来年的造价分析报告初稿和造价控制指标初稿。此外，还可根据数据分析提供统计分析、造价分析、造价控制指标测算、定额系数计算等功能。

图9所示为某供电局的工程投资造价数据分析智能评估系统部署结构，其核心部分部署在信息机房。

图9 系统结构

从规划中心主配网评审平台分别获取送审以及接口的版本资料，对获取的资料进行解析，并对当前工程进行合规性和对比性检查。随后技经评审专家进行偏差原因分析，最终系统可辅助输出评审意见及质量评分表。

对同一数据规模的数据集与处理前后的数据压缩率进行对照实验，比较预处理迭代方法对数据分析技术中数据压缩的效果，结果如图10 所示。预处理后数据压缩效果大幅上升，在迭代次数超过300次后，样本组的数据压缩率可达到60%以上。

图10 预处理迭代方法数据处理压缩效果

4 结束语

文中以信息化技术结合大数据预处理方法构建数据处理算法和系统构架，实现了电网工程技经评审管理分析质量水平的快速提高。以某供电局为测试背景，开发建设了一套适合于该供电局业务范围的投资造价智能评估分析系统，为总体发展战略目标的实现提供强有力的决策支持。新系统测试环节验证了基于预处理迭代方法的高效大型电网工程数据分析技术具有较高的数据压缩效率。同时，该平台可通过不断积累的评审数据完成造价分析、统计分析、造价控制指标测算等分析工作，提升评审工作的全面性。