郝明涛
(中国联合网络通信有限公司烟台市分公司,山东 烟台 264001)
当前我国国民经济快速发展,多种行业的信息化正如火如荼的展开,数据的地位逐步攀升,如何处理大量的数据成为各行业的焦点。此时大数据技术的发展与在各行业中的应用适逢其时,大数据技术为诸多领域进行更为科学的决策提供了客观的依据。同时,由于大数据技术具有对海量数据处理速度快的自身优势,可以实现对大量设备的实时监控与自动控制。在大数据技术应用的各个领域中,电力系统数据量大、要求时延小、对风险控制严格,传统数据分析技术无法对其进行有价值的分析。因此,电力系统是当前大数据技术的热点应用领域之一。鉴于电力系统对大数据技术有较高的需求与较多的应用,在电力系统中对大数据技术进行剖析和阐明具有重要的意义。
在传统计算机科学相关的技术下,海量数据即便在短时间内可以通过传感器等硬件被采集,也往往无法在有效的时间内被成熟的软件技术处理。因此,当前的数据量给数据处理技术提出了新的问题,需要新的技术来满足当前电力系统对数据量与处理时效性的需求。
表1 传统数据与大数据特征的差异
对比计算机科学领域我们所了解的其他种类的大数据,电力大数据的定义更为灵活,对于电力大数据其数据量大小的规定并没有一个严格标准。从数据的来源与类型来看,电力大数据是指通过传感器、智能设备、视频监控设备、音频通信设备、移动终端等各种信息采集通道采集到的大量结构化、半结构化、非结构化和相关的业务数据。大数据技术在电力系统中的应用涵盖了从数据存储、数据管理、数据处理、数据分析到提供业务趋势预测和数据价值挖掘服务的全过程。以及这一系列过程中使用的技术和概念。
电力大数据的特点可概括为3“V”3“E”。其中,3“V”是体量、类型、速度。3“E”是能量,交互,共情。从容量特征来看,电力大数据是大数据产业的一个子集;从技术应用的角度来看电力大数据技术是大数据技术的焦点之一。然而,电力大数据技术与其他行业大数据技术的主要区别在于它的范围更广,超越了大数据通用概念的普遍性。具有其他行业数据无法比拟的丰富内涵。
图1 电力大数据的六大特征
体量:海量数据是大数据的主要特征。也是电力大数据的重要特征。现今电力企业正在快速建设信息化与智能化的电力系统,随着电力系统信息化和智能化的发展,电力数据的增长越来越快,其速度将远远超过电力企业对未来情况的估计。以电力生产环节为例,电力生产作为电力系统的一部分,其自动化控制程度也在逐步提高,如对锅炉压力、温度、监测精度、频率等指标质量要求越来越高,对大量数据的采集和处理提出了更高的要求。就功耗而言,每次采集频率的增加都将导致数据量的数量级飞速增长。
表2 表计数量、采集频率与数量变化的关系
类型:数据的类型可被大体分为结构化、非结构化、半结构化三个种类的数据。电力大数据囊括了上述所有种类的数据。随着音视频采集设备的普及,音频和视频在电力系统中的应用越来越多,音频和视频数据在非结构化数据中所占的比例也在逐渐增加。此外,电力大数据的来源不仅限于电力系统内部。例如,在利用清洁能源进行电能生产时,大量的气象水文数据也在采集范围之内。这些来源各异的数据在电力系统中均有一定的相关性,对于不同种类数据间的关系与联系直接或间接的致使数据分析难度骤增。
速度:主要指电力大数据对数据采集、处理和分析的速度高。大数据在电力系统中的业务需要对处理时间有较高的要求。一般来说,电力大数据对系统运行状态的反馈时延要小于一秒,需要采用流处理技术。因此,大数据与传统的使用批处理技术进行事后处理的商业智能和数据挖掘之间有巨大的区别。
能量:电力大数据中能量的含义是数据即能量,是大数据技术在电力系统中的价值体现。海量的数据在电力系统的使用过程中不断细化和增加,从而保护了电力用户的利益。为了实现可持续发展的目标,在电力系统的各个环节中,采用大数据技术将发电环节中的其他形式的能量消耗降低,增加电力链路中用户可用的能量。大数据技术并不能直接参与生产电能,但在电力系统运行的各个环节,大数据技术可以尽可能的减少电能的损耗,从而间接的增加了电能的最终可利用量。大数据技术在电力系统中运用的过程是收集不必要损耗的能量的过程。这种环保属性使得大数据技术在电力系统当中的投资一举两得。
交互:电力系统和全国经济有着紧密的联系,具有交流互通的关系。而大数据技术在电力系统中的应用提升电力系统运行效率的同时也将促进经济发展与社会进步。因此,电力大数据的价值除了体现在电力系统中,还可以反映在国家经济发展、社会进步和各行业发展等方面。为使大数据技术在电力系统中发挥更大价值,电力数据与其他领域数据的相互融合,并进一步对的电力数据的采集、分析和解释进行更深更广的探索是前提和关键。这将有效的提升电力系统在供电环节与用电环节上的短板,改善当前电力系统“重视发电、轻视供电、不管用电”的不足,促进电力系统和其他行业的交流融合,互利共进。
共情:电力大数据中共情的含义是数据即共情。电力是现代社会的基本生产资料和生活资料。一个国家的电力系统联系着千千万万的家庭、工厂、企业。电力系统与电力企业和用户有着密切的连接,电力工业大数据在一定程度上促进了我国电力工业从“以电力生产为中心”向“以客户为中心”的转变,这一点的本质是对电力用户的关注。用户对电力的需求需要被电力企业进一步挖掘,电力企业要建立服务型部门与用户联系,以提供用户所需要的服务。在电力行业价值最大化的贡献过程中,大数据在电力系统中的应用为中国的电力工业提供了常变常新的动力源泉,共情方能共赢。
由电力系统的特性,大数据的数据源主要集中在三个方面:电力生产、智能电网、管理和运营。
电力生产不仅是电能的来源,也是大数据的主要来源。其数据源可分为三大主要业务领域:发电、维护和安全。根据数据类型,可分为两类:实时生产数据、设备总生命周期数据。电力生产大数据的主要信息系统包括企业资产管理系统、技术监督、性能分析和消耗计算、实时数据库、锅炉寿命管理、检修、安全监督、设备可靠性系统等。对不同类型的数据所采用的处理技术也有所区别,对于历史数据,采用批处理技术,分析结果对设备的运行与维护有重要的参考意义。对于实时数据,采用流处理技术,主要用于电力生产的实时调控。
根据《“十三五”国家信息化规划》的要求,电力系统作为工业化的代表体系之一将和信息技术进一步交融协调,信息流将加入原已承载了能量流和业务流的电网当中,信息在电网中的重要程度也会随之提高。电网中遍布各处的传感器、视频与音频采集设备所采集到的数据构成了电网智能化的基石。通过计算机网络通信技术,将收集到的数据利用大数据技术进行处理,实现对电能的监控与调度,从而建设更为理想的电力网络。
电力企业同其他类型的企业一样,业务决策需要大量的生产和管理报告。然而,由于电力系统的特殊性,电力系统管理和运行中的大数据技术需要数据挖掘与分析部门与运营部门联合,多种学科合作对数据进行挖掘与分析,再对分析结果进行合理的解释并展示给决策者。与大数据技术相比,在电力管理运营数据处理方面,因数据对时效性要求较低,可接受较高的时延。从而可以采用传统批处理技术,如较为成熟的BI工具等。
大数据的关键技术包括数据提取与集成、数据分析和数据解释三个方面。
从学校层面来看,高校机关工作人员作风建设关系到和谐校园建设和学校的发展,关系到学生学习、发展、生活的各个方面,关系到教师教学、科研等各项工作的开展。从社会层面来看,对学校的社会声誉、社会影响力都有重要影响。从国家层面来看,对整个高等教育的发展和人才培养质量的提升,都起着重要的推进作用。在高校内部,机关工作人员对内应充分发挥机关的组织、服务、协调、管理等职能,不断提升服务质量和管理水平,提高师生的满意度;对外应充分发挥机关作为与社会、企业、行政主管部门沟通、协调的窗口作用,提高学校的品质和社会美誉度,为学校发展创造良好的外部环境。
多样性是大数据的一个重要特点,由于数据源的方式,导致数据来源非常广泛,具有极其复杂的数据类型,特别是半结构化和非结构化数据占很大比例.对于收集到的数据,完成抽取与集成后,对其进行结构化存储。现有的数据提取和集成方法主要是基于ETL引擎和搜索引擎。数据在非结构化、类型多样的环境中,数据的清洗作为预处理的程序之一,可以提高数据质量,是对所采集的数据进行分析之前的关键步骤。
为充分发挥与体现大数据在电力系统中的价值性,数据分析作为其关键步骤不可或缺。当前已经有诸多传统数据分析技术可直接进行应用,如用于推荐系统与决策支持的统计分析、机器学习等。
前两个步骤最终目的在于理解数据的意义并实现其价值。因此,数据解释往往是终端用户或是决策者最关心的技术之一。而数据解释的重要方面之一就是用合适的方式展示数据。假如数据展示的方式不当,就无法达到让用户理解并进行正确决策的目的,乃至使其效果适得其反。仅仅在计算机上进行可视化显示的研究和开发的传统方式对数据的解释是有限的,如文本、图表等。为改善传统方法对数据解释的限制。较为科学的办法是利用图形、图像处理、计算机视觉以及用户界面,通过表达、建模以及对立体、表面、属性以及动画的显示,对数据加以可视化解释。为提供更加专业化与个性化的服务,在数据分析过程中需要与电力专业人士和用户进行深入的沟通交流,甚至让用户参与到数据分析的过程中来。为了得到更加合理的分析结果,数据的解释,已经超越了大数据本身的范畴,将涉及到众多学科的交叉,需要多个部门的协同共进。
为了将电力系统的大数据的价值尽可能的完全实现,需要包括大数据技术在内的多种技术配合。如:利用云存储技术,将多种类型的数据进行结构化处理后存储;采用分布式计算技术来提升数据处理的时效性以达到实时监视与控制的目的。
图2 电力系统运行环节
现阶段我国大部分发电方式均为火力发电,其作为利用时间最为久远的发电方式之一,有着稳定性好,可控制性强等优点。但火力发电的缺点也十分显著,其中化学能源的消耗量巨大与热效率较低都是火力发电最显著的缺点之一,尤其是化石能源极为宝贵且不可再生。而对于利用清洁能源,虽然具有绿色环保的优点,但也不是完美的。如核能在电力过剩时若采用不接入电网的方式也在将会造成巨大的浪费;风电水电等发电方式受地区的气候条件与天气状况限制较大,不能提供绝对稳定的电力。因此,在电力生产的过程中应用大数据技术一方面提高火力发电的热效率,发挥大数据技术的时效性高优势,对火力发电的各个设备进行实时监视,即及时发出警告与提示,协助工作人员对机组进行监督与调控。另一方面对多种发电方式进行合理的调控,尽量利用清洁能源进行发电并充分发挥火力发电的可控性优势对其他形式的电力生产进行补充。
输电环节的主要功能在于通过不同途径生产的电力进行分配并输送。因其对国民经济的发展有着巨大的影响,所以对稳定性有着较高的要求。恶劣的地理环境以及人为破坏是造成输电线路中断的最常见的两种因素。关键输电线路的中断可能会造成整个区域电网的故障,因此及时发现输电线路的反常现象并及时处理对保障输电环节的稳定性具有重要的意义。在这个过程中,大数据的技术的可用于提升供电环节的对于险情的反应与处理速度。大数据技术还可用于对输电环节的设备进行全寿命周期内服役情况的检测,进行有效的防灾减灾。
变电环节是电网管理的核心环节之一,此环节的设备运行状况直接关系到供电的可靠性,尤其是对于重要用户的供电故障可能导致严重的后果,其重要性不言而喻。对于变电环节的检测,我国仍旧处于以大量人工巡检为主要方式的阶段,并且检测信息共享途径效率低下且极其有限。因此该环节迫切的需要对其进行信息化改造。当前有专家提出了部分理论思想,如:对变电站设备利用数据挖掘与处理技术进行监测,可以在一定程度上对实时运行状态的监控提供帮助。
用户所直接使用的电能是经变电站把输电环节中的高压电进行转化而来,这就是配电环节的职责所在。做好配电环节的工作要求对掌握电能的使用需求规律进行有效的掌握,并以此为依据来分析配电环节的安全隐患,做到及时排除,大数据技术可以为其进行有效的技术支持并提供有意义的参考。另外,大数据技术可用于预测未来电力负荷规律,帮助电力运营部门对可预知的特殊情况提前做好准备,保证电力系统的稳定运行。
由于我国国土面积广阔、各地人民生活习惯各异、工业门类齐全、贫富差距较大等因素的影响,用电环节的情况十分复杂。但较好的基础设施建设为用电环节的信息化建设作了部分铺垫,一定程度上降低了信息化改造的难度。目前在用户端的电力信息采集与信息系统的建设作用正在逐步扩大。国内已经有城市开始对电力用户展开用户画像的工作,以制定更加完善、个性化的营销策略。
将大数据技术应用到电力系统中的主要目的之一是预测电力系统运行的各个环节的电力数据信息,针对他们的特点分别进行分析后用易于理解的方式展现给用户和决策者。电力负荷的预测是配件管理的重要组成部分之一,利用大数据技术来解决其关键问题:收集海量的数据后搭建出合适的预测模型,对模型进行大量实验,调参后用其预测电力系统各环节的负荷情况,有助于电力企业根据实时及历史数据及时改变电力系统运行与管理策略,保证电力系统稳定高效的运行。
在前人已经分析过某地区电力系统的负荷在夏秋季节的起伏情况后,特别地,我们对这个时间段的短期情况进行预测。如图3所示,在甲市以一个星期为例,周末的负载相对于工作日来说较低,导致此现象的原因之一为生产用电与生活用电在周末与工作日差距较大,在工作日有更大的生产用电需求从而导致了较高的负载。
图3 甲市一周负荷变化情况
图4 甲市单日负荷变化情况
虽然图3体现出了工作日与周末电力系统负载存在一定的差异,但如果将一周七天每天的波动情况进行对比可以发现,负载情况在一天中的变化具有可寻的规律。观察图4,0:00后,电网负荷开始下降,3-4时达到最低值,6:00后迅速上升。虽然假期会有所不同,但总的趋势仍然是一样的。
大数据技术在电力能源管理中的应用,不仅有利于高效的利用清洁能源,而且有利于能源消耗的有效控制。该措施对于实现电网工程项目现代化、科学化、智能化,维护电网正常、稳定、安全运行具有重要意义。以某大数据技术服务公司为例,将“大数据技术”应用于电力能源管理,为客户提供电力产品销售、计量校准业务、后期电力维护等服务。如采集与分析电力设备、电子测量行业、电力生产等环节的数据、考察新能源的应用等。
大数据技术虽然不是来自电力行业自身的电力技术,也没有直接参与到电力系统的生产与传输等环节,但因其自身的特点——数据即能量,使数据具有独特的价值性。在电力系统运行的各个环节中,利用大数据来优化电力系统的运行具有重大意义。在大数据时代,要通过技术手段来实现处理实时信息并预测未来发展的目标。电力系统在未来的信息化道路上,大数据技术扮演者不可或缺的角色。充分利用大数据技术在电力系统中的应用,将成为进一步提高电力行业运行效率和管理水平的主要方向。充分挖掘数据,用好数据,还要依靠大数据技术的发展与电力信息化的深入。怎么用好大数据技术,对电力体统中海量的数据进行挖掘,实现电力系统中大数据的价值性,如何对电力系统进行优化改良、为用户提供更好的服务将会是未来重要的研究课题。