用大数据技术进行实时风险评估的设想

谢荣(西南油气田通信与信息技术中心川北总站,四川 遂宁 629000)

用大数据技术进行实时风险评估的设想

谢荣(西南油气田通信与信息技术中心川北总站,四川 遂宁 629000)

随着SCADA系统的普及，数据采集点、数据类型、数据保留时间的增加势必会形成SCADA系统的大数据。本文以油气集输管道系统为例，讲述应用大数据分析技术对油气输送管道进行风险评估、智能推荐和辅助决策的设想。通过SCADA系统的大数据分析处理，实现在事故发生前能提前预知事故，从而规避事故的发生，降低事故发生的可能性；而在事故发生中和事故发生后，能帮助决策者做出更合理的事故缓解措施和应急救援，从而减轻事故的严重性和危害性。

SCADA系统；大数据；实时风险评估

我国油气集输管道所采用的监控系统是数据采集与监控系统(SCADA)。在实际运行过程中，由于应用方面的实际需求，通常需要把采集的数据保留很长一段时间，用于查询、分析和统计。另一方面，管道上的数据采集点和类型很多，包括温度、流量、压力、腐蚀等多项监测数据；采集要求实时性较高，需要保持着较高的采集频率，形成了SCADA系统的大数据(big data)[1]。现在所采集的数据大多只是用来产生班报、日报、月报、年报等生产报表，或者用来实现追溯事故原因、责任等基本功能，还没有很好地被用作预测事故等。

1 大数据的相关定义

1.1 大数据

“大数据”是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。其满足四个特点：规模性(Volumes)、多样性(Variety)、高速性(Velocity)、真实性(Veracity)。

1.2 大数据的分析

(1)可视化分析 大数据的可视化分析，是将集中的大型数据以图形图像的形式呈现，并利用数据分析和开发工具挖掘其中的未知信息与潜在价值的处理过程。

(2)数据挖掘算法 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，挖掘出公认的价值。另一个方面也正是因为有这些数据挖掘的算法才能更快速的处理大数据，从中寻找出有助于辅助制定决策的信息。

(3)预测性分析能力 大数据分析最重要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可通过模型带入新的数据，从而预测未来的数据，为实际生产中生产动态的变化和事故发生的可能性进行预先分析和测算。

(4)语义引擎 语义引擎需要被设计成能够从“文档”中智能提取信息，以MapReduce和Hadoop[2]为代表的分析技术在这方面取得了重大进展，而优化多值查询的索引技术也可增加大数据的分析能力[3]。

(5)数据质量和数据管理 数据量大并不意味着信息量和数据价值就大，反之，很多时候会导致信息垃圾的泛滥，因此提高数据管理能力，改进大数据的去冗降噪技术显得尤为重要[4]。同时，数据质量和数据管理是一些管理方面的最佳实践，通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

2 大数据处理流程

2.1 采集

大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

2.2 导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

2.3 统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求[5]。

2.4 挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测(Predict)的效果，实现一些高级别数据分析的需求。

3 大数据与风险分析的结合

3.1 油气输送管道主要存在的风险

(1)与时间相关的风险 与时间相关的风险主要为三种：内力腐蚀、外力腐蚀、应力腐蚀。我公司所产为高含硫、高压、高温的三高油气，对管道的腐蚀尤为严重；其它事物对管道施加的非正常力对管道造成腐蚀；而由于输送压力波动、流速变化、地层运动等对管道的腐蚀也是不可忽视的，这就要求要加强油气管线的监控，增加了实时数据的采集、传输、处理任务。

(2)与时间无关的风险 与时间无关的风险包括三类：第三方破坏(承包商作业等)、误操作、自然环境因素。承包商作业、市政建设等对管道的破坏；管道工人、站场工人在日常生产、维护等操作时的失误造成对管道的破坏；而南方的酸性土壤等外界因素对管道的腐蚀也是明显的，这些都将增加管道输送的风险。

(3)固有风险 固有风险是指制造缺陷、焊接制造缺陷、设备的因素(o型垫片、密封、填料)等。就是这些风险的存在才直接或间接导致管道泄漏、燃烧、爆炸等事故的发生，所以通过实时采集各种类型的数据并进行相关的风险分析，得出减小风险的智能推荐和辅助决策从一定程度上就可以防止事故的发生。

3.2 智能推荐和辅助决策的内容

(1)智能推荐 针对管道存在的风险，得出的智能推荐主要包括五个方面：①运用SCADA系统采集的腐蚀、流量等一系列信息分析进行大数据分析，来确定管道腐蚀发展情况，向用户及时推送管道腐蚀情况，并在腐蚀达到最大允许量时通知负责人及时维修与更换。②结合管道的振动数据，或者政府有关部门发出的有关第三方作业信息，及时告知工厂负责人有关第三方(承包商)作业的情况；通过定位施工作业位置与管道存在位置、作业人员相关资质等来分析是否需要工厂派出相关人员去监督或者警告第三方(承包商)作业。③连接网络上发布的天气状况(暴雨、洪水、闪电、温度、台风等)，分析每一段管路上可能遭受的自然环境状况，实时采集管道内的各种数据并进行数据相关分析，尽可能实时地预测可能发生的事故，警告工程师提前采取相应措施。④记录并分析操作人员的操作步骤，判断操作人员是否应该进行安全培训以及确定安全培训的侧重点，实时分析并联系操作人员的相关不安全行为、不良工作情绪，确定是否会导致人员误操作引发事故。⑤关于消除固有风险的智能推荐，大数据分析技术可以做的是通过分析已有的第三方作业数据，选择合适、有资质的承包商对管道进行焊接。

（2）辅助决策 辅助决策主要包括：结合分析管道内物质危险性、油气泄漏量、泄漏处的周边状况(温度、湿度、是否密闭等)、泄露处人员密集情况等方面的数据，进行事故的预测与后果分析，确定最佳的处理方式，进而辅助负责人进行应急救援和人员疏散的决策。

在大数据的智能推荐和辅助决策的帮助下，可有效帮助生产经营单位实现风险的预测和规避，在事故发生前做到提前预知、提前预防从而避免事故的发生。而在事故发生中和事故发生后，可有效帮助决策者做出更合理、高效的事故缓解措施和应急救援从而减轻事故的严重性和危害性。

4 结语

要想实现大数据的智能推荐和辅助决策功能，首要克服大数据分析的局限性，其主要包括以下两个方面：①对于智能推荐和辅助决策方面的结果没有一个良好的标准进行评定，或者其控制风险的功能也有待进一步检验；②大数据技术存在严峻的信息安全问题，尤其是对于石油天然气行业，属于国家命脉，其控制数据与信息绝不能泄露，所以大数据在应用过程中，必须要考虑其本身风险的问题。

运用大数据技术对管道风险进行的实时分析虽然只是一个设想，实现大数据的智能推荐和辅助决策将大大降低我公司的安全事故，为生产保驾护航，促进健康、安全、环境友好型企业的建设。

[1]李国杰,程学旗.大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊,2012.6,27(6):647-657.

[2]Borthakur D, Gray J, Sarma J S, et al. Apache Hadoop goes realtime at Facebook[C]//Prose of SIGMOD 2011. New York: ACM, 2011: 1071-1080.

[3]王珊,王会举，等.架构大数据：挑战、现状与发展[J].计算机学报,2011,10,34(10):1741-1752.

[4]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013,50(1):146-169.

[5]邓仲华,李志芳.科学研究范式的演化——大数据时代的科学研究第四范式[J].情报资料工作，2013,4,19-23.