实时数据云平台在稠油油田的应用

韩光?韩梦蝶?兰明菊

摘要：风城油田作业区物联网建设发展快速，已形成一套成熟生产监控体系设计与管理流程，为了更加充分发挥物联网数据价值，需要建立以“专业分析模型+实时数据”为驱动的智能化深化应用模式。而在基于物联网数据智能化分析时，遇到数据获取不及时、质量不可控等难题，通过构建风城油田作业区实时数据中心，直接对接RTU、PLC和DCS进行采集与存储，为第三方系统提供高速数据调用接口，促进稠油油田智能化管理技术手段的快速升级。

关键词：实时数据；云平台；分布式采集；预警报警

一、前言

A11建设初期，风城油田作业区实时数据库采用iFIX的IH，且当前已接入15万以上采集点规模，该数据库主要用于满足iFIX的SCADA系统使用。在第三方应用系统需要从IH中获取实时数据时，若调用频次高或一次性调用数据量大，容易导致IH数据库的不稳定运行，最终引起SCADA系统的运行异常。另外，部分数据采集依赖于第三方软件，数据采集的可控性、稳定性、时效性无法保证，例如功图数据采集依赖于第三方软件（功图小键盘），PLC数据采集依赖于IGS、KEPWARE等。通过剖析传统实时库产品在实际应用中遇到的不足，研究分布式实时数据平台，彻底解决数据采集规模与频次受限、数据共享能力不足等问题，专门为实时数据深化应用提供数据服务，打造双实时数据库建设应用模式，保障生产运行监控与智能化应用分析正常稳定开展。

二、重点解决问题

实时数据云平台主要解决实时数据采集性能差、存储分散、数据共享能力不足三类问题[1]：

（一）实时数据采集对第三方软件依赖程度大，中间件的存在导致了数据采集流程复杂、可维护性差、数据稳定性不足、采集时效性差等问题。实时数据云平台通过自主开发各类驱动程序实现了RTU、PLC的直接对接，不依赖于第三方中间件，同时采用分布式并发采集机制确保采集性能大幅提升。

（二）常见实时数据库可部署在不同的服务器节点，但各服务器节点间数据同步实时性与稳定性差，无法实现数据的统一管理与应用。实时数据平台可将百万级数据点同时存储到一个平台，且能够确保数据应用的高实时性能；可把全油田的数据存储在一个平台中，实现数据集中管理与大数据分析；可通过多节点间实时数据主动备份，规避数据丢失问题。

（三）传统方案中，实时数据量存储达到一定程度后，数据读取需要几分钟，甚至会导致系统宕机，无法保障大数据分析应用业务的正常开展。实时数据云平台在实时数据积累到千亿量级时，数据读取速度仍可保证可用性。

三、实时数据云平台设计

以分布式思想为基础，建立涵盖数据采集、处理、存储的三层架构，有效确保实时数据采集与存储的高效、稳定，为数据服务、数据应用提供可靠的保障。

数据采集层：支持从RTU、PLC、DCS油田现场自动化数据采集设备，按照不同协议类型进行数据解析；支持高并发数据采集，提高数据采集时效性与稳定性。

数据处理层：内置多种常用函数，支持复杂数据运算与关系换算，满足不同应用场景下的数据处理需求。

数据存储层：支持多节点数据存储、无损压缩，提供高稳定性API数据访问接口。

基于分布式架构，共设计五大类功能，如图1所示，实现了实时数据的高效分布式采集与存储，并为第三方应用系统提供了灵活的数据调用接口[2-4]。

（一）分布式实时数据采集

基于Erlang语言的高并发处理能力，针对每一个采集任务建立单独的采集服务，每个采集服务之间相互独立，一旦某一个服务出现运行异常，不会影响其他服务。基于该策略，可最大频次地提升数据采集的频率及数据采集稳定性。系统支持RTU、PLC、DCS等各类现场设备的直接数据采集，支持数值、数组、文本等数据类型，兼容不同类型通讯方式并进行采集稳定性优化，完美满足了油田多样化的数据采集要求。

（二）分布式数据存储

支持多节点分布式存储方式，实现实时数据集群管理，任何一个节点发生问题均不影响数据的存储及异常恢复后数据的同步处置。在数据写入库时，采用分段、分块方式在数据库中进行数据存储。当数据流进库后，数据库自动以“段号+块号+时间戳+数据+加密”的方式为每个数据包生成唯一的数据ID，方便数据查询，如图2所示。同时，采用缓存技术利用服务器的系统资源在内存中缓存部分最近数据，也可最大化地提升数据查询效率。在数据采集一段时间后，数据库自动对历史数据进行压缩，节省磁盘空间，提高处理速度。

（三）实时数据管理

1.数据一键查询

如图1所示，可按照采集单元、生产对象，对实时数据进行在线实时查询，有效帮助实时数据管理人员评价数据接入质量。

2.历史数据查询

按对象、采集点、时间段查询一段时间的实时数据，有助于分析实时数据接入的稳定性和准确性。

3.点表管理

提供Web页面，用于管理RTU、PLC、DCS等不同采集终端采集点表的增删改查操作，可按设备名称、IP等条件进行查询过滤，如图4所示。

RTU点表配置时，可对采集数据进行预处理，从而确保采集转换后的数据具有物理含义，系统提供的采集器功能开发了预处理表达式解析模块，支持常规四则运算法则及按需精度处置，方便实施人员进行配置操作。

（四）实时数据访问接口

按照风城作业区应用系统数据接入需求，提供API接口，由第三方系统主动调用API接口获取所需数据。

1.接口类型

提供支持实时数据、历史数据调用的API接口：多对象、多参数、时间点、时间段等。只需调用接口时输入相关关键字即可实现数据的调用。

2.接口性能特点

系统提供的API接口与iFIX提供的OPC接口性能对比结果如表1所示。

四、实时数据云平台部署

系统部署于风城作业区机房，采用多台服务器进行集群模式搭建。在数据采集端，直接对接RTU、PLC、DCS等硬件设备，实现了所有实时数据的接入、存储。在客户端，通过B/S版实时数据管理平台实现已采集数据、采集对象基础信息、采集点配置等相关数据与信息的管理。同时，该平台为第三方应用系统提供了标准的API调用接口，并实施了DMS、稠油生产监控报警辅助等应用系统的数据对接。

五、实时数据云平台运行效果

（一）实时数据接入运行状况

接入数据规模与iFIX一致，超过15万点，数据采集稳定（除网络不稳定影响外），设定的采集周期与实际采集周期一致。

服务器长时间运行，平均CPU占用不高于15%，内存占用不高于12%，系统资源占用稳定，无明显的资源消耗波动。

在当前采集数据量及采集周期下，一天大约能产生1G的数据，预计一年所需的硬盘空间为370G左右。

（二）实时数据调用效果

以稠油生产监控报警辅助系统为例，对接实时数据平台之后，采集周期可以从60+s提高到5s，而且数据获取稳定，时间符合实际要求。具体对接前后性能变化如表2所示。

六、实时数据云平台优势

实时数据云平台扩容后，其特征为“三个突出，一个稳定”，彻底打通了实时数据从感知、采集、存储到应用的数据流程的关键瓶颈（数据时效性、稳定性、共享性不足）。

1.数据采集性能突出：RTU、PLC实时数据采集频率可达1秒；功图数据采集频率可达秒级；DCS通过OPC方式数据采集频率可达秒级；

2.数据调用接口数据共享能力突出：支持十万级数据量的秒级调用，保证第三方系统对于实时数据、历史数据应用的按需调用；

3.第三方软件对接效果突出：稠油系统数据频率由1分钟提升至5秒；DMS实时数据调用方式简单、易维护，能够快速实现按需调用。

4.服务器集群运行稳定：资源占用率低且稳定，数据采集、存储服务运行稳定。

七、实时数据云平台发展潜力

可建立面向百万级采集点的数据采集与存储中心，实现油田（或油公司）全生产过程数据的高效采集与存储，成为油田唯一的实时数据来源，为所有第三方应用系统提供高效、标准的数据服务，避免实时数据库的重复搭建。

建立基于数据整合模型的实时数据到生产数据、管理数据、计算分析指标的自动计算，实现生产与分析指标的统一算法标准，避免重复计算与重复开发造成的资源浪费。

建立基于实时数据平台的智能生产运行管理平台，实现深度实时监控分析、设备全生命周期管理、深度能耗分级管控等方向的系统扩展；同时将数据挖掘技术、专业分析模型、专家经验等相互融合，构建符合油田实际业务需求的专业分析模型，并借助先进的IT技术不断提升技术研究成果的可靠性[5-6]。

八、结语

应用服务器集群，构建了风城油田作业区实时数据平台。一方面，通过实时数据高性能数据采集架构的设计与开发，极大地提升了油气物联网管理中数据采集与设备运维工作效率的提升，减少人员负担、改善工作条件、提升工作能力与工作热情；另一方面，多节点实时数据采集方案能够实现数据的高性能永久存储及数据共享，在数据应用时可实时进行调用，满足油气生产运行监控及实时数据深化应用分析需要，及时发现油气生产工况异常，提前预警，提前处置，有效降低生产运行事故发生概率，提供生产安全能力，进一步为油田HSE安全管理保驾护航，为打造油田生态系统奠定了良好基础。

1.数据采集、存储、调用等相关服务均采用Erlang技术，确保了高并发数据采集、存储、应用能力，高性能的数据处理技术最大限度地保障了海量实时数据采集的时效性、稳定性。

2.本次搭建的实时数据云平台前端采用B/S开发架构，便于系统的部署、应用、维护、升级，大幅提升数据运维工程师的工作效率。

3.提供的标准API接口与数据订阅机制，实现了基于第三方数据库或应用接口的数据对接机制，满足了现场不同类型应用软件系统的数据对接需求，满足了各种第三方应用系统或数据库对实时数据提取调用的要求。

参考文献

[1]韩菲，谢光华，蒋能记，等.风城稠油处理站物联网系统建设及应用[J].仪器仪表用户，2016，23（1）：62-64+67.

[2]陆兴，蒋能记，韩菲，等.采油厂物联网实时数据平台的设计及应用[J].信息系统工程，2019，309（9）：47-48.

[3]汤姆，赵金龙，杨帆.天行实时数据云平台在油田生产状况报警中的应用——以石西油田生产监控系统分析为例[J].信息系统工程，2020，318（6）：107-109.

[4]梁佩.实时数据采集系统方案设计与实现[D].成都：西南交通大学，2015.

[5]周国亮，朱永利，王桂兰，等.实时大数据处理技术在状态监测领域中的应用[J].电工技术学报，2014，29（S1）：432-437.

[6]黄恒君，漆威.海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践[J].统计研究，2014，31（5）：10-16.

作者单位：韩光、韩梦蝶，中国石油新疆油田分公司数据公司；兰明菊，中国石油新疆油田分公司风城油田作业区