油气长输管道大数据整合技术方法研究

1中国石油西部管道公司

2北京星球数码科技有限公司

近年来，随着我国经济的飞速发展，对油气等能源的需求也在不断增加，管道里程迅速增长，形成了多渠道、跨区域的全国性油气管网。长距离输油管道分布范围广，新旧管线并存，管道周边环境复杂多样[1-2]。在大数据的范畴，数据的来源多种多样，经过多年的管道完整性管理，各油气长输管道企业都在管道业务领域积累了管道建设竣工资料、运营管理等大量数据（如内外检测、阴极保护、地质灾害监测及管道地理信息等数据），这些数据为管道安全管理、完整性管理及评价提供了数据支持[3]。为了降低管道生产运行过程中所面临的各种问题，将对管道完整性数据采集后加以识别和评价，然后根据风险评价将管道风险等级控制在合理范围内，以防止管道事故的发生。由于这些海量数据采集是在管道建设及管道运营管理的不同时期，其管理、采集、存储的内容及方式不一致，同时按照多种不同的组织方式将不同类型的数据分别存放在不同的数据库中，使得这些数据的使用存在许多问题。

因此，研究一套管道大数据整合方法，以竣工资料或内检测数据提供的各管节信息为基准，以管道建设期数据、地质灾害监测数据、管道运营期数据、阴极保护数据、内外检测数据、地理空间数据等为基础数据，使数据可以对应到各环焊缝信息，形成统一的数据模型和数据库，最终实现将一根管节的所有数据信息关联查询并可以将其全要素信息对应到管线走向图上进行展示，同时利用管道大数据技术对管道业务数据进行分析和筛选应用，对油气长输管道公司管道业务管理、决策分析及风险评估有着重要意义。

1 管道完整性大数据整合数据范围

1.1 管道竣工资料数据

需要对管道竣工数据进行以下几个方面的管道完整性分析：①石油和天然气长输管道竣工资料，包括管道焊接记录、压力测试记录，管道焊接返修记录、焊口缝射线检测记录表、水工保护、隐蔽工程、冷弯管、管道防腐补口、保温施工记录，阴极保护工程、管道穿越工程、隧道穿越单项工程、线路竣工图等内容；②隧道数据，包括隧道建设竣工资料、设计图纸等数据。

1.2 管道运营期数据

需要完成对管道竣工数据的完整性大数据分析。

（1）结合完整性管理的要求以及APDM标准数据。管道完整性管理采集在实际调研后充分考虑中国石油的管道特点，建立具有高水平的完整性管道数据模型（PIDM模型）。以此管道数据模型为底层架构，构建一个数据库能够包含整个管道生命周期，包括管道中线数据以及管道设备设施数据，管道施工及生产作业中的事故以及缺陷数据，再经过对数据进行有效的组织和存储，为管道信息化以及建设期、运营期的管理提供支持，同时也为管道完整性的管理奠定基础。同时要保证获取到的管道数据的准确性、完整性、时效性。

（2）阴极保护监测数据。主要由自然电位、恒电位仪监测数据、保护电位、阳极地床接地电阻、电位分析报告等数据构成。

（3）管道地质灾害监测数据。包括管道最大拉伸应力、最大压缩应力、最大弯曲应力、地表位移量等监测数据。

（4）管道内检测数据。主要包含几何检测、内检测的前期调查、管道的清管、三轴高清漏磁检测、管道坐标测绘及应变评估、初步报告编制、开挖验证及报告编制、最终检测报告编制、缺陷适用性评价报告。

（5）地理信息基础数据。包括基础地理地形数据、自然社会要素数据、经济要素数据以及管道空间信息数据的数据库，其中数据主要有管道基础矢量化数据、管道业务数据和卫星影像数据等，以矢量化的电子地图为基础，然后对管道周围的社会、环境以及自然因素之间的关系进行分析，实现对管道以及设备等信息的搜索、定位、查询、分析等功能，为管道完整性数据的管理提供科学有效的方法[4]。

2 管道完整性大数据处理方法

2.1 管道完整性大数据采集要求

对管道完整性数据采集后加以识别和评价各种风险，然后根据风险评价等级采取合适的办法降低风险，同时控制管道风险等级，以防止发生管道事故。数据采集分为两部分：第一部分为外业GPS位置信息采集，根据需求将采集GPS位置信息数据与位置的属性信息数据[5]；第二部分为属性信息数据以及相关的空间数据的收集。管道数据采集主要包括以下几个方面：

（1）管道中心线及管道设施数据。管道中心线及管道设施数据包括从设计、施工到运营一整套的管道信息数据，比如钢管信息、防腐层、弯头、阀等。经过实地踏勘测量可以获取到管道中心线、管道设施的空间地理位置信息，但是其他管道设施的属性数据只能从历史资料中获得，包括施工资料以及竣工资料。

（2）管道沿线地理数据。管道沿线的公路、河流、铁路、三穿、水工、建筑物等要素环境数据可以作为管道风险评价以及HCA分析的重要参考数据，应包括多个比例尺。

（3）遥感影像数据。管道信息所涉及到的遥感影像数据主要是指管道经过地方两侧各2.5 km范围内的栅格影像，通过影像可以直观地查看管道周边环境信息，包括基础地形、地貌、主要公共设施、建筑物、公路、铁路、河流等信息，可作为管道沿线地理数据更新的依据。

2.2 管道完整性大数据采集内容

其主要包括两个方面的数据采集，一是地理背景数据，二是管道建设期及运营期数据。管道建设期采集的数据主要包括前期的管道咨询设计、伴行路工程、站场工程、线路工程、无损检测、阴极保护工程、通信以及设备物资等数据。运营期采集到的管理数据包括管道高后果区、内项目、水工保护、风险评估、防腐层大修项目、维抢修、管道巡护及保护、阴极保护、地质灾害监测等数据，目前这些数据尚未得到有效应用。管道内外检测采集管道环焊缝、管节、壁厚、凹陷点、埋深等内检测数据以及自然电位、杂散电流、土壤和水pH值、土壤的电阻率、管道路由定位以及外防腐层缺陷定位等外检测数据[6-7]。

2.3 管道完整性大数据采集流程

数据采集涉及到不同类型数据的采集工作，不同的数据收集方法不同，现根据数据内容制定数据采集流程（图1）。

2.4 管道完整性大数据处理及存储

图1 数据采集流程Fig.1 Data collection flow

（1）管道完整性大数据整合集成思路。以内检测数据、竣工资料提供的各管节信息为基础数据，将采集到的管道施工期的数据、内检测数据、管道运营期的管理数据、阴极保护数据、地质灾害监测及地理信息空间数据等进行匹配，使各类数据能够与环焊缝信息一一对应，然后形成统一的数据库以及数据模型，最终将一根管节上的所有数据信息进行关联查询，并可以将其全要素信息对应到管线走向图上进行展示。

（2）管道完整性大数据入库流程。将数据进行加工导入到EXCEL模板后，按照管道模型的要求将EXCEL模板数据进行处理并导入中间库，对中间库的数据认真检查无误后，将其导入到最终的数据库中进行最终数据的验证。

（3）管道完整性大数据处理简述。处理内容包括：综合分析、收集单项数据；制定一个统一的参照系；通过图解或人工方式整合数据。

（4）管道完整性大数据存储与集成。基于模型创建统一的数据库，将管道建设期和运营期数据处理后入库，并将管节焊缝的所有数据信息进行关联查询。

（5）管道完整性大数据校验。数据核对是整个数据处理保证最终入库数据准确性的重要环节，为保证数据处理的成果能够顺利地支撑管道完整性管理系统的运行，满足管道管理人员日常业务处理的基本要求，大数据校检核对的主要内容包括：①检查数据处理范围是否完全；②检查数据处理类型是否完全；③检查数据是否按照正确的逻辑关系入库；④检查评价和检测数据里程校准是否正确；⑤检查业务数据是否录入完全、准确。

3 管道完整性大数据对齐优化整合

近年来，大数据逐渐渗入到管道信息的管理中，并得到广泛的传播和应用。大数据的理论依据包括相关性分析理论以及非因果性分析理论，管道系统信息的大数据是经过众多管道数据相互结合产生，这些数据包括管道地理数据、管道建设期数据、管道运营期数据、管道腐蚀数据、资产设备数据、检测监测数据、市场数据等。但是这些管道数据在应用中相对独立，或者只是对部分数据进行集成，不能满足管道系统大数据的要求，需要应用现代技术手段建立数据分析模型将各种管道信息数据统一起来，如云计算、互联网、物联网、地理信息系统集成等技术，解决目前管道数据所面临的有效应用问题，包括管道泄漏、腐蚀、自然地质灾害、第三方施工破坏等。经过大数据的整合能够获得对管道信息的管理、灾害的监测、市场的发展预测、管道运行的监管等全面的统计分析结论，指导管道企业的可持续发展[8-10]。

3.1 管道完整性大数据对齐优化整合思路

采集管道基础信息数据，全面研究有关管道信息数据的采集、存储、处理以及集成技术，将从外部数据源获取到的各类型管道完整性数据导入到数据存储系统。系统能够完成大数据平台与外部采集数据之间的交互，利用多维统计分析、数据挖掘等算法实现对管道完整性大数据相关性分析，并且完成管道施工期以及运营期间的数据对齐整合、内外检测数据对齐整合、管道管理数据与运行业务数据的对齐整合[11-12]。

3.2 管道完整性大数据对齐优化数据整理

为完成对管道完整性大数据的对齐优化以及整合，需要将管道竣工资料数据和内检测数据分别整理到模板文件中，并将管道施工记录数据与内检测数据按起始位置顺序排列，整理数据内容包括：

（1）内检测数据。主要包括内检测报告，即工程及管道基本信息、参考点、壁厚变化、弯头、管道附件、焊缝异常点、管节、金属损失、变形点等数据内容。

（2）管道竣工数据。包括管道竣工量测成果、管道建设期数据、管道压力测试记录、检测方法、相关检测结果、是否重修、连头口、金口等数据。

3.3 内检测数据对齐方法

内检测数据对齐方法的基本原理：一是将内检测采集到的焊缝编号结果与运营期获取的焊缝编号进行对应，二是将在建设期采集到的管道属性信息数据、运营期获取到的管道检测结果以及管道周围自然环境数据三者之间建立相关关系。数据对齐的基本步骤如下:

（1）将首个施工期以及管道内检测结果中的环焊缝查找出来，检查管道出站后的弯头、阀门、三通、短接等管道特征。

（2）基于已有的内检测数据焊缝编号的规则，将施工期的相关管道安装信息所记录的焊缝编号自动向下游数据进行对应。如果此时对应到下一个管道的硬性参考点，那么根据这个硬性参考点来对施工期管道安装记录中的管道节点特征与内检测采集到的结果中的管道节点特征是否对应进行判断。相关数据进行对应的过程中，可变壁厚点可以作为管道数据对齐的管道节点特征。

（3）如果管道节点特征相互对应，那么从第二步程序开始重复，一直到所有管道数据都完成对齐。如果在对应过程中有管节数据不对应，那么需要进入程序的第四步，进行检查与修改。

（4）将内检测的管道节点长度数据与施工建设期所记录的管道节点长度数据进行比较，同时为了控制结果的精度，需将单个管道节点长度误差以及管道节点总累计误差均控制在误差范围内，这样可以保证对齐结果的准确性。如果超出误差范围则认为该管道节点数据存在问题，不能完成管道节点数据的对齐。

3.4 内检测管节与管道施工记录对齐方法

（1）将管道上的弯头作为参考点对齐两侧数据。

（2）将弯头数据与内检测数据在管节列表中进行匹配。

（3）管道施工记录数据中管节数据的电子化整理录入。

（4）依据内检测数据中的管节与弯头的数据对其管道施工记录数据中的管节列表。

（5）将管段壁厚变化点作为参考点对齐两侧数据。

（6）对应到内检测数据管节列表中。

（7）处理内检测数据管节列表，一个管节一条记录。

（8）依据内检测数据中的管段壁厚变化点数据对齐管道施工记录数据中的管节列表。

（9）将管道附件作为参考点对齐两侧数据。

4 结论

通过采集实验段管道基础信息数据，全面研究有关管道信息数据的采集、存储、处理以及集成技术，将从外部数据源获取到的各类型管道完整性数据导入到数据存储系统，能够完成大数据平台与外部采集数据之间的交互，利用多维统计分析、数据挖掘等算法实现对管道完整性大数据相关性分析，并且完成管道施工期以及运营期间的数据对齐整合、内外检测数据对齐整合、管道管理数据与运行业务数据的对齐整合。研究得出管道建设期与运营期的数据关联关系及应用方式，即以竣工资料或管道内检测提供的各管节信息为基准，以内检测数据、施工资料、环境资料和运营数据等作为管道大数据的基本元素，将内检测数据与施工数据进行对齐以及整合，建成适合于实际情况的大数据管理的完整性数据架构和模型。同时，将油气管道内检测数据与竣工资料焊缝数据进行比对分析，可以梳理出内检测数据与竣工资料不能对应的异常焊缝及管节数据，为管道焊缝缺陷排查、风险评价及焊缝开挖验证评估等工作提供依据；研究基于业务应用的管道完整性管理平台。在已有的数据平台的基础上，通过资源整合，利用各数据管理平台的优点，研究管道数据快速搜索调用方法及数据应用方式，建立面向业务应用的管道完整性管理平台，为管道完整性管理及应急抢险提供支持。