市政地下管网运维大数据预处理技术的研究与应用

郭兴根 刘 帅 赵 威

河北天元地理信息科技工程有限公司河北省市政管网智能监控技术创新中心 河北 廊坊 065201

市政是规划和管理重要组成部分，随着市政建设不断发展，市政建设中出现越来越多信息，这就要求市政地下管网建设中大数据和安全控制。同时，要对地下管网进行更新改造，提高维护效率，降低失效概率，减少间接伤害，对市政发展有着重大的现实意义。随着城镇化进程加快，地下管网铺装量也在不断增加，各个市政发展进程中，在市政道路和建筑周围，会出现大量地下管网，增加地下管网的挖掘和维修困难，并且由于支护困难，可能造成周围土壤沉降开裂，路面围护占用路面，影响交通流量，造成重大经济和社会损失。在此基础上，结合我国实际情况，提出一种基于大数据的市政地下管网预处理技术方法。

1 市政地下管网概述

作为现代化市政基本设施的一个重要组成部分，地下管网包括给水、排水、燃气、热力等多种类型，具有种类繁多、分布广泛周期长等特点，而且随着市政规划和建设发展，数量也在增加，而且还在持续地进行着升级。在市政建设、规划、设计、施工、管理、决策等方面，市政地下管网是市政建设和管理基本依据。由于对地下管网了解程度较低。因此，对其进行全面、准确监测不仅会对市政生活产生诸多影响，而且还会对社会、经济产生巨大影响。而市政地下管网又是人类身体中的“血管”与“神经”，随时承担着与之有关信息与能源传输任务，是一个城市长久存在与高速发展重要物质支撑，也是其“生命线”。所以，对市政地下管网进行数字信息管理，就成为对地下管网进行建设和管理一个关键步骤。另外，在我国市政快速发展、人口高度集中背景下，我国城市快速发展，负荷日益加重，对地下管网依赖与日俱增。市政危害越来越明显，特别是在快速扩张和发展的市政，其自然灾害、环境灾害和人类活动灾害都非常严重。一座现代城市要实现可持续发展，需要具备安全保障，尤其是在遇到紧急情况和灾难时，可以迅速作出正确决定，并进行高效救助。因此，站在城市发展战略高度，对地下管网在市政规划、建设和管理中的角色与地位进行全面理解。

2 地下管网的特点

市政地下管网主要是在地表之下的一个区域内，形成一个错综复杂、非常混乱网络结构。它具有4个最重要特征：不可见，因市政综合网络基本都是布置在地下的，所以一个显著特征就是看不见的，这使得人们很难得到精确空间定位和有关属性信息；复杂多样，因市政地下管网在地下分布极为复杂，并且彼此交叉，类型繁多，杂乱无章；整体统一，因市政地下管网在其功能上是一个体系的，是一个完整的，相同管网、不同区段可以互相连接起来，共同发挥各自功能与效果；状态变化，随着现代社会快速发展，每一座大、中型市政规模都在发生着改变，这就导致网络状况发生很大改变[1]。

3 地下管网的分类

对于地下管网，可以有多种类型：根据使用对象，可以分为给水、燃气、雨水、污水、强电、弱电等；按照其服务范围，还可以将其划分为：市政公用地下管网、小区地下管网、施工场地地下管网、专业地下管网等。我国市政地下管网工程设计中，以市政地下管网设计为主，满足市政地下管网设计需要。与此同时，也可以便利政府各职能部门之间监督和高效管理。数字地下管网是为专门地下管网设计、规划、施工和管理服务，而在地下管网部分运行则是为了在地下管网的一些特性很难被详细展示出来，通过将这些特性进行部分放大处理，这样就能更好展示出与当地地下管网有关信息。

4 市政地下管网运维大数据预处理技术概述

4.1 技术背景

伴随着市政进程的持续加速，当前，市政综合地下管网建造品质持续提高，各类市政管线覆盖程度提高，不仅保障社会发展，同时也促进经济发展和建设。然而，在运行几年之后，地下管网经常会发生一些故障，比如地下管网磨损，这时又要面临频繁维修，交通管理，造成资金压力一年比一年大。其中，“先地上后地下”的市政规划方式会造成地下管网无序运行，从而加大地下管网运营费用，并对社会经济发展造成极大阻碍。本项目研究成果将为新市政和新城区的发展提供理论依据和技术支持，为市政道路和建筑等地区地下管网提供智慧运行管理平台，不仅能够从某种角度上缓解市政地下管网过密问题，还能够提高市政地下管网运行效率，缓解道路的拥堵状况，从而推动社会发展和进步。

4.2 技术定义

市政地下管网运维大数据预处理技术属于一种在大数据背景下所产生的安全控制技术，它可以很好地满足地下管线、道路桥梁安全运营实际情况。一般而言，市政基础建设、安全生产等多个方面的数据处理技术都是由多个方面管线信息进行汇总和分析，从而能够建立一个更加完备智能化服务平台。

4.3 技术内涵

市政地下管网运维大数据预处理技术在现代发展中有着广泛应用，是建立智慧市政不可或缺的一部分。在对地下管网进行数据跟踪和监控过程中，可以对地下管网的复杂性和特点有更深一层认识，在此过程中，还可以对数据进行一些难度分析和总体调整。同时，利用二阶差对彩色图象进行实时可逆向遮蔽，实现对故障定位扩展，从而满足对现场分析和检测需要。同时，在本次研究中，主要通过分段差值扩展技术与非线性误差技术来进行技术处理，可以在成本可控情况下，达到可逆数据隐藏和彩色图像扩展管理目的，从而进一步提高智能监控系统数据效率，同时也符合技术发展客观需求。

5 数据库技术

5.1 系统数据存储

GIS与 ORACLE之间联系是利用空间数据库引擎 ArcSDE来实现，该系统有关数据储存模式都是以 GeoDatabase模式为基础的，同时还可以根据工业数据做合适扩充。其中，地理信息系统以元素类、关联类、栅格目录、Terrain、属性表等为基础，以地理信息系统中地理信息系统（GeometryNetwork）、规则（Rule）、子类（子类）、域（Domain）等为基础进行地理信息系统扩充。

5.2 系统功能介绍

系统在查询统计、决策分析等功能上有很大优点：视图显示，为了便于对系统中地图展示区域进行调整，系统还提供放大、缩小、前后视图和漫游等功能，以便于对系统地图视野进行调整；查询功能，为了便于对地下管网信息进行查询，该系统还提供一个查询功能，可以采用两种方法进行查询，第一种方法是利用管线图形信息来对属性信息进行查询，第二种方法是利用属性信息来对管线进行查询，也就是一种方法是以管线图形为依据，对地下管网特定起始点号、终止点号、埋深等进行查询。第三种可以按照诸如材料、管径等所设定管道属性信息，将地下管网特定位置定位到所设定位置；定位功能，利用诸如地名、道路、图幅等指标数据，可以迅速发现所要查找管道，还可以根据所需坐标来确定地下管网位置；辅助工具，利用标尺测量仪器可以测量距离、角度、面积等，并可以用标记法把地下管网特性信息标记在地图上；决策分析，通过横剖面和纵剖面分析，为工程规划和建设提供依据。同时，通过横向和纵向净距和覆盖深度计算，检查地下管网布置情况，确保地下管网的布置与国家标准的一致，并通过火灾救援等功能，为人民的生产生活服务，尽量降低经济损失[2]。

6 非线性DELTA误差技术地下管网数据压缩算法

6.1 管线监控类数据字典

为了加快地下管网采集速度，监测站点数据字典，采用变量压缩比处理方法，对地下管网的监测资料。同时，在预警线下的数据上。在预警线下的数据变化较小、数据量大、压缩率高。其中，超过预警值数据超过预警值是监测重要数据，所以数据量小、用无损压缩，可以减少数据冗余，从而提升数据存储率。

6.2 实时变化数据压缩描述

在对地下管网资料进行监视时，因地下管网资料变动幅度很小，因此可以说，地下管网情况比较平稳，而一旦数值变动很大，说明有意外情况出现。因此，在监视时，大部分资料都是变动幅度很小资料，应着重对其进行压制。其中，一些数据是在最大与最小之间数据，它们占很大比重，因此在对它们进行压缩同时，也要对它们进行无损压缩。另外，在项目中，非报警值数据属于第一类数据，这种数据是比较稳定，数据间差异很少。因此，对于这种数据处理，只有当前后数据的 Delta差值超过某一条预警线Φ1时，才会将这种数据记录在数据库中。此资料为目前资料尺寸与之前资料尺寸之对比，若二资料间之错误超过 phi;时，将该数据记入数据库。

7 面向市政地下管网运维的数据预处理技术

如果能够正确运用市政地下管网运维大数据预处理技术，能够很好地解决地下管网系统建设不科学问题，在降低后期运营成本，提高运营效率方面都有着无可取代的影响，现就技术实现过程进行讨论，具体内容如下。

7.1 树立专业人才全员参与意识

在大数据下，以工程项目为主传统监理方式走向以信息化为主的新型监理方式，其首要任务是加强对施工项目监理人员培训。借助全国指导方针，加强对当前监管工作宣传与交流，从观念到行动，全方位提高管理工作信息化水平与行动意识；引入技术性人才，并逐渐降低监理人员选聘与考评标准，不仅要有较强工程知识，还要有较强信息技术应用能力；提升管理标准，引导相关工程、企业及管理者积极地提供相关信息，鼓励企业采用以互联网为基础协同作业、建筑信息模型（BIM）、物联网等信息化管理手段，为未来大规模信息互联互通奠定基础。同时，新时期市政行业监管部门，要建立起让所有人都能够参加观念。工程技术专业人员也应要学会和掌握现代化信息技术，在观念上要逐步摆脱传统监管方式，在技术上要对科技设备和软件系统操作技巧进行提升。

7.2 实现基础信息数据互联互通

由于市政基础设施参与主体众多，基础信息重复率高，信息采集、传递和共享困难，而在施工阶段，信息变化快，精度低，使管理部门难以对其进行实时监控。在传统监督管理方式下，对已有问题进行现场检查和纠正，往往要耗费大量资源和精力，从而导致巨大浪费。同时，构建数字监管系统，可以实现对工程项目从报监到竣工验收、备案全过程质量、安全进行精细化、差别化监督，具有重大现实意义。其中，要保证信息互动便利，市政监管系统是管理中建筑产业的一个关键环节，仅仅依靠单位本身条件所获得数据总是不够全面，工程体系相互联系，且体系结构复杂，具有较强专业性，较高重复频率，快速变化和较高证据要求。因此，要想在保障信息安全，使数据互联互通，最有效、最快速的方法就是利用一个国家统一数据大平台来进行数据交换。

7.3 非线性误差技术地下管网数据压缩算法

在全覆盖地下管网数据监控中，平台需要不间断的连续运转，期间会生成大量的时间序列，不仅能够反映出运营期内地下管网领域工作状态和工作量变化，还能够对其进行更深层次挖掘，提高数据密度，帮助决策者实现精确决策。在进行分析过程中，会牵扯到很多数据存储与传输问题。在不损失重要有效数据基础上，还要对信息合理性、科学性进行更多考量。在此基础上，针对不同类型资料，对资料进行不同类型观测，并对其进行相应分析。另外，管线监控数据集合。管线监测数据集合存在能够提高管线信息获得速度，并与可变压缩率情况相联系，对预警线数据进行处理，将那些数据量较少但起到预警作用信息，都要纳入到分析序列中。如果超出警报范围，必须对该区域数据进行特别监测。其中，对于非线性误差压缩算法实现过程。非线性误差压缩算法是一种从传统压缩算法中衍生出来一种先进算法，它种类很多，包括一级预警、多级预警等。在对算法实现进行分析的时候，要将报警的上下限设定等内容纳入其中，将地下管网数据监测过程和数值范围当作分布条件，对数据进行追踪和监测，以达到对数据压缩。有些资料是介于安全与警告性之间资料，必须加以调整，以达到科学化目的。

7.4 基于分段差值法地下管网数据解压缩算法

在实现大数据预处理技术同时，利用分段差值法对数据进行解压也有着诸多优点。因这种技术可以将学习和数据挖掘问题结合起来，将数据处理效率最大化，减少多余数据比重，因此，可以很好地适用于地下管网系统建设，从而可以避免数据短缺和填补不够情况。同时，在市政中，为了处理工程具体问题，对资料进行研究大多都是使用分段差值法。因此，对测点资料进行6S一次采集，并对其进行适当储存，在必要间隔序列中进行数据分析[3]。

8 结束语

总而言之，在未来市政地下管网建设和智慧城市规划管理中，市政地下管网运维大数据预处理技术有着非常重要意义。运用数据解压缩，数据偏差计算，数据挖掘存储等方法，使地下管网设计与运行更加有效。因此，地下管网信息平台需要更加稳定、可靠数据，从而满足大规模市政管道数据需求，提升地下管网的数据分析能力，保证其总体工作效率。