地下管线数据质检入库系统的设计与实现

2022-08-02 07:01徐齐行江毅奋
地理空间信息 2022年7期
关键词:字段入库普查

徐齐行,江毅奋,刘 朝

(1. 上海勘测设计研究院有限公司,上海 200000)

城市地下管线是指城市范围内的供水、排水、燃气、热力、电力、通信、工业等管线及其附属设施,是保障城市运行的重要基础设施和“生命线”[1-3]。近年来,为加快智慧城市建设,对城市地下空间的基础设施建设要求也越来越高,各类管线管理系统迈出了数字化建设的坚实一步。地下管线数据作为管线管理系统的血液,数据质量直接影响分析应用的准确度和可靠度[4]。因此,本文对当前城市地下管线普查的成果数据以及地下管线数据质检要求进行了分析,设计了一套符合探测单位、业主单位进行自动化检查的流程;结合实际可操作性,制定了符合当前管线普查单位的管线数据质量模型评价体系;并基于空间数据质检和入库关键技术(ArcGIS Engine),实现了地下排水管线普查数据质检入库系统,提升了地下管线普查数据的整体质量。

1 地下排水管线探测成果现状调研

目前地下排水管线的展现形式主要分为二维、仿三维和三维。三维和仿三维管线数据生产的主流技术均是基于二维地下管线数据实现的[5],三维和仿三维模型也是基于二维数据生产而来[6],因此二维管线数据的质量至关重要。针对城市地下排水管线的探测,中华人民共和国住房和城乡建设部已发布了GB/T 51187-2016《城市排水防涝设施数据采集与维护技术规范》[7];但全国各省市探测单位已有的探测技术、以往的项目探测要求以及最终的探测成果各有差异,这对建立格式统一、信息完整的地下排水防涝数据库影响较大。

本文对长江流域的九江、芜湖、武汉、鄂州、重庆5 个城市的地下排水管线探测成果数据进行调研发现,每个城市的成果数据形式都不同,即使是同一个城市,成果也不一样,主要是由片区负责的探测单位不同而导致的。5 个城市探测成果的不统一主要表现在3个方面:

1)成果数据库不统一。其主流格式为Access 的mdb,其次为xls、xlsx格式,还有txt、shp、gdb等格式。

2)成果数据的表结构不统一。表名称、字段个数、字段名称、字段类型、字段长度等不统一。

3)业务字段表达不统一。管段材质字段填写不统一、长度单位不统一等。

因此,亟需建立一个帮助各探测单位将非标准成果转换为标准成果,并进行准确、快速、高效的探测成果质量检查的系统。

2 检查规则研究

本文主要根据《长江大保护城市地下排水管线数据入数据库要求》(以下简称《数据标准》),并参考行业内城市地下管线相关标准规范[7-9],共设计了18个质检项。根据质检项的质检范围和特征可分成基础检查、业务逻辑检查和拓扑检查3大类。

2.1 基础检查

基础检查包括:①表完整性检查,根据《数据标准》中的表结构规定,检查探测成果中相应的表是否存在,表缺失则为错误;②字段缺失检查,根据《数据标准》中的字段规定,检查探测成果中相应的字段是否存在,字段缺失则为错误;③字段非空检查,根据《数据标准》中的字段规定,检查探测成果中相应的字段值是否为空,为空则为错误;④字段类型检查,检查探测成果中相应的字段类型与《数据标准》中是否一致,不一致则为错误;⑤字段长度检查,对于文本类型的字段,检查探测成果中相应的字段长度是否小于等于《数据标准》中规定的长度,大于则为错误;⑥坐标系检查,检查坐标系是否为CGCS2000。

2.2 业务逻辑检查

业务逻辑检查包括:①属性值域检查,检查探测成果中相应字段的值域范围是否满足《数据标准》中的规定,如井盖尺寸、管道材质、流向、管线等级等字段,不满足则为错误;②管点管线对应关系检查,管线表中的管点编号需在管点表中找到;③管点管线编号唯一性检查,检查探测成果中的管点、管线编号是否唯一,若有重复则为错误;④坐标重复检查,检查X、Y坐标是否重复,主要检查录入错误;⑤逆坡管检查,检查重力管中流向与坡度不符的管线[1];⑥雨污混接检查,检查雨水点是否与污水管线相连[1]。

2.3 拓扑检查

拓扑检查包括:①重合管点检查,检查同一坐标是否有两个管点;②重合管线检查,检查管线是否为重合关系;③孤立管点检查,检查是否存在没有管段与管点相连的管点,该管点可能为错误;④管段长度为0 检查,若管段长度为0 则为错误;⑤管点下游连接关系检查,检查管点是否无下游连接关系,若无则可能为错误;⑥行政区划范围检查,检查管点或管线是否在该城市行政区划范围内。

3 空间数据质量模型评价体系

本文在研究国内外有关成果的基础上,结合地下管线普查的实际情况,根据GB/T 24356-2009《测绘成果质量检查与验收》[8]的相关规定,制定了地下管线空间数据质量模型评价体系。通过显示每批次数据的质检得分排行榜,在各普查单位中形成一种对比和良性竞争效应,从而更好地刺激各普查单位提高数据普查质量。根据地下排水管线错误的严重程度,本文将质检项的错误等级分为I 级错误、II 级错误、III级错误和IV级错误,具体如表1所示。

表1 错误等级划分表

数据质量模型评价方法为:总分采取百分制,每出现一类错误,扣除相应分数。考虑到I 级错误比较严重,出现I 级错误可能导致其他质检项无法进行,因此设置出现一个I 级错误即扣100 分,终止质检;II 级、III 级、IV 级错误总扣分数为100 分,分别为60 分、30 分、10 分;错误比重为每种错误条数/总数据量×100,II 级、III 级、IV 级的扣分权重分别为6、4、0.2。对于IV级错误,经普查单位核实后符合实际情况的,可标记为例外。质检总得分在90分及以上的数据满足入库要求,可进行入库。在评价体系中,质检项的错误等级、扣分权重均可根据质检要求灵活调整。

4 系统实现与案例分析

地下排水管线数据质检入库系统主要采用B/S 架构,质检和入库算法采用ArcGIS Engine进行开发,然后利用Web API 构建HTTP 服务,供系统调用。系统包括数据标准化、数据空间化、数据提交、数据复核、数据入库5个模块。

1)数据标准化模块。将各普查单位的原始MDB数据,经过表和字段映射后,通过标准化检查转为符合标准的MDB数据。

2)数据空间化模块。各普查单位对标准化后的MDB数据进行空间化检查。管网数据只有通过检查才能对其进行图层分层、字段提取等操作,从而转换为GIS 格式数据,得到一个GDB 文件。未通过检查的数据需下载错误结果,并结合实际情况进行检查和修改。

3)数据提交模块。各普查单位上传GDB 文件进行质检。通过质检才能提交数据,未通过质检的数据需下载错误结果,并结合实际情况进行检查和修改。

4)数据复核模块。对提交的数据进行数据复核,通过则可进行数据入库;不通过则需通知普查单位重新进行数据提交。

5)数据入库模块。将数据入库到管网数字资产GIS数据库中。

地下排水管线数据质检入库流程如图1所示。

图1 地下排水管线数据质检入库流程图

本文以重庆市地下管线普查数据为例,对系统的质检准确性和运行效率进行验证。重庆市测区管点数据包括103 615 条记录,管线数据包括100 916 条记录,系统自动检查耗时24 min25 s,共检查出I级错误425个,II级错误5 204个,III级错误320个,IV级错误450 个。在系统中将错误结果导出,并对检查结果进行核对,证明错误确实存在。经过多次系统自动检查和数据修改,最终质检得分为92.3分,满足数据入库要求,成功入库。整个过程比传统管线数据检查的效率、准确性和实用性更高。

5 结 语

本文基于《数据标准》,深入研究了地下管线的数据逻辑关系,并制定了数据质检规则;根据GB/T 24356-2009《测绘成果质量检查与验收》[8]的相关规定,将质检项错误划分为4 个等级,并构建了地下管线数据质量模型的评价体系,实现了自动化、规则齐全的地下排水管线普查数据质检入库系统。经验证,该系统大大提高了地下管线数据检查的效率和准确度,保证了地下管线数据入库的质量,为将来地下管线数据的应用奠定了良好的基础。

猜你喜欢
字段入库普查
立即全面普查 警惕二代粘虫发生
胡春华强调:确保脱贫攻坚普查取得圆满成功
重磅!广东省“三旧”改造标图入库标准正式发布!
中国食品品牌库入库企业信息公示②
中国食品品牌库入库企业信息公示①
浅谈台湾原版中文图书的编目经验
2018年中国将开展第四次全国经济普查
Can we treat neurodegenerative diseases by preventing an age-related decline in microRNA expression?
身临其境探究竟 主动思考完任务——《仓储与配送实务》入库作业之“入库订单处理”教学案例
无正题名文献著录方法评述