基于FME的排水管网隐患数据质量检查技术研究

陈莎，谭仁春，陈子凡，石淼，江威

(1.武汉市测绘研究院，湖北 武汉 430022； 2.武汉市勘察设计有限公司，湖北 武汉 430022)

1 引 言

城市排水管网隐患排查工作的开展，旨在探明市政排水管网空间分布与属性信息，通过查明各污水系统内雨污管道混接、错接状况、查明混接点(源)准确位置信息；采用各种设备对排水管道及设施内部进行功能性、结构性缺陷监测评估，可以为混错接点整改、管道缺陷修复提供依据[1]。

由于城市排水管网隐患成果往往具有数据量庞大、属性项丰富、错误隐蔽性高等特点，质量控制成为隐患排查工作中的关键环节。本文以武汉市中心城区排水管网隐患排查项目为例，探讨利用FME平台研发排水管网隐患数据质量检查模块的技术方法与内容。

2 排水管网隐患质检内容

2.1 质检数据源

排水管网隐患外业调查成果为Microsoft Access数据库的mdb格式文件，包含排水管网数据两项，隐患数据两项，以此四项数据表作为排水管网隐患质量检查的数据源。

(1)排水管网数据

主要为排水管点与排水管段两类数据表，包含排水(雨、污、合)管道名称、管径、管内底高程、材质、长度、排水性质、流向、权属，井深、井内状况等空间及属性信息，表达排水管网的分布及连接关系。

(2)隐患数据

采用管道潜望镜(QV)检测、闭路电视(CCTV)检测等现代化管道检测手段，调查排水管网的雨污混错接，查明雨水和污水管道混接情况、沿途社区商铺污水私接情况等，形成混接点数据表。

通过管道潜望镜(QV)检测、闭路电视(CCTV)检测、全地形机器人、声呐检测等现代化排查手段，调查排水管网存在的功能性缺陷(沉积、结垢、障碍物、残墙坝根、树根、浮渣)及结构性缺陷(破裂、变形、腐蚀、错口、起伏、脱节、接口材料脱落、支管暗接、异物穿入、渗漏)，形成缺陷检测信息表。

2.2 质量控制流程

排水管网隐患数据的质量控制环节主要由FME质量检查模块、人机交互质量检查以及外业核查等工作结合而成，其中FME质量检查模块包含数据结构检查、属性检查、空间检查与逻辑一致性检查4个子模块，从各个方面对排水管网隐患外业调查成果进行检核，具体流程如图1所示。

图1 质量控制流程图

3 质量检查关键技术

3.1 质检规则设计

质检规则主要依据《测绘成果质量检查与验收》(GBT 24356-2009)[2]和《武汉市排水管网隐患数据库标准》(DB4201/T 650-2021)[3]，深入挖掘排水管网隐患数据的特性，科学分析排水管网隐患数据的现状，对检查内容进行归纳与提取，设计详尽完备的检查规则，并制定切实有效的检查方法。检查规则项如图2所示。

图2 质检规则项设计图

(1)数据结构检查

数据结构检查模块主要对数据库各表是否符合规范要求进行检查，主要包括①检查数据库各表使用的坐标系统是否正确；②检查数据库各表是否缺失或多余，命名是否符合规范；③检查数据库各表属性字段是否缺失或多余，命名是否符合规范。

(2)属性检查

属性检查是对数据库各表的属性值填写内容进行检查，主要包括①字段内容是否在值域范围内；②必填字段是否为空；③排水管点外业点号是否唯一；④排水管段编码是否唯一；⑤排水管点地面高程超出[10，50]范围内时生成复核提示；⑥排水管段的管段长度与计算几何长度是否一致。

(3)空间检查

空间检查是对数据库各表转换为空间表达形式后进行检查，主要包括①排水管点在空间上是否不与任一管段相连；②排水管点(非混接管点)存在空间重叠时生成复核提示；③排水管点为所有与其相连管段的终点(2段及以上)时生成复核提示。

(4)逻辑一致性检查

逻辑一致性检查是对数据库各表在空间表达与语义化表达方面在逻辑上的一致性检查，主要包括①排水管点点号是否存在对应管段；②排水管段管段编码是否为起始外业点号与终止外业点号构成；③混接点是否存在对应排水管点；④检测管段是否存在对应排水管线；⑤缺陷检测信息同一检测管段的是否存在相同缺陷记录；⑥缺陷检测信息缺陷类型、名称、代码、等级、分值和评价是否一致，是否符合相关规定。

3.2 质检模块研发

排水管网隐患数据的质量检查工作即是依据以上质检规则，利用FME平台进行质检模块制作，并将质检结果分类输出。质检模块的研发主要包括以下内容。

(1)配置信息数据库建立

配置信息数据库的建立主要包含以下三个部分。

①根据《武汉市排水管网隐患数据库标准》(DB4201/T 650-2021)规定的数据库结构、数据表结构、编码结构、填写规范及相关要求，制作标准数据库模板；

②基于《城镇排水管道检测评估与技术规程》(CJJ 181-2012)[4]中对结构性缺陷与功能性缺陷的名称、代码、等级划分及分值的相关规定，制作缺陷信息表；

③考虑到测区地理状况与排水管网的实际现状，设置合理的检查条件，如排水管点的高程值超出[10，50]则生成复核提示，因此需制作特定属性项值域范围表；

这三部分作为配置信息数据库，用于FME质检模块的调用与参考。

(2)FME质检模板制作

①空间数据构造

排水管网隐患数据在mdb数据表中以表格数据项的形式存储，是一种非空间数据库格式，以排水管点的外业点号作为关联属性，由排水管点的X、Y坐标值作为基础定位信息，分别构建排水管点、排水管段、混接点与缺陷点的空间图形，为质检项中涉及空间关系检查的内容提供支撑。

排水管点的构建采用VertexCreator转换器，其中Mode为Add Point，将X Y Z Value直接对应为X坐标、Y坐标、地面高程即可。

通过AttributerKeeper转换器，将排水管段保留管段编码、起始外业点号、管底高程属性为A，保留管段编码、终止外业点号、管尾高程属性为B，保留排水管点的外业点号、X坐标、Y坐标，A、B分别通过FeatureMerger转换器与管点进行关联，并通过AttributeCreater转换器为A、B建立标识参数flag分别赋值为1与2，并保留管底高程与管尾高程为Z值，采用VertexCreator转换器构造点，利用Sorter转换器分别对管段编码(Alphabetic/Ascending)与flag(Numberic/Ascending)进行排序，再通过LineBuilder转换器两点连线，其中Connection Break Attributes为管段编码，构建排水管段。

混接点通过外业点号通过FeatureMerger转换器关联对应排水管点生成。

缺陷检测信息表中的记录项是针对排水管段的检测记录，因此构造缺陷点需要通过排水管段的起止点坐标值与缺陷距离来共同生成。缺陷信息表中检测记录的坐标值可以参考排水管段的构建方式获取，将起始点坐标设置为X1、Y1、Z1，终止点坐标设置为X2、Y2、Z2，则先利用这些坐标值利用Expression Evaluator转换器计算排水管段的管段长度D，规定缺陷点的坐标值X0、Y0、Z0：若缺陷距离为0，则X0=X1，Y0=Y1，Z0=Z1；若缺陷距离与管段长度相等，则X0=X2，Y0=Y2，Z0=Z2；否则通过Attribute Creator转换器生成缺陷点的坐标值X0、Y0、Z0，再采用Vertex Creator转换器构造缺陷点。

②数据结构检查

以SCHEMA方式将质检数据源与配置信息数据库的标准数据库模板分别输入，利用FeatureMerger转换器，将FME_FEATURE_TYPE_NAME作为关联字段，判断未成功匹配的数据结构并输出。

③属性检查

属性值域检查

通过FeatureMerger转换器将目标数据库与配置信息数据库的标准数据库模板关联，利用AttributeCreater转换器的Parameter Condition Definition进行条件判断生成并输出质检记录。

属性唯一性检查

通过Matcher转换器检查排水管段的管段编码与排水管点的外业点号，输出存在重复的数据项。

属性正确性检查

通过Tester转换器判断相应数据表的属性项内容是否满足相应条件，不符合即输出相应记录。

④空间检查

孤立管点检查

将管段通过AttributerKeeper转换器分别保留“起始外业点号”与“终止外业点号”，并经过GeometryRemover转换器移除几何信息，与管点的“外业点号”进行关联查询，并通过Tester转换器排除管点附属物为雨水篦、出水口、进水口的情形，即生成不与任何管段相接的孤立管点。

重复管点检查

在剔除孤立管点后进行，利用PointOnPointOverLayer转换器并筛选_overlaps>0的数据项为重叠项，再与混接点数据表进行比对排除，进行重叠检查。

管段终点检查

通过AttributeManager转换器根据“流向”中的填值为0或1确定排水管段流向的“真实起点”与“真实终点”，再将无法匹配到“真实起点”的管段利用DuplicateFilter转换器将“真实终点”重复的管段与管点利用FeatureMerger转换器进行关联，找到为所有与其相连管段(大于2根以上的管段)终点的排水管点。

⑤逻辑一致性检查

逻辑关联关系检查

排水管点、排水管段、缺陷检测信息、混接点之间的逻辑关联关系主要通过外业点号、起始外业点号、终止外业点号等字段利用AttributeManager转换器进行关联，通过对UnmergedRequestor、UnusedSupplier等输出端的结果进行分析，输出空间逻辑不一致的数据项列表。

逻辑约束关系检查

同一条记录中不同属性项之间逻辑约束关系检查，主要通过AttributeCreater转换器，设置相应的判断因子Test Condition与描述值AttributeValue，将存在多属性逻辑不一致的数据项进行详细错误描述并输出。

逻辑一致性检查

缺陷检测信息缺陷类型、名称、代码、等级、分值、距离、分布时钟和评价的一致性检查，先通过Tester转换器过滤掉缺陷名称为正常的数据项，再通过FeatureMerger转换器与配置信息数据库的缺陷信息表关联，关联字段设置包含缺陷名称、缺陷代码、缺陷等级，未关联上的表明缺陷名称、代码与等级不符合标准规定。部分FME质量检查模板示意图如图3所示。

图3 部分FME质量检查模板示意图

(3)质检结果样式制定

数据质检的意义在于检查出数据错误并反馈至数据生产侧，及时对数据缺陷进行完善。质检结果需保留数据源的数据表名以及相关标识属性，便于定位查找，且应以相对通俗、科学、合理的语言文字详细描述质量问题，易于理解核查，以包含上述两类信息的Excel表格按记录项来表达质检成果，如图4所示。

4 基于FME质量检查的优势

4.1 过程可视性

FME质量检查模块的运行过程中，在平台上实时显示数据的流动轨迹、当前转换器节点与对应转换器各端口输入输出数据个数，直观地反映每一步的处理情况，可以发现数据中存在的问题，易于及时更新质检策略。

4.2 定制便捷性

根据不同批次、不同地理位置、不同作业单位提交数据源的实际质量情况，可新增、禁用或激活部分质检转换器与质检子流程，或在相关转换器中直接对参数进行重新填写(如合理调整容差等)，实现质检程序的高效快捷定制。用户在可视化的工作空间内，按照实际需求对转换器进行“组装”，以此来实现对GIS数据的特定化处理[5]。

4.3 配置灵活性

用于FME模块调用与参考的配置信息数据库设置为Excel格式，针对不同的数据标准与数据要求，对Excel进行灵活配置与编辑更新。例如可通过修改Excel表格随时重置特定属性项的值域范围，不需调整FME程序即实现了适配新标准，服务新需求。

5 结 语

排水管网隐患排查为后续雨污分流改造、管网修复改造工程、清淤减污、提质增效等行动提供了有力数据支撑，排水管网隐患数据成果的质量关乎河湖流域水环境治理的成败。本文基于FME的自动化、批量化质检模块的研发，尝试构建了科学、合理的质检规则。本文中提到的FME实践成果为武汉市中心城区排水管网隐患排查项目提供了高效实用的质量控制解决方案，为项目顺利验收及下一步工作的开展提供保障。