王 斌
(上海市大数据中心,上海 200072)
近年来,大数据、云计算、新一代人工智能、区块链等新兴技术的发展与应用,理论建模、技术创新、软硬件升级等整体推进,正在引发链式突破,推动经济社会各领域向数字化、网络化、智能化加速跃升,为提高规划和自然资源治理的能力和水平提供了有力的技术支撑[1]。
国家“十四五”规划提出要“加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革”,将信息化作为实现国家治理体系和治理能力现代化的必要途径[2]。从中央18号文到自然资源部38号文,在要求构建“五级三类”新时代国土空间规划体系的同时[3],高度重视数据治理的作用,强调要建设覆盖全国、动态更新、权威统一的国土空间规划“一张图”[4]。上海市委、市政府更是将全面深化数据治理,健全数据治理体系,提升数据治理能力,助力城市数字化转型放在公共数据治理与应用重点工作首位[5]。
面对数字化转型和公共数据治理新要求,如何利用数字化转型势能,健全数据治理体系,加快推进国土空间规划数据治理,支撑自然资源部门履行“两统一”职责,建立“用数据审查、用数据监管、用数据决策”国土空间管控新机制[6],助力城市数字化转型,是当前规划和自然资源行业面临的严峻挑战。
上海规划和自然资源信息化建设起步比较早,经过20多年的建设,历经多次机构改革、数据资源整合融合,近年来通过实施“大规划”“大项目”“大土地”“大测调”“大登记”等模块建设,初步构建了以“一厅八室”为核心的信息化框架体系,涵盖国土空间规划、建设项目审批、土地资源、地质矿产、测绘调查、不动产登记等基础类、业务类和管理类数据。
随着数字化转型的深入开展,数据成为新的生产要素,数据治理的重要性越来越突出[7],但在建设和推进工作中也面临一些问题,主要表现为以下几个方面:
(1)全域全要素数据基础有待进一步巩固,数据底图广度和丰度不够,部分数据资源仍分散在不同的部门和信息系统中,存量历史数据字段缺失、数据重复、图属不对应的问题尚未完全解决;
(2)统一数据管理体系有待进一步建立,核心业务数据资源分散、标准不统一,跨模块业务数据调用多采用应用点对点接口方式,耦合度高,上下游业务衔接的变化极易造成数据完整性和一致性的破坏,造成资源浪费,运维复杂;
(3)数据质量管理体系有待进一步健全,数据录入规范缺少、手工化高,数据完整性、准确性低,存在不一致、不及时现象;
(4)全生命周期管理机制有待进一步完善,业务没有形成闭环,数据存在断点,上游环节数据不能真实、完整、及时传递到下游环节,没有办法支撑全流程管理服务。
如何有效地开展数据治理工作、建立标准体系、提升数据质量、打破数据孤岛、充分发挥数据的业务价值,是本市国土空间规划数据治理亟需破解的难题。
国土空间规划数据治理的总目标就是聚焦“业务生态、信息生态”两态融合,实现以大数据、人工智能等现代科技手段革命性重塑本市国土空间规划领域治理模式,构建规划和自然资源数字信息服务平台,建成“一套数据、一个平台、一张蓝图”,实施数据全生命周期管理,按照“一数一源、一源多用”原则,形成统一的覆盖全市规划资源行业的数据资源池,从而推进信息资源的整合、对接和共享[8-11]。
(1)在管理体系上,构建一套统一支持规划和自然资源管理和地理信息服务的新数据模型,建立以“数据驱动业务、业务带动数据”的数据治理流程,提升数据资源管理的整体性、规范性、科学性;
(2)在数据汇聚中,梳理、整合、重构分散在各部门的规划和自然资源数据,明确各业务板块之间数据交互关系,建立全局数据资源池,实现数据资源池内的数据有序存放、互联互通、信息共享和快速调拨;
(3)在平台建设上,基于IT新技术框架,构建规划和自然资源数字信息服务平台,优化完善局数据库体系,实现自然资源数据“一数一源”“一源多用”的统一管理和共享应用,提升数据的支撑服务能力;
(4)在智能应用中,以信息技术为支撑,以业务关联协同为方向,深入推进“一厅八室”系统整合,支撑规划资源核心业务“全程网办”,助力自然资源治理决策科学化、精细化(图1)。
图1 上海市规划和自然资源数字信息服务平台框架Fig.1 Digital information service platform framework for planning and natural resources of Shanghai
针对当前规划资源行业数据缺少整体规划、数据模型过于复杂、标准体系不完善等痛点,以“业务数据化”和“数据资产化”为目标,通过设计规划资源核心业务顶层模型,分类识别核心业务对象特征,建立核心业务模型和梳理对象ER关系,构建上海市规划资源核心业务知识图谱。并在此基础上,结合国家有关国土空间规划编制政策法规和技术标准[12],充分考虑上海超大城市情况,形成一套既满足国家国土空间规划要求,又符合上海管理实际的空间规划数据标准体系。
以业务流厘清数据标准、业务模型和应用场景,促进业务需求完善、业务规则细化,不断改进核心业务模型;以数据流重塑业务组织、业务流程和业务规则,不断驱动业务对象、业务流程、业务规则的数字化。通过业务生态和信息生态的双向赋能,实现业务生态和信息生态“两态融合”,助力国土空间规划“评估、编制、审批、实施”全过程闭环管理和智慧化辅助决策。
对数据管理架构再造,严格对照业务应用场景和数据产生模式,构建“过程—成果—现势—历史”数据流处理框架,建立符合业务规则的数据生产全生命周期链条,实现对规划管控要素“前世今生”的可追溯。针对规划资源空间数据特点,制定上海市国土空间规划数据质量规范,提供可定制、服务化、配置化、自动化的数据质量管理服务,实现对数据资产无人值守、自动化的质量管理模式。
建立国土空间基础信息平台的数字化业务规则,将自动化、智能化算法嵌入到业务流程的“小场景”中,实现数据更新从传统的“人工拼合→数据上传→后台入库”方式到自动化方式的转变,满足国土空间规划编制过程中对规划管控要素的“动态”追溯和“血脉”分析。
(1)构建业务信息架构
围绕履行“两统一”自然资源核心职责,建立规划资源“一厅八室”的管理体系,对规划资源全域业务管理活动进行定义,基于“业务流程”自顶而下、基于“业务系统”自底而上,上下结合构建规划资源业务信息架构(图2)。
图2 上海市规划和自然资源业务信息架构Fig.2 Business information architecture for planning and natural resources of Shanghai
(2)设计核心业务数据模型
针对“一厅八室”核心业务,分别梳理其所涉及的办理、管理行为与流程,分析业务流程中的每一个操作,通过信息收集、业务体系梳理与对象识别、字段筛选与组织分类、数据定义与标准化、模型搭建与核验五个步骤,归纳数据项的数据特征,提炼数据共性、合并同类数据、过滤重复数据、明晰边界定义等方式,进行数据归类,形成核心业务数据模型(图3)。
图3 上海市规划和自然资源核心业务数据主题域Fig.3 Core business data subject domain for planning and natural resources of Shanghai
根据国土空间数据特性,将核心业务数据主题分为3个空间类主题、6个非空间类主题和1个公共基础类主题,其中空间类主题涉及266个对象、704个核心字段,非空间类主题涉及375个对象、599个核心字段。
按照核心业务数据在不同业务模块的分布,厘清识别多个模块的核心业务数据模型(图4)。
图4 上海市规划和自然资源核心业务对象数据流转图 Fig.4 Core business object data flow diagram for planning and natural resources of Shanghai
(3)标准化核心数据资产
基于国家在国土空间规划现行的有关政策法规和技术标准,充分考虑上海市实践特色的现实情况,确定了本市国土空间规划数据规范编制框架。结合国家、行业标准,从“业务、管理、技术”三个视角出发,建立了包括数据描述、字段定义、空间编码规则、非结构化数据定义等的标准体系,用于指导数据采集、成果入库、资料归档、共享交换、应用系统开发等信息化建设。以《上海市国土空间规划数据标准》为例,标准化是在原有6本规划成果规范的基础上,结合部国土空间规划数据标准体系,协调了同层次不同种类规划数据标准的差异,建立的全市统一国土空间规划数据标准,本次标准化对规划编制涉及的390个图层、2550个属性字段进行了规整,其中,为融合同层次数据标准,减少了179个图层、877属性字段,为关联上下位规划数据标准,增加了14个图层、426个属性字段并调整了46个属性字段,最终形成1本融合数据标准,共计225个图层、2099个属性字段(表1)。
表1 《上海市国土空间规划数据标准》标准化前后对照Table 1 Comparison table before and after standardization of Shanghai territorial space planning data standard
(4)重构数据管理逻辑
为满足“业务流和数据流”同步的要求,对“一厅八室”数据管理架构进行了再造,重构了数据管理逻辑,构建了“过程—成果—现势—历史”的数据流处理框架,涵盖了规划和自然资源数据全生命周期管理的各个版本、各个环节,为各模块应用开发提供了基础数据模型参考(图5)。
图5 上海市“大规划”模块“过程-成果-现势-历史”的数据流处理框架Fig.5 The data flow processing framework for planning module in Shanghai
过程库:存储支撑行政审批需要的来源于技术服务或中介机构的相关技术文档和数据,未通过审批不具有法定成果效力。
成果库:通过行政审批后,存储相关审批事项信息及对应的技术文档和数据成果,与审批事项一一对应,具有法定成果效力。
现势库:存储按审批时序、有效性对各类行政管控要素进行迭代更新后的数据,用于指导各类项目管控和数据服务。
历史库:存储现势库因更新产生的各历史版本数据,可进行时间和空间的数据回溯。
(5)清洗“劣质”数据
以规划资源核心业务数据标准为依据,结合存量数据分析情况,建立数据清洗技术和业务规则,技术规则主要是针对数据图形和属性进行检查,主要包括数据完整性、属性数据规范性和空间数据规范性;业务规则是针对数据进行业务逻辑和业务关联关系检查,包括图形范围控制、图层关系检查、属性值控制检查等。
以“大规划”模块为例,清洗范围为规划审批通过且已入库的市总规、9个区总规、28个新市镇、1个主城区单元规划、2614个控规、82个村庄规划、277个专项规划(详规层次)数据。清洗内容分为空间图形和属性指标两大部分,其中空间图形主要为图形拓扑、图层衔接、同层次数据重叠等问题,属性指标主要为审查值指标、新增指标项、代码值转换等问题。为加快清洗进度和确保数据质量,清洗方式采用了批量处理和人工处理相结合的方式,质量方面采用了技术质检和业务复验双机制确保清洗成果准确有效。本次规划专项清洗共涉及243个图层图形拓扑、19670个属性字段清洗,数据清洗成果共计4334629个要素,通过本次专项清洗,形成了图属一致、符合规范、要素齐全的规划资源核心业务数据,进一步夯实规划资源数据底座(图6、图7)。
图6 上海市“大规划”数据清洗前后对比情况Fig.6 Comparison before and after data cleaning in Shanghai
图7 面裂隙问题清洗Fig.7 Gap problem cleaning
(6)建立数据在线更新机制
为确保“业务流和信息流同步”,建立了在线数据更新机制,改变以往“批后入库”耗时长、入库数据质量不可控的现状,通过构建统一数据质量检查体系,将数据控制要求前置到数据上报阶段,上报成果只有通过离线端、在线端质检工具检查才可启动报批和入“过程库”工作,待行政审批流程办结完成后,自动将数据从过程库变更到成果库和现势库,而同层次因更新产生的历史数据则自动推送到历史库,采用此更新方式,明显提高了数据更新效率。
“大规划”模块,自2020年11月上线以来,规划数据增量更新入库超过400个项目,累计入库约258万个图元要素,调用数据入库功能服务共计1750余次,80%规划成果在审批流程办结后,通过在线自动更新机制于5分钟内完成了成果库沉淀、现势库拼合以及历史库推送工作。
(1)搭建核心数据共享服务平台
优化应用架构,搭建核心数据共享服务平台,其原则就是要尽量减少模块间业务数据传输,所有核心业务数据都必须通过共享平台来获取。本文为业务应用设计了统一的基于标准模型的数据API和数据视图,通过统一的数据API实现了数据服务与应用的解耦,简化了数据接入的复杂性,减少上游数据结构调整对下游数据应用的影响,提高了后续数据集成与利用的效率。同时平台对数据API进行统一的授权和监控,形成完整的数据访问链路,有助于构建数据全生命周期血缘关系,以及提高数据安全性(图8)。
图8 上海市规划资源共享服务平台数据API调用设计图Fig.8 Data API interface design diagram for shared service platform of Shanghai
(2)建立空间数据插拔式、配置式服务
针对国土空间规划数据空间性特征,建立了服务“可插拔、可配置”的空间数据服务引擎,通过插拨式可扩展技术实现了服务适配能力、需求反应能力、数据处理能力的快速提升,利用空间数据服务引擎可以快速搭建不同需求的空间数据处理流程和发布数据处理服务,实现了把数据处理能力转化为服务的应用方式。真正实现了让数据处理脱离代码,只需通过添加、修改、删除空间数据服务引擎转换器就可以进行配置和需求的快速反应,从空间精度和时间精度两个维度全面提升了数据处理能力。
(3)构建自动化、批量化功能服务
改变传统的数据单机处理方式,将要素底板提取、数据在线质检、数据入库更新等功能部署在服务器上,用户只需调用服务器上的功能即可实现相关操作,支持用户在线上传数据和指定服务器大文件路径等方式,余下由服务器自动化、批量化的完成数据任务处理,无需人工再次干预,任务完成后,相关下载、质检、入库结果可以在线查看操作日志便于记录和核对。自动化、批量化功能服务的实现,大大减少了人机数据交互过程,提高了数据处理效率,节省了人力和时间成本。
前文所描述的数据治理实施路径和技术研究,为本轮“大规划”模块重构提供了核心数据基础和关键技术保障,基于核心数据共享服务平台,对其中 41 项指标实现了与大土地、大项目、大测调、大登记等模块的数据API对接,构建了“一套数据标准、一套成果管理、一套智能应用”组成的应用建设体系。智能应用体系主要包括工作台和驾驶舱两部分,工作台通过开发审批流程、成果质检和智能审查三个子模块,用一套流程、一套规则完成了对各类国土空间规划统一的管理与管控;驾驶舱通过建设综合业务概览、规划一张图和智慧化场景应用三个子模块,实现了一张图展示、可视化管理和专题场景决策的一体化建设,为实践城市在规划领域的数字化转型、提升现代化治理能力和空间治理能力提供了“上海样板”。
数据治理是一个长期且体系化的过程,需要长远规划,形成治理战略,为此市规划资源局建立了由局网络安全和信息化领导小组统一领导、统筹协调的规划资源数据治理工作机制。笔者作为主要参与人参加了《市规划资源局数据治理工作方案》《上海市规划资源数据标准管理办法(试行)》《规划资源数据标准编制技术规定(试行)》等文件的制定工作,确保了数据治理机制的持续有效运行。
国家“十四五”规划明确提出“加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革”,利用数字化转型势能,加快推进数字中国、数字政府建设,已经成为国家治理体系和治理能力现代化建设的重要抓手。面对国家战略、行业发展、IT进步的多重机遇与挑战,从技术研究、实践应用层面上看,本市首次完成了国内超大型城市国土空间现代化数据治理工作,攻克了一系列国土空间规划数据治理技术难点,构建了空间合一、时序衔接、动态更新的数据库,打造了上海市全域要要素的规划资源空间数据底座,且已获得初步成果,后续将进一步发挥国土空间规划引领地位和基础支撑作用,强化数据智能化、立体化、服务化能力,提升国土空间规划治理体系和治理能力现代化水平,助力城市数字化转型。