仇巍巍,葛振华,陈从喜,吴 琪,李 政,高 宇,齐书花
(自然资源部信息中心,北京 100812)
矿产资源开发利用统计工作是自然资源部的一项基础性、日常性工作。主要任务是收集、整理、汇总和分析全国持证矿山企业矿产资源开发利用的相关统计信息,编辑发布矿产资源开发利用统计通报和年报,以此为基础开展统计分析和专题研究并编写相关报告。其目的是全面、及时、准确地反映全国矿产资源开发利用状况、形势和态势,为国家有关部门、各级自然资源主管部门制定规划、计划、政策和宏观管理提供决策依据,为社会公众提供准确可靠的矿产资源开发利用统计信息服务。
随着自然资源部的成立,自然资源部承担统一行使全民所有自然资源资产所有者职责、统一行使所有国土空间用途管制和生态保护修复职责,自然资源管理工作必须加快推进资源开发利用科技创新,大力推进“互联网+矿业”发展。同时,自然资源统计工作明确提出,要加快自然资源统计信息系统建设,实现自然资源统计工作从数据采集、审核、汇总到管理、分析、发布的全流程信息化,充分应用信息化手段改进工作方式、提高工作效率、促进政府职能转变。这对矿产资源开发利用统计工作的全流程信息化提出了明确要求[1]。
近20 年来,中国矿产资源开发利用统计信息化工作取得了明显成效,建设了矿产资源基础统计报盘系统、矿山开发利用统计数据库管理系统、矿山开发利用统计数据网上报送系统等,积累了一定的信息化工作经验。自然资源部成立以来,随着自然资源管理工作改革发展不断深化,矿产资源开发利用统计工作也发生了一些新变化,对矿产资源开发利用统计信息化也提出了新需求。
1.1.1 矿产资源开发利用统计报表制度变化
(1)新修订的矿产资源开发利用统计报表制度(以下简称报表制度)在统计内容、统计指标方面发生较大的调整,因而需要重新制定矿产资源开发利用统计直报管理分析系统(以下简称直报系统)的指标内容。例如,报表制度增加了企业信用代码或组织机构代码、绿色矿山建设、矿石品位、资源税等指标,减少了矿产品销售价格、工业附加值等指标,调整了部分指标的名称。
(2)报表制度在报表数据填报方式上发生根本变化,以同一种报表样式填报原报表制度规定的所有固体矿产的矿类、矿种指标数据改为根据不同矿类、矿种的属性特点以不同样式的报表填报相应的指标数据,分为煤炭资源开发利用情况、金属及可选非金属矿产资源开发利用情况、建材非金属及砂石土矿产开发利用情况[1]。
(3)填报的数据对象发生改变,由原来的市(县)级管理部门扩展到采矿权人,报表制度要求采矿权人直接登录直报系统并填报数据[2]。系统用户数量大幅度增加,用户总数接近5 万人,这对系统的易用性、可靠性等方面都提出了更高的要求。
1.1.2 直报系统功能新需求
(1)直报系统需要实现在线全口径统计指标数据逻辑审核和校验功能,并对数据修改留痕可核查、可追溯。
(2)需要实现在线全口径统计指标数据查询、报表输出和报表定制功能,并具备统计报告的自动生成功能。
(3)实现对历史数据进行迁移、整合,建立统一的数据库管理系统,保证新旧报表制度下的统计数据衔接,满足用户对历史数据的分析应用需求。
(4)开发实用有效的统计分析工具,满足用户的统计数据分析和深度挖掘需要[3]。
直报系统在新修订的报表制度基础上设计并建立比较完善的矿产资源开发利用统计数据库和矿产资源开发利用统计历史综合数据库,并完成历史数据的迁移。同时,研发适应矿产资源开发利用统计业务的信息系统软件,在互联网上高效稳定地实现矿产资源开发利用统计数据任务发布、催报、报送、汇总和审核的流程监管[4]。结合历史数据与共享数据,开展矿产资源统计数据的深度应用,提升矿产资源开发利用统计管理能力、综合分析能力和决策支撑能力。
1.2.1 微服务架构
直报系统由于用户数量较大、使用时间高度集中,填报与审核阶段面临非常大的压力,主要涉及填报、审核、查询分析3 个业务模块。其中,查询分析模块对系统性能造成的压力最突出。为了防止功能模块互相阻塞、避免填报高峰期其他功能服务受影响,该系统采用微服务架构,将应用程序解耦成多个可独立部署的较小组件或服务,服务之间互相协调、互相配合,从而提高了系统的稳定性和可靠性。
1.2.2 统一业务指标建模
统计内容是系统的核心,指标体系则是直报系统的重中之重,指标反映矿产资源开发利用情况的总体数量特征。为了灵活应对报表制度的调整,报表系统基于组件化和元数据统一管理应用能力开发,支持以数据方案管理和组织所有的填报指标。指标元素涵盖指标、明细表字段等内容,满足二维指标和多维直报的管理需求,也支持自定义数据维度、口径管理、钩稽关系定义及自定义采集主体。指标建模管理体系构建,以最短的实施周期和最小的资源投入支撑业务,快速构建和高效调整各类统计业务的采集和报送服务[5]。
1.2.3 自定义报送流程建立
直报系统自下而上进行数据采集和报送,需要通过设定数据报送路径确定数据采集、数据审核和查阅、数据上报和确认的责任人。基于报送流程设置引擎,支撑不同填报任务按需配置数据报送流程,内置直报、直报审核、层层汇总上报、层层上报批复等报送模式,满足各类报送需求[6]。
1.2.4 基于商业智能(BI)平台的即席查询技术
为了能够对大数据量和多维度的矿产资源开发利用统计数据进行统计分析和深度挖掘,直报系统采用基于商业智能(business intelligence,BI)平台的即席查询技术。即席查询技术体系自下而上分为多维数据查询模型和可视化数据分析界面两部分。即席查询技术通过构建多维数据查询模型,灵活组合使用数据源视图、维度、数据表和度量等数据要素,结合业务需求将矿山的生产规模、登记注册类型、开采方式、所在地区、矿产资源目录、时期、生产状况等主要属性构建为业务维度,将矿山生产指标、矿山基本情况指标、矿山经济情况指标、矿山环境情况等指标构建为数据表和度量,最终形成一套高效、合理的矿山业务Cube 模型,为用户实现矿山数据多维、灵活查询提供基础支撑。
可视化数据分析部分提供友好的用户界面,通过拖、拉、拽和点选的操作方式,降低了操作难度;为直接、快速、灵活地查询多个业务系统的明细数据,提供了良好的界面支持。用户通过选择任意矿山业务维度和度量,即可快速实现不同查询需求,即席查询支持将查询配置信息保存为模板并进行分享。
直报系统采用浏览器-服务器(browser/server,B/S)架构,依托自然资源部门户网站,基于认证机构的数字证书进行身份认证,面向国家、省、市、县4 级矿政管理机关及矿业权人用户。
系统供采矿权人直接登录使用,其总用户数量较之前的系统总用户数量具有明显的增加,这对系统并发用户数量支持及响应速度都提出了很高要求。研发人员在总体架构设计时专门采用微服务架构、数据缓存技术及高性能服务器、大带宽配置等技术[7],避免出现数据报送高峰期的系统响应延迟问题,保障系统的高效运行。系统架构如图1 所示。
图1 系统架构
直报系统建设遵循矿产资源统计管理工作相关指标及制度体系,遵循自然资源部信息系统安全与运行保障体系,逻辑上分为5 层结构。
(1)基础设施层提供系统运行的基础环境,包括系统软件和网络、硬件、安全环境等内容。
(2)数据支撑层为应用提供数据资源,包括矿山底数数据、矿山填报数据和相关系统数据。矿山填报数据包括矿山基本情况数据、矿山经济数据、矿山环境数据、审核过程数据等系统业务数据。
(3)应用支撑层介于数据支撑层和应用层之间,为系统应用提供任务管理、统计指标管理、图表管理、统一身份认证、统一权限控制、数据交换接口等应用支撑服务。
(4)应用层为在应用支撑层之上构建的系统主体,封装了矿山开发利用统计核心业务处理逻辑,包括应用服务、业务管理及系统管理的各项功能。
(5)用户层为采矿权人用户、各级管理机构用户及系统管理员提供统一的访问入口。
直报系统以现有的自然资源网络为依托,以统一技术平台为支撑,实现矿产资源开发利用统计任务的在线下发和各级管理部门矿产资源开发利用统计数据的在线填报、数据审查、汇总上报、统计监控分析等业务应用与管理。直报系统涵盖统计数据采集、审核、汇交、整理汇总、编制报表、分析应用和信息发布等功能,主要包括数据采集、数据分析、数据共享、系统管理四大功能模块,如图2 所示。
图2 功能模块
直报系统需要与矿业权统一配号系统、综合统计工作平台、监管平台等业务系统进行对接,提供应用服务接口规范,根据规范提供标准接口,实现不同业务应用的访问,建立信息共享机制,对统计数据库成果库中的数据进行共享。同时,考虑提供历史数据的接口,实现历史数据的对接,确保历史数据准确完整入库。
矿业权统一配号系统是全国采矿权统一配号的主要支撑系统,包括采矿许可证号、行政区代码、企业经济类型、企业注册资金、开采主矿种、建矿时间、采矿权有效期限、区域坐标、矿区面积、设计规模、开采方式、采矿方法等指标[8]。直报系统通过网络服务或中间库等形式与矿业权统一配号系统进行数据对接。
系统对统计数据库成果库中的数据建立信息共享机制,设计公开规范的数据接口和服务,以网络服务或中间库等形式供综合统计工作平台和监管平台调取使用。
本文分析研究矿产资源开发利用统计业务流和数据流的全过程,对整个统计业务流程进行分解细化,基于新修订的报表制度优化整合信息化流程,充分利用工作流、数据库、网络、数据挖掘等信息技术,设计开发一套涵盖统计数据采集、审核、汇交、整理汇总、编制报表、分析应用和信息发布等功能模块的应用系统,减少统计工作中的人工参与环节,提高统计数据的准确性和工作效率。
数据采集是系统的核心功能,包括任务下发、数据填报和数据审核3 个子模块。
(1)任务下发通过接口从矿业权统一配号系统获取采矿业权人的基础信息并形成底数,将底数下发到各省、市、县。各省、市、县确定需要填报的采矿权数据,从而明确填报对象。部级统计部门用户在系统中新建填报任务,下级管理机构对上级管理机构下发的填报任务进行确认。
(2)数据填报根据报表制度要求,设计不同的系统统计报表,适应不同矿山企业统计人员填报数据。数据填报时,采矿权人可根据下达的任务按规定的格式和结构在页面上直接填报数据,也可将任务下载到本地并将填报的数据导入系统,填报完成后再提交任务。系统内部设定审核条件和数据对比情况,方便填报人员核对填报的数据。系统会对差距较大的数据进行警告提示。
(3)数据审核是指系统在线完成统计数据报送审核全过程。系统主要依据设定的指标间逻辑关系对数据进行审核,同时设定全指标数据和上年度数据对比校验功能,以满足各级矿产资源管理部门的数据审核需要。各级矿产资源管理部门通过系统在线审核数据并签署意见,也可以输出未审核的统计数据报表并线下处理,但必须在网上签署审核意见和修改统计数据,留存审核和审批意见。该系统设置数据审核过程时间,相关人员未在规定时间完成审核或审批,系统将自动发出提示信息并通过短信告知相关人员。
系统将下级用户报送的数据分为待上报、已上报、已退回3 种类型。市、县级管理部门主要查看采矿权人填报的数据;省级管理部门主要查看市、县级管理部门用户审查通过的报送数据;部级管理部门用户主要查看省级管理部门用户审查通过的报送数据。
数据分析功能主要用于各级自然资源部门对报送的数据进行分析,包括数据处理、统计分析和自动生成报告。
数据处理对数据库中的数据进行不同量纲之间的换算、不同指标数据之间的计算,在时间序列下进行数据的同比、环比、定比等计算,进行数据清洗等标准化处理。
数据统计分析包括查询、统计汇总和自助式数据分析。自助式数据分析可以按时间、空间、专业等维度进行查询、数据透视和图表展示,并且可以实现不同维度下的统计指标分析系统截图,如图3 所示。
图3 自助式数据分析截图
直报系统可综合汇总、分析、编制矿产资源开发利用统计信息产品,如矿产资源开发利用统计通报、矿产资源开发利用统计年报等,按定制要求、出版格式自动生成并输出统计报告。
根据自然资源部相关部门的统计信息产品共享要求,相关媒体通过直报系统发布制作各类统计信息产品。该系统建立信息共享机制,统计数据库成果库中的数据可以通过数据接口供其他系统调用。
根据统计信息产品共享要求,系统提供产品下载及导出功能,相关人员可通过系统下载制作好的统计分析报告、统计年鉴等统计信息产品,相关媒体进行信息发布。系统对外提供公开规范的数据接口和服务,主要通过应用程序接口(application programming interface,API)交互方式与外部系统或外部数据实现对接。针对特定的用户对象、业务特征和数据采集需求,对API进行再次包装,满足个性化的统计数据服务需求。
系统管理对系统的用户体系和运行环境进行管理,并对常用的系统配置、数据字典等进行管理,为系统稳定运行提供支撑。主要包括用户权限管理、基础数据管理、字典管理、统计表管理、校验公式管理、日志管理和通知公告管理。
新修订的报表制度在统计内容、统计指标方面与旧的报表制度存在很大差异,要求根据不同矿类、矿种的属性特点填报相应的指标内容。针对这种情况,直报系统实施报表与指标分离的设计方式,独立设计表样,独立定义填报指标,再通过关联组合的方式形成报表。针对不同矿类、矿种,系统可以专门设置关联指标内容,从而实现不同矿类、矿种的填报表样,便于用户填写。后期如果表样与指标有所调整,系统可以直接进行新增、修改、删除,不会影响往期的填报数据及报表查阅。这种设计可以实现历史数据的留痕与追溯,也可以实现往期数据的对比与引用。
直报系统是贯穿部、省、市、县、矿业权人5级的应用系统,涉及近5 万个矿山企业和各级自然资源管理部门,是全国矿产资源开发利用统计工作的重要支撑和保障。本文基于矿产资源开发利用统计信息化现状和主流信息技术,提出了基于B/S 架构、多模式并存的建设思路,对实现矿产资源开发利用统计数据的填报、审核、汇总、分析挖掘、管理等全流程信息关键技术进行梳理和总结。
系统开发完成的矿产资源开发利用统计数据报送审核、汇总、数据管理、报表生成、统计报告编制、数据综合分析、信息服务7 个关键业务模块,对提升矿产资源开发利用统计管理能力、综合分析能力和决策支撑能力提供了有效支撑,满足了部、省、市、县级矿产资源开发利用统计工作实际使用需要,提高了统计数据的准确性和时效性,提升了统计工作效率和水平。相关统计成果为国家有关部门、各级自然资源主管部门规划、决策和管理提供了依据,为社会公众提供完善的矿产资源开发利用统计信息服务[9]。
经过多年的发展,矿产资源开发利用统计工作已经进入了数字化、网络化时代,产生了大量多年度、多维度的数据。下一步的工作重点包括增加生态修复方面的统计指标内容[10];进一步开展数据挖掘分析,结合矿产资源开发利用统计数据与经济数据、工商信息数据、地理信息数据、网络舆情数据等,将形成综合、总体、科学的中国矿产资源开发利用情况、环境恢复情况,为自然资源的高质量发展提供支撑。