张素珍 刘树军 许志坤
摘要:各省机构编制大数据中心的建设目前尚处于起步阶段,很多省份亟须建设机构编制的大数据中心,本文在国内大数据中心及各省编办信息化建设情况基础上设计了省级“1+3”模式的一体化大数据中心体系架构,详细设计了1个中心即省级数据处理中心,3个平台即业务系统云平台、省级数据交换与共享平台、大数据应用平台的具体架构,为省编办大数据中心建设提供借鉴。
关键词:机构编制;一体化;大数据中心
中图分类号:TP391
文献标识码:A
文章编号:1009-3044(2020)03-0018-03
1 项目背景
近年来,随着经济的高速增长和互联网特别是移动互联网的不断发展,政府大力倡导并积极推动“互联网+”的理念和技术与政务服务深度融合。习近平总书记在中共中央政治局就实施网络强国战略进行的第三十六次集体学习中指出,要深刻认识互联网在国家管理和社会治理中的作用,以推行电子政务、建设新型智慧城市等为抓手,以数据集中和共享为途径,建设全国一体化的国家大数据中心,推进技术融合、业务融合、数据融合,实现跨层级、跨地域、跨系统、跨部門.跨业务的协同管理和服务。就“互联网+”机构编制的研究和实践发展来看,目前还处于探索阶段,存在资源利用率低、配置不完善,数据互通不畅,平台兼容效果差等方面的问题,因此亟须基于“一体化”的建设思路,构建一套科学、合理、有效的机构编制省级一体化大数据中心体系架构,以更好地开展机构编制管理和服务工作,同时为省级机构编制的云平台和大数据中心建设和应用提供参考。
2 一体化大数据中心建设目标
按照“优化、整合、共享、互动”的基本原则,设计一套科学、合理、有效的机构编制省级一体化大数据中心体系架构,从河北省全局角度,对机构编制的各方面、各层级、各要素统筹规划,体现“一体化”设计理念,功能实现上做到涵盖全省、通联全国,尝试解决信息孤岛,促进信息资源融合,实现数据互联互通,避免资源浪费,提供高效社会服务,为省级机构编制的云平台和大数据中心建设和应用提供参考。
3 省级一体化大数据中心架构设计
3.1 省级一体化大数据中心体系架构
省级一体化大数据中心体系架构采用“1+3”模式,即1个中心+3个平台,1个中心指省级数据处理中心,3个平台分别是业务系统云平台、省级数据交换与共享平台、大数据应用平台。中央编办云平台支撑三定方案、权力清单等系统的运行,省内云平台支撑省内个性化系统(例如编制实名制管理系统、电子编制证系统等)的运行,各系统的数据通过省级交换与共享平台汇聚到省级数据处理中心,同时省级数据处理中心还将通过省级交换与共享平台与中央编办数据中心、其他省数据中心、省级政务中心等进行数据的交换共享,使得省级数据处理中心存放省内编办相关的全视图的数据,最终通过大数据应用平台,为公众、内部人员、行业人员、领导等提供身份认证、公共信息、资源、数据等各类服务。
具体架构如下图所示:
3.2 省级数据处理中心
省级数据处理中心是集合省编办数据信息、各地市编办数据信息、中央编办相关数据信息、其他省参考数据信息、省政务相关数据信息的数据中心。省级数据处理中心按照“理论上一致、功能上协调、结构上统一、资源共享、部件标准化”的设计原则,强化顶层设计,做好大数据中心建设前期的统筹规划,实现政务信息资源的共享、交换和业务协同。
省级数据处理中心逻辑架构分为采集层、存储层和分析处理层三部分。
(1)采集层
采集层主要是构建起对应的数据采集体系。机构编制数据来源范围广,有法律法规、党中央国务院文件、自身审批管理中产生的,也有通过其他政务部门共享交换来的,甚至有网络舆情产生的,因此需要有针对性地分类建设数据采集平台和数据采集工作机制,并采用不同的采集工具。
数据采集完毕后,将数据清洗、整合到基础信息库f包含结构化数据库和NoSQL数据库),并可利用语义标注、语义集成等方式生产主题数据库和领域知识库。
(2)存储层
数据存储分为三类:一是来源于各系统的结构化数据,二是为进行数据处理分析提供质量管理保障的标准类数据,三是非结构化数据。首先,数据处理中心以机构编制基础信息数据库为基础,通过将省编办数据信息、各地市编办数据信息、中央编办相关数据信息、其他省参考数据信息、省政务相关数据信息等异构数据进行数据清洗、整合后建成结构化数据库,存储相应的全集数据;其次,新建国家数据标准数据库、编制数据标准数据库、数据元数据库,为将来进行各数据系统对接整合提供规范和保障,其中,元数据内容包括如下方面的内容:法律法规、政策文件等依据数据,改革方案、体制调整、三定等改革数据,收文、办理、发文等业务数据,职责、权力清单、责任清单、行政审批事项、中介服务等职权数据,机构、编制、领导职数、实有人员等机构编制实名制数据,设立、变更、注销、年度报告等事业单位法人数据,地理空间等城市基础数据。再次,新建NoSQL数据库,用于存储来源于网络、传感器、文件等的庞大的非结构数据,并对非结构数据进行处理后形成对应的结构化数据库。以上三类数据形成了完整的省级大数据中心数据库,为未来进行完整的大数据分析提供基础。
(3)分析处理层
分析处理层首先要进行数据的计算处理,对于全量数据的处理计算,可利用MapReduce、Hive等框架实现离线批处理,达到分钟级响应的效果;对于少量数据少量数据的实时交互查询或流式处理计算可采用Spark、HBase;而针对全量数据的全文检索查询,可采用的框架为Solr、lastic Search、Lucene,可以实现的查询响应在毫秒级。
分析处理层还将设计算法模型,并采用机器学习的方式进行机构编制管理情况的预测分析,形成各类算法模型库。
分析处理层以大数据分析工具為手段,基于关联分析、语义分析、知识挖掘、可视化分析等大数据分析方法,实现机构编制领域的数据挖掘和分析,为业务和决策提供服务和支撑。
3.3 省级数据交换与共享平台
省级数据交换与共享平台是将省内各业务系统的数据进行交换共享,并与中央编办、其他省编办、省内其他单位、本省各地市编办等异构数据中心进行数据交换共享的平台。平台将促进信息资源整合、管理资源集聚、服务资源链接、社会资源拓展,支撑信息资源共享交换,实现共享交换平台的跨部门、跨地区的全覆盖,形成业务数据全集。省级数据交换与共享平台主要分为数据交换层和数据共享层。
(1)数据交换层
数据交换层将中央编办中属于本省的三定方案、权利清单等信息以及全国公共信息、本省编办各业务系统信息、各地市编办信息、其他省级编办数据中心公共信息、本省内其他单位公开政务信息进行交换共享,形成跨部门、跨地区、跨行业的融合数据。数据交换层由前置交换子系统、交换桥接子系统、交换传输子系统、交换管理子系统构成。
(2)数据共享层
数据处理层主要对国家相关信息标准、机构编制省级中心信息标准、元数据、资源目录、数据服务及各系统的使用角色和权限进行管理。
国家相关信息标准的管理主要是导入相关的信息化标准进行参照,机构编制省级中心信息标准的管理是在参考国家信息标准的基础上制定出机构编制省级数据中心信息化建设的标准,为整体信息系统规划、设计提供依据。
元数据管理根据机构编制省级中心信息标准,定义数据交换与共享平台的元数据,根据需要有选择地生成基础信息数据库结构。
资源目录管理指对数据进行分类和编目,形成数据资源的目录体系和交换体系,对各应用系统提供服务。针对各业务系统的技术和体系结构,配置各业务系统的数据交换映射关系,形成各业务系统的应用,也可以根据需要扩展业务应用、添加共享数据。
数据服务管理主要提供数据查询浏览、为各应用系统提供数据服务接口,是数据共享层提供信息共享的核心功能,可采用SOAP(Simple Object Access Protocol,简单对象访问协议)作为封装格式。
用户角色和权限是保障数据交换与共享平台的信息安全重要功能模块,是保证系统正常运行的服务模块之一,主要为需要数据服务的各业务系统设置访问权限。
3.4 业务系统云平台
业务系统云平台指设计资源共建共享、统筹管理支持各业务系统的云平台,广义上包括中央编办云平台和省级云平台两部分。中央编办已经建设了全国性的云平台,提供了三定方案信息系统、权利清单管理系统、责任清单管理系统、资源共享信息系统,以及和履职监测等五大系统,本文主要研究省级云平台建设,统筹整合省内信息系统,包括机构编制分析预警系统、机构编制实名制管理系统、电子编制证系统、机构编制统计上报系统、机构数据交换系统、办公自动化系统、机构编制网上培训系统、机构编制网站群系统和机构编制移动辅助决策系统以及未来建设的应用系统,实现云平台基础设施共建共享,支撑机构编制云服务业务的顺利开展。省级业务系统云平台主要由IaaS服务层、PaaS服务层和SaaS服务层构成。
(1) IaaS服务层
IaaS服务层称为基础设施即服务,主要包括虚拟化平台和云管理平台两部分,底层的虚拟化平台包括计算资源虚拟化、存储资源虚拟化、容器虚拟化和网络资源虚拟化等,计算资源采用KVM和Open Stack实现虚拟化,基于分布式存储构建存储资源池,容器虚拟化支撑业务应用的快速部署和构建,网络资源虚拟化利用SDN技术实现。上层的云管理平台包括多中心管理、系统迁移与托管、容灾备份、计算资源管理、存储资源管理、网络资源管理、自服务管理和用户权限管理等,基于策略管理实现资源调度和迁移能力,通过运维平台的智能调度算法,为平台提供全面的数据监控服务,采用同城双中心和异地灾备中心的容灾模式,解决业务系统和数据中心的容灾备份问题,实现信息系统的快速迁移及故障恢复,保障业务的高效稳定开展,云管理平台是基于底层的虚拟化平台层实现资源的全周期管理,虚拟化平台为其提供计算、存储、网络、容器等服务。
(2) PaaS服务层
PaaS服务层称为平台即服务,采用微服务架构构建PaaS层平台,各项服务均支持弹性扩展和独立部署。采用MPP数据仓库、分布式列组数据库、分布式文件存储系统等对数据进行分布式存储;基于实时分析、消息队列、批量计算、图计算和流处理等技术进行数据的分析和计算,通过运维平台实现资源的统一调度;提供深度学习和机器学习模型,支撑语音识别、图像识别、人脸识别、视频目标跟踪等人工智能应用;提供关系型数据库迁移上云服务,支撑已有信息系统数据库向云服务迁移;提供数据同步、数据访问、数据迁移等服务。
(3) SaaS服务层
SaaS服务层称为软件即服务,主要包括的软件为机构编制分析预警系统、机构编制实名制管理系统等系统,依托IaaS层提供的自动扩容技术和虚拟资源服务,实现业务系统资源的动态扩展,通过在线备份和恢复功能实现应用级的高可用,通过PaaS层的分布式存储服务实现应用级的云存储,提供数据到云端的迁移。采用防火墙、监控报警装置、加密和病毒防护等多种方式和手段,从数据安全、网络安全和物理安全等方面进行全面安全防范;针对虚拟机安全、虚拟机存储安全、虚拟机镜像安全等虚拟化存在的安全威胁进行多层次防护。
3.5 大数据应用平台
我国各行业大数据中心发展势头迅猛,但大部分数据中心的实际应用滞后于物理设施建设,造成了资源浪费,且承载的信息资源碎片化、割据化,对国家及各省的数据服务意义尚未完全发挥。因此,省编办省级一体化大数据中心从建设之初即应注重数据应用的建设。大数据应用平台是指对省级数据处理中心的数据进行深入挖掘、分析,设计应用模型,最终面向各类用户提供多维度、可视化数据服务的平台。
大数据应用平台是以数据处理中心为基础,面向省编办、地市编办、企业、其他政务部门和公众提供数据服务的平台,通过编制大数据的分析应用,例如对政府职能、权责事项、办事流程、审批要件等数据等的综合分析,助力“放管服”改革,挖掘分析职能交叉或缺位、流程不合理等问题,提高政府治理能力和履职能力,为各级编办领导提供决策支持,为公众提供透明性信息。
大数据应用平台主要由统一身份认证平台、统一信息门户平台、应用服务平台构成。
(1)统一身份认证平台
统一身份认证平台主要是构建面向省编制办、中央编办、地市编办的用户管理、认证和权限管理中心,实现各类用户的统一集中管理,通过统一身份管理、统一认证管理、统一授权管理和单点登录等功能确保该平台用户信息的准确性和权威性。
(2)统一信息门户平台
统一信息门户平台将省编办内分散、异构的应用和信息资源进行聚合,通过统一的访问入口,实现各应用系统的无缝接入和集成,提供一个支持信息访问、传递、协作的集成化环境,实现个性化业务应用的高效开发、集成、部署与管理。统一信息门户平台以各类应用为基础,通过WEB访问的方式向用户展现整合后的各类机构编制应用信息,并根据用户身份和角色,为用户量身定做信息访问的安全通道、进行事务处理的个性化应用界面,为领导决策提供查询分析、数据挖掘展示。
(3)业务应用平台
业务应用平台的数据源是以信息化标准为依据,将分散在各应用系统、采用不同规范编码的数据通过一系列工具进行处理后储存到数据处理中心的全集数据。业务应用平台在数据源的基础上,打破业务数据边界、整合业务流程,为现有业务系统和用户提供全面的数据资源和多样化综合性的应用服务。
4 结束语
随着大数据技术的日渐成熟,利用大数据向用户提供更为多样化、个性化、智能化的应用服务将成为未来的发展趋势,基于大数据的数据中心也将成为支撑机构编制发展的重要支撑平台,以大数据中心为依托的全面融合的数据资源、多元智能的数据服务、规范精准的数据内容,将会不断推动机构编制工作迈向新台阶。
參考文献:
[1]汪疆平.政务大数据平台的技术架构和示范应用[J].教育信息技术,2017(22):100-103.
[2]贾一苇.全国一体化国家大数据中心体系研究[J].电子政务,2017(6):31-36.
[3]闫冬冬,肖俊,关欣,等.机构编制管理大数据应用及关键技术研究[J].电子政务,2018(2):97-105.
[4]周鸣.广西云计算大数据应用平台构建研究[J].中国管理信息化,2018,21(14):130-132.
[5]何锡点,马桂勤,基于云平台的数据中心改造架构设计及关键技术[J].网络安全技术与应用,2018(12):73-75.
[6]盖宇飞.新疆维吾尔自治区政务大数据的采集与共享问题研究[D].新疆大学,2019.
[7]程琛.内蒙古机构编制部门电子政务建设研究[D].内蒙古大学,2019.
[8]何锡点,马桂勤.基于云平台的数据中心改造架构设计及关键技术[J].网络安全技术与应用,2018(12):73-75.