基于渭南市海量数据的数据归集体系建设

赵林斌 邵战强 魏 威

（渭南市互联网信息办公室，陕西 渭南 714000）

1 渭南市智慧城市数据资源归集的意义

根据国务院和省委省政府关于加快政务信息系统整合共享的决策部署，按照《加快推进落实<政务信息系统整合共享实施方案＞工作方案》（发改高技［2017］1529号）、《陕西省政务信息系统整合共享实施方案》（陕政办发［2017］79号）和《省政府第122次专题会议纪要》等文件要求，为确保年底前政务信息系统整合共享工作取得明显成效，渭南市政府积极响应国务院于省政府的号召，积极打造智慧城市大数据基础平台。通过统筹实施本项目可以从根本上解决困扰政务信息化建设的“各自为政、条块分割、烟囱林立、信息孤岛”问题， 推动基础六库（人口、法人、经济、地理信息、信用、电子证照）数据信息归集及部门业务系统整合共享。项目完成后符合“五个统一”的总体原则，可以有效加快渭南市智慧城市建设进度，切实避免各自为政、自成体系、重复投资、重复建设。

2 数据资源归集思路

为了尽可能全面有效地汇聚渭南市各部门各方面数据，采取了政府数据与互联网数据相结合、市级部门数据与县区部门数据相结合、历史数据与即时数据相结合的思路。

2.1 政府数据与互联网数据相结合

政府各部门在各自业务流程与系统录入中形成的数据，是平台建设的基础与保障，这类数据在平台的数据库中占了半壁江山。但是面对如今大数据的冲击与新的社会形态与经济形态而言，政府数据无法有效囊括，采用网络爬虫相关技术，采集互联网数据如社会舆情、电商等相关数据，填补了政府数据无法涉及的领域，可以及时全面地了解社会舆情信息，可以更全面地反映当前居民消费的现状。

2.2 市级部门数据与县区部门数据相结合

通过利用部门现已经打通的业务信息网，自上而下先将县区级部门级数据汇聚到市级部门，平台统一从市级部门对接已经汇聚完成的数据。对于内部尚未打通业务信息网的部门，通过前置机对接、数据接口读取、平台直接上传等方式采集部门数据。

2.3 历史数据与即时数据相结合

平台在对部门现有的历史数据进行一次汇聚采集之后，会持续对部门产生的即时数据并且与历史数据进行比对，并且对平台现已归集完成的数据进行及时的更新与清洗。

3 渭南海量数据归集难点与对策

经过本期平台的建设，渭南市政务信息化水平有效提升，管理能力显著增强。政务信息化发展总体平稳，完成了主要信息化发展目标，启动了信息化顶层设计和标准体系研究，信息化系统基本覆盖了各业务领域，各系统运行良好，但在对信息实行归集的过程中，发现在数据归集方面仍然存在着各种问题。

3.1 数据归集难点

一是现有各部门业务系统数据量多、分布散，业务系统建设时间、标准不一、信息化程度不一，缺乏统一规划。导致渭南市政务信息化建设存在“各自为政、条块分割、烟囱林立、信息孤岛”问题。信息资源纵横联通共享难，难以实现跨系统、跨区域、跨层级的归集交换，各种信息重复填报，给本期数据统计、挖掘、分析造成很大困难。

二是数据质量参差不齐，缺乏高质量的数据。由于本次数据归集是对于整个渭南市各个政务系统的整合。导致汇聚到数据库中数据来源不一、数据格式五花八门、采集频率各异。平台数据库建设阶段虽然建立了统一的数据归集标准为后续的数据开放共享服务。但是平台所需归集数据和部门业务关注的侧重点不同，一些规定字段如若不对原有业务系统彻底改造，无法从源头上解决数据质量问题；而且部分部门数据属于敏感信息，而各个部门对于敏感信息的处理方式不同，导致部分数据无法归集到平台中，最终导致数据归集情况不能圆满地贴合到平台上层的应用中。

三是数据安全性难以得到保证，由于部分业务系统的数据是通过业务人员通过手工录入到网页中再归集到平台。这种模式可能由于人为的疏忽而出现失误，直接导致数据的安全性、准确性得不到保证，存在泄密、错报、漏报的可能性，从而影响数据归集的安全性、准确率，严重影响平台应用的有效分析与决策。

3.2 相关对策

针对上述分析的渭南市数据归集中在的问题，如何在实现数据归集过程中高效、及时、准确，从而降低电子政务成本，已成为迫在眉睫的需要。在此提出以下对策：

一是在线上对数据目录以及动态实行管理，目前平台对于数据归集目录清单的更新为一月一报，工作量巨大，效率低下，而且准确性有待考证。需要重视目录结构本身，以各个部门的数据资源信息作为目录清单的一个初始版本妥善保存，然后将版本清单有效管理，各个报送单位需要培训专业的工作人员负责数据的报送工作，业务部门工作人员需要在报送数据前，先自行在不同版本的数据项中寻找对应关系最终在给平台作为最终版本归集。

二是在数据归集过程中规范数据归集行为。在采集过程中，提供各类数据验证、数据预处理等工具对数据进行检查，对于问题数据要回归到数据源头进行分析，并且对于各种数据问题信息进行归集并分析，对于高频出现的错误，平台在采集过程中需要进行二次人工排查，提高数据的采集质量。

三是在平台建设完成后要结合前沿技术，建设多元化信息产品，完善数据归集平台底层设计，保证数据库的可持续化发展。建立一套通用的标准化信息产品可满足各个部门及其下属机构与社会发展的需要。提高数据库的服务上层应用的能力，并统一大平台与下属子节点平台，为后续的数据库建设提供可持续发展的支撑。

4 结语

综上所述，要解决平台数据归集的问题，提高上层应用的服务质量，除了加强数据质量保证体系建设和人才建设外，还要立足自身，采用科学先进的方法，在技术手段最大程度对数据进行筛选、清洗、处理。整体把握数据质量，在实践中找到提高平台数据质量的方法和原则。

数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动， 还有利于推动国民经济发展。它对于推动信息产业创新、大数据存储管理挑战、改变经济社会管理面貌等方面也意义重大。未来信息数据归集会朝着更加自动化、智能化的方向发展，而在大数据背景下如何更好地利用云计算、数据挖掘等先进技术对数据信息服务进行管理，仍然需要进行不懈的努力。