基于大数据分析的政府数据开放研究

摘  要：政府和公共服务企业在工作过程中生成大量的结构化和非结构化数据。数据增长非常快，形成海量数据集（以ZB为单位）的集合，数据汇总构成政府“大数据”。文章利用大数据分析技术，对政府数据的开放范围和用户行为等进行分析，建立政府数据开放质量评估模型。依托模型提出政府数据开放重点是界定各部门政务数据开放范围，优先开放民生领域数据，推进政府数据的创新应用。

关键词：政府数据;公共数据;数据开放;大数据分析

中图分类号：TP18         文献标识码：A文章编号：2096-4706（2021）23-0134-04

Open Government Data Research Based on Big Data Analysis

GU Mingsheng

（Harbin Big Data Center， Haerbin  150030， China）

Abstract： Government and public service enterprises generate a large amount of structured and unstructured data in the process of work. The data grows very fast， forming a collection of massive data sets （in ZB）， and the data summary constitutes the “big data” of the government. Using big data analysis technology， this paper analyzes the open scope and user behavior of government data， and establishes the evaluation model of government data open quality. Based on the model， it is proposed that the focus of open government data is to define the scope of open government data of various departments， give priority to opening up data in the field of people’s livelihood， and promote the innovative application of government data.

Keywords： government data; public data; open data; big data analysis

0  引  言

随着我国信息技术在政务方面的深入应用，政府管理部门通常会在实际工作中生成大量公共服务信息和个人信息。这些信息的大数据分析使社会受益，同时能服务经济社会[1]。因为它使政府、企业能够更好地掌控信息，为政府事项提供决策依据，为公众数据查询提供便捷服务，为企业经营生产提供便利。其中，典型应用就是国内电商网购平台，其通过大数据储存、分析和采集等技术的应用，商家可以快捷和高效分析数据[2-4]。使用数据算法，可以对公众进行精准用户画像。商业机构可以更快，更合理地做出的市场决策，同时针对性提供个性化服务[5]。

1  国内政府数据开放渐成常态

截至2021年4月底，我国已有174个省级和城市的地方政府上线了数据开放平台，其中省级平台18个，城市平台156个。推进政府数据开放工作已成为各地加快数字政府建设的标配，“开放数据，蔚然成林”的愿景已初步实现。

现今，我国政府在线开放数据供公众访问，信息公开已成为常态，在各级政府门户网站上可以公开查询和下载。个人和企业对政府数据的查询需求，促进了开放式政府的建设。开放式政府表现为采用开放式信息（信息公开），以及公开对话（互动交流）等多种形式来实现政府的办事透明度和责任制目标。公众也希望通过政府开放数据，便于关注政策的制定和实施，监督政府的各项财政资金支出，使政府采购公开透明。

2  政府数據开放质量影响因素

根据数据生命周期理论，数据流动包括采集、存储、利用和过时被删除。采集、存储、利用这三个环节影响数据开放的质量。

2.1  数据开放平台的设计概述

在保证数据安全前提下，政府数据经过数据脱敏加工等手段，将数据按照文件列表方式发布，提供数据服务主要包括数据包下载、数据接口两种方式。还可以提供各种在线数据处理工具，例如可视化，映射或数据过滤。政府应当吸引和鼓励社会力量参与数据资源开发利用，推动创新创业发展。

公众和企业可直接下载通用格式数据包或通过软件接口进行数据调用（数据包指的是将结构化数据转换成可机读的文件格式，例如EXCEL、CSV、XML、RDF等，以及将非结构化数据进行压缩形成文件包，供下载使用;数据接口指的是将数据发布成API服务接口，供开发者调用。）

对于数据量大的情况，逐条添加的方式不便于用户操作，设计采用导入/导出功能来解决大批量数据输入输出的问题。导入功能，支持excel和xml数据格式导入，提供了对应的模板和控件;支持导出到excel和xml。方便复制便于机器读取和开展AI算法训练。系统架构如图1所示。

2.2  政府大数据采集和存储

总体流程分为三大部分，数据来源、数据加工、数据服务。政务数据和互联网两大数据，经过数据预处理、质量检测、数据加工、接口管控进入产品库，产品库针对不同的服务细分为开放库及分析库，对外提供数据服务。流程图如图2所示。

采用大数据处理系统来解决开放网站业务中海量结构化和非结构化数据存储和处理问题。海量结构化存储具有面向应用开发的、通用的存储功能，它不但可以存储应用开发所使用的结构化及半结构化数据，还可以对海量数据进行实时的查询，帮助用户高效的管理数据，提高数据的安全性及可用性，更可以提供存储空间的平滑扩展。结合平台分布式计算的强大运算能力，还可以对海量数据进行分析统计。

数据非结构化存储大数据处理系统利用Hadoop分布式系统架构，以分布式PC服务器集群组成本地化分布式存储环境，将互相连接在一起的服务器群所组成的一个分布式的并行存储系统。可以存储任何经过数据交换平台和在交换平台上产生的数据，包括业务数据、消息包、日志数据、管理数据和用户数据。为开展大数据分析打下基础。大数据处理系统基于开源社区软件Hadoop进行功能增强，提供企业级大数据存储、查询和分析的统一平台，帮助用户快速构建海量数据信息处理系统。

2.3  数据开放的应用

各级政府部门工作中产生大量数据，通常情况下数据只在部门内进行交换共享，用于处理政务并提高效率。政府开放数据方法应该打破部门界限，政府的决策和行动应更加透明和公开。

利用大数据分析技术对哈尔滨市政府数据开放相关指标进行分析，生成数据开放统计图，如图3所示。通过图4可以看出共开放1 170个数据集，数据量达到575万余条，用户下载量达到22万余人次，同时开放的还有4 138个数据文件，2 378个API数据接口和9个APP。

22万余人次的下载量可见公众特别关注政府数据开放，一直在寻找获取政府数据的方法。政府对数据集披露确实促进了社会进步。同时公众也会对政府提出更高的要求。例如：哪些政府部门不提供信息？哪个信息某个政府部门不提供此服务？某些重要信息是否会按时公布，信息类型是否缺少？政府想要满足公众的期许，必须加大政府信息化建设，同时完成数据治理框架的搭建，否则政府难以解决传统政府服务效率不高，导致公众对数据难以有效获取这方面的矛盾。

利用大数据分析，哈尔滨政府的数据开放的14个领域中，经济建设、城市建设和民生服务三大领域的数据开放量大、社会公众关注度高。通过政府建立政务数据开放目录和数据开放清单，界定各部门政务数据开放范围，实现推动安全风险小、成熟度高、惠民效果明显的数据优先开放的目的。

在依法加强安全保障和隐私保护的前提下，重点围绕民生服务需求，实现可开放政府数据向社会公众集中、有序开放和规范利用，提升开放数据的数量、质量、时效性和易用性，显著提升公共数据的有效利用和深度开发水平，促进社会创新和信息经济发展。建设数据开放网站，形成统一的门户服务、数据开放管理、安全脱敏、可控流通等功能。结合社会公众需求，以可机读批量下载方式，分级、分类重点开放企业登记、信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、知识产权、自然资源、农业、林业、环境、安监、质量、统计、气象等公共服务相关领域的非涉密公共数据。加强对经济社会重要领域社会化数据的采集汇聚，促进政府数据与社会数据的关联融合创新。

2.4  数据开放的应用场景分析

开放政府数据（OGD）是政府以任何形式发布没有任何版权限制的数据集。现阶段互联网的普及和信息技术的运用，公众获取数据信息的便利，也促进政府进行改革，实现信息开放，政务公开透明。由于政府开放数据会带来巨大经济利益和提高行政效率，许多国家都对开放数据制定了相关标准和管理办法。最常用的发布和使用方法是访问政府数据开放门户网站，任何公众和企业都可以在数据开放网站查询信息，政府负责此类门户网站可以正常运行，这是政府开放数据的核心平台。

通过对市级政府数据开放门户网站访问量进行大数据分析，可见除去黑龙江外，北京、浙江的访问量较大。除去本省外的这两地都是科技和经济发达地区，先进发达地区对数据的利用需求较大。

如果对平台用户再进行细分，政府数据开放平台用户群体按类型分为政府、事业单位、科研机构、社会团体、国私营企业、个人等;按技术能力分为初级用户和专业用户，初级用户包括普通民众、一般企业、非专业用户，专业用户包括开发者、分析师、业务专家;开放网站针对不同的用户提供不同层次的数据服务，针对初级用户提供数据浏览、数据查询和数据统计等功能，针对专业用户提供接口服务、开发者中心、数据再加工等功能。后期开放网站针对不同技术能力的用户提供不同的版本，针对初级用户提供社会公众版，针对专业用户提供专业用户版。积极探索并且针对不同用户的需求，在财税、金融、消费、劳动就业、产业运行、市场监管等领域进行数据创新应用的场景建设。如表1所示。

3  结  论

综上所述，政府要把不断满足人民对美好生活的向往作为政府数据开放建设的出发点和落脚点，坚持人民主体定位，适应人民新期待，回应人民新需求，為人民群众提供更加智能、更加便捷、更加优质的公共服务，做到政府数据开放平台建设为了人民、依靠人民，建设成果由人民共享，让企业和群众成为政府数据开放平台的推动者、监督者、受益者，切实增强人民群众的幸福感、获得感和满意度。

以解决企业和群众办事的难点、堵点、痛点问题为导向，从政府数据应用场景入手，以业务需求牵引平台建设、数据开放治理、制度规范构建、应用创新，更好服务企业和群众。

充分协调各部门、各区县及社会各方面积极性，加强政府数据开放平台一体化建设和部署。基础设施、应用支撑等集约化、一体化推进，优化资源配置，推动形成纵向贯通、横向协同的政府数据开放新格局。

参考文献：

[1] 赵阳，姚正言.智慧城市建设发展现状分析 [J].智能建筑与智慧城市，2019（8）：26-27+30.

[2] 吴班，程春明.生态环境大数据应用探析 [J].环境保护，2016，44（Z1）：87-89.

[3] 张琳，陈军.“智慧环保”建设中关键问题探讨 [J].环境与可持续发展，2016，41（4）：58-59.

[4] 刘芳.智慧城市背景下的智慧环保建设 [J].科技传播，2017，9（3）：34-35.

[5] 成书悦.全球城市化进程下智慧城市建设现状和几点思考 [C]//2019（第十四届）城市发展与规划大会.郑州：出版者不详，2019：568-572.

作者简介：顾鸣声（1975—），男，汉族，黑龙江人，高级工程师，硕士研究生，研究方向：教育信息化，软件工程开发设计，网络安全管理以及大数据管理等。