浅谈大数据时代政府统计面临的挑战与机遇

马 丽

（江苏省统计局，江苏 南京 210013）

大数据是必须借助现代信息技术收集处理后才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。大数据之“大”不仅仅体现在可供分析和使用的数据数量巨大，更在于通过交换、整合、分析这些数据，探寻新规律，创造新价值，催生“大知识”、“大服务”、“大科技”、“大利润”和“大发展”。

一、颠覆传统 数据生产处理及应用方式的重大转变

大数据涵盖数字、文本、声音、图片、视频等各种信息类型，多源异构、分布广泛、快速增长是其主要特点，数据的收集、保存、维护、处理以及应用相较传统发生了翻天覆地的变化。

1.数据生产应用社会化。大数据时代，随着电子商务、即时通讯、搜索引擎和网络游戏等为主体的互联网经济飞跃发展，物联网、手机、平板电脑、PC以及遍布全球的各种传感器，都成为数据的来源或载体，数据采集不再局限于人工，政府统计部门不再是海量数据的唯一拥有和发布者。大数据的开发应用日益成为经济价值的重要来源之一，正渗透到商业、科技、医疗、政府、教育、经济、人文以及社会的各个领域。

2.数据产生处理快速化。大数据时代，数据产生会随时随地发生，从生成到消耗，间隔时间极短。互联网上的数据“以秒更新”，数以亿计的在线用户时时刻刻都在产生巨量的信息交互；无所不在的移动设备、传感器、实时监控系统每分每秒都在产生和记录数据；经济金融领域中股票、期货等交易数据瞬息万变。数据量的飞速增长，对处理分析的时效性要求相应提高，特别是在商业领域，一旦数据处理超过一定时限，就很可能失去价值。

3.数据需求层次多元化。大数据时代，人们第一次有机会和条件在非常广泛的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据。政府层面，可应用大数据来提高应急处置和安全防范能力，改进治安管理和社会管理。企业层面，可以衍生许多基于大数据分析的商业模式。公众层面，则可以享用到更多人性化、个性化、多样化的商业产品、公共服务。

4.数据分析方法智能化。大数据时代，数据的预测功能成为核心。传统的统计数据主要通过单个数据来反映当时状态，且由于数据产生收集的时滞性，往往只能进行事后反映。而通过分析持续海量数据，能够发现相对稳定的运行规律，便于对未来展开预测。如果把大量非结构化或半结构化的数据转化为结构化的数据后加以有效的分析，还能洞察出语义、态度、情感、社会关系、效果等传统数据分析难以解决的问题。

二、驱动变革 政府统计面临的挑战与机遇

数据是开展统计工作的基石，其生产应用方式的深刻变革，势必对政府统计带来影响与冲击，但同时也催生了思维理念的转变、生产管理的变革、方法技术的创新。

1.统计部门职能地位面临冲击，为促进体制机制改革提供契机。大数据背景下，通讯、电力、金融、电商、搜索引擎等越来越多的行业拥有统计系统以外的海量数据，越来越多的企业和社会调查机构具备开发、挖掘和利用大数据资源的能力，政府统计部门不再是数据的主要提供者，也不再是数据的唯一发布者，政府统计的权威性将受到极大挑战。随着全球“开放政府数据”的呼声日益高涨，大数据还将成为启动透明政府的利器。只有让数据作为生产资料自由流动起来，才能推动创新经济、知识经济和网络经济发展。只有打破部门、行业间壁垒，建立信息合作共享机制，完善信息发布职能，强化统计服务功能等，才能实现统计体制机制改革的新飞跃。

2.统计调查方法面临嬗变，为深化统计改革创造机遇。政府统计的调查方法以周期性普查为基础，以经常性抽样调查为主体。大数据客观上更有助于提高抽样样本的随机性，可以不再拘泥于按照收入、地址、年龄等自然属性进行抽样，抽样对象更加全面，抽样方式更加灵活，抽样推算结果的准确性也大大提高。抽样调查的目的是用最少的数据获取最多的信息，是信息匮乏、处理能力受限时代的产物。大数据时代“样本即总体”将成为趋势，现行的抽样调查方法可能需要作出根本性的调整和改变。统计部门必须加快推进“四大工程”，改进数据收集方法，同时充分整合利用现有的海量数据来源渠道，确保统计生产方式紧跟时代需求。

3.统计指标体系面临调整，为促进统计事业科学发展增添动力。目前的统计指标主要从宏观层面反映经济社会发展状况，一般只细分到产品、行业层面，调查发布频率通常为月度、季度，时效性相对较差，而阿里巴巴集团依托大数据推出的网络零售价格指数，时效性强、可信度高、发布频次快，已成为辅助了解通货膨胀、经济增长、居民消费等宏观经济情况的重要指标。未来随着大数据应用范围的日益广泛，数据挖掘技术的日臻成熟，更多来自于民间非官方机构的统计指标将应运而生，传统统计指标的实用性、价值性、科学性将面临巨大挑战。只有面对真实的用户需求，积极改进统计指标、分类标准和计算方法，调整数据发布内容，才能全面推进统计事业科学发展。

4.统计分析方法面临创新，为增强统计服务能力提供依据。传统的统计分析主要针对结构化数据展开，方法相对单一、固化，对相关关系的论证通常需要人为选择关联因子和假设前提。而海量数据往往能更直接、更准确、更快速地揭示事物之间的相关关系，且不受偏见影响。大数据背景下的统计分析将不仅仅是简单的数据汇总、罗列和比较，更需要专业化的数据挖掘与处理技术。把大数据方法论、数据挖掘技术和现代分析方法应用于统计分析中，将大大提升统计服务决策，服务社会，服务发展的能力。

5.统计数据质量亟待提高，为提升统计形象迎来转机。统计调查数据的获取，需要被调查者的参与，人工采集、整理数据的方式本身就会产生一定的误差，一旦调查对象不予配合或者采用虚报、瞒报、乱报等方式消极配合，数据质量更加难以保证。而真实性恰恰是大数据的主要特征之一，一方面因数据来源于客观交易行为和实时的个体行为，目的指向性不强且人为干扰程度低，另一方面因可以多源头多维度对同一对象进行验证，从而剥离一定的假数据。从近年来统计执法查处的大量违法案件到社会公众对部分统计数据的质疑可以看出，借助大数据来提高统计数据质量，提升统计公信力的现实需求刻不容缓。

三、变中求进 改进政府统计的几点建议

大数据对政府统计带来的机遇和挑战前所未有，只有顺应历史潮流，迎难而上，开拓创新，才能在这场变革中赢取主动，适应时代的发展与进步，在更新更高层面上不断开创现代政府统计的新局面。

1.推动职能转变，全力构建服务型政府统计。一是优化统计机构设置。统计制度设计要更加贴近用户的真实需求，数据采集要开拓整合更多可用的渠道来源，统计分析要运用更加专业化的数据分析手段。二是完善统计发布职能。要利用现代信息技术尽量缩短数据采集、传输、汇总、存储、发布等主要环节的时间，建立及时有效的数据发布和分析系统，采用可视化技术直观地展示数据。三是强化社会服务职能。政府统计只有真正做到面向公众，服务社会，才能在竞争中维护统计部门的权威地位。

2.完善制度方法，全面加快统计改革步伐。一是丰富统计指标。收集政府统计系统以外的统计指标，分析其与现行统计指标在口径、范围、内涵、定义等方面的差异，调整、规范和完善现有指标体系。二是改进完善调查方法。加快研究利用行政记录、商业交易记录和搜索引擎等调查方法，采集反映物价、通货膨胀、就业、消费等领域的数据信息。三是拓展数据收集渠道。整合运用现有的如GPS 定位测量、超市收银管理系统、ETC 电子收费系统等信息平台，加强与其他政府职能部门的横向合作，积极探索开展第三方合作。

3.提升业务水平，积极探索现代化统计新模式。一是改进数据处理技术。针对大数据的多源异构性，加快研究数据清洗技术，积极推动数据处理方式从简单汇总向数据挖掘方向转变。二是创新统计分析方法。要针对大数据速度快、存在形式多样且关联性强的特点，加强实时、关联和可视化分析。利用大数据在分析相关关系方面的优势，提升预警预测能力。三是开发统计新产品。在做优做强统计数据、统计分析、统计监测等传统产品的基础上，研制开发更高层次的统计产品及服务。如精准实用的预测模型、个性化定制咨询服务、便捷开放的数据查询系统等。

4.健全法律法规，切实保障各类主体隐私安全。大数据时代，并不意味着数据可以无条件、无原则地绝对公开。安全和隐私、法律法规的约束和限制仍是必须重视和直面的问题。个人、家庭隐私以及企业经营、管理等商业数据均是神圣不可触碰的底线。必须进一步健全数据采集、使用、分享等相关法律法规，做好统计制度方法改革与《统计法》等现有法律法规的衔接，确保在保密安全的前提下，让数据通过合法、合理的机制，实现社会共享，真正实现取之于民、用之于民。

[1] 维克托·迈尔-舍恩伯格，肯尼思·库克耶.大数据时代[M].盛杨燕，周涛译.浙江人民出版社.

[2] 涂子沛.大数据[M].广西师范大学出版社.

[3] 许小乐. “大数据”与政府统计改革[J].调研世界，2013（5）:42-45.

[4] 李翔.浅议大数据技术对统计工作的影响[J].辽宁经济统计，2013（5）:21-24.

[5] 吴立锋，李世超.浅谈大数据时代的政府服务型统计[N].中国信息报.2013-6-19.