大数据时代统计数据质量研究

王杰

[摘 要] 当今社会数据量正在以爆炸方式迅猛增长，数据的表示形式千变万化，数据频率中的高频数据随时产生，这标志着已经进入了大数据时代。大数据时代的到来对数据存储、管理和从数据中提取有价值的信息提出了挑战。统计数据的质量是有效地分析和利用大数据的前提，它是大数据产生跨区域、跨行业、价值的保障。为此，梳理大数据的基本特征，讨论大数据时代下保证统计数据质量的必要性和方法成为当务之急。

[关键词] 大数据时代；数据质量；信息孤岛

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2016. 23. 093

[中图分类号] TP311 [文献标识码] A [文章编号] 1673 - 0194（2016）23- 0178- 02

1 大数据与大数据时代

近年来，随着英国维克托·迈尔-舍恩伯格的《大数据时代》和美国Bill Franks的《驾驭大数据》等著作的出版，大数据引起了社会的广泛关注，人们已经意识到大数据时代正在呼啸而至。大数据几乎对每个领域都会产生影响，所以限于不同领域各自的特点，对大数据的表述也不同，但是一个广泛的观点是：“大数据是一个数据集合，这个数据集合是无法在规定时间里用常规软件工具对它进行搜集、整理和分析的。”

2 大数据时代对统计数据的挑战

大数据时代需要既讲机遇也讲挑战。各个应用领域的不断变化使得统计学成为一门难以成熟的学科。所以在数据分析的世界里，统计学发展的终身动力是不断提高驾驭数据的能力。大数据是推断数据，不是原始数据，所以会存在抽样偏倚、随机的和非随机的误差。数据包括原始数据和推断的数据。数据的认知范围有限，所以数据可解释的范围就有限。模型是对数据信息的汇总，由于数据信息有限，所以模型可解释的程度也有限。超出模型可解释的程度，就是对模型进行一系列的假设。大数据方法研究需要多学科的联合，统计学家需要关注实时决策和计算机资源，计算机学家需要了解算法和统计推断的复杂性。

3 大数据时代对统计数据质量的影响

3.1 大数据时代对数据时效性的影响

库克耶和舍恩伯格认为：大数据不用抽样调查的方法，而用所有数据的方法。数据科学家甚至提出“样本=总体”，这或许意味着统计工作重心要转移。舍恩伯格和库克耶认为抽样调查有很多自身的不足：一是样本的随机性很难实现；二是不适合考察有子类别的情况；三是采样忽略了细节的考察，而大数据分析则可以弥补抽样调查的这些不足之处。如果说之前统计工作的重点在于数据搜集和整理，那么大数据时代统计工作的重心就是如何搜集整理分析有用的信息。这样一来，已经得出的数据结论可能不具有这个时代的特点，即失去了时效性。

3.2 大数据时代对数据真实性的影响

大数据时代除了对数据的时效性有影响之外，对数据的真实性也有影响。由此，当通过网络搜集数据时，首先需要考虑的是，数据是否是由自动化算法系统产生？如果是，究竟有多少？以淘宝网为例，大量的虚假评论已经影响了信息的真实。

4 大数据时代统计工作的应对之策

大多数的研究指出，当前统计方面存在的问题在于业务部门没有利用好大数据导致数据资源缺乏；企业内部信息孤岛导致数据的有效信息无法充分利用；工作人员数据分析能力差导致大数据时代下统计工作很难进行。

4.1 国家应对之策

在大数据时代下，要保障统计数据质量，国家应当做到以下几点：

（1）尽快改革当前统计管理体制的制约，保证统计独立调查、独立报告、独立监督的职权不受侵犯。在大数据时代，统计体制改革要与时俱进，尽快建立符合我国国情的统计管理体制。

（2）充分发挥党委政府的主导作用，赋予各其统计数据质量的主体责任。要发挥各级地方党委政府对本区域统计数据质量的主体责任，将统计数据质量的好坏作为考核一个地区领导业绩的主要方面之一。

（3）尽快建立引导一个提速增效的统计考核评价指标体系，完善党政领导的绩效考评机制。

4.2 企业应对之策

企业应做到以下几点：信息以数据形式呈现，强化建设数据标准；融合结构化和非结构化数据；推广应用大数据，促进使用信息资源；重视数据的安全管理。

4.3 个人应对之策

统计学家必须积极学习新事物，适应大数据环境，拓展统计学的应用领域，创造出新的统计方法。大数据时代带给我们的挑战与机遇并存。

主要参考文献

[1]朱建平，章贵军，刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究，2014（2）.

[2]郑京平，王众全.官方统计应如何面对BigData挑战[J].统计研究，2012（12）.

[3][英]维克托·迈尔-舍恩伯格.大数据时代——生活工作与思维的大变革[M].周涛，译.杭州：浙江人民出版社，2013.

[4]Brian Hopkins，Boris Evelson.Expand Your Digital Horizon with Bigdata[N/OL].www.asterdata.com，2011-09-30.

[5]邱东.大数据时代对统计学的挑战[J].统计研究，2014（1）.

[6]耿直.大数据时代统计学面临的机遇与挑战[J].统计研究，2014（1）.

[7]李金昌.大数据与统计新思维[J].统计研究，2014（1）.