政府统计中大数据管理与处理平台建设研究

◇邢晓志 孙华伟

近些年来，随着互联网、物联网、云计算等信息技术的不断成熟，经济发展速度大大提升，随之产生的大量信息数据成了许多行业所需要面对的挑战和机遇，经济社会逐渐迈入大数据时代。大数据不断改变着人们的生活和工作方式、企业的运作模式，甚至影响政府的决策。

目前，国内外已经有许多政府和企业将大数据作为核心对象进行研究，由于其作用和影响给各行业带来不可忽视的变化，更有学者将大数据视为“第二生产力”。面对已经到来的大数据时代，政府统计需要对大数据进行更加透彻的研究，并加以开发利用。

一、大数据与政府统计

大数据是一个难以通过现有数据库管理工具进行处理的大而复杂的数据集的集合，既包括传统的结构化数据，也包括图片、视频音频、网页等新数据源在内的非结构化数据。有研究认为，狭义的大数据是一个大样本和高维变量的数据集合。也有研究认为，大数据是一切可记录信号的集合。与此同时，有研究将“大数据”翻译为海量电子化数据，指在行政管理、生产经营、商务活动等众多领域以电子化数据的形式产生、积累和存储的行政记录和商业记录。对于政府统计工作而言，大数据是采用多种数据收集方式、整合多种数据来源的数据，是采用现代信息技术和架构高速处理和挖掘、具有高度应用价值和决策支持功能的数据、方法及其技术集成。

（一）大数据发展势不可挡

早在1980年，美国著名未来学家阿尔文·托夫勒在《第三次浪潮》中将大数据称颂为“第三次浪潮的华彩乐章”。维克多·迈尔·舍恩伯格所著的《大数据时代》一书出版后，大数据受到广泛关注。2011年，世界著名咨询机构麦肯锡公司发布了《大数据：创新、竞争和生产力的下一个前沿》，详细列举了大数据的核心技术，深入分析了大数据在不同行业的应用，明确提出了政府和企业决策者应对大数据发展的策略。这是从经济和商业维度诠释大数据发展潜力的第一份专题研究成果，具有很大的影响力。

近几年，除了学术界、商业界外，各国政府组织和机构也开始意识到大数据对经济社会发展的巨大潜力。2010年，美国总统科学技术顾问委员会发布《规划数字化的未来》，这是全球首次在政府层面将大数据作为国家战略的里程碑事件。2012年，美国政府颁布了《大数据的研究和发展计划》，拟通过从大数据中提取知识和观点的能力，加快科技进步，加强国家安全。随后，英国、澳大利亚等开始大数据战略部署。2012年达沃斯世界经济论坛，大数据处理技术被视为“2012年最应该关注的科学技术”。中国也在同一年开始大数据应用的研究，开设论坛、发布决策、部署规划。2015年，国务院印发《促进大数据发展行动纲要》，系统部署大数据发展工作。2016年，《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布，其中第二十七章《实施国家大数据战略》提出：把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新；具体包括：加快政府数据开放共享、促进大数据产业健康发展等。

（二）政府统计面临深层次变革

信息时代，随着社会经济利益主体的多元化，我国的政府统计处于新旧体系转轨时期。目前我国逐渐建立起了“统一领导，分级负责”的管理体制和“一局三队”的组织结构系统，统计工作实行五级管理设置，即“国家、省、地市、县市、乡镇”。调查体制上，实行“全面调查、全面报表、全面上报”的体制，并辅以抽样调查。近年国家统计局实施四大工程，开启了统计联网直报平台，建立相应的名录库和数据库。利用计算机技术和互联网优势，借助信息化发展统计事业，在逐步接轨新时代新技术中，进行深层次改革，转变统计职能，力求更好地为政府决策提供数据支撑。

（三）大数据对政府统计影响加大

从大数据的产生和应用背景来看，更加偏向于商业和社会分析，与国民经济统计看似并不相关。但实际上，大数据所带来的价值正在逐步超过一些传统的统计数据，对统计工作产生了影响和冲击，同时也带来机遇和挑战。

1.大数据对统计理念的影响

传统统计技术帮助人们通过对观察样本的描述情况而推测总体趋势，更好地了解宏观数据，但是由于方法和数据质量的限制，依然存在着对总体认识的不全面和不客观。而且，传统统计所反映的是总体趋势，不能确切获取具体的个体情况，难以产生更多价值的信息。随着数据采集技术的进步，大数据能够提供更加全面的总体数据，同时又可以具体到微观层面，对个体行为进行研究，将数据的价值提升到更高的层面。大数据使统计能够有机会在更多领域获取全面、完整且具体的系统数据。

传统统计是按照自上而下的论证模式，即从理论或者经验出发，根据设定的指标，利用数据进行实证分析。然而大数据是自下而上的挖掘模式，以数据为主导，在数据之间寻求关系并建立模型，形成理论，对传统统计是一种颠覆性的改变。

2.大数据对统计流程的影响

大数据产生的途径不同于传统统计数据，是通过各种传感器、计算终端系统备份等记录的，所以具有种类多样化、采集智能化的特点，同时对分析要求更加专业化，发布也更具透明化。

传统统计需要根据研究目的和对象指定相应的指标、报表、调查和汇总制度，对样本抽样方式不如大数据灵活，并且始终无法克服调查对象不配合、统计数据质量低、误差成本高的弊端，同时对于非结构化的数据无法进行有效的识别和快速分析，相比之下，大数据就具备以上的优点，同时能够大大缩短进程时间。

3.大数据对政府统计职能的影响

我国的统计更多的是跟监管经济体制相联系，通过供给需求来调节宏观政策，搞好微观管理，然而随着市场化的改革，市场内部调节逐步取代政府直接管理。微观层面上资源分配所产生的数据直接被加以利用，市场所需的数据从宏观逐步转向微观，统计数据的价值就发生了变化。有研究指出，一些现行统计指标，例如工业增加值、商品零售总额、固定资产投资、铁路公里数等，在未来大数据背景下，还能有多大的参考价值需要进一步讨论，但采集方式必然会发生巨大改变，仅仅商品零售总额一个指标就牵涉各个部门、众多网络站点和广大网络店铺等，政府统计的职能受到了极大的挑战。

二、深入研究政府统计在大数据背景下的时代变革

较长时期以来，工资“被增长”，CPI“被下降”，房价“被降低”，失业率“被减少”，地方GDP总和屡超全国数据，一时间，政府统计数据失去了原有的权威性和唯一性。我们在呼唤理性看待统计数据的同时，也要深思为什么有这么多质疑。新形势下提高政府统计公信力是迫在眉睫的事情，特别是在大数据背景下，政府统计存在的一些问题更是我们要深入研究的问题。

（一）统计体制中制约因素较多

从统计管理体制看，我国政府统计实行的是“统一领导，分级管理”的体制。在实践中发挥了解国情国力、指导国民经济和社会发展的重要作用。随着市场经济逐步深入，已不能很好适应急剧变化的新形势，弊端日益显现。一是政府统计部门上级对下级的约束能力差。分级管理的体制为地方领导干扰数据质量提供了便利，随着目标考核及各种排序、评价力度加大，各级领导更加关注数字的大小与利弊，却忽略数字背后的客观事实。二是部门统计只对上级负责。由于统计法规定各级统计局对国家其他各部门的统计机构和负责人只有指导关系，所以形成了条块分割的状态。统一性比较强的部门，如金融、文化、教育、卫生、城建、民政、公安、运管、科技等自成体系，政府统计部门使用其资料就比较困难，甚至遇到阻碍，造成了使用部门数据时费时费力不全面。三是政府统计对企事业统计组织的协调难度加大，实际上企事业单位成立专业统计机构的数量极少。随着经济体制改革的深入，新的经济类型企业日益增多，企业管理权不断得到强化，但是对统计工作却疏于管理，统计基础工作日渐削弱，搜集数据资料的难度加大。当大数据到来后，统计更难跟上时代步伐。于以上情况，现行统计管理体制要保障统计资料的准确、及时是越来越举步维艰。难以有效地、科学地组织统计工作，现行统计体制已经远远不能满足社会各层面需求。

（二）统计制度弊端较多

从现行统计制度看，存在弊端较多。一是政府统计包揽过多。政府统计和部门统计分工不明确，既增加了统计成本，又造成了数出多门。二是对部门统计要求不到位。本来可以根据国民经济核算的需要，从制度上规定部门统计向政府统计提供所需资料，但往往是部门只根据本部门的需要进行统计，统计发布的结果存在口径不一现象。三是政府统计专业之间不衔接。尤其对三产核算方面，兼顾多专业口径而导致精准性缺失。四是多口对下，一数多报。同一内容，多头统计。五是统计结果时效性差。年度主要指标靠预测，结果的迟缓发布降低了使用价值。六是专业上报的财务状况表过分依赖于会计核算，制约了统计功能的正常发挥。七是满足不了社会各界需求。按现行统计制度所统计的内容仅能提供一些反映经济社会发展的宏观指标，区域某行业的具体情况很难精准提供。从企业方面看，难以获取区域背景下的经营状况，市场行情。从社会公众方面看，也难以满足公众的需求。

（三）统计力量薄弱

传统简单统计方法已经难以承担大数据带来的“用数据说话”的统计任务，统计人员素质难以适应新的形势，具备计算机技术的网络应用人员和数据分析人员很少，统计人员难以承担日益繁重的工作任务，制约统计生产。表现为一是统计任务增大。随着经济社会快速发展，经济总量增加，社会问题增多，调查对象扩大，层次越来越高。二是统计人员不足。受人员编制政策的制约，虽然新设立了业务科室，但人员只是在单位内部协调产生，整体人员的总数并没有增加，也丝毫没有减轻统计的工作量。尤其是在乡镇统计中，由于统计没有单列的编制和经费，乡镇统计人员大多改为兼职为主，绝大多数工资较低，工作积极性大打折扣。三是统计人员素质难以适应新形势。新形势下，统计范围越来越宽，统计内容越来越多，统计难度越来越大，特别是在“三新”统计工作中，调查对象的行业划分，调查数据的收集提取，汇总数据的整理核算等，都给统计人员提出了新的难题和挑战。

（四）统计环境不宽松

一是干扰因素多。一些反映地区经济社会发展情况的重要统计指标在为地方党委政府实施经济社会管理提供重要依据的同时，也被作为考核评价地方领导班子和主要领导工作业绩的重要依据。这种考核评价方法对地方经济社会发展起到了重要推动作用，但一些地方领导为了突出工作业绩，在统计数据上存在明显的相互攀比现象，在一定程度上对统计数据形成干扰，这对政府统计部门搞准统计数据带来很大压力。二是法律意识不强。现在统计管理主要仍然依靠行政手段，《统计法》虽然颁布多年，但是效果不理想，现在能够保证统计工作正常运转靠的仍是行政手段。统计部门逐级向下布置报表，安排调查任务等靠的是层层开会、发文件，依据行政手段抓落实。没有和大数据接轨的统计环境，属于超负荷运转。

（五）技术力量落后

实行企业一套表以后，统计技术比以前有了较大改善，但是在根本上还是传统的、落后的统计工作方式，仅仅基本实现了统计系统内部的电子化、自动化、网络化、现代化。三经普、三农普开始使用PDA现场采集数据，是大数据的初级阶段，但部门之间尚未联网、各自的数据库没有自动比对，无法实现深层意义的联网。

三、政府统计中大数据管理和数据平台建设的新思路

大数据对传统的政府统计有着巨大的冲击力，顺势而为是政府统计的较好出路。大数据的到来给现行统计制度带来大的变革和新生，政府统计需要充分利用大数据的巨大优势，深入挖掘大数据的潜能，建立相应的机制与平台，为大数据能够更好地与统计结合做最大的努力。各级政府统计借大数据建设东风，实现数据采集的智能化，必须从高层进行超前谋划，在修改完善新的指标体系以后，在省市级统计局逐步完善数据处理平台建设。

（一）建立大数据平台

1.国家迅速建立大数据统计中心。从国家层面建立具备数据传输、数据分析，自动化程度较高的政府统计数据中心和云计算数据中心，大数据应用平台，在省、市、县、乡四级设定各级运用权限，提供数据分类、汇总、查阅、分析等操作，保障统计信息化设施通道的顺畅。

2.完善省级联网直报平台。建立省级大数据中心的同时，完善省级联网直报平台，优化统计系统“四大工程”建设、服务业统计调查制度、文化及相关产业统计、城乡一体化调查改革、劳动工资统计、保障性安居工程统计制度等，完善房地产价格统计，提高统计系统的信息化水平和互联网能力。

3.提前谋划省辖市级统计大数据平台建设。市级统计信息化平台与大数据接轨，形成上下互联效应；市级起到承上启下的作用，至关重要，在国家谋划谈判之际更新改造市级统计现代化水平，提前运作，未雨绸缪，等到国家方案出台，可以迅速达到国家要求。在市级统计系统建设网络平台，构建专业的机房和服务器，为云计算和大数据应用提供硬件端口。

4.提升统计服务水平。地市级依据大数据平台建立统计服务中心，借助平台加工整理行业精准数据，为各行各业提供除政府以外的深层次统计服务，为企业前期论证，如行业现状、饱和程度、市场需求等方面提供深加工服务，也是服务型统计的改革，从而提高统计系统的信誉度，提升政府统计地位。

（二）部门数据大联网

1.打造部门数据共享平台。实现工商、税务、质监、文化、教育、卫生、人事、劳动、建设、环保、民政、公安、财政、各大银行等部门数据全面联网，真正实现部门资料共享、信息畅通，实现社会经济、民生、环境等指标的预算，并联合发布相关行业分析报告和白皮书。

2.部门数据链接大数据。实现部门数据与大数据平台建设接轨，从国家全面修改和完善部门平台所需要的指标体系，保证全社会的大数据完整性，由原先侧重经济发展的指标转向注重民生、民情、环境发展等指标，实现统计数据和部门数据的一致性和唯一性。

3.部门之间的数据相互融合。数据平台接轨后期，部门之间数据通过专业开发的分析软件进行相互印证，查找各个部门之间数据差异，提出数据修正方案，逐步完善数据的合理性，避免行业内部的虚假数据存在。

（三）战略合作框架协议

1.拓宽合作领域。建立更多层次的合作关系，如国务院牵头与互联网领头企业签订大数据战略合作框架协议，合作建设大数据产业孵化基地或创业园区，共同开发大数据，形成生产力，推进大数据产业化。

2.扩大数据范围。在合作框架中，全面推动商业领域的大数据进入政府统计渠道，形成示范性合作项目，通过提升统计服务水平反馈社会，增加社会影响力，吸引更多的中小企业加入到大数据的研究中来，生产更多更有价值的统计产品。

3.促进转型升级。大数据促进传统企业互联网化，统计服务水平辅助企业升级转型，提升企业信息化，完善企业联网直报平台；融入超级电商、中小企业、个体工商户以及网络店铺的数据，新增公民填报系统，开发更加智能的分析软件和数据库，为合作框架协议提供更加全面的技术支持。

4.借助第三方网络精英。近年来互联网企业精英不断涌现，在大数据浪潮中国家要善于借助第三方力量，充实完善政府统计职能。联合百度、搜狐等搜索企业打造大数据引擎，集合统计自身的大数据优势，借助这些企业的基础设施能力、软件系统能力以及智能算法技术，对大数据进行收集、存储、计算、挖掘和管理，开发统计行业的大数据引擎，使其具备改造传统行业的企业管理、商业模式等环节的能力；联合艾瑞、易观等信息咨询企业打造大数据行业分析报告，借助搜索引擎服务提供商、电商和互联网用户的大数据，对互联网进行市场调查、流量监测、记录搜索请求等，与信息咨询企业共同开发数据分析业务，通过各自途径发布报告；联合浪潮、华为等服务器企业打造大数据硬件实验室，研发新型的大数据服务器，培养计算机技术人才和提高实验教学质量。

（四）数据网络人才建设

统计大数据平台建设离不开大量互联网人才，可以预言，大数据平台建设给统计人才需求将带来井喷式增长。

1.与高校联合开设相关专业，培养专业人才。设立与大数据相关的分析、挖掘、架构设计、数据库建设等专业，培养大批高精尖技术人员。

2.统计各专业与高校、研究院和实验室开展更多的大数据研究课题，聘请专家提供业务指导、技术咨询。申请政府科研项目基金，形成行业探索研究，为政府宏观调控和五年计划提供前提依据，为建立国家重点实验室打下坚实基础。

3.与著名的企业团队、先进的行业公司合作，开办辅导课堂、科技讲座、知识培训营，驻地学习，交流经验，形成战略意义合作的关系。

（五）营造大数据环境

1.设立大数据项目示范点。依照大数据发展模式，依托信息化规模，通过政府统计方法和大数据手段设立试点，集合纵向统计和横向分享，长期模拟观察，对比分析结果，形成调研报告，达到试点效应和影响力。

2.建立大数据长期项目机制。通过试点工程的效果，建立某行业领域的长期合作示范，为后期推广搜集更加详细的资料，总结更加有实效的经验。鼓励有条件的地区主动申请项目。

3.构造统计数据库。通过和部门、企业的深度融合，逐步构造垂直的统计数据库、横向的部门资料库、企业活动的结构化与非结构化数据库等大集合，配备先进的硬件设备和整理分析软件，依托大数据理论和计算机技术，通过大数据专业队伍，打造政府统计大数据平台。

四、政府统计未来展望

当政府统计以大数据为引擎建立新体系，将会极少使用人力资源，大部分工作在互联网和云端智能完成。数据采集、汇总、分类、整理、分析、存储和发布的各个环节，借助大数据、云计算和信息化处理技术，完成国家的农业、经济、人口普查以及各类的统计调查，同样有助于拓宽服务领域，全面提升统计工作水平。

结合大数据的优势，一是全面提高统计数据质量。政府统计可以进一步加快大数据标准化技术和搜集技术的研究，整合各行业生产经营中产生的实时大数据，以此来克服抽样采集时造成的数据不真实。促进对各类大数据的属性、特点、结构、代表性以及工业、投资、贸易、服务业等统计数据的相关性分析研究，寻找统计数据之间的关联以及类比方法，保证数据质量。二是克服人为干扰因素。未来的统计数据将在平台中生成，减少中间环节，一定程度上克服人为干扰因素。三是开展深层次经济形势分析。可以利用国民经济重要行业生产经营的大数据作为重要参考开展较深层次的数据加工和经济形势分析。四是真正实现依法统计。十八届四中全会的召开，标志着法制社会的全面建立，为政府统计带来无限希望。借助大数据，相信部门、超级电商、大中型企业以及公民会在法制社会的环境下，依法提供、报送基础数据，最终打造真实统计数据，为全面建立诚信社会奠定基础；五是提升统计服务水平。依照大数据产生的经济形势分析，统计部门可以成为各行业发展的权威咨询工具，同时秉承“共享大数据，共享专业咨询”的理念，打造高质量的统计服务，化解企业和民众对统计事业的信任危机。

在全行业变革时期，大数据作为一项革新技术，政府统计应该有计划地规避这一新技术所带来的颠覆性改革以及不利因素，努力将大数据技术打造成为政府统计数据搜集的“第二轨”，使大数据成为政府统计中不可或缺的重要途径，为统计事业开创新的局面。