国库统计分析中大数据方法的应用前景

2016-11-16 17:55刘辉刘迎迎朱涛
财经界·学术版 2016年19期
关键词:大数据

刘辉 刘迎迎 朱涛

摘要:大数据是通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据。目前人类已经处于“大数据”时代,大数据的产生对传统国库统计和分析产生了巨大冲击,同时也提供了重大机遇,如何利用大数据支持国库统计与分析成为当前国家和个基层国库关注的重点。本文从大数据时代的统计分析转变为切入点,提出应以大数据思维开展国库统计分析,接着从大数据的全流程管理具体阐述国库统计中对大数据的运用,最后为有效提升大数据应用,提出了相应的政策建议。

关键词:国库统计 大数据 分析与预测

一、大数据时代国库统计分析转变

(一)树立大数据思维

“大数据时代预言家”维克托认为:世界的本质就是数据,大数据将开启一次重大的时代转型,一直以来所延续的传统统计分析思想已变得陈旧且落后。国库统计分析思维应当在大数据背景下加以转变。一是关于大数据抽样调查工作的思想。抽样调查是目前统计分析工作中的重要调查方式,但应该清醒地认识到,传感器、网络和数据处理技术,为获取全局数据提供了可能,抽样调查方式越来越多的被大数据取代成为必然。二是大数据统计思想:允许数据存在不精确性。纵观目前的各类数据,一方面,数据来源不断扩展,另一方面数据处理方法飞速发展,我们应该把重心放在统计分析效率上,而不是一味地追求数据的精确性上。三是大数据相关关系的思想,由验证因果向寻求关联转变。统计分析报告是统计工作的下游产品,对决策的意义常常大于常规报表。大数据的应用,统计分析也将发生转变,在做好因果分析的基础上向寻求关联转变,原因分析更加精准和深刻,对策建议更具参考价值。

(二)被动统计到主动分析,从人工统计到智能统计

在这样一个信息爆炸的大数据时代,无论政府机构还是社会公众都可以通过多种途径获取信息,国库统计分析部门也不例外,更应该变被动为主动,对经济转型期的一些重大问题尤其是关系到可持续发展的重要问题,做好数据统计分析,提高发展质量,实现经济转型。涂子沛指出人类使用数据的巅峰形式,是通过数据赋予机器“智能”。大数据在包括国库统计分析中应用的终极形式就是分析智能化。

(三)从事后统计向事前预测转变

统计分析报告是统计工作的重要产品,完整的进度性常规分析应该包括对未来一定时期数据的预测。但由于小数据和信息量的局限,预测一般很少作为报告的重点,多是在假定发展条件、相关政策不变的情况下对未来情况做出的粗略研判,影响了统计对决策的参考价值。而大数据的核心就是将数学算法与海量的数据有效结合,来预测事情发生的可能性。大数据的广泛应用,将有利于统计报告实现由单一的事后分析,向注重事前预测转变。

二、大数据在国库统计分析全流程应用的探讨

当前,大数据浪潮带来了一场新的革命,面对经济发展的新形势新要求,国库统计分析要学会积极的运用大数据的思想和方法,来应对各种新挑战。国库统计分析要积极主动建立大数据分析应用机制,破解新常态下面对的各种问题,实现工作的创新与发展。本文重点分析国库统计分析全流程下大数据的应用。

(一)数据源:建立国库统计分析数据池

目前国库统计分析所用数据主要通过“3T”系统产生基础数据和监管类数据,通过收集各类型政策文件、影像资料、领导讲话、内网信息等形成综合性数据。但这些数据远未达到支撑大数据统计分析的基础。国库统计分析应当建立“数据池”这一基础工程,通过人行内部数据整合、银行和其它机构数据接入、互联网数据抓取和引入等多渠道扩充基础信息源和数据库,为国库统计分析的大数据应用奠定数据基础。

一是加速整合现有国库数据。我国国库汇集了各级政府财务数据和各级国库管理数据,包括从中央到县乡的各级机构化和非结构化数据,也包括税务、海关、财政、银行等部门处理的各类收支退存等国库资金运行数据,涵盖面极广。但现有数据资源存在着部门隶属、无法共享等问题,大数据要求建立统一、高效、共享的国库业务大数据池,就必须打破现有藩篱,尽早实施“国家金库工程”,完善内部数据源。

二是扩大国库统计分析数据源。最重要的是打通各级政府及其下属各部门之间的数据传输通道,实现政府办公、工商行政、招商引资、外贸出口、仲裁诉讼等政府活动所产生的数据接入共享。其次是实现一行三会、商业银行、行业协会、企业实体等生产运营数据的持续传输和报送。最后是互联网数据,互联网是大数据的重要载体,也是数据收集的快捷途径,通过各类互联网平台,门户以及行业网站,可以收集海量数据来增加国库统计分析领域数据采集的前置性和时效性。

(二)数据采集与存储:软件与硬件结合

大数据的应用中,由于数据来源非常广泛且类型多样化,需要存储和分析挖掘的数据量也是十分庞大的,因此数据展现和处理的高效性以及可用性十分重要。因而,大数据的收集和存储应当通过先进的计算机技术自动实现,并结合线下需求采取人工收集等传统方法,以补足系统无法收集的数据的遗漏。国库统计分析数据的采集应当在国库大数据资源池基础上,通过构建云计算应用平台,统筹整合各直属国库大量分散的数据和软硬件资源,通过应用云计算平台的资源和功能,以提升和优化整体效能,从而实现全国国库统计分析的大集成、大整合以及大应用。对于其他横向联网数据,比如一些保密性较强的科学研究数据和企业生产经营数据,则可以与研究机构和企业建立合作关系,使用特定系统接口等相关方式采集数据。

在数据存储方面,在通过完善的物理存储技术和云计算平台等软硬件设施的基础上,按国库统计层级建立分级仓储式数据中心,以人行总行为总库,各项业务与非业务数据达到汇总存储,各级行通过内部接口或云计算平台实现数据上传下载,同时本级行建立分中心数据存储仓,采集本级区域内纵向和横向数据并存储。同时按照保密和信息安全等要求,实施分级授权和设置防火墙、实时加密存储数据和卷标存储加密等技术。

(三)数据清洗与结构化处理

国库海量的、不规则的数据无法提供有效决策支持,只有通过数据清洗技术将大数据转变为结构化和规则化的数据,才能体现大数据价值。数据清洗包括检查数据一致性,处理无效值和缺失值等,是发现并纠正数据文件中可识别的错误的最后一道程序。经过数据清洗技术处理残缺数据、错误数据和重复数据后将有效数据写入数据库。

在国库大数据统计分析上,通过数学知识(概率、统计、离散化等)建立合理模型,充分利用和挖掘数据内容。综合运用开源类和非开源类数据分析工具包括R、Python、MATLAB、SPSS、EVIEWS等软件进行数据分析。具体实现统计分析、数据挖掘和模型预测等功能,并以可视化的结果予以呈现。统计分析包含假设检验、差异分析、相关分析、方差分析、回归分析、logistic回归分析、因子分析、聚类分析、主成分分析、判别分析、bootstrap技术等。数据挖掘包含相关性分组或关联规则、聚类、描述和可视化、复杂数据类型挖掘等。模型预测包含预测模型、机器学习、建模仿真等。

在统计分析过程中,国库统计分析应该重点实现云应用的创新与共享。统计人员可以根据业务的新要求,在云平台数据开放接口的基础上,自由构建合理的数学模型和算法,实现业务应用的创新和扩展。与此同时,以算法的方式将统计人员的智力成果和业务知识固化,当经验证为可信任应用时,可自动进入云平台的应用共享库,在得到授权的前提下,自由使用或补充完善,实现知识固化、资源共享。

(四)国库运行智能化统计分析

在云应用平台上,国库统计分析首先要将日、旬、月和年作为数据的时间维度,将国库收入、国库支出以及国库库存等统计指标作为数据的为空间维度,利用云计算的强大能力,并借助数据分析展示工具,预先计算处理数据。或者根据用户事先提交的数据挖掘需求自动完成相关数据预处理。统计分析人员随时可以从两个维度上深度挖掘数据,并使用QLikView等数据分析工具,实现统计大数据的多维度、可视化展示。

二是实现常规统计分析的智能化生产。可以通过完善和丰富大数据应用平台的分析功能,实现机器式的学习,输入必要的参数后,系统将自动计算数据,并关联提取大数据池中的相关数据和信息,进而依据特定的模板输出分析报告,最后由分析人员对输出的分析报告进行质量把关和进一步的补充完善。

三是构建统计分析数据模型,提高预警预测水平。不断进行新的分析预测数学模型的探索和构建,充分利用国库统计大数据平台上的海量数据和动态实时数据,不断提高预测水平。

(五)数据展示与反馈

以智能化统计分析为主的大数据应用技术,为数据结构化和可视化的展示提供了支持。简要国库运行数据、系统化运行指标、国库资金运行报告、国情和舆情监测报告、企业和金融服务报告、国库运行情况预测等为中央银行、各级政府部门制定有关政策提供统计信息和参考依据,充分发挥国库在国家预算执行中的促进、反映和监督作用。同时建立信息反馈机制,对现有统计分析结果予以反馈,还包括对未满足需求提出反馈,丰富和完善大数据应用成果,充分发挥国库统计分析应用大数据的社会价值。

综上所述,从全流程看,大数据应用自数据端建立“”数据池“”到处理端智能分析在到应用端数据展示,大致可以通过下图(图1)形象展示:

三、有效提升大数据应用的政策建议

(一)从制度层面保障大数据统计分析的有效开展

制定专门的大数据应用法律法规,在由总行统一部署、统一实施的基础上,各地区分支机构结合当地实际制定特色大数据应用和发展规章制度。从数据产生、采集、存储、挖掘和应用等大数据处理全流程做出明确安排。一是通过总行层面的发文、通知等鼓励通过大数据方法加强国库统计分析,建设大数据共享和应用平台;二是强化大数据统计所需软硬件采购、数据源互联互通及模块化分割等作出具体安排;三是要求大数据应用所应达到的在信息发布、统计报告、预测与预警等功能上的目标和绩效予以明确,充分利用大数据平台提供统计分析支持;四是强化信息技术安全,防止信息泄露、网络攻击、系统失灵等问题,明确应急处置方案。做到严格立法,有法可依,有章可循。

(二)加大基础设施建设和人才投入,满足大数据应用的软硬件要求

大数据基础设施可分为硬件和软件两类。硬基础设施主要包括用于收集、存储、分析和应用大数据的信息化系统架构;软件基础设施主要包括各类数据信息、数据挖掘和大数据应用专业软件以及金融企业的人力资源。人民银行应通过专项资金投入等方式构建大数据应用的软硬件设施和和培养专业人才,并通过持续培训使全体员工了解并使用大数据进行国库统计分析。也可邀请专业的大数据解决方案服务商作为咨询顾问,整合国库不同生产系统数据,优化数据应用行为,加快统计系统建设步伐。

(三)提高大数据管理和应用能力

国库统计分析应不断的加强国库运行数据的采集、储存、保护和管理工作,不断提升统计分析水平。加强对国库统计分析中涉及的地方债、营改增、房地产、小微企业经营、财政专户、盘活库存等热点领域可以设计建立相应跟踪监测指标体系。与此同时加强改革数据的统计制度、方法以及程序,研究大数据共享制度,为宏观经济分析提供便捷、坚实的大数据基础。

建立国库大数据分析应用机制是新形势下的当务之急。国库统计分析需不断改革创新,强化大数据的思维,提高大数据的意识和驾驭大数据的能力,积极探索新的大数据应用方法和途径,从而在国家宏观决策、服务经济社会发展、服务国库管理方面,进一步提升国库统计分析服务的能力和水平。

参考文献:

[1]沈昱池.大数据时代我国财政信息共享的思考[J].地方财政研究,2015(11):47-67

[2]陈健慧,赵昕.国库统计分析数据集中系统建设[J].金融电子化,2010,03:89-90

[3]中国人民银行包头市中心支行课题组,飞岭. 做好国库统计分析工作新思路的探讨[J].内蒙古金融研究, 2014, 09: 64 -65

[4]石勇.大数据技术在金融行业的应用及未来展望[J].金融电子化,2014( 7) : 22-23

猜你喜欢
大数据
基于在线教育的大数据研究
“互联网+”农产品物流业的大数据策略研究
大数据时代新闻的新变化探究
浅谈大数据在出版业的应用
“互联网+”对传统图书出版的影响和推动作用
大数据环境下基于移动客户端的传统媒体转型思路
基于大数据背景下的智慧城市建设研究
数据+舆情:南方报业创新转型提高服务能力的探索