大数据时代投资统计数据处理技术分析

张莹

摘要：随着经济全球化趋势进一步加剧，国内外竞争日益激烈，新形势下，各行业都面临着十分严峻的挑战，对统计数据信息的依赖性也越来越高。大数据时代的到来为统计数据处理的顺利开展提供了强有力的技术支撑，但由于数据信息处于实时更新和变化中，且具有类型多样、体量大的特点，大大增加了处理难度。基于此，本文探讨了投资统计大数据处理技术的意义，分析了投资统计大数据的基本特征和相关技术，以供参考。

关键词：大数据；投资统计；数据处理

大数据时代，信息生成、传播的渠道越来越多样化，数据传递效率越来越高，各行业的内在联系日益紧密，结构化、半结构化、非结构化数据的出现及广泛应用，给统计工作带来了全新的挑战。在投资领域，统计数据具有极为重要的参考价值，如果统计数据的真实性、权威性得不到保障，或出现了统计信息不对称的情况，投资决策失败的可能性也会大大增加。

一、投资统计大数据处理技术的意义

目前，我国金融体制改革正在深入推进，金融市场也正发生变化。为了让投资统计更加科学、准确，应结合实际情况，对投资统计大数据的关键处理技术展开分析和研究，从而全面、实时地处理海量数据，深入挖掘其背后蕴含的规律，提升投资统计数据的处理水平，从而为我国相关部门和行业做决策提供参考。

二、投资统计大数据的基本特征

从结构角度出发，可以将数据分为结构化数据和非结构化数据两大类。其中，结构化数据是利用统计系统，将企业通过二维表的形式展现出来的数据；非结构化数据则完全相反，是无法利用二维表展现的数据，比如，图片、文本、视频、音频等。投资统计大数据在遥感技术、地理信息系统等现代化技术手段的支持下，具有动态化监测的功能，让数据的实时收集、整理、处理等环节更加高效、便捷，并加强和投资业务之间的联系，使二者深度融合。一方面，要清楚掌握投资统计系统的实际运行状况，定期生成与之有关的投资统计数据和具体信息；另一方面，在PDA及相关硬件设备的支持下，可动态收集投资统计项目的变化情况，结合投资进度，与住建部门、发改部门、税务部门、工商部门等保持密切沟通，加强数据共享和传输，便于后期实时对比分析，从而不断提高投资统计数据的综合管理效能。

投资统计大数据的基本特征，具体表现在以下方面：首先，数据量日益庞大。大数据时代的到来，让数据变化和生成的速度越来越快，投资统计数据的单位也从TB级上升到了PB级。其次，数据类型日益多样化。目前，我国各级部门对投资统计数据的重视度日益提高，对数据信息的准确性、精确性要求也越来越高。因此，必须从多角度、多维度展开数据分析，确保其为现实需求服务，保证投资数据具有利用价值。再次，投资统计数据利用率不高。投资统计数据的采集并非静态的，而是一个“永不停止”的过程，需要收集的数据体量非常大，必须要通过相应的监测技术，密切关注重大项目在投资过程中的数据变化，出现任何细微的数据异常，都会影响投资项目的成败。因此，一定要采取精细化、规范化管理，提高数据的利用率，并再三检验数据的真实性与有效性。最后，投资统计数据处理效率要求高。新时代，投资统计数据时刻处于变化之中，对处理效率的要求越来越高。因而，应充分利用云技术、新型计算机、大数据等现代化技术手段，尽可能在短时间内完成数据的采集、传输、存储、处理、分析等环节，这样才能充分展现出投资统计数据的价值所在。

三、大数据时代投资统计数据处理技术分析

投资统计数据的处理，需要应用现代化技术，从数据采集、传输、储存、处理、分析等多个环节进行深入探究，以保证投资统计的效率与质量。各环节涉及的技术具体如下：

（一）大数据采集技术

在投资数据管理过程中，数据采集是最基础的环节，也是数据的主要来源。利用相应的技术采集各类数据端口，可让数据更加全面、完整。在大数据采集过程中，通常需要很多数据库同时接收数据，但也导致数据同质化现象。而且为了掌握更全面的信息，需要频繁访问和操作系统。为了让数据采集进行得更顺利，在数据采集端口必须利用相应的技术，确保其满足数据运载负荷，提高数据采集的全面性。目前，应用最为普遍的技术是Google文件系统中的GFS技术。该项技术不受空间限制，对各类型数据展开收集与整理，并密切关注数据信息的变化情况，从横向、纵向两个方面予以动态化管理。在投资统计大数据的采集阶段，一定要深化技术研究和开发，攻克当前面临的数据难关。在未来的发展中，数据信息的重要性会越来越突出。只有掌握了足够的技术，提高信息采集能力，才可充分发挥统计数据的价值和作用，让相关领域的工作人员掌握一手资料和信息，提高开发效能与利用率。

（二）大数据传输、储存技术

目前，我国的投资统计系统和数据联网直报系统高度结合，在一体化的数据联网直报平台上，数据处理更加统一、规范、高效，使数据动态传输、储存成为可能。随着我国经济社会的不断发展，投资统计数据量呈爆炸式增长，数据类型更为多样，但也使得数据储存系统、传输系统的负担不断加重，其升级和改造十分迫切，也成为必然趋势。否则，有可能出现系统漏洞，大大增加系统的运行负担，影响数据处理效率，还容易导致机密信息泄露。这种情况下，需要充分发挥大数据传输与储存技术的应用优势，对数据进行压缩，缩小其存储空间，提高传输速度。通过投资统计数据传输处理技术来构建处理模型，让数据批量处理成为可能，可有效避免系统资源占用空间大、资源利用率低等问题。目前，MapReduce技术在这方面的应用比较广泛，具有联机处理功能。将数据输入模型后，还可实现分割，统一调度计算集群，让各数据处理端口之间实现互联互通，信息共享效率更高。数据从采集、传输到存储，每个环节都需要相应的技术作为支撑，目前最常用的存储方式是分布式保存，安全性高、数据可靠是其主要优势，但其同样也存在一定的缺陷。数据在系统中占据着较大空间，处理时间长，要在最短的时间进行分类和集约化处理，做好信息压缩，可以使用投资遥感监测处理技术。在面对容量比较大的文件和资料时，可使用GFS分布式文件系统；在应对容量比较小的文件资料时，建议使用Haystack系统，弥补传统技术在数据存储方面的不足。

（三）大数据实时处理技术

投资统计大数据处理，采集和存储只是前两个基本步骤，后续还应对数据信息进行实时动态化处理。处理得是否得当会直接决定了信息的利用价值大小。目前，云计算系统是数据处理方面应用最普遍的技术类型之一，可满足绝大部分情况下的投资统计处理服务，但如果在联网直报的高峰期，系统可能出现崩溃、处理出错、处理效率低等情况，且数据的准确性得不到保障。造成这一现象的主要原因在于，投资统计数据体量大、类型多样，计算和处理难度大，在数据转化的过程中，也有可能因为格式、标准不统一而出现错误，导致统计指标不完整、数据异常等情况时有发生。为了解决上述问题，必须要结合实际需求，打造更加开放的分布式处理系统，对各类数据进行大规模处理。目前，Sector广域网分布式系统已具有数据处理、分割和转交的功能。

（四）大数据分析技术

目前，Bigtable分布式数据库在投资统计大数据处理和分析方面得到了广泛应用，可按照列表存储数据进，并从多维度展开分析，同时利用SQL语言集中分析数据，或利用LOD技术的可视化特点，构建相应的数据采集环境，对各类型大数据进行处理。平值法、平滑法、预测法、频率统计法等，都是目前常用的方式，可对数据模型进行深度对比和分析。

四、改进投资统计的相关建议

（一）健全统计登记制度，做到应统尽统

财政、水利、发改委等资金管理、审批立项部门，在向投资主体下发资金及项目相关文件时，一定要将资料同步抄送统计部门。对于重要项目，在市发改委、县区发改委及其他审批立项部门审批同意前，项目承接单位必须要在同级别的统计部门登记，按照固定资产投资统计的要求办理相关手续，否则不允许开展。市、县级统计局投资科（处）负责对所管理的当月投资完成额超过2000万元的项目进行解锁操作。解锁前，要与项目单位充分沟通，了解项目建设的内容和进度，检查相关填报凭证。在确认凭证支撑数据后，方可解锁；对没有凭证的项目不得进行解锁；对凭证不充分的项目，依法要求补充凭证或进行数据修订。凭证核查人员、解锁人员解锁主要依据要记录留痕，以备检查。

（二）加强重视

领导人员要加强对投资统计工作的关注度，做好协调工作，同时给予一定的资金、政策扶持。固定资产投资统计数据管理十分重要，必须要引进现代化的技术手段，充分发挥大数据、云计算技术等的应用优势，实行领导负责制，明确划分职责，并将责任落实到个人。定期举办固定资产投资联席会议，由市发改委组织，水利、交通、建设、统计等部门协同参加，通报固定资产投资项目的开展情况、预期收益、遇到的风险等，并采取有效措施，解决当前存在的各种问题。同时，建立投资项目统计台账，利用大数据技术，对投资项目相关的信息进行全面收集、整理、存储、分析与处理，将信息录入数据库。发改委、统计部门定期核查投资项目的完成进度、预期收益等，做好核对工作，确保将所有经费落到实处，以免出现浪费。

（三）采用全新的投资统计方法

将抽样调查和全面报表相结合，遵循“抓大放小、从轻就简”的原则开展投资统计工作。同样地，也可以根据项目进行统计，要明确各项目的规模，比如，以计划总投资500万元作为分界线，500万元以上的项目使用全面报表的方式统计，这类项目数量相对比较少，易于把握；总投资在500万元以下的项目数量比较多，投资占比小，可利用抽样调查的方式统计。部分特殊情况下，为了保证统计数据的全面性和真实性，也可利用大数据技术收集这类项目的所有信息，让统计人员对项目的开展情况进行深入分析。

（四）加大数据审核力度

首先，应严格填报凭证核查，确保数出有据。严格执行制度规定，培训指导调查对象依据真实凭证，准确填报相关指标投资数据。为确保月报期间数据核查及时、顺畅，各级要加大对填报凭证的先行审核和管理，重点审核当月完成投资额超过2000万元的项目。切实担负数据审核的职责，做好凭证查验、审核解锁等工作，可根据实际情况制定具体措施，进一步夯实基层统计部门责任，加大审核力度。其次，要准确把握数据变化，真实反映投资运行趋势受投资基期数据的影响，进一步加强投资运行趋势与相关指标，包括银行贷款，钢材、水泥产销量等的匹配性评估，把握好本地区投资的趋势。加大调查研究力度，了解重大投资项目的进展，做好因素分析。了解增速波动原因，按要求按时上报月报说明。最后，大数据时代，数据体量更大、类型多样，投资统计数据的处理难度也越来越大，对相关人员的专业水平提出了更高的要求。相关单位应定期开展专业培训，加大内部宣传，印发与投资统计有关的学习资料，夯实工作人员的理论知识基础。在数据处理方面，应强化其信息素养，使其灵活掌握各种投资统计数据处理技术，降低数据处理的差错率，保证信息的真实、准确。

（五）加强基础建设

积极探索、推进投资统计台账建设，规范投资项目审核，特别是建立投资填报依据台账。可先对一些投资总量大、进度快的项目建立填报依据统计台账，规范整理和留存，做到凭证齐全、数出有据，以便随时调阅。

（六）规范工作流程，严格工作要求

一是加强项目入库管理，实现全部联网直报。各地区投资处要严格按照《固定资产投资项目统计入库工作规定》要求，做好项目入库工作。同时，加大对入库材料的审核力度，严把数据源头关。二是按时报送报表。各地区投资处要严格按照投资司每月月报报送时间安排，准时报送各月的综合表和基层表，杜绝迟报或重大延误等情况。投资司每月将对报表报送的时效性、准确性等情况进行反馈，并以此作为年底考评各地区投资专业工作的重要依据。三是投资统计人员想要在短时间内上报众多报表、统计海量数据信息显然不够现实，即便有现代化技术的加成，想要完成过于繁重的任务难度也比较大。这种情况下，统计报表的质量也得不到保障。因此，对于统计局而言，应尽可能调整调查时间，让工作人员有足够的催报报表及审核时间，避免工作过于慌乱。

五、结束语

总而言之，随着我国科学技术不断发展，过去的投资统计理论、技术、方法等都已经难以很好地满足实际需求，必须要深化变革，不断创新。大数据时代的到来，让各种现代化技术手段在投资统计数据处理方面得到了广泛应用，让数据来源更加丰富，同时也让投资统计的理念产生了深刻变化。未来，应深化技术分析与研究，继续寻求数据处理方面的有效方法，加强探索，进一步提高投资统计的能力与水平。

参考文献：

[1]张岚，郭悦.发挥统计监督职能提升水利统计数据质量——《水利建设投资统计数据质量核查办法（试行）》实践与思考[J].水利发展研究，2022，22（06）：38-43.

[2]王明亮.水利项目投资统计数据精细化管理——以桑干河山阴县段河道综合治理工程为例[J].中国水利，2021（01）：60-61.