大数据技术在工业经济统计与预测中的应用

◎北京神舟航天软件技术有限公司 吴彦军 丘斌 王占峰 严庆江

引言

随着移动互联网、智能设备、传感器、无线通信等技术的飞速发展，各行各业产生的数据量呈指数级增长，数据类型也各式各样，对于数据的传输、存储和分析提出了更高的挑战。为了应对大数据的挑战以及充分利用大量数据所带来的价值，NoSQL数据库、云平台、数据挖掘、人工智能等技术应运而生，并广泛应用于公安、金融、政府等各个领域中。

大数据不仅仅体现在数据的海量上，还在于其数据类型的复杂性、多样性。不仅包括结构化数据，还包括图片、文档、视频等非结构化数据。与传统的数据相比，大数据具有数量大、增长速度快、种类多、价值密度低等特性。

大数据的爆发意味着机遇，同时也带来了挑战。传统的数据处理手段已经无法满足大数据的海量实时处理需求，需要采用新一代的信息技术来应对。大数据技术主要分为五类，如表1所示。

一、应用背景

某政府部门需要对辖区内工业企业的经济运行状况进行统计，并在统计数据基础上对未来的经济走势进行预测，对重大项目进行审批和监管，以便对工业企业进行有效管理，并针对不同行业提供有针对性的金融支持或产业扶持政策。

事实上，企业每个月都需要给统计局上报相应的经济运行数据，包括能源消耗量、原料消耗量、工业总产值等，但是数据的时效性不高，用于经济运行情况监控、预警预测、辅助调控区域经济的价值不大。

随着大数据技术的飞速发展，利用传感器、视频监控、分布式数据库等工具与技术，可以多途径实时了解企业生产经营情况，准确统计企业经济运行情况，可大幅提高工作效率。

该部门需要收集的数据包括企业申报的经济数据、项目数据，企业的实时用水用电等能耗数据，以及已批准项目的建设现场视频数据。

表1 大数据技术分类

二、方法与工具

通过整合传感器、云平台、BI工具等软硬件工具，搭建一套完整的工业企业经济运行情况统计与预测系统。其系统总体架构如图2所示。

系统分为采集层、传输层、存储层、集成层、应用层、展示层和用户层。采集层包括智能终端设备、视频监控设备和客户端；传输层包括有线网络和无线网络；存储层包括关系型数据库、非关系型数据库及数据仓库；集成层包括数据抽取、数据加载、数据清洗、数据交换及数据整合；应用层包括应用开发与集成平台和项目申报、项目审批等应用模块；展示层包括BI展示、GIS展示及视频展示；用户层包括企业用户和省、市、县三级政府用户。

（一）多类型实时数据的获取

为了获取基础数据，数据采集来源包括智能终端设备、视频监控设备和客户端。系统在重点企业安装水、电、气等智能终端设备，在重点项目建设现场安装视频监控设备，同时由企业指定人员在客户端定期上报能耗、经营等数据。

图2 系统总体架构图

图3 利用Matlab搭建的BP神经网络模型

（二）异构数据的高效存储

系统采集的数据不仅包括结构化数据，还包括大量的半结构化和非结构化数据。为了实现异构数据的高效存储，系统采用的存储工具包括结构化数据库MySQL以及非结构化数据库HDFS。其中，企业基本信息、经济运行数据、水电气等物联网数据都保存在MySQL数据库中，而项目申报中的附件、图片及项目现场视频等保存在HDFS中。

（三）多数据源的整合和展示

针对来自智能终端设备、视频监控设备和客户端的数据，系统搭建了数据仓库，并采用了ETL工具，实现了多源数据的抽取、转化和加载，便于数据的后期分析与展示。

对于数据仓库中的数据，系统采用BI工具进行展示。BI工具中配有地图，包括矢量地图和GIS地图。矢量地图可到区（县）一级，可交互显示各地区的统计分析；GIS地图可标注园区、企业、摄像头位置，可动态展示所标注节点的信息。通过对工业增加值及增速、主要产品产量、财务指标等数据进行预先配置，分析各所有制形式、10大行业、地区（省、市、区县）、国标行业、时间、企业分类等维度的总体经济情况。

（四）基于人工智能的数据分析

1、基于计算机视觉的视频分析

由于视频监控的目的是为了掌握项目施工进度，为项目的各个节点验收提供数据支持。而很多时候项目现场没有变化，视频信息量又很大，耗费的流量费较多。为了降低视频监控流量费用，可以在项目现场发生变化的时候才保存视频信息。为了自动地进行视频数据的智能存储，采用计算机视觉技术，通过对视频信息的实时解读，实时保存现场发生变化的视频信息，减少流量费用并减轻大量的视频数据信息对服务器存储的压力。

2、基于BP神经网络的经济预测

人工神经网络对信息的处理具有自组织、自学习的特点，便于联想、综合和推广。神经网络的神经元之间的连接强度用权值大小来表示，这种权值可以通过对训练样本的学习而不断变化，而且随着训练样本量的增加和反复学习，这些神经元之间的连接强度会不断增加，从而提高神经元对这些样本特征的反应灵敏度。其中BP网络是最著名的多层网络学习算法，同时利用Matlab建模，建立的模型如图3所示。

在不限制隐层节点数的情况下，两层的BP网络可以实现任意非线性映射，所以BP神经网络包含输入层、一个隐层和输出层。BP神经网络采用的激活函数为Sigmoid函数。通过输入数据对神经网络进行训练，得到神经元之间的连接权重以及每个功能神经元的阈值。

三、大数据应用实践

（一）项目进度监管

该政府部门工作职能包括投资项目审批以及对重点投资项目进行补贴。为了对所补贴项目进度进行管理，项目承担方需要在关键项目进度节点上上报项目进展情况。同时为了防止项目上报情况不符，系统在重点建设项目现场安装了视频监控，能够实时查看项目施工进度情况。通过多渠道数据源的综合分析，政府管理部门能够对重点项目进度进行有效的监管，保证国家补助资金的精准投放和有效使用。

基于该平台，能够对投资项目的申报、审批进行有效的数字化管理。同时在项目审批后，通过项目现场的视频监控能够实时查看项目建设进度，对重大投资项目进行有效的监管。

（二）企业节能降耗情况统计

面对经济结构调整和产业转型的压力，政府对于工业能耗及综合利用提出了更高的要求，本项目建立了符合地区实际的统一、科学、全面的节能降耗监测指标体系。在能耗统计和实时监测数据基础上，全面建立涉及能源生产、消费、流通、库存、利用效率、综合利用的工业企业能耗数据指标体系。

利用水、电、气等相关智能设备采集的数据，分别根据综合指标（如万元工业产值综合能耗、万元工业增加值综合能耗、万元工业增加值综合水耗）和单项指标（如发电标准能耗、碳素产品单位能耗、铁合金单位产品冶炼电耗）进行统计，掌握企业的整体能源消耗水平及增长趋势，为节能降耗目标完成提供数据支撑。企业能耗统计如图4所示。

图4 企业能耗统计

（三）工业经济运行情况统计

基于该系统，政府部门能全面掌握全省工业运行的现状以及变化趋势，能从行业、地域、工业园区、产品、企业等不同的角度展现全省工业经济运行情况。工业经济运行监测包含重点企业运行监测、园区运行监测、行业运行监测、重点产品运行监测等，是精细化的工业经济运行监测和精准化经济运行综合协调的核心支撑能力之一。

企业按行业划分主要包括：煤炭、电力、化工、冶金、有色、轻纺、机械、建材、医药等行业。按行业统计的各行业工业增加值及增速如图5所示。

（四）工业经济预警与预测

通过开发面向工业经济运行的预警规则和知识模型，对各项管理指标能够设置预警，并实现主要指标数据预测功能。在运行监测业务门户中，展示工业运行中超出预警线的业务指标，使领导可以看到超出预警线的指标，及时针对出现的问题提出解决方案。

同时对工业经济的预测主要考察两个指标：工业增加值和工业增加值增速。利用建立的模型对整个省级及各地级市的工业增加值和工业增加值增速进行预测，得到相关预测曲线。某地区2018年的工业增加值及工业增加值增速预测值如图6所示。

同时随着数据量的不断增加，模型需要进行及时训练，从而使预测结果具有更大的可信度。

图5 各行业工业增加值及增速

图6 某地区2018年的工业增加值及工业增加值增速预测值

四、结论

通过整合传感器、无线通信、分布式数据库等大数据技术，实现了多数据源的高效采集、传输、存储和分析，搭建了一套用于重大投资项目管理、企业节能降耗监测、经济运行监控与预测的工业大数据管理系统。利用该系统不仅服务于现有政府项目管理、经济统计工作，还能够对经济形势进行预测，为企业转型、政府产业机构调整提供技术支撑。同时系统保留二期的扩展能力，加强与统计、电力、税务、银行等部门的企业数据共享、关联比对和分析，充分挖掘企业动态数据价值，改进提升经济运行监测、预测和风险预警，从而带动工业大数据相关产业发展。