领域大数据应用开发与运行平台技术研究

李绍杨

（吉林省促进中小企业发展服务中心 吉林 长春 130021）

领域大数据应用开发与运行平台技术研究

李绍杨

（吉林省促进中小企业发展服务中心 吉林 长春 130021）

伴随着当前大数据技术高速发展，对于大数据应用系统开发与运行平台的开发工作也取得了重大突破，极大的降低了大数据技术推广的门槛，使得大数据技术能够得以被更多的行业领域所应用。但同时考虑到大数据天然存在的多样性、复杂性与动态性特征，目前还确立出系统化的大数据软件开发体系，在具体的领域应用方面还有待开展进一步的研究工作。对此，本文将重点针对领域大数据应用开发与运行平台技术展开相关的研究工作。

领域需求；大数据；开发；运行；平台技术

1 引言

要对数据展开计算处理，必然离不开软件系统的支持，无论是在数据的搜集、存储、处理还是实践应用等方面都要用到软件。尤其是在当前的大数据时代背景下，数据处理各环节可供选择的软件工具多种多样，因此，这也对于面向领域的大数据应用系统建立、运行、优化工作均产生了巨大挑战。本文对目前大数据维护管理成本高昂、软件构件选型配置困难等问题，提出了研发大数据应用系统开发与运行一体化平台，以期能够为降低大数据应用开发及后期运维成本提供一些参考。

2 概述

大数据系统开发平台是直接与用户产生交互关系，要能够将各用户间的集群关系加以区分，并同时提供以便捷化的信息添加、删减及查询功能，因而，用户模块也是集成设计开发环境最为核心的一项构成内容，基于用户模块的控制影响，用户在应用大数据系统开发与运行一体化平台之时便应当具备有属于自身的独立账户，系统可基于对账户唯一性的辨别来确保每一名用户都能够在系统中获得一处独立空间，以确保所部署的大数据系统之间达到互为独立且不发生影响的状态。用户所提出的需求描述应当能够对系统内部各项资源与业务做出统一表达，所表述的范围将会同时覆盖典型大数据应用系统建立所需求的功能性需求。

3 系统性能优化

在运行大数据应用系统之时，相应的数据管理系统会将对各项数据信息内容进行实时性的搜集，并开展数据存储及索引建立等工作内容，以便能够最大程度的保障对运行数据管理需求的充分保障。在这一框架内部当中所存储的数据信息也将会被一并输入于参数推荐系统内，从而获得详尽的历史数据信息。

借助于对系统在实时运行时所产生出的日志类型分析，同时由用户需求以及系统本身的实用性上来展开考量，系统要搜集的信息内容通常包括了以下4种类型：

（1）系统内部各项集群项目的监控时序数据信息，具体包括了中央处理器的占用率、网络输出及输出字节数、硬盘写入与读取字节数等三部分内容；

（2）大数据构件模型数据信息；

（3）大数据构件配置参数信息；

（4）Spark任务调度熟读信息。

相应的数据构件信息均通过分布式任务划分成最小单元，针对所获取到的数据信息展开预处理分析，而后将所获得数据信息存储于MongoDB系统内部，相应的任务数据格式详见表1。

表1 任务数据格式汇总

4 领域应用

对于大数据技术的应用，现已逐渐发展到了产业互联网当中，在本次研究中将从大数据在天气预报与物联网中的应用来展开具体分析，前一种主要侧重于跨分析与存储层系统性能优化，后一种则侧重于领域大数据应用功能的实现。

4.1 大数据在天气预报中的应用

某其在开展内部管理信息化时，借助于工程机械传感器数据来获取大规模的数据信息，相应的信息也可实时性的经由移动网络发送至M2M服务平台，同时被存储于系统数据库内，平台可获取到企业在实际生产工作中，来自于各个环节的大量数据信息，在信息存储级别达到百亿级别后，查询效率大大降低，难以满足于实际工作需求，因此开展额一体化平台建设，确定出了适当的大数据应用系统。借助于对工程机械易受损零部件的特征统计，同时应用远程监测技术与定期维修技术来对较易受损的零部件损耗量及备用零件需求数量，展开预测分析，能够有效降低12%左右的呆滞库存，全年可节约库存费用9800万元。经过对产品的历史工作状态数据分析，有助于各专业找出导致质量问题出现的原因，降低因产品损坏而需投入的费用成本。

4.2 大数据在物联网中的应用

具备高度通用性效果的数据平台技术，是实现对数据信息系统专业化应用的一项基础性技术手段。为应对在气象预测领域内数据规模大、种类多、逻辑复杂等问题，基于一体化平台开发出了专业性更强的气象大数据管理系统。针对气象数据存储结构实施了优化调整，极大的提高了数据查询效率，并且也可与原本的数据存储系统和谐共存，借助于一体化数据处理流程的实施，数据应用效率也有了大幅度的提升，基于对标准格式的支持，实现了对数据处理流程的精简优化，利用分布式处理手段，大大加快了数据分析速率，系统性能有了大幅度的提升。

5 结语

总而言之，面对当前快速化发展的大数据技术，如何实现对这一技术的高效化应用现已被人们所广泛关注。大数据应用系统其中包括了对于数据信息内容的收集、存储、处理、分析等多个焊接，其中每一环节都有着多种解决方案，致使大数据应用系统的建立面临巨大考验。本文就对大数据应用的开发与运行平台技术展开了具体分析，探讨了对大数据应用系统的性能优化，并最终就大数据的领域应用从天气预报与物联网两个方面展开了深入研究。

[1]周志阳，陈飞.大数据实时计算平台技术综述[J].中国新通信，2017，19(4).

TP311.13 【文献标识码】A 【文章编号】1009-5624（2018）01-0046-02