大型烟草企业智慧型ERP系统数据智能处理模式研究

张燕玲

摘 要：针对传统烟草企业ERP系统信息资源分散独立、数据利用率较低、无法保证时效性和完整性等问题，本文提出一种基于Hadoop的烟草企业智慧型ERP系统数据处理智能处理架构，通过数据整合与智能处理满足以数据驱动ERP的业务活动执行需求，从而实现在生产管理过程中以数据驱动生产、以数据驱动决策的管理目标。

关键词：烟草企业;智慧ERP系统;烟草大数据;智能数据处理

中图分类号：TP311.52文献标识码：A文章编号：1003-5168（2018）26-0032-03

1 研究背景

ERP的核心是企业供应链的管理，其脱离传统企业边界，从优化企业资源入手，以改善企业业务活动与流程为目的。现今，我国很多企业都引入了现代化的ERP系统，效果十分明显，特别是我国大型烟草企业集团，在很多方面的管理都尝试引入ERP去解决其存在的不足。现有的ERP系统无论在理论上还是实践上都还不够成熟，特别是对于ERP系统长期使用过程中所产生的大量业务数据，只能进行简单的查询和统计，其中有80%的数据并没有真正利用起来，更不能将其建立在数据的智能分析之上，有效地为国家的烟草计划经营模式提供决策支持[1]。同时，我国的烟草经营是建立在国家计划经营和自主经营下的特殊经营模式之上，国家烟草局和管理部门需要通过数据提升对市场把控的洞察力，从而满足市场需求，不断提升整个烟草领域中企业的自主创新能力。为了加强对ERP系统在运行过程中产生的大量数据进行有效管理和利用，建立智能的ERP数据挖掘分析与预测模型，实现数据、知识、业务活动与利润的智能转化，对烟草企业的重组与业务的标准化、提升生产与管理效率显得尤为重要。因此，本文主要利用Hadoop大数据平台、云计算、SOA技术对EPR系统中数据的智能处理问题进行研究，提出一种烟草企业智慧型ERP系统的数据集成与共享架构，从而实现在生产管理过程中以数据驱动生产、以数据驱动决策的管理需求。

2 基于Hadoop的烟草企业ERP大数据智能处理模式设计

2.1 ERP大数据处理架构

在云计算技术的影响下，分布式计算已成为目前解决TB级甚至PB级大数据问题的主要方法。传统的关系型数据处理模式已经远远不能满足当前复杂的数据处理需求。Hadoop作为一种有效的大数据处理架构，能较好地提供分布式数据处理的计算和存储能力。Hadoop数据处理的主要方式是将大数据块在HDFS集群中分割成可以独立传输和处理的小的数据块进行维护、处理和备份，并在需要时通过HDFS文件集群完成数据块的读写操作。与传统的关系型数据库处理模式相比，Hadoop具有高扩展性、可同时处理结构化和非结构化数据信息、高性能的完成离线批处理操作等功能[2]。

烟草工业数据只有在被整合和计算的基础上，才能被用于发掘和洞察商业规律，挖掘潜在的信息和规律，从而实现指导和优化生产经营过程，达到赋能于商业和创造价值的目的。因此，本文利用Hadoop技术构建了烟草企业的ERP大数据处理架构，如图1所示。

在Hadoop下，通过将结构化的卷烟生产、经营数据进行分类、数据清洗和标准的格式化转换，将各类异构数据整合在统一的处理架构之下，实现数据的统一管理和处理。架构主要分为三层：应用服务层、数据分析层和数据存储层。通过整合分散而独立的ERP环节的各项数据，从而达到业务功能环节整合的目的，避免在业务流程闭环中脱离数据的指导而造成生产各环节的脱节和分离。

2.2 ERP大数据接入与存储模型设计

2.2.1 ERP大数据接入模型。由于现有的烟草企业有很多业务系统是分散的，无法实现所有业务环节的整合，进行业务流程闭环操作时会产生很多断点，无法保证数据的完整性，因此，在ERP大数据接入和采集方式中，主要是利用无线通信（智能终端）、物联网技术（Zigbee无线传感网络、RFID无线射频和各类传感器）等，而为了保障ERP系统中各类数据采集的实时和有效性，将ERP数据的接入建立在分布式的消息队列Kafka的处理机制之上，提出了如图2所示的接入架构。该架构是一种生产者和消费者模型，能在进行ERP业务消息处理时对数据进行以下封装和处理。

①将每个终端采集到的消息发布到本地Kafka消息中，并且都以独立的数据形式进行封装;之后，再上传到云服务平台进行分析和处理。

②本文构建的Kafka集群，是基于分布式消息队列的，其中定义了可以进行扩充功能的接口，可以根据需要从ERP业务中加入对应的数据采集客户端，不会因为扩展了多个数据采集终端造成数据接入的瓶颈。ERP数据接入模型如图2所示。

③构建消息队列中的生产者和消费者模型，分别处理消息的请求和服务问题。生产者与消费者模式，可以解开消息与消息类型间的耦合度，解除程序和提供服务的数据模型之间的依赖关系。

④在Kafaka消息队列集群中加入缓存机制，使数据的读写效率比普通数据管理系统的磁盘随机读写要快将近两个数量级，从而保证前端数据的读写速度[3]。

2.2.2 ERP大數据存储与分析模式设计。大数据分析是建立在有效的数据存储和维护功能基础上的，根据应用需求对数据进行分析，提供分布式的计算和分析能力。在对ERP大数据进行分析时，需要按需读取数据，进行数据清洗、计算和结果存储。由于烟草企业ERP工作的数据量大，结构复杂而多样，很多时候需要对数据的变换状况做出快速而及时的处理，因此，本文构建了基于Hadoop的数据挖掘与分析架构模型，主要通过Hadoop中的分布式计算框架MapReduce来分割、并行计算，以扩大系统的计算能力，提高数据资源的利用率。

烟草企业ERP系统中的大数据主要分为结构化数据和非结构化数据两类。结构化数据是以传统的数据管理系统进行存储和维护，而非结构化数据分析处理较为复杂，是将ERP的大数据块分解成小的独立的数据块发布到各个离散的计算节点上，通过映射和规约函数完成在每个节点上的计算操作后进行存储、分析和统一调度。其执行过程主要包括以下几个步骤。

①分布式数据仓库Hive和分布式数据库HBase负责对海量的非结构化烟草ERP大数据进行存储，然后对数据文件进行分割，划分为多个数据片段，分配到集群中的各个节点上。

②主控程序Master将数据分解为各个Map和Reduce任务。

③被分配了Map任务的工作机读取对应的数据片段进行处理，调用映射函数Map，将获取到的中间结果进行缓存并写入存储器。

④数据被存储的位置需要发回主控程序，同时，也需要将位置信息转发给Reduce工作机。

⑤Reduce工作机通过远程调用Map上的文件，并按照Key形成序列，将相同Key序列的数据部署在一起。

⑥Reduce工作机将生成的Key与Value列表值发送给用户的Reduce函数，以便于将来检索调用，最终将结果输出到文件中进行存储[4]。

2.3 ERP资源虚拟化服务与请求调度模型设计

云计算的最大优势是通过将系统中的ERP资源进行虚拟化，达到资源整合和利用的目的。虚拟化技术主要包括服务器、存储技术和网络资源虚拟化几个部分。本文主要研究如何将ERP服务资源进行虚拟化，通过选择合理的调度策略，满足多终端应用程序对资源的请求和使用需求。

在云服务端，资源的请求访问是通过多租户技术来实现的，主要是为各个应用程序提供独立的访问空间和服务功能。由于本文建立的架构是对多个基层机构ERP数据资源进行共享，结合ERP数据在一定范围内对安全性和独立性的需求，本文采用混合多组合共享模式来实现资源的虚拟化服务和调用，包括以下几种实现方式的混合：①应用程序、數据库隔离而数据应用方式和空间共享;②应用实例共享，而数据库与地址空间共享;③应用实例、数据库和共享地址空间都隔离[5]。

在这三种模式混合下，本文提出建立基于队列的动态请求调度策略，从分配的资源请求中，进行优先级排队，排队模式如图3所示。

3 结语

由于传统的烟草企业ERP信息管理系统是一种狭义的管理系统，各个业务数据分散而独立，时效性、完整性无法保证，因此造成各个业务环节离散而脱离市场需求。本文提出的烟草企业智慧型ERP系统数据处理智能处理架构，实现各类异构ERP大数据集成与共享，从而满足以数据驱动ERP业务活动、智能调整和优化营销、物流、销售等，达到指导整个企业生产活动的目的，进一步提升烟草企业的信息化、智能化管理水平和市场竞争力。

参考文献：

[1]姬靖，李旭于，兆鹏，等.烟草行业信息化——青州卷烟厂ERP案例分析[J].微计算机信息，2016（21）：111-113.

[2]王能.RFID技术在烟草行业中的应用研究[J].经营管理者，2015（1）：322.

[3]王金旺，蒋明青，戴顺南.基于RFID技术的烟草商业企业出入库流程方案设计[J].物流科技，2025（31）：97-100.

[4]董鹏，张晓良.ERP生产计划模块的优化策略[J].CAD/CAM与制造业信息化，2015（Z1）：18-20.

[5]张云霞.基于云计算模式的ERP企业管理信息系统分析[J].信息安全与技术，2014（2）：47-49.

[6]樊凌凌.RFID技术在烟类产品运输包装中的应用实践[J].微计算机信息，2014（11）：14-16.