大数据下基于Hadoop的智能物流平台架构

聂萌瑶，张 峙

（1.安阳工学院 计算机科学与信息工程学院，河南 安阳 455000；2.新乡县一中，河南 新乡 453731）

智能物流的发展过程概括起来经历了雏形阶段、发展阶段、成熟阶段3个阶段，分别对应着粗放型物流、系统化物流、电子化物流，除此之外，智慧物流是智能物流的发展方向[1-2]。那么，大数据背景下的智能物流信息技术主要包括捕捉技术、传输技术、处理技术、分析技术、预测技术、推送技术。其中，传输技术完成信息传输的功能，通过Internet，WSN，MSCBSC来支撑其传输；处理技术中最核心的就是实时性，可以结合Hadoop技术进行分布式处理，来提高平台的效率；分析技术这主要是利用大数据技术对物流市场的海量数据进行聚类分析，进而做出合理的决策；预测技术主要对路径、运输和配送路线进行预测，最主要的依据是预测客户的需求，根据客户的需求，将商品物流环节和客户的需求同步进行。

大数据处理技术涵盖了5个方面：数据采集与预处理；存储与管理；计算模式与处理系统；数据分析与挖掘；可视化分析。在数据采集与预处理上，除了从微观、中观、宏观的角度捕捉信息外，还用到传感技术、无线射频技术等数据捕捉技术，完成数据的收集；在数据计算模式与处理系统上，结合分布式Hadoop技术完成数据的计算和处理；在数据可视化分析上，主要应用大数据智能决策。依托大数据技术进行智能物流决策，很大程度依赖于对未来业务的准确性预测，未来业务的预测准确性高，智能决策就容易实现。智能大数据决策系统为物流企业、运输部门和政府部门等制定战略规划和经营决策提供参考。

1 大数据下基于Hadoop的智能物流平台的关键技术

1.1 Hadoop平台

Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台，主要用于海量数据（大于1 TB）高效存储、管理和分析。Hadoop是以Hadoop的分布式文件系统和MapReduce为核心，以及一些支持Hadoop的其他子项目的通用工具组成的分布式计算系统[3]。

1.1.1 HDFS

Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）中的数据具有“一次写、多次读”的特征，它以流式数据访问模式来存储超大文件，具有较高的吞吐量，部署在低价的硬件上，提供底层支持[3]。HDFS的体系结构如图1所示，整个文件系统信息节点—Namenode用于数据管理；数据节点（Datanode），用于存储文件块，进行数据读写操作，其中，文件被划分成多个64 MB的大块作为独立储存单位。

图1 HDFS体系结构

1.1.2 MapReduce

MapReduce是一种思想，它是把大而重的任务拆解，分成一系列小而轻的任务并行处理，就比如学校组织秋游活动，校长要向老师们收取秋游的活动费用，告诉各学院院长让他们执行此任务，院长告诉教研室主任让他们把费用收上来，最后再把收上来的费用交给院长，这个过程中院长把任务分配给教研室主任的过程称为Map过程，教研室主任把钱收齐交给院长的过程就是Reduce过程。该框架包含了Client，JobTrack，TaskTrack和HDFS 4部分。这种分块的思想适合物流数据错综复杂的特性，Map函数把数据映射成为宏观、中观、微观3个不同的区块，再通过Reduce函数将分块分析的数据汇聚，将结果输出，具体来看HDFS的4部分，Client负责配置任务，提交任务，就像例子中的校长；JobTrack负责初始化任务，分配任务，就像院长，并且与TaskTrack进行通信，协调整个任务的执行，它就像是教研室主任；TaskTrack在分配的数据片段上执行Map（映射）和Reduce（化简）任务；HDFS负责保存作业的数据、配置信息以及计算结果[3]。其运行流程如图2所示。

图2 MapReduce数据流程

1.2 大数据处理平台

大数据处理平台包括IaaS层、PaaS层和服务接口层，IaaS层服务由虚拟机结点构成；PaaS层由海量数据处理和数据处理工作流构成；服务接口层对外提供海量数据处理。

图3 大数据处理平台

2 大数据下基于Hadoop的智能物流平台的实现

在大数据环境下，智能物流服务强调的是移动服务。要想提供流动服务，其中最重要的是操作框架，它从微观层面、中观层面和宏观层面提出了智能物流的操作框架。首先是微观层面，包括对货物的运输、货物的存储、货物的分配、货物的包装等相关数据进行分类。其次中观层面，即货物的供应链、货物的采购和生产产生的物流数据的分类。最后宏观层面，对于商品的分类，将不同的商品分类成不同类型的数据分析。根据这3个层面对数据的分类设计了基于Hadoop的智能物流信息平台的业务系统、功能系统和结构[4]。

2.1 功能模块的设计

大数据下基于Hadoop的智能物流平台的设计模块分成3部分：推送单元，Hadoop大数据处理和分析单元，用户系统单元，如图4所示。

各功能模块的作用和功能如下。

（1）推送单元：该单元属于此模型的感知层，主要功能是完成对宏观、中观和微观3个层面的数据的感知、采集和回传，包括智能运输，自动仓储、动态配送和信息、物流供应链、供需平衡等不同信息感知系统。其中，网络通信平台属于模型中的通信层，主要完成推送单元和Hadoop大数据存储、分析、处理和计算单元的数据通信。

图4 智能物流的架构

（2）Hadoop大数据存储、分析、处理和计算单元：该单元属于模型的计算层，能够对海量数据进行规范存储和高效处理。用HBase进行分布式存储，IasS层服务搭建MS结构模型，完成任务的分配和执行，PasS层服务完成海量数据处理的任务。另外，依靠数据挖掘对数据做出合理决策，这才是此单元的主要目的。

（3）用户应用系统单元：该单元主要功能是实现智能化物流服务的应用，包含了在客户端上用户对物流数据的查询和浏览，并能够实现对货物动向的实时监控；比如，对路径、运输和配送路线来说，根据客户的需求，将商品物流环节和客户的需求同步进行。因此，该单元作为用户来说具有非常重要的作用。

2.2 平台的设计流程

实验准备软件：VMWare10虚拟机，CentOS，Hadoop。

具体流程如下。（1）通过物理机虚拟化4台虚拟机：1个Master，3个Slave节点，为它们分配IP地址及角色。（2）配置平台中用到的网络。（3）创建平台中新用户组和用户。（4）配置平台需要的Java和Hadoop环境。（5）进行平台的架构。（6）对平台进行模拟的测试。

3 结语

随着大数据时代的到来，传统物流走向了一个更加高端的智能物流及智慧物流的发展阶段。大数据下基于Hadoop的智能物流平台的架构通过软件将人员和设备连接起来，利用Hadoop技术和数据挖掘的思想，将物流系统的智能水平提高，用这种方式提供更方便的物流服务时，它将帮助用户加快响应速度，进而减少物流成本，同时帮助公司在供应链中扩大业务，有了这些优点这种平台就能够在物流行业中很好地实现推广。应当看到，我国物流业未来的发展方向是采用智慧物流模式，并且智慧物流将会变得越来越智慧。