大数据分析技术及其在物流业中的应用

李 玲， 潘贤真， 张 通

(1.中国外运华南有限公司, 广东 广州 510700; 2.华南理工大学 计算机科学与工程学院, 广东 广州 510006)

随着时代的发展，信息化进程加快，社会已经进入了大数据时代.作为时代发展的产物，物流业发展成为国家重要支柱产业和衡量国家综合国力的重要标志[1].如何在大数据背景下实现物流业的快速发展，创新升级是国民经济发展任务的重中之重.将大数据技术融合到物流业中，实现物流业的规范化、信息化和智能化，实现智慧物流[2]，有助于提高行业运营能力和服务质量的提高，也能够促进资源的循环利用，实现可持续发展.

目前，随着信息化程度的提高，越来越多的人加入了“网购”行列，产生了大量运输需求，这对物流业来说既是机遇也是挑战[3].自2015年以来，社会物流总额呈现逐年上升的趋势(图1).

图1 2015-2020年7月社会物流总额Fig.1 Total social logistics from 2015 to July 2020

2019年我国社会物流总额达到298.0万亿元，同比增长5.9%.到2020年7月，达到约150万亿元，同比增长0.5%[4].据最新统计，到2020年10月，全国快递业务量已超600亿件.然而传统的物流业模式由于通讯和技术方面的限制，在短时间内无法实现如此庞大的运输量，从而造成“暴力”物流，这在一定程度上产生一些资源浪费和售后纠纷[5].

在大数据和信息化的时代，如何实现物流业转型升级和创新发展至关重要.国务院于2016年指出要深化改革物流供给侧结构，推动互联网和物流业的融合，实现智慧物流.姜兆华[6]也认为“互联网+智慧物流”是改善我国传统物流结构的核心方式.随着信息化程度和全民参与度的不断提升，数据量快速增加.目前，各种大数据技术已经趋于成熟，将大数据技术应用到物流业实现智慧物流势在必行.

前不久发布的《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》指出，要畅通国内大循环和促进国内国际双循环，物流在我国新发展格局中被赋予了更高使命，与此同时，数字经济已上升到国际战略层面，对物流业的数字化转型加快进行.物流业要完成时代赋予的新使命，离不开大数据技术的应用.

2 大数据概述

2.1 大数据定义

近年来，“大数据”成为热频词，被广泛地应用在各个场合，但其定义一直没明确，学者和研究大数据的专家对此都有自己的见解.袁冰[7]认为，大数据是指在一定时间内通过全新高效的数据处理模式，并具有更有效优化能力的规模大和多样化的数据信息资产；Victor等[8]认为大数据的核心是预测；徐宗本等[9]认为大数据是“不能够集中存储,并且难以在可接受时间内分析处理，其中个体或部分数据呈现低价值性而数据整体呈现高价值的海量复杂数据集；维基百科将大数据[10]界定为:常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间限制的数据集；麦肯锡全球研究所①对大数据的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合；高德纳咨询公司(Gartner)(1)分别来自麦肯锡与Gartner研究报告.则将大数据定义为无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产.

2.2 大数据特征

虽然业界对大数据的定义不尽相同，但普遍认为大数据具有“5V”的特征：①Volume(规模大)：数据量大，已达到ZB级，2020 年预估为40ZB[11]；②Variety(种类多): 大数据不仅来源多样(互联网、物联网等)，种类也多样，包括结构化、半结构化和非结构化等类型；③Veracity(难辨识)：大量为非结构化数据，需要专门的技术工具进行识别；④Velocity(高速性)：分析和处理速度快；⑤Value(价值性)：价值密度低、商业价值高[12].

伴随着移动技术、物联网和人工智能等技术的发展，数据呈现爆炸式增长.当前，大数据已成为国家战略资源，引起了学术界、产业界、政府及行业用户的高度关注，对大数据的研究与应用成为热点.

在政府层面，美国、日本以及欧盟等都相继制定了促进大数据产业发展的政策，积极构建大数据生态，实施大数据国家战略.2014年3月，大数据首次写入中国中央政府工作报告；2015年10月，党的十八届五中全会正式提出“实施国家大数据战略，推进数据资源开放共享”；2017年1月工信部发布了《大数据产业发展规划(2016-2020)》；2020年5月，发布了《关于工业大数据发展的指导意见》.这些推动了我国大数据的健康发展.

3 大数据分析技术及最新进展

3.1 大数据分析技术

大数据本身没有意义，大数据的有效利用，需要使用大数据技术进行信息的收集和分析，在海量的数据中，提取有价值的信息.大数据分析是一个清理、转换和建模数据的过程，从而提取有价值的信息，同时更好地理解现实、 预测未来， 实现基于数据的决策，是大数据处理体系的核心.

因其优点，大数据分析技术广泛地应用在互联网、电信、金融、军事和医疗等各行各业[13-22].大数据分析技术发挥的作用是其他信息技术无法替代的，它开拓了新的市场，创造了新的运营模式，为企业风险管理提供了保障，降低了企业在金融投资中的风险[23].大数据分析技术的应用推动了企业经济效益的提升，提高了企业的市场竞争力.

大数据分析使用的方法有统计分析法、数据库方法、神经网络方法等[24-28]，各方法的简介和特点如表1所示.

表1 大数据分析方法Table 1 Big data analysis method

张雅琼等[29]在研究过程中，对大数据分析工具进行了总结，详见表2.

表2 大数据分析工具Table 2 Big data analysis tools

3.2 大数据分析技术最新进展

近年来随着人工智能的发展，BP 神经网络、贝叶斯算法、支持向量机和 K-means 算法等人工智能成为大数据分析的关键技术.利用人工智能可以构建大数据模型，同时动态地实现算法的更新和处理，保证算法能够准确地实现数据加工，发掘多维数据中错综复杂的关系，提高大数据分析的精准度.

概括地讲，人工智能大数据分析可以分为基于机器学习的大数据分析、基于深度学习的大数据分析和基于计算智能的大数据分析三类[30].在机器学习方面，通常采用MapReduce或改进现有的聚类算法(K-means)进行大数据聚类，应用Apriori、FP-Growth进行大数据关联分析；在深度学习方面，主要是将深度学习算法和大数据平台结合，通过分布式来降低深度学习的训练时间成本，如基于 MapReduce、Spark的面向大数据分析的深度学习算法的改进；在计算智能方面，主要有基于粒子群优化、动态正负反馈蚁群优化算法等.

在应用层面，马丽娜等[31]提出遗传算法和基于聚类的关联规则挖掘相结合的优化模型，分析预测顾客的购买行为，用来解决零售业的先行发货问题；王建胜等[32]基于机器学习、数据挖掘技术探寻数据潜在的规律用于指导钻井液处理剂的生产；Fan等[33]应用聚类和关联等方法进行大数据分析，提取出客户的隐含信息用以营销；Yang等[34]提出了一种基于深度神经网络的图像检索方法，用于解决多媒体大数据的分析与挖掘.

怎样提升算法的性能并取得较优的应用效果是当前基于人工智能的大数据分析所面临的主要挑战.

4 大数据分析技术在物流业中的应用

近两年，多数物流企业提出向数字化转型，数据成为公司的核心资产.大范围的数据分析实践正在进行，以改善客户关系、提高利润率、寻找潜在市场，并从服务、管理等方面进行各种预测.

4.1 大数据下物流的智能客户服务

在京东物流、顺丰、中国外运等物流企业，用大数据进行客户画像以更好地识别客户需求.客户画像，也可以称之为客户大数据分析，是指从大数据中提取客户行为的隐含信息，并通过大数据分析技术来剖析该隐含信息[35]，从而为商业决策提供帮助[36].客户画像可以及时掌握客户消费偏好和需求，从而实施个性化销售方案，对产品、市场、销售都有价值.

苏宁、京东等2C企业应用大数据分析技术对客户真实购买行为组成的消费行为数据和用户与企业交互过程产生的非消费行为数据进行分析，以了解客户的购买力、购买习惯、商品或服务的偏好，形成客户洞察力，引导消费转化，并结合特定的数据挖掘模型，基于历史消费行为，能够预测未来消费的可能性.

中国外运、中远海运等2B物流企业，通过客户画像从客户细分、客户关系、渠道通路等方面分析客户需求，以精准捕获客户需求，同时还分析客户的授信、信用等用于内部财务管理.

此外，基于大数据分析、机器学习等技术的智能客服(客服机器人)，近两年也在物流行业中得到广泛应用.客服机器人可以24 h在线实时回复用户提问，不仅帮助企业降低了人力成本，还大幅提升了工作效率.

4.2 大数据下物流的智能仓储

在大数据时代下，物流的智能存储涉及到仓库的智能选址、自动分拣和智能存储.在产品存储仓库建设前，通过大数据智能技术优化配送中心的选址问题.使用智能技术综合考虑各种限制条件，如消费人群、产品生产地、供应商和客户位置、运输成本、建设成本等，优化产生最佳方案，从而降低运营成本，提高运营利润，实现企业利益最大化[37].在产品配送前，同样可以利用大数据技术实现最佳配送中心的选择问题，提前优化路线，计算运输成本和时间消耗，在保证低运输成本的情况下，实现产品以最快的速度运送到消费者手中.

此外，传统的快递分拣和存储是人工进行的，速度和效率都不高.目前正在向自动化、智能化方向发展，以减少人工操作和干预，将有效提高速度和生产效率，如自动引导车(Automated Guided Vehicle，AGV)、仓库机器人等自动化物流装备[38]，这就要涉及到包括RFID技术、传感、感应识别、扫描等设备和基于智能方法的决策策略[39].法国公司Exotec构建的机器人Skypod，实现了仓库商务化.采用垂直系统优化存储空间，大大提高了空间利用率和运营效率.利用海量数据获取用户需求信息，为用户提供按需仓储也是未来的发展趋势.

4.3 大数据下物流的智能运输

大数据背景下，物流运送过程的可视化和高效性也是智慧物流追求的目标.可视化贯穿供应链端到端的全过程，包括物流运营和操作环节的可见性和业务运营可跟踪性.高效性则涉及到物流运输路线的智能优化.

在信息化时代，人们更加追求可信度和信息透明化，这能够给消费者带来更高的安全感.通过区块链技术建立一个物流信息平台，支持端到端的运输流程，该平台能够给物流利益相关人员提供每一个步骤的位置跟踪信息，提高了运输过程的透明性，从而有效避免货物丢失[40].此外，在国际贸易中，还可以通过智能合约的方式实现B2B付款，有效防止欺诈.

运输过程是整个物流中耗时最长的，如何缩短这个时间关系到整个运输的效率.通过大数据与人工智能的结合，从海量的数据中检索出最具价值的线索，主要对路径、运输和配送路线等进行预测，发现效率最高的方案[41-42].例如，京东在智能物流发展中通过对海量数据的分析处理，利用这些真实有效的数据构建出了人工智能算法平台，帮助企业对物流运输路线进行优化、对库存管理进行科学布局以及对订单进行实时跟踪等，从而降低了运营成本，提升了物流运输配送管理效率[36，43].现在也有不少最新的研究，探索如何使用智能的方法实现运输路线最优化[44].

4.4 大数据下物流的智能配送

目前，从配送中心到消费者这一步骤的效率较低，因此，最后一公里的交付直接关系到了消费者的满意程度并成为一个亟待解决的问题.这个环节还涉及到交通、个体差异等问题.

京东正在投入使用的自动驾驶无人车配送是一个很好的解决方式(图2).无人车不仅配备了常规的GPS定位等，还有全景视觉监控、感应系统，并设计了车身防撞系统[45].无人车系统能够根据周围情况做出决策，避免发生事故.这种配送方式不受天气等因素的影响，工作时间长，能够提高货物配送的效率.

图2 京东无人驾驶配送车Fig.2 JD driverless delivery vehicle

另外，无人机也是一种不错的配送方式.相较于无人车，无人机受交通情况的影响较小，可能更高效.但是由于供电量和飞行能力的原因，适用于短途和重量比较小的货物的配送任务[46].这种设备需要大数据中无人物流设备调度控制相关技术的支持.

目前，很多城市都在投入使用的智能快递柜，有效地解决了客户无法及时接收快递，造成物件丢失的问题.在客户不方便接收快递时，配送员可以将快递先存放到附近的快递柜，在客户方便时，只需要使用取件码就可以完成取件.这样不仅节约了配送员的时间，也能够让客户的时间安排更随意，提高了物流配送速度和客户满意度.除此之外，快递柜还提供寄件服务，无需等待，快速高效.

农村由于基础设施落后，物流配送受影响极大.加强农村基础设施建设，完善信息化设备覆盖，加大政府支持力度，能够有效促进物流在农村中的智能化[47].

4.5 大数据下物流的资源回收

与日俱增的网购行为产生了大量的货物包装.如何实现包装的有效回收和再利用，有助于实现资源节约和可持续发展[3].居民小区和高校作为人员密集区域，对实施快递包装回收十分有利.

针对快递包装回收问题，建立一个快递包装回收平台体系，优化物流过程中包装处理的问题.在高校或者小区建立智能回收站点需要通过海量数据分析站点的合理位置，针对不同的包装，需要进行智能决策给出相应的回收费用.回收之后，还需要进行相关数据分析，进行处理方案优化，从而告知管理人员及时进行站点清理等.

4.6 大数据下物流的高素质人才培养

在大数据下的智能物流对于工作人员的要求在质而不在量，因此，要注重培养高素质人才.

智能化物流业对科技要求更高，需要培养高科技人才对设备和体系进行管理.因此,要树立人才培养理念，深化改革人才发展和人才培养机制，以提高工作人员的素质从而保障行业智能化发展[48].一方面要建立专业培养计划，加强对不同特色人员的培养，充实人员队伍.特别是农村物流企业，政府可以给出相关支持政策，着重培养工作人员的耐心和解决问题的能力,以及区域性文化等.另一方面要加强与科研机构、技术企业的合作，优化人才结构.要统筹人才培养，建设仓储、调度、分拣和配送等专业性队伍[49].要提升工作人员素质，进行定期集中培训，加强职业技能，完善考核评定机制，让物流行业合理化、智能化.

4.7 大数据下物流业的风险管理

风险管理一般分为事前风险管理、事中风险管理和事后风险管理三方面[50-51].大数据分析可以应用到风险管理的每一个环节，有助于提高物流风险管理和抗灾能力.大数据分析能够增强事前风险预测能力，由于数据来源不仅包含企业自身经营发展过程中产生的数据，还包含企业互联网之外的其他数据信息，通过对这类数据进行全面分析，分析结果更具有可靠性；大数据分析能够加强风险事件中管控能力， 通过数据分析， 便于第一时间发现经营过程中存在的风险，及时管控调整风险环节，减少风险的发生；大数据分析为事后风险处置提供更好的支持， 大数据分析能够协助找出风险发生的根本原因，引导管理者做好风险管理决策.

在集装箱港口、码头，通过建立数据分析模型，根据码头生产管理逻辑，确定数据分析模型，可以智能预测未来码头吞吐量、物流管理和流程管理等，动态监管码头生产流程，从而提升港口日常运营效率；通过对异常数据分析，如短期内港口拥挤、泊位占比过高、安全事故等，智能分析原因，挖掘相关数据，并建立相关数据关联关系，实现安全管理、应急预警等功能，提升码头服务质量.

4.8 大数据下智慧物流生态圈

在“互联网+”的大环境下，智慧物流成为业界的一致追求.智慧物流指的是利用集成智能化技术，包括云计算、大数据、物联网、AI等，使得现有物流系统能够模仿人脑进行智能运作，具备学习、感知和推理等能力，实现物流的信息化、自动化和智能化[52].

智慧物流的本质是科技和数字驱动下的社会化协同和社会化共享，实现社会分散资源的最优配置，并沉淀出新的物流生产关系和商业文化.智慧物流将最终进化为一种生态，产业链供应链深度融合、相互赋能、相互依存、逐步形成以“整合、开放、协同、共享”为特征的物流生态组织系统[53]，从而提高社会物流效率，降低物流的综合成本.

生态圈的构建离不开商流、物流、资金流和信息流的四流合一，需要以数据为驱动，进行信息分享和互动协同.中国外运的战略愿景是打造世界一流的智慧物流平台企业，正在以数据驱动、算法领先、智慧取胜为目标进行数字化全面转型，积极构建供应链生态圈.在数据驱动方面，通过共享中心建设和打造数据中台，以数据为中心进行分析和决策.

除此之外，大数据分析技术还可以应用于产品方案规划，即根据资源情况，设计服务产品，按需存储等.

5 未来展望

互联网+物流助推传统物流线上化，“物流在线化”产生大量业务数据，随着数据的指数级扩张，使得物流大数据从理念变为现实，通过数据资产化，数据驱动的业务创新推动企业数字化变革，将大幅推动生产效率的提高[54].“业务数据化”正成为智慧物流的重要基础.

未来5G的商用，将极大提高数据的量：从4G到5G，流量密度、移动性、连接数密度，还有峰值速率都有很大的改变，数据量也将有极大的提升.5G时代下的智慧物流，大数据分析技术的应用将更为广泛[55].但2B物流企业，亟需建立企业的数据标准，引进或培养大数据分析技能人才，以更好地使用大数据分析技术，进一步挖掘数据价值，通过数据驱动，为企业创造更大的价值.