港口物流大数据管理方法

王妍妍，刘佳新

（1.燕山大学 经济管理学院，河北 秦皇岛 066004；2.燕山大学 信息科学与工程学院，河北 秦皇岛 066004）

0 引言

港口作为综合物流服务中心，数据呈现爆炸式的增长趋势，大数据的管理和应用越来越受到重视。大数据作为不可或缺的重要资产，在市场拓展、个性化服务和降低成本等方面给港口带来了经济利益。通过大数据技术优化港口业务的过程和方法，提供全方位、多层次的港口物流体系，充分发掘数据潜在的价值，对港口的发展具有重要意义。

近年来，大数据技术在物流领域的研究十分广泛。王柏谊，等[1]研究物流信息大数据平台的构建，在大数据的运用能力、创新经营模式、安全防护和人才引进等方面给出对策。付平德[2]基于大数据技术构建了智慧物流系统，分析了智慧物流的关键技术。白历如，等[3]为了优化物流企业的供应链管理，应用大数据完善了数据管理、健全了人才培养机制、培育了企业核心竞争力。万艳春，等[4]分析发现，我国在物流大数据应用研究的深度上还低于国外，大数据技术的应用将趋于具体化和现实化。李佳慧[5]提出航运大数据提升了企业的服务效率，还应向精细化和清晰化的方向发展。曾小娇，等[6]提出大数据促进了各港口以及物流企业之间的合作，但在智能化运营、协同化服务等方面有待完善。曾露玲，等[7]认为港口的信息壁垒限制了数据的共享和流动，大数据的应用还没有形成新的利润来源。由此可见，港口物流大数据的整合和应用初具规模，但尚未形成综合、完整的数据中心，大数据资源创造的经济价值也十分有限。

港口作为物流过程的重要节点，依托大数据技术来提高数据的管理水平和能力势在必行。本文分析港口物流大数据的特点和组成，建立大数据管理模型以分析业务数据和数据价值，充分利用大数据进行深度分析，达到降低企业运营成本、提高运营效率的目的。

1 港口物流大数据的组成和特点

港口物流大数据既包括企业内部的运营数据、管理数据和财务数据等，也包括企业外部的各种数据，可分为日志数据、业务主题数据和业务往来数据。日志数据是系统操作过程中产生的各种日志文件。业务主题数据是业务生产过程中的各种信息资源，其类型十分丰富，包括文本数据、图片数据、音频数据、视频数据和位置数据等。业务往来数据多为一些共享数据。这些数据中港口内部数据的质量最高、最重要，是大数据管理的主要数据来源和重点。随着信息化进程的推进和业务的发展，港口各类信息系统数量繁多，数据量越来越大，对实时性的要求也越来越强。港口物流大数据涉及企业生产经营的重要信息，这些数据的涉密等级较高。所以，港口物流大数据表现出数据量大、实时性强和涉密等级高的主要特点。

2 基于Hadoop的港口物流大数据管理

大数据管理涉及数据异构、处理速度快等问题，考虑港口大数据的特点，结合Hadoop在架构和技术类别上的优势，建立了港口大数据管理模型，提供集数据建设、数据分析和数据服务为一体的综合大数据管理系统。基于Hadoop的港口物流大数据管理模型分为数据采集层、数据预处理及存储层、数据分析层和数据应用层，分别完成数据的采集、存储、分析和应用，主要完成港口业务数据分析和数据价值分析功能，为港口提供有效的决策支持功能。该模型如图1所示。

2.1 港口业务数据分析

业务数据分析是整合港口的用户行为、经营数据等多种数据源，对数据进行多维度的、智能化的分析。业务数据分析是港口大数据管理的核心功能，是发现数据中隐含有用信息的过程。业务数据分析主要包括基础数据分析、深度数据分析和实时数据分析三个方面：

（1）基础数据分析采用统计分析方法对收集到的数据进行汇总、理解和消化。针对港口的各种类型数据，进行求平均数、最值、变化率等基础运算，实现对数据的初步认识和了解。

图1 基于Hadoop的港口大数据管理模型

（2）深度数据分析分为横向分析和纵向分析，横向分析是港口业务数据属性之间表现出来的关联性。纵向分析是不同业务类型或业务环节之间的相互影响关系。深度数据分析从以下几方面进行：

第一、生产业务数据分析。港口逐渐形成了以生产业务系统为核心的信息化布局，港口的集装箱业务、散杂货业务、物流业务、服务业务等会产生大量的数据，这些数据对港口的业务开展有重大的影响。通过利用数据挖掘技术发掘不同业务之间的关联关系，可有效发现业务中的浪费，为企业业务的调配和开展提供理论依据。

第二、客户数据分析。客户分析是挖掘客户当前和潜在的价值，了解客户的需求偏好和关注点，进而帮助港口制定客户管理策略。通过分析港口客户的业务往来数据，梳理客户基本信息、客户关注信息和客户业务类型信息，适时调整港口服务内容。

第三、共享数据分析。以港口为中心节点的物流链体系，各个企业之间的业务来往会产生大量的共享数据。清洗并统计分析这些数据，向合作企业和社会提供共享数据服务，可以有效打通物流链各个环节，更好地服务社会。

第四、设备资源数据分析。设备数据是设备工作和管理的基本数据，以结构化的数据居多，主要包括设备的工作日志数据、故障数据和维修数据等。其中，设备的工作日志数据多为实时数据，反映了设备的工作状况，设备的故障数据和维修数据反映了设备的使用情况。分析设备资源数据，为港口设备的保养、维护和更新提供有效支持，从而保证港口高效安全运转。

第五、管理数据分析。港口管理涉及战略管理、组织管理、计划管理、流程管理和财务管理等，分析管理数据为企业合作和业务开展提供保障服务。深挖港口管理数据，可根据不同的客户需要提供相应不同的服务内容，帮助客户获得最大价值。

（3）实时数据分析：针对具有较强时效性的数据，进行实时分析处理以获取有效信息。Storm 是实时的、分布式的在线实时流处理模型，被称为“实时的Hadoop”。基于Storm的实时数据分析分为数据采集与预处理、数据计算和结果展示三个阶段，港口物流大数据的实时分析过程如图2所示。其中，NoSQL数据库用于存储实时数据处理的结果，以支持结果的更新、查询操作，并作为结果的展示基础。

图2 港口数据实时分析流程图

2.2 港口数据价值分析

数据的价值分析是盘点和绘制出所有数据形成的资产。从港口数据源来看，内部数据是各部门生产和管理系统产生的数据，这些数据可信度高，是数据价值分析的关键所在。同时，数据的价值受到数据类型、数据质量、数据体量等多方面的影响。港口企业的数据价值体现在数据的可信度和数据的定价上。

（1）数据的可信度。数据的可信度与数据的质量息息相关，高质量的数据是保证数据可靠性的基础。数据的质量受到数据产生的业务流程、数据的控制制度和数据的管理制度等多方面共同影响。对港口企业来说，完备的业务流程要有完整的业务文档和记录。完善的管理制度要从硬件管理制度、软件管理制度和安全管理制度等多方面约束。有效的控制制度要以港口的各类管理系统中代码的控制机制和安全保密措施为基础，这些因素将共同保证数据的质量。

（2）数据的定价。数据定价是从资产的角度评估数据的价值，让数据成为可以交易商品流动起来。数据资产定价时需要在资产法律的限制下，考虑资产的实物特征，例如类型、质量、数量、实时性、可靠性、可获得性和时间跨度等。同时考虑将资产转换的成本，即交易该数据资产能否产生足够的收益，能否满足市场参与者对投资回报目标的要求。

2.3 港口物流大数据应用

大数据管理推动企业实现数据化运营，将企业的运营管理方式从“业务驱动”逐步转换为“数据驱动”。数据作为无形资产在企业的运营流程和决策中发挥着举足轻重的作用，大数据管理是港口实现从粗放式经营到精细化经营管理的有效途径。大数据管理的核心是为资产形态的数据，建立应用管理的标准和流程，加强数据管理的相关技术、体制和手段的建设。港口企业大数据管理将在原有技术手段和制度体系上，建立符合无形资产特性的管理技术和体制，保证大数据的合理配置和有效利用，充分发挥大数据的应用价值。

3 建设数据管理保障体系

为了保障全面大数据管理的高效开展，需要调整港口管理机构的设置和职能，大数据管理机构可按照数据管理架构的层次进行设置。由数据库管理员或者专门的数据采集员负责数据采集及相关工作，再配备数据安全管理员、数据质量管理员和数据运行维护管理员保证数据的存储。在数据管理中心的统一调度安排下，数据分析管理员完成数据的分析，并形成可视化分析报告。数据管理机构的队伍设立如图3所示。

图3 数据管理队伍结构图

4 结语

大数据管理和应用对港口的决策制定、业务发展和客户关系管理具有重要的影响。基于Hadoop建立港口物流大数据管理模型，为港口实施全面大数据管理提供了解决方案。有效的大数据管理能为港口决策提供更准确、更及时的信息，但在实际应用时也受到一些限制。数据的隐私和权属问题是制约大数据管理和应用的首要因素。同时，大数据管理涉及到很多技术和安全问题，港口的技术保障力量也有待增强。只有转变港口管理观念，大数据管理才有可操作性，然而，由于大数据无形资产的特殊性，大数据应用的效果考量尚无有效方法。