自动化集装箱码头数据湖系统设计与实现

孔席超 张 腾 张 煜 杨彩云

1天津港第二集装箱码头有限公司 天津 120000 2武汉理工大学交通与物流工程学院 武汉 430063 3武汉理工大学韶关研究院 韶关 512000

0 引言

近年来，集装箱码头吞吐量逐年增加，大规模、高强度的进出口量对码头整体运营能力提出了新的要求。随着新兴技术在码头自动化建设中的不断应用，码头数据来源及结构的复杂程度也逐渐提高。

随着大数据、云计算等数据智能处理技术的发展，越来越多的集装箱码头开始应用数据挖掘、大数据分析等技术，通过对自身数据资产进行整理，对码头作业进行生产指导，有效提升了码头运营能力。因此，如何合理利用自动化集装箱码头数据资产，通过数据智能化技术，提升自动化集装箱码头数据可视化程度，成为了新的研究方向。

数据湖是数据存储技术的一个重要方向，多层管控信息通过数据湖在分布式节点单元之间快速流动，实现港口物流智能工作的可知可控可共享。在自动化集装箱码头生产作业过程中，为有效保障码头自动化作业数据通讯，实现数据的有效传输整合，需对数据湖系统进行合理设计，进而为码头整体运营提供相关分析和决策。

在以往的文献中包含了大量的关于生产数据湖构建方法的研究。黄家凯[1]结合地质行业海量数据的特点，提出按照数据摸底、技术选型、数据接入、应用治理来构建地质数据湖的主要步骤，为地质大数据平台的下一步建设方向开阔了技术思路；针对数据共享带来的隐私问题，谢裕清等[2]提出一种数据共享与访问模型，对区块链中的智能合约模块进行优化，实现了数据访问控制与安全共享问题；谭景信等[3]定义了适应分散、碎片化数据收集场景的数据虚拟化模型及模型驱动下的数据库间协作流程，缓解了集中式数据湖构建方法所存在的数据更新时效性差等问题；针对企业数字化转型要求及大数据平台面临的挑战，刘志勇等[4]提出了采用逻辑统一、物理分散、应用解耦融合的统一数据湖建设方案；陆生强[5]提出了时空数据湖的设计理念，给出了物理上分布式存储、逻辑上集中式管理的混搭式存储结构，结果表明，时空数据湖能够在智慧城市精细化管理中取得良好的效果；针对海量数据存储及高效利用问题，陈永南[6]提出了采用数据湖处理大数据的设计思路，为行业大数据的高效共享利用提供建议和启发。

上述文献对数据湖的研究主要集中在大数据存储、利用和数据虚拟化模型方面，缺少对自动化集装箱码头数据湖设计及管理方法的研究。因此，本文在分析自动化码头作业流程的基础上，提出一种数据湖设计及管理方法，该方法结合数据挖掘等技术，凭借码头数据资产对码头作业进行生产指导，同时，通过数据湖管理各模块间的高效衔接，实现码头运营数据资产管理。

1 自动化集装箱码头数据传输

自动化集装箱码头主要作业分为装船作业与卸船作业。在装船作业中，船舶到港靠泊后，智能运输机器人（Artificial Intelligence Robot of Transportation，以下简称ART）前往堆场取箱，集装箱门式起重机（以下简称场桥）将出口集装箱放置于ART上后，ART载箱前往岸边集装箱起重机（以下简称岸桥）作业区进行装船作业；在卸船作业中，岸桥将进口集装箱放置于ART上，ART载箱前往堆场指定贝位，场桥从ART卸箱并放置在堆场指定箱位。在该作业流程中，各数据模块之间不断进行数据的收集与交换。

1.1 数据模块构成

自动化集装箱码头数据模块主要由集装箱智能闸口数据、核心生产管理数据、生产作业数据及辅助作业数据等构成。其中，辅助作业数据包含电子商务、单证信息及集港预约数据；集装箱智能闸口数据具体包括人员预约、集港登记、车辆识别、箱号识别、箱型验残等，车辆按预约信息中预定时间进入智能闸口，进港及出港闸口进行车牌号、箱号信息自动采集后记录在场箱信息数据，并利用视频监控系统记录出入通道监控数据。同时对集装箱箱型进行检验，记录集装箱残损数据；生产作业数据由智能扭锁站、设备监控、水平运输管理、智能交通等系统数据组成，各系统之间通过无线网络进行数据通讯和信息传输，实现集装箱卡车精准定位导航、智能驾驶运输任务；核心生产管理数据由交班、外围、泊位、全自动码头操作管理、智能理货等系统数据组成，负责创建航线、船舶信息、船期信息及指泊计划。

1.2 数据传递过程

基于数据模块组成自动化集装箱码头数据传递过程如图1所示，辅助作业模块将车辆预约信息数据发送至集装箱智能闸口系统，并将车辆、集装箱、货物、人员等信息发送给核心生产管理模块；集装箱智能闸口系统根据辅助作业模块发来的车辆预约信息，对人员、车牌号以及箱号等信息进行验证，并将车辆数据、集装箱数据发送至核心生产管理模块；核心生产管理模块向生产作业模块发布生产作业任务状态数据、设备执行指令，并接受反馈信息；生产作业模块接收作业信息、驱动设备执行指令，同时监控设备运行状态并向管理系统反馈作业信息及设备状态数据。

图1 数据传递过程

2 数据湖构建方法

基于自动化集装箱码头作业流程，提出一种基于云架构的自动化集装箱码头数据湖构建方法（见图2），不同于码头传统数据管理模式，该方法通过码头数据管理、可视化分析、数据挖掘等技术手段实现码头数据资产管理，提高码头运营能力。该数据湖构建方法由自动化集装箱码头数据通信及自动化集装箱码头数据湖构成。

图2 数据湖整体框架图

2.1 数据通信

自动化集装箱码头数据通信采用多通讯协议混合通信的策略，分别对生产作业、运输装卸设备、楼宇资源以及视频监控等数据进行数据通讯。其中，多通讯协议协同通信策略主要步骤为：数据信息采集、判断数据来源与数据类型、根据数据通信表选择对应的通讯协议与数据库。在该策略中，自动化集装箱码头水平运输系统数据经Kafka传输至ES数据库中存储；码头生产作业系统数据与辅助生产系统数据经API通讯在Oracle或MySQL数据库中存储；码头机械设备数据经Kafka传输在HBase数据库中存储；码头楼宇数据经Kafka通讯在Oracle或MySQL数据库中存储；码头视频图像数据经Rtsp传输至文件系统中存储。在调试和运营过程中，可根据实际情况对通信协议进行调整，提升数据通信效率。

2.2 数据湖

自动化集装箱码头数据湖以物联网与云端服务器数据通讯为基础，通过数据湖管理方法分析整合数据，实现数据资产有效管理，提升码头智能化运维。主要由自动化集装箱码头各类型数据云端数据库模块、码头作业调度管理模块及资源调度管理模块等构成（见图3）。

图3 数据湖构成

1）云端数据库模块 将自动化集装箱码头运营数据如岸桥、无人集卡、船舶停靠等数据信息，经过云端服务器通信，汇入数据湖。

2）码头作业调度模块 自动化码头数据湖以码头数据为基础，通过分析各类数据信息，实现大数据分析下的各类作业调度（水平运输任务、装卸任务等），提升自动化集装箱码头整体运营能力。

3）资源调度管理模块 自动化集装箱码头资源不局限于生产作业所需资源，还包括水电能耗、楼宇管控、设备维修等。

3 数据湖管理方法

自动化码头数据湖管理包括数据入湖、数据连接、采集任务和任务监控4个子模块（见图4）。

图4 数据湖管理

1）数据入湖 数据入湖分为入湖模板、入湖引擎、文件格式以及数据湖存储4部分。其中，入户模板用于定于常见的数据入湖方式，目前主要包括全量数据库、增量数据库文件格式转换等，用户根据不同的数据源选择相应的入湖模板，然后填写相关参数信息，即可完成入湖模板创建。

2）数据连接 元数据管理支持对数据连接的创建、编辑、连通性测试以及删除，通过配置数据源信息建立数据连接，数据连接可被采集任务使用。

3）采集任务 通过新建采集任务可以配置元数据采集策略，不同类型数据源的采集策略不尽相同，可以是整个数据库，也可以是单库或者单表。

4）任务监控 监控元数据采集任务运行情况，支持查看采集日志、重跑采集任务。

通过上述各模块高效衔接，实现码头运营数据资产管理，从而对码头运营进行数据层面监控。

4 结论

自动化集装箱码头数据湖系统设计与实现方法集数据通信、数据湖构建方法、数据湖管理方法于一体，其优点主要体现在：

1）数据通信采用多通讯协议混合通信的策略，具有大规模、高时效的数据通信能力，能有效保障各数据与云端服务器的快速通信。

2）数据湖采用云端数据库，能实时传输前端设备采集的数据信息，保障设备数据通信时效性。

3）数据湖管理方法对自动化集装箱码头元数据进行管理，保证数据湖中的数据质量，为后续数据存储与分析提供便利。