面向海运统计的AIS大数据挖掘分析研究

赵龙飞, 姜晓轶, 孙 苗, 曹 磊, 郭 雪, 吕憧憬

面向海运统计的AIS大数据挖掘分析研究

赵龙飞1, 2, 姜晓轶1, 2, 孙 苗1, 2, 曹 磊1, 2, 郭 雪1, 2, 吕憧憬1, 2

(1. 国家海洋信息中心, 天津 300171; 2. 自然资源部海洋信息技术创新中心, 天津 300171)

为解决传统海运产业统计方法数据质量不高、时效性差、统计产品陈旧短缺、公信力不足等的问题, 提出基于AIS大数据挖掘分析开展海运统计的方法。详细阐述了基于AIS大数据的海运统计分析技术路线、大数据平台技术架构, 以及电子围栏分析、航行事件分析、航次分析和统计指标生成等关键模型算法。以2019年3月至5月全球大宗货品船舶的AIS数据应用为例表明, 该方法可提供港口、海上通道和大宗货品三方面的海运大数据统计指标, 为实现海运即时化、准确化、精细化的统计分析与展现提供了新思路。

海运统计; 大数据; 海洋经济; AIS; 挖掘分析

海运业是国际贸易的桥梁和纽带[1]。海运统计是摸清海运贸易量、提供海运产业运行情况的重要工具, 对于发现海运产业存在的问题, 科学制定海运产业政策, 实施正确、有力的海洋经济宏观调控措施, 从而推进海洋强国和海运强国建设等具有重要意义[2-3]。当前, 作为政府统计中的部门统计之一, 海运统计仍遵循制度设计、调查采集、数据整理上报、数据发布与开发利用的流程开展, 面临着数据质量不高、时效性差、统计产品陈旧短缺、数据公信力不足等的问题[4]。大数据统计通过对产业运行过程中产生的样本海量、实时、非结构化等传统统计调查无法获取的数据进行挖掘分析, 如电商交易数据、位置数据等, 为从根本上解决传统统计存在问题打开了新视角[5]。

近几年基于船舶自动识别系统(automatic identifi­cation system, AIS)大数据进行船舶航行、航道和港口作业统计以及经济运行态势分析成为新的趋势[6-13]。何建春[14]基于船舶AIS、RFID、视频监控等多传感融合的全样本水运统计模型与方法, 对内河航道船舶流量流向、货物流量流向、船舶航行里程、航道航行密度进行了统计分析与展现; 刘满娜[15]建立了基于AIS的港口监控与分析系统, 实现船舶进出港、船舶锚泊和系泊等的分析统计; 祝天虎[16]以AIS和大数据挖掘技术为基础, 设计了基于Hadoop的聚类算法和船舶航次预测算法, 实现了对铁矿石贸易量的预测。航运电商平台如船讯网、Hifleet船队在线等将海量零散、动态的AIS等海运数据搜集、整理、建模后形成多维基础大数据模型, 并提供了大宗货品海运统计、港口运营效能、船舶运力分布及预测、集装箱准班率等分析产品和服务。

宏观层面的海运统计包括港口、对外贸易和大宗货品等方面, 基于AIS开展海运统计分析不仅需要全球范围的港口、泊位数据, 还要接入、处理并分析所有船舶的海量全球实时和历史AIS数据, 并能据此挖掘出各类型货物的运量情况[17]。但从笔者搜索到的业界及学术界的公开资料及文献来看, 对基于大数据平台架构的AIS接入、存储、处理分析技术和宏观海运统计挖掘分析模型构建的整体技术方案仍描述不足。因此, 本文面向港口、对外贸易及大宗货品的海运大数据统计分析需求, 给出了基于AIS开展海运统计的技术方法, 详细阐述了AIS大数据平台的构建方案, 以及电子围栏分析、航行事件挖掘、航次分析等关键模型算法, 并以历史全球大宗货品船舶的AIS数据为例进行了实证分析, 为变革海运统计模式, 实现海运即时化、准确化、精细化的大数据统计分析与展现奠定技术基础。

1 方法概述

1.1 AIS数据

本文提出的海运大数据统计分析方法主要基于AIS数据。根据IMO《国际海上人命安全公约》规定, 总吨大于300 t的海运船舶都需要安装AIS终端设备。船舶发送的AIS信息通常可以被附近的岸基或者卫星AIS接收装置接收, 基本可实现全球范围的船舶追踪。AIS数据主要包括动态信息和静态信息, 其中动态信息主要包括船舶位置(经纬度坐标)、航速、航向等, 静态信息包括船舶载重、吃水、目的港和预到时间等。动态信息一般由与AIS相连接的物联网设备自动提供, 这些信息在航行时通常几秒钟更新一次, 在停泊时几分钟更新1次, 且准确性较高。静态信息一般由人工输入, 存在信息缺失或者不正确问题, 可靠性相对较差。

1.2 技术路线

基于船舶AIS开展海运统计的数据模型涉及AIS动态感知信息以及船舶档案、港口、泊位、海上通道等基础数据以及这些信息在业务上、逻辑上、时空上的相互关系。大数据统计模型的建立有赖于船舶流量流向、货物流量流向、船舶进出港、途经海上通道等信息的生成, 其实现的整体技术流程如图1所示。

图1 基于AIS大数据的海运统计技术路线

1) 数据资料收集: 包括全球范围内实时及历史卫星AIS数据、船舶档案数据、全球港口及泊位数据等, 来源包括商业采购、英国劳氏海事数据库、人工调研补充等。

2) 大数据平台及分析模型构建: 利用分布式存储和云计算技术, 搭建AIS大数据存储和计算平台, 研发并集成电子围栏分析、航行事件判断、航次生成等挖掘分析模型算法, 满足AIS实时数据接入、存储和处理分析的要求。

3) 数据清洗及数据仓库构建: 基于大数据平台, 开展AIS数据的抽取转换和清洗等, 处理结果以船舶航迹点和航迹线的形式形成数据仓库, 满足后续挖掘分析的需要。

4) 航行事件挖掘: 通过对AIS航迹数据的挖掘分析, 将船舶航行过程划分为预装航行中、准备装货、正在装货、装货完成、卸货航行中、准备卸货、正在卸货、卸货完成8种航行状态。

5) 航次分析: 分析船舶事件, 形成船舶航行从装货到卸货的完整航次周期, 分析结果包含船舶航行航次的装货港口、卸货港口、途经海上通道、货品类型和载货量等信息。

6) 统计指标生成: 在船舶航次信息基础上, 进行港口船舶进出港统计、海上通道船舶流量统计, 以及大宗货品装卸货统计、进出口统计等, 并形成多维度的大数据统计指标。

7) 结果分析及可视化展示: 分析评估航次信息和成果指标的准确度, 迭代优化挖掘分析模型, 同时开发前后台功能, 实现基于GIS的分析结果关联性交互查询展示。

2 大数据平台架构

AIS大数据平台的建设是实现海运大数据统计的技术基础, 其目标是基于实时与历史AIS数据, 结合船舶档案、港口资料、调研数据等挖掘知识库, 辅以在线加工, 通过不断的数据挖掘和经验积累, 形成特定的基础数据库和数据分析模型。最终自动化定时输出港口、海上通道及货品运量等统计指标, 以及各类商品、船舶相关的动态信息, 并支持开放式编辑运算、可视化交互展示和报表导出。

2.1 平台总体架构

秉承“高内聚低耦合”的设计理念, AIS大数据平台包括基础设施层、数据资源层、数据分析层和服务封装层四个部分, 如图2所示。

图2 AIS大数据平台总体架构图

基础设施层: 由网络、主机、存储、安全等设备组成, 为大数据平台的存储和计算提供基础软硬件支撑, 也为基于大数据平台的各类应用系统运行提供基础支撑环境。数据资源层: 实现包括实时AIS数据和历史AIS数据的采集、抽取转换和清洗, 并基于大数据存储架构满足各类基础数据、过程数据和成果数据存储管理、查询检索等的需求。数据分析层: 集成大数据分析模型算法, 基于数据存储层中的各类数据, 通过挖掘分析, 生成船舶航行事件、航次、航迹等, 并最终形成各类航运统计指标。服务封装层: 负责根据不同需求对各种大数据处理和分析功能进行封装并对外提供服务。

2.2 平台数据架构

基于大数据平台总体架构, 结合AIS海运统计技术路线, 实现对大数据平台的数据流程设计, 如图3所示, 包括数据源、数据接入处理、数据存储管理、数据计算分析和数据展示应用5个部分。

1) 数据源: 包括实时AIS数据、历史AIS数据, 以及船舶档案、港口、泊位、海上通道、电子海图等基础支撑数据, 其中实时AIS数据是指实时产生并在较短时间间隔内(一般不超过10 min)动态增加的流式AIS大数据, 历史AIS数据指过去某个时间段内所有船舶发送的AIS数据, 以文本文件的形式存储, 数据格式为标准AIS原始报文。

图 3 AIS大数据平台数据架构图

2) 数据接入处理: 对实时AIS数据, 首先搭建流数据处理框架, 通过TCP协议接入外部实时AIS数据源, 并统一交由Kafka消息中间件进行存储(Kafka实现高吞吐的同时可以保证准确的发送给Flink流数据处理引擎, 避免因Flink出现故障导致数据丢失的问题)并分发给Flink进行多机多线程处理。Flink流数据处理引擎首先需要完成AIS数据的清洗工作, 包括去除无效数据与重复数据, 整合位置、吃水、目的地等, 并与上一条AIS数据对比补全航行相关数据, 同时, Flink还将处理后的AIS数据存储到AIS日志文件中, 并由Flume日志采集器定时获取AIS日志文件并合并到AIS月日志文件中; 对历史AIS数据, 采用ETL工具Kettle执行批量任务抽取报文文件, 并进行清洗、去重、去无效等批操作, 形成统一格式的待处理文件, 同样将处理结果存储到AIS日志文件中。

3) 数据存储管理: 对Flink处理后的实时AIS数据, 一方面以“MMSI+日期”为Key存储到Redis内存数据库中, 供Spark离线任务进行航行事件生成和进出海上通道判断等实时性分析工作; 另一方面, 在空间内存数据库H2GIS中记录船舶最近一次的位置, 满足后期实时显示船舶当前位置的需求。对清洗后形成AIS日志文件, 通过Flume自动导入到Hive数据仓库中, 方便后期问题回溯, 并为数据计算分析提供支撑。基于HBase存储通过数据计算分析形成的航迹线、航行事件、航次信息和数据集市。船舶档案、港口、泊位等基础支撑数据, 整体数据量不大, 且在进行数据挖掘分析时需频繁调用, 因此基于关系型数据库MySQL进行存储。

4) 数据计算分析: 首先利用Spark事件分析任务批量从Redis内存数据库及Hive中提取AIS航迹点数据, 结合MySQL中的船舶档案、港口、泊位等基础支撑数据, 进行分析形成航行事件数据并存储到HBase中, 然后通过Spark航次分析任务从HBase中获取待分析的航行事件并分析形成航次数据并存储在HBase中。数据集市是最终呈现的统计指标表与维度表, 包括港口统计、通道统计、货品统计等方面, 其多维数据统计查询通过分析型数据仓库Kylin提供的接口实现, Hive和HBase服务于Kylin, 为Kylin提供数据, 并用HBase存放Kylin生成的Cube。利用Geomesa时空大数据处理引擎, 通过读取存储于HBase和Hive中的AIS数据, 建立时空索引并基于Spark进行计算分析, 进而实现单船轨迹回放、多船航迹热力图、航迹线拟合等空间大数据分析, 并具备OGC标准服务接口数据访问能力, 满足后期数据展示应用的需求。

5) 数据展示应用: 以数据存储和分析计算服务为支撑, 实现分析结果的统计图表、统计报表和地图可视化展示。本文基于UReport2报表引擎和ECharts可视化库, 读取存储在HBase中的航次数据和统计指标数据, 实现报表化服务和图表可视化服务。以H2GIS中的实时AIS点位数据及HBase中的航迹线数据为基础, 结合Geomesa的空间分析服务, 利用Geoserver地图服务器发布形成标准地图服务, 基于OpenLayers地图库, 实现海量船舶AIS航迹点及航迹线的地图可视分析服务。

3 关键模型算法

根据港口、泊位等信息, 对海量AIS轨迹数据进行分割, 解析出船舶的所有航次, 是实现海运统计的关键。基于AIS轨迹数据对船舶航行中所在位置的航行状态判断, 即航行事件分析, 是航次生成的基础。而航行事件分析有赖于AIS轨迹点与港口及泊位的位置关系分析, 即需通过电子围栏技术实现。

3.1 电子围栏分析

电子围栏分析的核心内容包括港口、泊位的电子围栏构建以及与船舶AIS轨迹点的相交计算。电子围栏构建是基于港口和泊位数据中的点位位置信息, 生成其多边形范围, 包括计算生成和人工调研绘制两种方法, 计算生成是以港口和泊位的点位位置为圆心, 以特定值或以港口(泊位)与周边港口(泊位)距离的最小值为半径画圆; 人工调研绘制是对重点区域港口和泊位通过实地调研或基于影像图的方法手动绘制电子围栏, 以获得更为准确的港口和泊位的空间范围。在构建的电子围栏基础上, 通过空间相交分析计算, 判断AIS轨迹点是否在港口或泊位中, 详细方法在此不再赘述。

3.2 航行事件分析

航行事件分析的主要流程是: 首先判断船舶AIS轨迹点数据的航行状态和航速, 然后与港口、泊位的电子围栏进行相交计算, 最后根据港口、泊位的装卸货标识及船舶吃水值对船舶装卸货状态及货品类型进行判断, 形成包含8种航行状态的船舶航行事件并按时间升序排列。

3.3 航次分析

航次分析通过分析按时间升序排列的航行事件, 形成航行周期并对应到不同的运输航次。需要注意的是, 在一个航次周期中, 可能出现“多次装货”及“多次卸货”的情况, 需分别根据“装货停止”和“卸货停止”后下一事件的状态进行判别, 若“装货停止”事件后再次出现“预装航行中”事件, 则该航次为“多次装货”; 若“卸货停止”事件后再次出现“卸货航行中”事件, 则该航次为“多次卸货”, 详细算法流程见图4。

图 4 航次分析算法流程图

航次中的装货港口和卸货港口可根据航行事件判断中经电子围栏分析得出的泊位的所属港口确定; 途经海上通道通过航次航迹线与海上通道进行相交计算分析判断得到; 各航次的载货类型可以依据装卸货泊位或港口的货品类型属性确定, 对应航次的载货量根据航次装货和卸货后的吃水差进行估算得出。

3.4 统计指标生成

在航次分析形成的航次数据基础上, 生成包含港口、海上通道、大宗货品三方面的统计指标, 具体流程如下:

1) 港口统计

(1) 筛选出航次数据的装货港或卸货港为需统计港口的航次;

(2) 筛选出进离港时间在预先设定的统计周期(如月、季、半年、年等)的航次;

(3) 根据航次数据的装货港、卸货港、途经海上通道、载货类型、载货量等信息, 并结合船舶档案数据, 形成包含进离港船舶累计载重及艘次、大宗货品运量、途经海上通道、进口国/出口国等多维度的港口统计指标。

2) 海上通道统计

(1) 筛选出航次数据途经海上通道包含需统计海上通道的航次;

(2) 筛选出途经该海上通道的时间在预先设定的统计周期(如月、季、半年、年等)的航次;

(3) 根据航次数据的装货港及国家、卸货港及国家、载货类型、载货量等信息, 并结合船舶档案数据, 形成包含进出海上通道船舶累计载重及艘次、大宗货品运量、各港口/国家途经该通道船舶累计载重及艘次等多维度的港口统计指标。

3) 大宗货品统计

(1) 对某一港口或海上通道的货品统计, 可按港口统计或海上通道统计方法, 形成包括运输大宗货品船舶的累计载重及艘次、货运量、来源/去向港口及国家等多维统计指标;

(2) 对多个港口乃至某个国家的货品统计, 则需在港口统计的基础上进行汇总统计, 形成包括运输船舶的累计载重及艘次、货运量、进口/出口国、途经海上通道等多维统计指标。

4 实验与分析

4.1 实验数据

考虑到承担大宗货品海运的船舶船型、装卸货港口、泊位都较为固定, 与本文提出的航行事件及航次分析算法适用场景一致, 因此, 以全球大宗货品船舶的AIS数据挖掘分析为例, 验证本文方法的可行性。如表1及图5所示, 本文实验采用的数据包括承担大宗货品运输的全球4 005个港口, 41 222个泊位, 25 497艘船舶档案, 以及这些船舶在2019年3月至5月产生的卫星AIS数据(来源于美国的ORBCOMM公司), 约32亿条。

表 1 实验数据介绍

图 5 实验数据地图可视化

4.2 实验结果与分析

按本文所述方法并采用6台服务器作为计算节点搭建了大数据平台, 其中, 主节点(Master)1个, 从节点(Slave)5个。构建了港口和泊位的电子围栏(如图5b所示), 经过对AIS数据的抽取转换、清洗和挖掘分析(其中数据抽取与清洗耗时约17 h, 挖掘分析耗时约33 h), 共得到航次数据84 827条, 按船舶船型各航次分布情况如图6所示。

图 6 按船舶类型各航次分布情况

在航次数据基础上, 形成了包含中国进出口船舶过主要海上通道情况、沿海港口进离港船舶情况, 以及煤炭、铁矿石和原油3类大宗货品进口情况的统计指标。图7和图8是2019年3—5月大宗货品船舶中国进出口所经过主要海上通道的航次及载重统计情况, 其中载重是根据船舶档案中的“满载载重”累加计算得到。

图 7 中国进口船舶经过海上通道统计

对2019年3—5月中国沿海港口的进离港情况进行统计, 得出进离港船舶数量排前十的港口, 统计结果如图9如示, 从图中可以看出, 宁波舟山港无论是从艘次还是载重看, 都排第一位, 这与中国大宗货品海运港口运量的排名基本一致, 进一步证明了一定程度上航次分析得出的“艘次”及“载重”大数据指标可以从趋势分析的层面代替传统统计的港口“吞吐量”指标。

图 8 中国出口船舶经过海上通道统计

图 9 沿海港口进离港船舶统计

通过大宗货品统计, 分析得出中国2019年3—5月的原油、铁矿石和煤炭3类大宗货品的进口量(表2),经与海关公布的统计数据(网址: www.customs.gov.cn)进行对比发现, 3类货品的大数据统计值均小于海关统计数据(约小3%～20%), 且2019年3月数据与海关数据差距更大, 2019年4—5月数据与海关数据差距逐步减小, 经分析, 应是缺乏2019年3月之前的AIS数据, 对航次的挖掘不够完整造成的。但大数据统计的结果与官方统计的趋势一致, 且统计结果的准确性会随着基础数据的完善及算法的优化不断提高, 这也进一步从另一方面证明了本文提出的方法能满足实际需要。

表 2 中国大宗货品进口量统计(×104 t)

为进一步分析各港口、各货品类型船舶的来源和流向, 基于大数据平台对船舶AIS数据按航次进行了航迹线可视化, 部分样例图如图10所示, 从航迹线可以明显的看出中国进口铁矿石的主要来源地包括澳大利亚、巴西、印度、加拿大等; 而通过航迹热力图可以反映大宗货品海运中不同沿海港口或海上通道的繁忙程度。

图 10 AIS大数据可视化

5 结论与展望

本文面向港口、海上通道及大宗货品海运大数据统计分析需求, 给出了基于AIS开展海运统计的技术方法、AIS大数据平台的技术架构, 以及电子围栏分析、航行事件挖掘、航次分析等关键模型算法。基于2019年3—5月全球大宗货品船舶的AIS数据, 以及船舶档案、港口及泊位数据, 对本文提出的方法进行了实证分析。结果表明本文方法可以实现全球范围内海量船舶AIS数据的接入、清洗、处理及挖掘分析, 并在生成的航次数据基础上, 实现了大宗货品海运的港口统计、海上通道统计及货品运量统计, 形成的大数据统计指标一定程度上可以作为传统统计方法及指标的补充; 结合大数据可视化方法, 对航迹线基于地图的展示还可以直观反应船舶、货品的来源和流向, 为变革海运统计模式, 实现海运即时化、准确化、精细化的大数据统计分析与展现提供了新思路。

港口、泊位等基础数据的完善是分析结果准确性的保障, 但实际情况中, 数据的获取及更新相当困难, 因此, 引入机器学习、神经网络、关联规则等方法, 基于已有航次数据和AIS船舶轨迹对港口、泊位等的位置及属性数据进行补充、更新和完善是下一阶段的研究方向; 此外, 由于模型和数据的限制, 本文并没有考虑集装箱船、渔船等船型船舶的海运特点及其AIS信息挖掘分析方法, 这也是在今后的工作中需要研究的重点。

[1] 苏兴国. 欧盟海运统计简介[J]. 中国统计, 2015(10): 30-31.

SU Xingguo. Brief introduction of EU maritime statistics[J]. China Statistics, 2015(10): 30-31.

[2] 王月恒, 王晶, 刘欣侠. 大数据时代新型对外货物贸易统计体系研究[J]. 中国市场, 2017(19): 101, 103.

Wang Yueheng, Wang Jing, Liu Xinxia. Research on the new statistical system of foreign trade in goods in the era of big data[J]. China Market, 2017(19): 101, 103.

[3] 王杰, 唐顺梅, 于海. 海运大国与海运强国辨析[J]. 大连海事大学学报(社会科学版), 2009(3): 44-47, 57.

Wang Jie, Tang Shunmei, Yu Hai. Differentiation and analysis of maritime power and big maritime country[J]. Journal of Dalian Maritime University (Social Sciences Edition), 2009(3): 44-47, 57.

[4] 徐丛春. 大数据时代海洋统计改革的思考[J]. 海洋经济, 2016, 6(6): 54-60.

Xu Congchun. Reflections on the reform of marine statistics in the era of big data[J]. Marine Economy, 2016, 6(6): 54-60.

[5] 赵锐. 我国海洋经济统计存在的问题及完善途径分析[J]. 中国统计, 2013(2): 48-50.

Zhao Rui. Analysis on the problems and improvement ways of China’s marine economic statistics[J]. China Statistics, 2013(2): 48-50.

[6] 田璐, 张敖木翰, 张翼, 等. 船舶AIS大数据资源管理及分析应用架构设计[J]. 交通运输研究, 2019, 5(5): 31-40.

Tian Lu, Zhang Aomuhan, Zhang Yi, et al. Ship AIS big data management, analysis and application architecture design[J]. Transport Research, 2019, 5(5): 31-40.

[7] 李红祥, 方逊. 基于AIS的船舶交通流量统计方法研究[J]. 武汉理工大学学报(交通科学与工程版), 2011, 35(4): 853-857.

Li Hongxiang, Fang Xun. Statistical method research of vessel traffic flow based on AIS[J]. Journal of Wuhan University of Technology (Transportation Science & Engineering), 2011, 35(4): 853-857.

[8] 徐明强. 基于AIS数据的港口船舶营运效率评估系统[J]. 中国航海, 2018, 41(3): 119-122.

Xu Mingqiang. Evaluation system of operation efficiency of ships in port based on AIS data[J]. Navigation of China, 2018, 41(3): 119-122.

[9] 朱倩茹, 廖程浩, 王龙, 等. 基于AIS数据的精细化船舶排放清单方法[J]. 中国环境科学, 2017, 37(12): 4493-4500.

Zhu Qianru, Liao Chenghao, Wang Long, et al. Application of fine vessel emission inventory compilation method based on AIS data[J]. China Environmental Science, 2017, 37(12): 4493-4500.

[10] Jalkanen J P, Johansson L, Kukkonen J. A comprehensive inventory of ship traffic exhaust emissions in the European sea areas in 2011[J]. Atmospheric Chemistry and Physics, 2016, 16: 71-84.

[11] Maragkogianni A, Papaefthimious S. Eva­lua­ting the social cost of cruise ships air emissions in major ports of Greece[J]. Transportation Research－Part D, 2015, 36: 10-17.

[12] Lonati G, Cernuschi S, Sidi S. Air quality impact assessment of at-berth ship emissions: Case-study for the project of a new freight port[J]. Science of the Total Environment, 2010, 409: 192-200.

[13] 张建雄. 基于AIS的港口船舶动态统计系统[J]. 中国水运, 2015(2): 56-57.

Zhang Jianxiong. Port ship dynamic statistics system based on AIS[J]. China Shipping, 2015(2): 56-57.

[14] 何建春. 试述基于多传感信息融合的内河水运统计应用研究[J]. 中国水运, 2017, 561(10): 39-40.

He Jianchun. Application research on inland water transport statistics based on multi-sensor information fusion[J]. China Water Transport, 2017, 561(10): 39-40.

[15] 刘满娜. 基于AIS的港口监控与分析系统的设计与实现[D]. 北京: 北京邮电大学, 2014.

Liu Manna. Design and implemrnt of port monitoring and analysis system based on AIS[D]. Beijing: Beijing University of Posts and Telecommunications, 2014.

[16] 祝天虎. 全球铁矿石贸易与航运分析系统设计与实现[D]. 北京: 北京邮电大学, 2019.

Zhu Tianhu. Design and implementation of global iron ore trade and shipping analysis system[D]. Beijing: Beijing University of Posts and Telecommunications, 2019.

[17] 朱吉双, 邱伟维, 菅文涛. 水运大数据开发与应用研究——以船舶自动识别系统(AIS)为例[J]. 综合运输, 2020, 42(4): 33-37.

Zhu Jishuang, Qiu Weiwei, JIan Wentao. Development and application of big data in the waterborne transportation—A case study of the ship automatic identification system[J]. China Transportation Review, 2020, 42(4): 33-37.

AIS big data mining for maritime statistics

ZHAO Long-fei1, 2, JIANG Xiao-yi1, 2, SUN Miao1, 2, CAO Lei1, 2, GUO Xue1, 2, LÜ Chong-jing1, 2

(1. National Marine Data and Information Service, Tianjin 300171, China; 2. Marine Information Technology Innovation Center of the Ministry of Natural Resources, Tianjin 300171, China)

To address the problems of poor data quality, poor timeliness, outdated statistical products, and the unreliable traditional statistical methods of the maritime industry, a method of maritime statistics based on automatic identification system (AIS) big data mining analysis is proposed in this paper. The technical route of a maritime statistical analysis based on AIS big data, the technical architecture of big data platform, and the key model algorithm of electronic fence analysis, navigation event analysis, voyage analysis, and statistical index generation are elaborated in detail. With the application of AIS data of global bulk cargo ships from March to May in 2019 as an example, this method can provide big data statistical indicators of port, sea passage, and bulk cargo, as well as provide a new idea for realizing real-time, accurate, and refined statistical analysis and presentation of maritime transportation.

maritime transport statistics; big data; marine economy; AIS; mining analysis

Dec. 16, 2020

TP399

A

1000-3096(2021)12-0055-10

10.11759/hykx20201216003

2020-12-16;

2021-03-02

国家重点研发计划(2017YFC1405300)

[National Key R & D plan, No. 2017YFC1405300]

赵龙飞(1991—), 男, 山东郓城人, 助理研究员, 硕士, 主要从事海洋大数据挖掘分析与海洋信息化研究, E-mail: zhaolongfei220@163.com; 曹磊(1987—),通信作者, 男, 工程师, 硕士, E-mail: 544341126@qq.com

(本文编辑: 赵卫红)