基于大数据的海上目标实时处理架构

文/蒋保富 陈秀英

海洋是我国领土的重要组成部分，根据国家海洋战略要求，为维护国家主权、领土安全和海洋权益，实现建设“海洋强国”目标，需要进一步提升海上目标态势感知能力，为海域综合管控、海上维权执法和突发事件处置等提供及时、可靠的海上目标态势保障。随着AΙS、北斗以及雷达技术的不断发展，相关系统/装备对海洋目标的覆盖范围更为全面，可提供的信息内容更为丰富，大数据技术发展应用可为海量实时数据处理提供关键技术解决方案。本文对海洋目标数据现状进行了分析，设计提出面向大数据的情报系统实时处理架构和运行模式，对于情报系统的研制开发有参考价值。

1 海上目标数据现状

海上活动的船只，渔船、商船、货船等民用占了绝大部分。根据公开资料，中国海军部队拥有主力舰艇300余艘，武警部队拥有海警船300余艘；我国渔船总数为101.1万余艘，主要航运企业沿海船队规模近1000艘，沿海省际运输干散货船、集装箱船、油品船、化学品船、液化气船等共计3700余艘。目前，海上目标数据主要获取手段有三类：

（1）AΙS目标数据；

（2）北斗船位数据；

（3）岸基、海上、空中等平台雷达探测的目标数据。

1.1 AIS目标数据

AΙS是船舶自动识别系统（Automatic Ιdentification System）的简称，AΙS数据包括船位、船速、航向等动态信息以及船名、呼号、吃水及危险货物等船舶静态资料。根据AΙS国际标准ΙTUR-M.1371和国家标准GB/T 20086，AΙS动态数据密度为：锚泊船3分钟/点、0-14节航速的船12秒/点、0-14节航速并且在改变航向的船4秒/点、14-23节航速的船6秒/点、14-23节航速并且在改变航向的船2秒/点、超过23节航速的船3秒/点、超过23节并且在改变航向的船2秒/点；静态数据6分钟/点。国际海事组织规定300总吨及以上的国际航行船舶、500总吨及以上的非国际航行船舶、所有客船应配备AΙS系统；中国海事局要求中国籍沿海200总吨及以上的航行船舶应配备AΙS系统；随着我国海洋渔业捕捞和航运经济的发展，国家多部门联合加强了渔业船舶的安全管理，目前大部分渔船已配备AΙS终端。

AΙS数据来源主要通过岸基AΙS和卫星AΙS，岸基AΙS基站接收目标范围为周围30-50海里，实时获取船舶AΙS信息；卫星AΙS通过多颗低轨卫星覆盖全球主要海域和地区，根据其探测和通信技术特点，报告船舶的时间间隙为几分钟或者几个小时。中国于2002年起开始AΙS岸基网络系统建设，现已建成覆盖中国所有沿海水域和内河四级以上高等级巷道水域的岸基网络。“船讯网”提供卫星AΙS国内数据服务，英国劳氏（LRF）授权提供船舶档案服务，完整收录全球300总吨以上国际航行船舶12万多艘。如图1所示。

1.2 北斗目标数据

北斗卫星导航系统是中国自行研制的全球卫星定位与通信系统，在全球范围内全天候、全天时为各类用户提供高精度、高可靠定位、导航、授时服务，并具短报文通信能力。北斗卫星导航系统2012年形成区域覆盖能力，计划2020年形成全球覆盖能力。公开数据显示，我国渤海、黄海、东海、南海等海域的5万多条渔船已安装北斗终端，后续有更多渔船列入规划。通过北斗终端，北斗卫星导航系统以空间精度10m，时间采样间隔3分钟，实时掌握渔船的动态特征数据。

1.3 雷达目标数据

表1

雷达探测距离取决于雷达输出功率、天线增益、接收机噪声系数等参数，天线与目标的高度，以及波长、大气等因素。受天线高度和地球曲率影响，岸基警戒雷达对海探测距离60-80公里、船载警戒雷达10-30公里、机载雷达200-300公里；微波超视距雷达距离100-200公里；地波超视距雷达距离300-400公里；天波超视距雷达最远可达数千公里。

1.4 海上目标数据量级

综上，考虑季节、天气、休渔等影响，按海上船舶40%在港、60%活动且活动船舶有50%在岸基雷达和岸基AΙS覆盖范围内估计，全域海上情报系统每分钟处理目标航迹数据达228万点，全天最大可达32.8亿点，见表1。

2 多源目标信息融合架构

海上目标情报系统核心能力是多源信息融合。信息融合军事概念可定义为战场态势感知的多源信息处理过程，包括信息获取、信息处理、态势估计和态势展现等环节，其目的是获取及时、准确、连续、完整和一致的战场态势。鉴于融合系统运行过程离不开人的操作、选择、判断、行动、管理和控制，信息融合研究者们致力于建立一个人在回路的信息融合系统，发挥用户对信息融合的主导作用，其典型融合模型是用户-融合模型，如图2所示。

基于这个融合模型，情报系统目标数据处理典型流程如图3所示，对于接收、处理分析、分发共享、评估、反馈等过程，考虑目标数据有时序和多源共同掌握，信息汇集、预处理、综合处理（含航迹关联、状态估计、综合识别）、情报分发、态势展现等之间的信息流程为串行过程，系统目标数据处理能力决定于单个过程的最大处理能力。根据经验数据，单个海上目标数据的综合处理过程需要1-2毫秒，系统目标航迹数据处理密度最大3-6万点/分钟。由于多源目标数据之间的相关性，考虑到系统应用功能实现的可靠性，一般采用不超过2-3个应用进程并行处理的改进方法，系统可达到10-20万点/分钟的处理能力。如是，当前目标数据融合架构和方法已无法支持更大批量（228万点/分钟）的实时目标数据处理，需要应用大数据相关技术，提高数据融合质量和处理效率。

图2：用户—融合模型

图3：多源目标数据处理典型流程图

图4：数据流程大图

3 大数据之实时处理架构

3.1 大数据处理系统

图5：基于大数据的情报系统实时处理架构图

大数据技术已成为促进行业技术进步、效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式（batch）大数据和流式（streaming）大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。目前主流的大数据处理技术体系主要包括Hadoop及其衍生系统，在此基础上发展出了Spark Streaming、Storm、Flink等开源流处理框架，这些流处理框架已被应用于部分时效性要求较高的领域。

相较于批处理大数据系统，流处理大数据系统将系统接入实时数据通过流处理，存入高性能内存数据库，基于内存数据库实现实时数据的高效查询和分析处理。但是受限于内存容量，系统只能存储部分最新数据，不能基于完整大数据集进行查询分析处理。因此，需要构建一个融合批处理和流处理的系统架构，基于批式大数据挖掘分析新的知识和经验，基于流式大数据实现海量实时数据高效处理，同时应用相关知识和经验时，能够具备“事中”甚至“事前”模式实现感知、分析、判断、决策等功能。

数据从产生到被使用，主要包含四大过程：数据产生、数据采集和传输、数据存储和管理、数据应用。具体数据流程图和关键环节如图4所示。对于实时数据处理，支撑技术也主要包含四个方面：实时数据采集、消息中间件、流计算框架以及实时数据存储。在数据应用全过程中，还需要建立包括数据资源、技术产品、运维管理、数据安全、集成应用等在内的数据标准体系，确保传输高效、交换一致、结果准确。

3.2 情报系统实时处理架构设计

面向海量实时目标数据，应用大数据技术构建情报系统流式大数据实时处理平台。基于多台高性能计算机构建服务器集群，以内存数据库、分布式数据库及分析计算引擎提供平台支撑，服务器集群内业务应用的实时目标数据依托内存数据库进行管理、查询和分析计算。

对系统目标实时数据处理典型流程进行分析，其中，信息汇集过程、目标预处理过程以及情报分发过程目标数据不相关，多源目标航迹关联、状态估计、综合识别、异常告警等过程目标数据相关。基于数据的相关性，设计将多源目标航迹关联、状态估计、综合识别、异常告警等过程进行解耦，如图5所示。多源目标状态估计采用流处理方式，这样从信息接收至态势生成的主要过程为信息汇集、目标预处理、多源目标状态估计、情报分发，过程之间为串行方式，确保目标数据处理实时可靠，百微秒级完成处理。多源目标航迹关联、综合识别、异常告警采用微批处理方式，与多源目标状态估计等过程之间为并行方式，确保目标数据处理正确有效，秒级完成处理。另外，所有实时数据存入分布式数据库，基于分布式数据库定时进行目标特征分析、行为分析、活动分析、流量分析等处理，分析得到的知识数据可支撑实时目标数据处理过程中的目标综合识别和行为异常告警处理。

我们利用3台高性能服务器（每台服务器配置2颗CPU共24核、256GB内存和SSD硬盘）进行试验。试验结果表明：对单个目标数据的预处理、状态估计等处理平均时延可控制在150微秒内，单个应用具备了40万点/分钟处理能力。通过集群应用并行处理和负载均衡，具备对全域海上情报系统目标数据的实时处理能力。

4 结语

大数据时代的到来，改变了传统情报处理系统的运行模式。基于先进大数据处理技术和工具，构建情报大数据系统成为了一种新的解决思路。随着实时数据量的不断增加，对其进行高效、可信的处理分析更加重要，难度也更大。通过批量大数据处理以及流式大数据处理的技术融合，构建基于大数据的系统实时处理架构，实现了大批量实时数据的快速处理和准确分析，能够更好的满足全域海上目标处理的实际需要。