黄妙芬 ,杨光照 ,邢旭峰,黄 山 ,杨 锋,卓永强
(1.广东海洋大学,广东 湛江 524088;2.湛江海兰寰宇海洋科技信息有限公司,广东 湛江 524088;3.湛江市海洋与渔业环境监测站,广东 湛江 518052)
为提升海洋综合管理信息化水平、保障海洋经济发展环境,2014年12月9日,原国家海洋局印发了《全国海洋观测网规划(2014-2020年)》,其主要任务之一就是强化岸基观测能力,并提出了在我国管辖海域的沿岸和岛礁布局岸基海洋观测站(点)、岸基雷达站和海啸预警观测台等具体任务[1]。为此,广东省构建了“岸基雷达网综合监控系统”,可对全省近海20 nmile以内的海上目标及其分布态势进行探测与跟踪。
岸基雷达系统具有捕获海上目标的信息量大、且能解决无船舶身份自动识别系统(Automatic Identification System,AIS)数据的目标探测与跟踪问题等优势[2],成为海上目标实时动态数据收集的一种有效的技术手段。另外,雷达目标数据具有更新快的特点,实时入数据库时对响应速度、稳健性和整体性能都有较高的要求,若频繁地建立与关闭连接会极大地降低系统的性能。线程池(Thread Pool)和数据库连接池(Connection Pool)技术是保证雷达目标数据动态入库的有效手段之一[3],这些技术已在遥感卫星系统卫星数据的下传、雷达数据处理、交通领域等方面得到了广泛的应用[4-6]。
导航雷达的工作原理是通过回波获取小目标信息,然后实时地全部推送到屏幕上,由此会存在许多无效或冗余目标,因此进行数据预清洗是保证构建的智能平台高效运行的前提。数据清洗是大数据领域常用的一种技术手段,得到了广泛应用[7]。目前,数据清洗技术提供了检测并消除数据异常、检测并消除近似重复记录、特定领域的数据清洗等功能[8-10]。
船舶态势估计(Situation Assessment,SA)技术的发展比较迅速,通过态势觉察、态势理解和态势预测等方式[11],可实现对近海小型船舶的有效监测。近年来,随着学者们对态势估计基础理论的深入研究,概率图、模板匹配算法、黑板算法、证据理论算法、贝叶斯网络等被引入到船舶态势估计的研究中[12-16],为辅助海上执法奠定了基础。随着人工智能技术的发展,越来越多的相关算法应用于船舶行为识别模型的建立[17-21],从而提高了复杂海洋环境下监管船舶行为的效率。
现有的“岸基雷达网综合监控系统”为实时目标监测系统。由于系统实时推送的目标数据量非常庞大,因而仅靠人工分析很难充分发挥作用,另外为保障其安全与可靠、高效运行,系统构架相对封闭,难以拓展多样化的涉海部门与机构业务应用。为此需要通过综合运用动态数据库、数据清洗和人工智能分析等技术,充分挖掘雷达网的应用与信息服务潜力,达到近海船舶作业、安全生产的智能化监管,使管理人员更快、更准确地获取近海小型船舶作业模式与分布态势,辅助现场监管与执法决策。本文将围绕开发智能平台涉及的相关关键技术展开分析与讨论。
广东省“岸基雷达网综合监控系统”由50多座岸基雷达系统构成,每座雷达站由X波段导航雷达、光电观察设备、船舶身份自动识别系统AIS接收天线等组成,如图1所示。图中,A为X波段雷达传感器,B为光电观察设备,C为AIS接收天线,通过先进的雷达信号处理算法及独特的自适应门限设计[16-17],实现对近海20 nmile以内的海域目标(特别是海上极小目标,即雷达截面积(Radar Cross-Section,RCS)≥0.1 m2和高度≥1 m的物体的全自动探测、跟踪和识别,提供海上目标态势信息。该系统不依赖于船舶自身定位与船位上报设备,就能实现对海上所有目标的实时监控。
图1 雷达系统
岸基雷达网中单个雷达站能够有效探测、跟踪3 000批以上目标,探测概率达到90%以上。对于小型渔业船舶、竹排、舢板,乃至网箱、浮标、渔网浮球、浮冰和海上漂浮垃圾等,均能实现探测跟踪,可以满足近岸海域所有作业船只,包括小型“三无”船舶(即无船名船号、无船舶证书、无船籍港的船舶)监管的需求。图2为通过雷达、光电、AIS等设备获取的广东省近海目标信息图。图中圆圈为雷达传感器获取的小目标,这些小目标或是未安装AIS,或是关闭了AIS的船只,或者为RCS≥0.1 m2以上的其他物体;三角形符号为装有AIS信息的船只。
图2 广东省岸基雷达系统观测目标态势分布图
系统软件架构分为数据采集、数据融合、中心显示三级,如图3所示。整个系统架构主要包括8个软件模块,其中数据采集层主要包括雷达处理软件(RadPro)、雷达控制软件(RadControl)、AIS接收软件(AIS)、光电控制软件(TVCtrl)4部分;数据融合层主要包括雷达电源管理器(RelayAdapter)、数据处理软件Collector两部分;中心显示层主要包括终端显示软件(GeoViewer)、系统管理器(Systemconsole)。各软件的主要功能描述如表1所示。
图3 雷达系统软件系统构架
表1 雷达系统软件功能描述
由表1可见,终端显示软件GeoViewer为用户直观地展示近海实时监控的全部信息。但在实际应用过程中,发现其不能覆盖全面客户应用需求,主要表现在两方面:(1)缺少数据的预处理(大数据清洗)。现有的雷达网单站3 000目标,整个雷达网按50个站计算可达15万个目标,其中包括了一些静态目标、重复目标、目标不连续情况下ID不统一、虚假目标等。(2)缺少目标行为的智能挖掘与分析功能。雷达系统主要提供实时目标数据,船舶行为需要值班人员利用经验来判断,工作量大,容易出现疑似违法目标的判断与跟踪疏漏。
这些问题的存在限制了岸基雷达网对海上船舶的辅助执法、行政监管、安全生产等方面的业务应用与信息服务能力的提升,为此需要开发一套基于岸基雷达网的辅助海上执法智能平台,以便提升雷达网业务应用效能。
对于雷达探测的目标和AIS接收到的信息,其工作流程为:(1)雷达探测到的数据先通过雷达卡,采用tcpip链接模式,将雷达系统的目标数据流送入Collector;(2)AIS接受软件将接收到的AIS信号,按照国标进行解码,解码后的AIS信息也送入Collector;(3)Collector接收各个雷达站目标数据和AIS数据后进行目标融合;对融合后的数据按照区域、目标特性分发,再输送到Gateway软件,通过Gateway送到数据服务器,最后提供一个http接口连到数据服务器。Gateway主要功能是接收Collector内部的数据,其基本内核与客户端Geoviewer一致,相当于一个固定接入且身份特殊的客户,但它没有显示功能,没有地图服务或用户输入,只是将所获取的目标数据、报警事件、光电列表等所需导出的数据按一定的时间间隔(默认值是6 s)发送给指定地址。
在构建智能平台时,将通过两个HTTP从数据服务器获取目标数据,其中一个是下载所有目标,另外一个是下载每个目标的所有详细信息。要保证10 s数据动态更新入库,会频繁地建立、关闭连接,这样极大地降低了系统的性能,如果不用线程池就会与数据服务器有成百上千条连接,耗费数据服务器资源。HTTP协议基于TCP协议,每发起一个独立的请求,TCP都需要经过3次握手的过程,而释放连接需要经过4次握手的过程,效率不高。连接池技术最基本的思想就是预先建立一些连接,放置于内存对象中以备使用。当程序中需要建立连接时,只须从内存中取一个来用而不用新建。同样,使用完毕后,只需放回内存即可。而通过重用已经连接过的Socket(HTTP1.1支持),连接过程将会省去大量连接建立与释放的时间,减少对系统资源的占用。因而采用线程池和连接池技术,可实现全省近海5万海上目标数据10 s实时更新,确保目标数据实时动态入库。
为此,对于所有目标的入库采用连接池技术,而对于每个目标的所有详细信息的入库同时采用连接池和线程池。图4为获取所有目标信息的技术流程,图5为获取单个目标详细信息的技术流程。分析图4~图5可见,具体的技术实现为:(1)启动主线程:查询目标列表→写入日志→转换成json数组→循环数组获取目标id,扔给线程池→休眠60 s。(2)线程池:查询单个目标→写入日志、查询单个目标→写入日志、查询单个目标→写入日志、……,共20个。
图4 获取所有目标信息的技术流程
图5 获取单个目标详细信息的技术流程
对于构建岸基雷达智能平台所涉及的数据清洗(Data Cleaning/cleansing)内容主要包括:(1)确定静态目标的去除算法。岸基雷达系统探测到的网箱、浮标、渔网浮球、竹排等属于静态目标,会占用大量数据空间。(2)目标断续ID不统一的数据唯一性入库算法。由于雷达工作机理是通过回波获取小目标信息,并立即分配一个ID号,那么存在的问题是只要该目标存在这个ID号就一直伴随,但是信号捕捉中断后,同一个目标再次出现时就会重新获得一个ID号。(3)虚假目标的去除算法。例如发生大波浪时,具有一定规模的浪花都会获得ID号然后消失,由此足够大的浪花会占用较多的ID。(4)针对时效性强与时效性弱情况下雷达网获取的数据的归类算法。对于非实时应用来说,原始的雷达网目标数据过密,不利于建立行为智能分析算法;对于实时应用来说,例如海上交通事故、应急处置等实时监控,大量目标信息是不需要的,因而需要进行数据清洗。图6为数据清洗流程,由图6可见,确定清洗检测算法是关键技术。
图6 数据清洗流程
在对2019年广东省岸基雷达网雷达目标数据分析的基础上,确定了目标类型检测算法。通过数据分析发现,静态固定目标的特点是随着涨落潮的变化,有一个固定的漂移范围,所以设定在36 h内,目标长度小,漂移距离阈值为20 m以内的为静态目标;对于目标断续ID不统一的情况,往往出现在有遮挡,或者从一个雷达监控区进入到另外一个雷达监控区时,此时采用的检测策略是根据轨迹变化的连续性或者AIS的MMSI号,可以将其统一起来;对于虚假目标,主要特征是ID号存在的时间短,一定时间间隔读取数据时(例如设为1 min时长),其在第一组数据中有,在第二组数据中没有,就认为是无效目标。表2列出了不同目标类型清洗所采取的策略。针对时效性强与时效性弱情况下雷达网获取的数据的归类算法,采用表3的检测算法。清洗后的数据就可进入到系统中,为后续海上目标数据智能挖掘与分析模型的建立提供有效的数据源。
表2 不同目标类型清洗检测算法
表3 考虑时效性的目标数据检测算法
态势估计是在一定时间与空间范围内,对特定环境中相关元素理解并预测未来变化趋势的智能处理过程。船舶态势估计模型中的运动态势代表下一刻船舶的航行趋势,通过态势推理计算船舶当前时刻不同航向的概率分布来体现[22]。
为了得到船舶的运动态势,首先需要对模型中的态势要素进行选取,其次是将态势要素及其属性输入到态势推理机中,最后根据模型输出态势结果。态势要素的选取主要包括4部分:雷达数据、AIS数据、天气数据、海浪数据。其中雷达数据、AIS数据由广东省岸基雷达网观测得到,经过数据清洗后的入库数据库。海浪数据来自国家海洋环境预报中心(http://www.nmefc.cn/),天气数据来自中国天气网(http://www.weather.com.cn/)。结合态势察觉、态势理解的需求进行选择,最终确定态势要素由船舶类型、船舶速度、船舶航向、船舶所在区域、船舶与观测点的距离、天气、风浪和航行态势组成,并对每个要素赋予属性值,如表4所示。表4中的船舶航行态势要素为模型的输出,由所建立的船舶态势分析模型计算得到[11]。
表4 态势要素和属性列表
态势推理机所涉及的具体推理方法有很多,本研究要构建的智能平台主要采用基于概率论的概率图推理方法。概率图能够用图结构的形式将复杂的概率模型可视化,并计算模型的输入与输出。概率图的表达式为:
式中:G表示概率图;N表示图中所有节点的集合;E表示图中节点间关系的集合。具体的节点集合如表4的态势要素所示,一共有8个节点。
对于式(1)所示的概率图,采用的是有向图模型,即贝叶斯网络算法。贝叶斯网络采用联合条件概率方法描述事件之间的因果关系,且构建的决策网络模型具备处理不确定性问题的能力。令X=Xi为节点i代表的随机变量,则节点X的联合概率表示为[23]:
式中:pa(i)代表父节点,对于任意的随机变量,其联合概率可由局部条件概率的乘积表示:
概率图的推理问题属于后验概率问题,故对其推理采用联合树算法。联结树算法将有向图模型转化为一种二次结构(Second Structure,SS),并在这个结构上执行置信传播,从而完成有向图的推理。由于篇幅所限制,模型输出态势结果在此不赘述。
基于现有的广东省“近岸雷达网综合监控系统”所提供的实时目标数据,攻克了全省近海海域5万以上海上目标数据2 s实时更新的动态数据库技术和针对不同应用目的雷达网大数据的清洗技术,并建立了针对不同应用需求的多源海上目标数据船舶航行态势智能挖掘与分析模型,在此基础上,开发了“广东省岸基雷达网辅助海上执法智能平台”,能拓展现有雷达网的应用范围,真正实现近海目标的智能化24 h实时/非实时的业务化自动监控,并辅助现场(执法船)行政监管和执法。
引入线程池和连接池的技术,可实现全省近海海域5万以上海上目标数据2 s实时更新;针对不同雷达目标特性建立不同的清洗检测算法和清洗策略,可为后续海上目标数据智能挖掘与分析模型的建立提供可靠的数据源。引入智能数据挖掘技术,结合航行态势分析知识库,通过态势觉察、态势理解和态势预测等方式,构建近海小型船舶航行态势估算模型,从而实现对海上船舶的非法单拖/双拖、非法采砂、违规抛锚、违规进入/滞留/穿越等行为进行自动判断、告警、轨迹跟踪等。