基于TBD策略的船舶交通流视觉图像统计方法

关克平 韩笑 蒋宇

摘要：为提高在天气恶劣、目标密集、目标被遮挡及其他复杂海况下船舶交通流统计的准确率，提出一种将目标检测算法CenterNet、多目标跟踪算法DeepSORT与凸包算法中优化逆时针（counter clockwise，CCW）判断的单线法相结合的船舶交通流视觉图像统计方法。使用Python对所选的数据和场景进行测试，结果表明：CenterNet在多场景检测中比YOLOv3更优秀;基于目标检测的多目标跟踪算法具有良好实时性，能够有效对抗因目标抖动、密集、被遮挡等所导致的目标丢失，继而减少船舶交通流统计时常出现的漏检、错检和重复统计等问题。

关键词：

CenterNet; DeepSORT; 凸包检测; 船舶交通流统计; 目标检测

中图分类号：  U692

文献标志码：  A

A visual image statistics method for ship traffic flow

based on TBD strategy

GUAN Keping， HAN Xiao， JIANG Yu

（

Merchant Marine College， Shanghai Maritime University， Shanghai 201306， China）

Abstract：

In order to improve the accuracy of ship traffic flow statistics under severe weather， dense targets， occluded targets and other complex sea conditions， a visual image statistics method for ship traffic flow is proposed， where the target detection algorithm CenterNet and the multi-target tracking algorithm DeepSORT are combined with the single-line method for the counter clockwise （CCW） judgment optimization in the convex hull algorithm. Python is adopted to test the selected data and scenes. The results show that： CenterNet is better than YOLOv3 in the multi-scene detection; the multi-target tracking algorithm based on target detection is of good real-time performance， and can effectively combat target loss caused by  target jitter， density and occlusion，

etc.， and then reduce the problems such as missed detection， false detection， and repeated statistics in traffic flow statistics.

Key words：

CenterNet; DeepSORT; convex hull detection; ship traffic flow statistics; target detection

收稿日期： 2020-08-23

修回日期： 2021-03-09

基金項目：

国家自然科学基金（51909155）

作者简介：

关克平（1978—），男，福建宁德人，副教授，硕士，研究方向为航海仿真技术，（E-mail）kpguan@shmtu.edu.cn

0 引 言

随着近年来水路运输业的发展，水上交通状况逐渐变得复杂。交通管理人员全面掌握船舶航行动态、及时统计船舶交通流，可降低航运事故的发生概率，减少事故损失。目前使用最广泛的船舶交通流统计方法是基于船舶自动识别系统[1-3]（automatic identification system，AIS）的统计方法，如KIM等[4]利用背景估计实现船舶检测并配合AIS实现了相关船舶信息匹配。

由于视频能提供很多实时图像细节，有学者提出一种基于虚拟线圈的船舶交通流检测系统。CHEN等[5]在此基础上增加了核化相关滤波器（kernelized correlation filter，KCF）算法对船舶进行跟踪，较好地解决了漏检和重复计数的问题。ZOU等[6]用深度学习SSD（single shot multibox detector）算法进行船舶交通流统计，可快速检测出船舶，但该方法存在重复计数的问题。由于水上交通环境比陆上交通环境复杂，进行长期、稳健的船舶跟踪非常具有挑战性[7]。近年来，有学者将YOLOv2[8]和YOLOv3[9]算法应用到船舶交通流统计中，解决漏检和重复计数等问题，但对于目标距离远或能见度低等情况，这两种算法处理效果并不理想。

针对以上问题，本文提出一种将目标检测算法CenterNet、多目标跟踪算法DeepSORT和凸包算法中优化逆时针（counter clockwise，CCW）判断的单线法相结合的方法，实现对船舶交通流的精确统计。其中：CenterNet负责对目标进行分类和定位;DeepSORT负责对目标检测后的视频序列中多个感兴趣的目标轨迹进行跟踪并提取，再通过时域关联分配跟踪识别码，解算目标的运动轨迹信息;凸包算法中优化CCW判断的单线法负责完成船舶数量统计。该统计方法几乎不占用计算资源，高效、可靠且兼容不同斜率线段的部署。通过以上3种算法的结合，可有效改善传统船舶交通流统计中出现的漏检、错检和重复计数等问题。

1 船舶检测与跟踪

1.1 CenterNet

CenterNet是无锚框类检测网络，在一定程度上借鉴了CornerNet[10]的整体框架和损失函数，并对其进行了改进，实现了检测速度与检测精度的权衡。其基本思想是：构建模型时，将对象视为由其中心而非边界框表示的点，通过关键点估计找到中心点，并回归其他属性（如边界框宽度和高度）来生成预测框。通过引用热力图构建CenterNet模型，根据预测点的高斯分布区域计算真实预测值。偏置预测被用来表示标注信息从输入图像被映射到输出特征图时由取整操作所导致的坐标误差。CenterNet的网络框架如图1所示，其中检测过程分为2个阶段：下采样阶段和中心点生成阶段。在下采样阶段，执行全卷积网络DLA-34或Resnet-18、Hourglass-104等对图像进行下采样，同时提取图像特征，获得低4倍的特征图。基于下采样得到的特征图生成目标中心点。在中心点生成阶段，使用3个分支网络（热图生成分支网络、中心偏移回归分支网络和目标边界框尺寸回归分支网络）预测目标边界框。

1.2 DeepSORT

多目标跟踪是对视频序列中多个感兴趣的目标轨迹进行跟踪并提取，并通过时域关联分配跟踪识别码，解算目标的运动轨迹信息。当前主流的多目标跟踪算法[11]可分为2类：（1）基于相关滤波的多目标跟踪算法。其代表为基于KCF的多目标跟踪算法[12-13]，它使用多线程完成多个单目标跟踪。算法对第一帧图像进行采样，由目标区域形成循环矩阵，通过快速傅里叶变换转换到频域进行求解，可降低时间复杂度;引入岭回归和核技巧，可有效提高跟踪速度和精度。（2）DeepSORT。它是基于SORT的改进算法[14]，其优点是可以在整个视频中跟踪随时出现的新目标，但前提是要有一个好的目标检测算法。本文就是在DeepSORT前用CenterNet检测出目标，从而实现基于目标检测的多目标跟踪。

DeepSORT分别使用马氏距离和余弦距离作为运动特征和检测框内深度特征的相似度度量标准，再通过对两种相似度加权平均得到总体相似度来进行最近邻匹配，通过递归卡尔曼滤波和级联匹配逐帧优先匹配出近期活跃度较高的目标，以提高目标追踪的鲁棒性。

2 船舶交通流统计方法

2.1 优化CCW判断的单线法

一般航道内呈现2种交通流向，即驶出流向和驶入流向，见图2a。船舶交通流统计中存在的问题有：船舶（如观光船、执法船等）重复往返造成重复计数;由各方面因素（如角度变化、涌动等）引起的特征变化使得检测框发生抖动;水上交通监控通常采用远距离攝影，这使得船舶在整个视频画面中移动较少。其中船舶反复跨越检测线导致重复计数的问题尤为明显，见图2b。

基于上述情况和多种交通流统计方法（虚拟线框法、双线法和目标链法等）的测试结果，采用凸包算法中优化CCW判断的单线法完成船舶数量统计。

优化CCW判断的单线法可用来判断点线间的位置关系，本文对该方法进行改进后用来判断船舶实时轨迹与检测线相交的情况。该方法计数触发机制为：已知近期某时刻历史轨迹点A、当前轨迹点B和虚拟检测线端点C、D，若点A、B分别位于检测线CD的两边，分别在顺时针和逆时针方向分布，则线段AB与CD相交，可视作船舶正跨越检测线，触发计数，见图3。

2.2 TBD策略

联合目标检测的多目标跟踪策略[15]，也称为TBD （tracking-by-detection）策略，是当前业界研究热点。本文采用的TBD策略为先用CenterNet进行目标检测，再用DeepSORT进行多目标跟踪。其实现过程分2步：①用目标检测算法将每帧图像中感兴趣的目标检测出来，得到目标的位置坐标、分类和可信度，这里假设检测到的目标数量为M;②将上一步中检测到的目标与上一帧中检测到的目标（假设上一帧中检测到的目标数量为N）一一关联起来。换句话说，就是在M×N个配对中找出最相似的一对组合。

实际的智能海事监控系统包含多个子模块，各子模块负责不同的任务且相互协调，整个系统实现框架如图4所示，其中交通流计数模块处于目标检测模块和多目标跟踪模块之后，它基于这两个模块的处理结果进行交通流计数处理。

3 实验与结果分析

3.1 模型数据构成

前沿的算法研究都是在通用的COCO等数据集上进行的。由于深度学习模型的训练依赖大量数据，为使模型具有更大的适用性，算法需要一定规模的优质数据支持。本文研究主要面向内河或沿海水域的真实船舶，数据集以网络图片为主要来源，辅以公共船舶数据和上海黄浦江、吴淞口、港区等航拍视频数据。

3.2 效果对比

为检测目标检测算法CenterNet的可靠性，选取部分数据作为测试数据，并选取部分典型场景进行船舶目标检测，见图5～8。

与YOLOv3的检测结果对比可以看出：CenterNet对远距离小船舶目标的检测效果较好;平、俯视角检测框紧实且定位准确;对复杂背景、光照变换和能见度不良等干扰情况鲁棒性好;能有效捕捉船舶局部特征，当船舶处于图片边缘、进出视觉范围时检测框偏大;当船舶过近、被遮挡、密集或中心重叠时偶有漏检情况。

由不同情况下的检测结果对比可看出，YOLOv3对相似船型的检测存在误检，而CenterNet对局部特征的检测效果更好。整体看，CenterNet在多场景检测中比YOLOv3更优秀，具有更强的定位、分割、

识别等能力，能够满足船舶目标检测的精准要求和实时需求。

3.3 联调实验效果对比

本文船舶交通流统计是结合船舶目标检测算法与多目标跟踪算法实现的，采用以CenterNet为主的CenterNet-DeepSORT算法，其流程见图9。

为验证CenterNet-DeepSORT算法的性能，通过联调对视频进行跟踪效果测试，部分输出见图10。

由圖10a和图10c可以看出：利用CenterNet-DeepSORT算法能够对密集船舶进行跟踪;从跟踪轨迹平滑度可以看出，加入跟踪后检测框更加稳定，仅在船舶姿态变化较大时出现抖动。图10b中散

货船被错误地分类为内河船，图10d中部分船舶在某些时刻没有被YOLOv3-DeepSORT算法检测或跟踪到，跟踪算法删除了跟踪历史轨迹信息，并重新分配跟踪识别码，这也导致了跟踪识别码的翻倍。图10d与图10c相比，跟踪识别码切换或丢失更严重。

实际使用时，虚拟检测线须布置在大多数船舶都倾向或必须通过区域，结合航道背景设置检测线与主体交通流方向接近垂直。检测线实际效果见图11。

利用CenterNet-DeepSORT算法实现了多目标跟踪。经过联调发现，该算法具有良好的实时性，能够有效对抗检测抖动、船舶密集或被遮挡所导致的目标丢失，同时能够判断不同视频帧中的船舶是否为同一目标，进而对船舶交通流进行更准确的统计。

实验中用到的测试数据包括 2 023张图片，共包含6 423个船舶目标。表1分别给出了基于传统YOLOv3-DeepSORT算法和CenterNet-DeepSORT算法的船舶交通流统计结果。

由表1可知，CenterNet-DeepSORT算法在多场景检测中比YOLOv3-DeepSORT算法更优秀，具有更强的定位、分割、识别等能力，船舶交通流统计精度更高。

4 结 论

本文提出的将CenterNet和DeepSORT两种算法与凸包算法中优化CCW判断的单线法相结合的船舶交通流视觉图像统计方法，基于网络图片和上海黄浦江、吴淞口、港区等航拍视频数据进行目标检测和跟踪实验，结果表明： CenterNet-DeepSORT算法能够满足目前实际水上交通监控场景的需要，

对多场景检测的准确性和鲁棒性均强于 YOLOv3-

DeepSORT算法。这类算法具有较强的实时性和扩展性，可用于降低海运事故发生概率，减少事故损

失。然而，该方法使用的TBD策略只是加强了目标检测和跟踪的准确度，并没有完全消除复杂海况下

出现的漏检、错检和重复计数的问题。本文采用基于目标检测的多目标跟踪算法能够识别出船舶类型、识别码和对应船舶运动轨迹，而如何更有效地利用以上信息，进一步提高跟踪精度有待进一步深入研究。

参考文献：

[1]何正伟， 刘力荣， 杨帆， 等. 基于AIS 实时数据的航道交通拥堵快速判定方法[J].中国航海， 2018， 41（2）： 113-118.

[2]VESECKY J F， LAWS K E， PADUAN J D. Using HF surface wave radar and the ship automatic identification system （AIS） to monitor coastal vessels[C]∥2009 IEEE International Geoscience and Remote Sensing Symposium. IEEE，2009（3）：761-764.DOI： 10.1109/IGARSS.2009.5417876.

[3]WAWRUCH R. Tests of the accuracy of indications by ARPA and AIS of the opposite vessel true course， true speed and CPA[C]∥2018 19th International Radar Symposium （IRS）.Bonn， Germany： DGON， 2018： 1-10.DOI： 10.23919/IRS.2018.8448220.

[4]KIM H T， PARK J S， YU Y S. Ship detection using background estimation of video and AIS informations[J]. Journal of the Korea Institute of Information and Communication Engineering， 2010， 14（12）： 2636-2641.DOI： 10.6109/jkiice.2010.14.12.2636.

[5]CHEN Xinqiang， XU Xueqian， YANG Yongsheng， et al. Augmented ship tracking under occlusion conditions from maritime surveillance videos[J].IEEE Access， 2020， 8： 42884-42897.DOI： 10.1109/ACCESS.2020.2978054.

[6]ZOU Yiyang， ZHAO Lining， QIN Shanxing. Ship target detection and identification based on SSD_MobilenetV2[C]∥Information Technology and Mechatronics Engineering Conference （ITOEC）.IEEE， 2020： 1676-1680.DOI： 10.1109/ITOEC49 072.2020.9141734.

[7]LI Yang， ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]∥European Conference on Computer Vision. Springer， Cham， 2014： 254-265.DOI： 10.1007/978-3-319-16181-518.

[8]REDMON J， FARHADI A. YOLO9000： better， faster， stronger[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2017： 6517-6525.DOI： 10.1109/CVPR.2017.690.

[9]劉博， 王胜正， 赵建森， 等. 基于Darknet网络和YOLOv3 算法的船舶跟踪识别[J]. 计算机应用， 2019， 39（6）： 1663-1668.DOI：10.11772/j.issn.1001-9081.2018102190.

[10]LAW H， DENG Jia. CornerNet： detecting objects as paired keypoints[J]. International Journal of Computer Vision， 2020， 128： 642-656.

[11]LEE C， YOO C D. Segment-wise online learning based on greedy algorithm for real-time multi-target tracking[C]∥IEEE International Conference on Image Processing. IEEE， 2015： 872-876.DOI： 10.1109/ICIP.2015.7350924.

[12]HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596. DOI： 10.1109/TPAMI.2014.2345390.

[13]WANG Yangping， YONG Jiu， ZHU Zhengping， et al. Augmented reality tracking registration based on improved KCF tracking and ORB feature detection[C]∥International Conference on Information， Communication and Networks.IEEE，2019： 230-233.DOI： 10.1109/ICICN.2019.8834947.

[14]WOJKE N， BEWLEY A， PAULUS D， et al. Simple online and real-time tracking with a deep association metric[C]∥International Conference on Image Processing. IEEE， 2017： 3645-3649.

[15]BI Xin， DU Jinsong， ZHANG Qingshi， et al.Improved multi-target radar TBD algorithm[J]. Journal of Systems Engineering and Electronics， 2015， 26（6）： 1229-1235. DOI： 10.1109/JSEE.2015.00135.

（编辑 赵勉）