基于改进YOLOv3和核相关滤波算法的旋转弹目标探测算法

2022-06-10 05:41王少博张成苏迪冀瑞静
兵工学报 2022年5期
关键词:尺度矩阵图像

王少博, 张成, 苏迪, 冀瑞静

(北京理工大学 宇航学院, 北京 100081)

0 引言

现代战争中,精确制导武器日益成为战场的主角。“卫星+惯性导航(以下简称惯导)”组合的制导模式,由于其自主性强、精度高,成为精确制导武器采用的主流制导方式,特别是在炮兵制导弹药中处于压倒性优势地位。但随着攻防对抗日益激烈、战场环境日趋复杂,“卫星+惯导”的制导方式已无法完全满足现代战争对精确制导弹药的要求。首先,“卫星+惯导”作为以坐标点为制导目标的制导方式,只能对固定目标进行打击,不适应机动作战、立体攻防的陆军建设目标;其次,弹药的射击精度完全以目标的定位精度为基础,对没有经过事前高精度侦察的目标打击时效性差;第三,卫星导航容易受到对方电子战干扰,在战时难以保证全天时使用,而失去卫星辅助后,依靠战术级惯导系统自身的精度,难以达到精确打击要求的精度。因此,采用末制导手段进一步提高制导弹药的性能,已经成为必然趋势[1]。图像制导以其抗干扰能力强、无需辅助照射等优点,成为首选方案。

在电视制导领域,由于地面战场环境复杂,要在离目标较远情况下将目标精确检测出来,对识别算法有着较高的要求[2]。传统检测算法主要通过灰度模板、特征点信息、频域特征或模型进行匹配,再结合相应策略对目标进行定位,主要包括基于统计的支持向量机(SVM)算法、AdaBoost分类器等检测方法,以及光流法、背景差分法等基于运动检测的方法和基于显著性检测的方法。经过长期发展,传统弹载图像目标检测算法工程应用较广泛,能够基本满足简单环境下的打击任务,但随着战场环境日趋复杂,精确制导弹药对于精确打击性能、智能化需求越来越高,对目标检测和跟踪算法的性能有着更高的要求[3-5]。

得益于大数据、人工智能技术的发展,尤其是以深度学习算法为基础的智能目标识别技术的进步,使得远程制导弹药对军事目标的自动识别成为可能。在实际作战中,通过事先获得的不同类型、不同时机、不同分辨率的海量目标图像和视频数据,经过训练,弹载计算机可以对实时采集到的图像实现目标识别,从而实现对临时机动目标的打击,成为图像制导的重要发展方向之一,也是弹药技术由制导弹药向智能化发展的重要内容。在深度学习目标检测领域中遇到的困难主要包括三方面:一是数据量不足,在军事领域最缺失的就是对目标侦查的照片数量;二是侦查拍摄时所处的气候环境与打击时有差异,包括光照、噪声及天气状况,不能保证检测算法通过一次的侦查数据学习适应全气候打击;三是小目标难以检测,特征信息量相对较少,无法有效识别。

目前较成熟的利用深度学习进行目标检测的算法主要分为两阶段检测和单阶段检测。其中两阶段检测的较优秀算法主要是区域卷积神经网络(R-CNN)、Fast R-CNN、Faster R-CNN等[6-8],单阶段检测主要算法有YOLO系列、单次多盒检测(SSD)算法等[9-12]。其中YOLOv3是目前在速度和精度上最为均衡的目标检测网络算法[12],其在目标检测任务中性能尤为突出。当前目标跟踪算法主要分为两类,即生成模型方法和判别式模型方法[12]。生成模型方法通过搜索最匹配的窗口来执行跟踪,经典算法有基于均值漂移、基于光流法和基于卡尔曼滤波的目标跟踪方法,而判别模型方法是利用图像特征将目标与背景区域分开,由于背景信息对于目标跟踪十分有效,判别模型方法性能更有竞争力[13]。在判别模型方法中,目标跟踪算法可以根据是否需要预训练模型分为两大类:第一类是基于相关滤波的目标跟踪算法,无需预训练模型,利用手工设计模板对视频或图像序列中的给定目标进行跟踪,代表算法有相关滤波跟踪(MOSSE)算法、循环结构跟踪(CSK)算法、核相关滤波(KCF)算法等[14-16]。随后出现的是基于深度学习的目标跟踪算法,利用数据集预训练模型,通过CNN进行特征提取以及模板匹配,代表算法有多域CNN(MDNet)算法[17]、孪生网络系列[18-19]、基于重叠最大化精确跟踪(ATOM)算法等[20]。上述跟踪算法主要针对短时间目标跟踪,对于在较长时间范围内出现的目标丢失又出视场的问题没有得到解决。考虑到战场实时性,KCF算法在跟踪速度方面始终保持实时高速水平,结合目标检测算法不失为一个实用性较强的研究方法。

对于旋转弹,由于电视摄像机与弹体捷联,采集的图像随弹体旋转而旋转,解旋后图像还伴有旋转和运动模糊的信息,导致成像质量较差,传统检测和跟踪算法已无法有效识别出模糊目标,对目标检测和跟踪带来极大挑战。

为实现弹体发射后能够检测出以上困难情况下的目标并进行良好跟踪,本文将YOLOv3算法应用到弹载图像的目标检测中,对YOLOv3算法进行改进,简称S-YOLOv3算法。通过使用数据增强方法,利用深度学习神经网络在模糊图像以及复杂环境下对小目标识别检测的优势,与处理速度极高的KCF跟踪算法结合,加入跟丢判别机制和尺度信息,完成了跟踪算法的改进,使得对目标的检测跟踪精度得到进一步提高,为其在工程实践应用提供了可能。

1 弹载图像目标检测算法

随着Krizhevsky等[21]利用CNN对图像信息进行提取,促进了CNN在目标检测领域的发展,与传统图像制导炮弹采用的人工特征提取方式不同,基于CNN的特征提取采用监督或者非监督学习方式进行训练,分层卷积提取信息并自主进行目标特征表示的学习,从而达到对待检测目标特征的描述。本文结合弹载相机图像探测目标的成像机理以及CNN在检测任务中高效精准的表现,提出了一种面向旋转弹的目标探测技术,以提高图像制导炮弹目标检测算法的准确率。

1.1 弹载图像目标特点

当前制约弹载图像目标检测算法性能的主要瓶颈在于过于复杂且相互交融的场景变化,弹载摄像机由于其特殊的应用场景,其成像质量与弹体空中运动姿态以及战场环境密不可分,多数情况下获取的弹载图像存在下列问题:

1) 实时性要求高。弹体在空中飞行时间短,从捕获目标图像到弹体着落过程时间短暂,对目标检测过程的快速、高效性提出了更高要求。

2) 背景复杂。弹体运动过程中,弹载摄像机抓取的背景图像不断变化,并且天气环境变化也会影响弹载图像的成像质量(见图1),例如阴、雨、雾、霾情况下成像的清晰度会受到一定程度影响,在检测、识别过程中产生大量的噪声。

图1 复杂背景下的图像Fig.1 Images in complex environment

3) 目标较小。结合弹载摄像机的应用环境可知,末制导阶段弹载摄像机开始工作时,距离目标较远,目标较小,可提取的目标特征少,在该场景下目标检测、识别算法表现性能差。

1.2 弹载图像数据制作

1.2.1 数据来源及标注

由于真实打击场景数据获取困难,本文通过视景仿真软件模拟的山地打击场景作为图像数据进行处理,通过人工标记、裁剪等方法,从场景中获取图像数据,数据集包含400张图片,数据集图片像素大小为720×400、960×540、1 400×800。图2所示为模拟旋转弹距离目标由远及近情况下图像采集设备中的视景图像。

图2 数据集中的图像视景Fig.2 Visual images in datasets

数据集标注利用LabelImg标注软件对图像视景图片进行标注。LabelImg软件是基于Python语言编写的用于深度学习数据集制作的图片标注工具,主要用于记录目标的类别名称和位置信息,并将信息存储在可扩展标记语言(XML)格式文件中[12]。

图3所示为数据标注示意图。具体标注流程如下:首先对图像中的目标进行人工识别,确定其为目标;然后用垂直的最小外接矩形框将目标依次选中,同时设置类别标签以“target_(序号)”表示。矩形框的标记信息存储在标签XML文件中,其中(x,y)为矩形框左上角坐标,h、w分别为矩形框高度和宽度。数据标注示例图如图3(b)所示,其中绿色矩形框为标注为目标。根据YOLOv3算法的训练要求,将XML文件转化为以类别、目标坐标为内容的文本格式文件,为下一步训练做准备。标注数据类型转换如图3(c)和图3(d)所示,分别表示目标的类别和坐标信息。

图3 数据标注示意图Fig.3 Data labeling diagram

在数据集制作中,本文尽可能加入不同尺度、不同表现形式的目标,由于数据有限,使用Imgaug库对数据进行增强。

通过调用Imgaug数据库对400张数据集进行扩充,添加了仿射变换,旋转模糊、抖动模糊、亮度、左右、上下、翻转,色调、饱和度、高斯噪声、锐化、比例×像素、分段仿射、雪地、云层、雾、雪等不同条件的模拟。在实际处理图像数据时,随机选择若干个模拟效果将原图与目标标记框同时进行增强,既增加了复杂环境的数据又不会对标记框位置产生影响。单项数据增强效果如图4所示,多项随机增强叠加效果如图5所示。最终扩充为1 000张图像的数据。

图4 单项图像增强效果Fig.4 Single image enhancement effect

图5 多项随机图像增强叠加效果Fig.5 Superposition effect of multi-random image enhancement

图6 数据集中目标信息统计图Fig.6 Statistical charts of target information in dataset

1.2.2 数据集分析

本文数据扩充后一共有1 000张图像,目标总数2 777个,图6(a)所示为数据集中每张图像所含目标个数的统计图,图6(b)所示为目标尺寸统计图。目标平均像素大小为2 598.2,目标平均与原图像的比例为0.010 5,因此目标属于较小目标。从图6可知,数据集中每张图像上的目标数量为0~6个,目标像素大小在图像中占比较小。数据集中的图由于是连续帧,目标大小随着弹目距离的减小,相机获取的画面中目标尺度有一个很明显的由小变大的过程,故有必要充分利用目标的形状、细节、尺度特征等信息,研究多尺度网络检测模型和跟踪算法。同时为了确保算法性能,在数据标注过程中还需要准确识别目标,记录正确的标签信息。

1.3 基于YOLOv3算法的弹载图像目标检测

1.3.1 YOLOv3网络

YOLOv3网络参考SSD和ResNet[22]的网络结构,设计了分类网络基础模型Darknet-53。Darknet-53兼顾网络复杂度与检测准确率,与常用的目标检测特征提取网络VGG-16相比,降低了模型运算量[23]。

在YOLOv3网络中Darknet53结构用于图像特征提取,YOLO结构用于多尺度预测。具体过程由Darknet 53网络输出大小为13×13像素、1 024维度的特征图,进行一系列卷积操作,经过上采样分别与浅层特征图连接形成最小尺度YOLO层,再将79层提取出来的13×13×512通道的特征图进行卷积,降为256通道。进而上采样生成26×26×256特征图,与61层特征图合并卷积,形成中尺度YOLO层,大尺度YOLO层则由91层与36层特征图进行相应的卷积操作得到。对特征图进行预测,包括bounding box的坐标信息X、Y坐标,宽度W和高度H,以及网格预测目标置信度(IOU)和类别预测分数。以两个打击目标为例,通道数为(4+1+2)×3=21,输出的3个尺度特征图为13×13×45,26×26×45,52×52×45,其中Darknet 53结构如图7所示。

在YOLOv3网络上使用弹载图像数据集直接训练进行检测,发现有旋转模糊且目标小于几十像素时难以检测出来,因此在后面提到的改进YOLOv3网络中增加了对小尺度模糊目标的检测特性。

1.3.2 改进的网络结构

为保证运行时间以及对小目标检测效果,将原网络中卷积模块改为多分支尺度卷积,增加网络对于目标不同尺寸的适应性,减少网络层数,来平衡网络的深度和宽度[24]。采用多分支尺度卷积进行空间聚合则通过低维嵌入来完成,对于图像网络提取的特征和表示能力没有下降,其内部结构可以分为3个分支,如图8所示。

图7 Darknet 53结构图Fig.7 Structure chart of Darknet 53

图8 多分支结构Fig.8 Multibranch structure

图8中,深度串联是指将分支卷积的特征图按深度链接起来形成大小不变而深度叠加的图,后面紧跟1×1卷积层,并不会改变图像的高度和宽度,而是改变了深度实现降维,方便多个特征线性组合来进行多通路间的信息整合。加入直连快捷层,将前层提取出的特征与当前层进行叠加,可以避免梯度发散的可能性,对于网络正向传播过程中,每一层卷积只能提取一部分信息,对于过小的目标向前传播几次,能学到保留的信息就越少,极有可能得到欠拟合的结果。通过添加快捷结构,即在每个模块中加入最后卷积图像的全部信息,相当于一定程度上保留了更多的初始特征信息。加入直连结构后,网络变成了一个最优输出选择模型,输出结果是由之前的块和组合卷积学习到的一个最优结果,可以将网络看成并行结构,最终得到的是不同级别的特征提取组合,让网络可以学到最适合的模型及参数。

以特征金字塔网络(FPN)[25]为参考,采用多尺度融合方法进行预测,对于小目标,大尺度52×52的特征图也就是第1组多分支模块输出可以提供分辨率信息,对于正常和小尺度目标,后两层多分支模块同时提供分辨率和语义信息,不同尺度的检测可以有效检测不同尺度的目标[26]。即使同一个目标出现在多个特征层上被检测出来,也会因为非极大值抑制取一个最佳的,因此不影响检测效果。具体结构如图9所示。

图9 改进YOLOv3结构Fig.9 Structure chart of improved YOLOv3

1.3.3 锚框计算

使用原有的锚框集合训练自己的小目标数据并不合适,其设定的好坏将影响目标检测的精度和速度。本文对小目标数据集的目标候选框在空间维度上进行聚类分析,计算最优锚框个数。YOLOv3的锚框个数和维度是由VOC20类[27]和COCO80类[28]数据集聚类得到的,不适用于远距离小目标检测[23],因此重新确定了锚框个数和宽、高维度[29]。

使用无监督学习的k-means均值聚类算法对目标帧进行聚类分析,提取数据集全部目标框大小,将相似对象归为同一类,最终得到k个数量锚框作为训练时设定的尺度参数。k-means均值聚类分析采用欧式距离,意味着较大尺度框会产生更多的误差,因此网络的损失值采用IOU作为评判指标,即候选框与真实框的交集除以并集,避免较大的边界框相对于小的边界框产生的误差,代替欧式距离的函数为

d(box,centroid)=1-IOU(box,centroid)

(1)

聚类目标函数为

(2)

式中:box为候选框;centroid表示样本初始聚类中心;k表示划分样本的簇的个数。

1.3.4 非极大值抑制[30]

直接通过网络输出的目标框会有很多,本文通过分辨率1 920×1 080摄像头采集图像,并对图像中的目标进行检测,结果直接输出约8个目标框,需要消除多个重复有交叠的检测框,每个目标只保留最好的一个框。这里使用非极大值抑制方法,抑制不是极大值的元素,对数量进行精简,通过遍历高度重叠的边界框,只保留置信度最高的预测框,针对每一类目标都单独执行非极大值抑制,效果如图10所示。

图10 非极大值抑制前后对比图Fig.10 Comparison of images before and after non-maximum suppression

2 弹载图像目标跟踪算法

2.1 方向梯度直方图特征

方向梯度直方图(HOG)[31]的核心思想是通过光强梯度或边缘方向的分布,描述被检测到的局部物体的形状。经过将整幅图像分割成小的衔接区域(称为单元),每个细胞生成一个方向梯度直方图或细胞中像素的边沿方向,这些直方图的组合可表示出待检测物体的描述算子。为提高精度,本文通过计算大面积图像块的光强,对局部直方图进行比较和标准化,然后用这个值归一化块中的所有单元,可实现照射和阴影不变性。与其他描述子相比,HOG得到的描述符具有几何不变性和光学不变性,因此在跟踪算法中采用该特征提取方法。

2.2 KCF跟踪算法

利用目标周围区域的循环矩阵,通过密集采样学习滤波器对目标进行跟踪定位。利用岭回归训练目标检测器,利用傅里叶空间中圆矩阵的对角化性质,将矩阵运算成功地转化为矢量的Hadamad乘积,即元素的点积,大大减少了运算量,提高了运算速度,使算法满足实时性需求。利用核函数将线性空间的岭回归映射为非线性空间。在非线性空间中,通过求解对偶问题和一些常见约束,使用循环矩阵傅里叶空间的对角化来简化计算,将多通道数据融合到该算法。

2.2.1 采集样本

KCF跟踪算法利用循环矩阵的思想生成大量正负样本,通过目标区域采样窗口的循环移位来训练分类器和检测目标。设x=[x1,x2,…,xn]T是基准参考样本(n为样本数量),x通过置换矩阵P对x进行循环移位,通过一次移位获得的样本是Px=[xn,x1,x2,…,xn-1]T,因此n个样本的样本集可以通过n次移位得到,样本集合{Pux|u=0,1,…,n-1},其中置换矩阵

(3)

按照循环矩阵的定义将n次移位的所有样本组合成循环矩阵X,如(4)式:

(4)

由于循环矩阵可以使用离散的傅里叶矩阵在傅里叶空间中对角化,循环矩阵X可以简化为

X=Fdiag()FH

(5)

式中:F为离散傅里叶变换矩阵;为向量x=[x1,x2,…,xn]T的离散傅里叶变换,即循环矩阵X第1行的离散傅里叶变换;H表示矩阵共轭转置。KCF跟踪算法利用了循环矩阵通过傅里叶对角化来避免求矩阵的逆,从而大大降低了计算复杂度。

2.2.2 分类器

(6)

(6)式求导并令导数为0,可求得

a=(φ(X)φT(X)+λI)-1y

(7)

式中:φ(X)φT(X)为核矩阵,用K表示,则有K=φ(X)φT(X),因此核矩阵K中的各个元素表示为

Kij=κ(xi,xj)

(8)

这里以Kij为元素的核矩阵K是循环矩阵。于是有K=C(kxx),其中kxx为K矩阵的第1行,将K矩阵傅氏对角化为K=Fdiag(xx)FH,化简(6)式,得到

(9)

2.2.3 目标检测

分类器训练完成后,在下一帧图像的预测框内采集基准待测样本Z,由基准样本经循环移位产生大量待测样本,样本集{zj=pjz|j=0,1,…,n-1},然后计算待测样本的响应值,最大响应值的样本对应位置为目标位置。计算响应的公式为

(10)

式中:κ(z,xi)为核函数。令KZ为训练样本与待测样本之间核空间的核矩阵,由循环卷积性质可知KZ是循环矩阵,记作

KZ=C(kxz)

(11)

2.3 改进的KCF跟踪算法

根据弹道仿真数据得到弹体速度与时间信息,将数据进行函数拟合,由于初始检测框为32×32,命中目标时目标大小为320×240,将速度归一化为1~10作为尺度系数,最终得到一个目标尺度调整系数与时间的对应关系函数,图11所示为弹道速度~时间曲线,图12所示为目标框大小与时间曲线。

图11 弹道速度- 时间曲线Fig.11 v-t curve

图12 目标尺度调整系数曲线Fig.12 Scale curve of RoiSize-t

根据拟合曲线,将目标框尺度比例系数定义为

scale_factor=1.404 7×10-7t2+3.67×10-4t+1

(12)

2.4 体视线角计算

图13 相机成像平面Fig.13 Camera image plane

体视线角表示目标与弹体之间的角度几何关系,如图13所示。图13中,qβ表示导弹与目标连线与弹体坐标系ObXbYb平面之间的夹角,qα表示导弹与目标连线在弹体坐标系ObXbYb平面上的投影与ObXb轴之间的夹角[32],T(x、y)表示目标在像平面的像素坐标,x、y分别为坐标像素值,O(x0、y0)表示物理坐标系原点在图像坐标系的坐标,x0、y0分别为图像坐标系的坐标值,对于640×480分辨率的相机,x0=320,y0=240。

体视线角可以由目标在像平面的成像像素来获得(见图10),弹体坐标系与相机成像坐标系的3个坐标轴对应相互平行。通过张正友标定法[33]求得相机内参矩阵K:

(13)

式中:f为相机焦距;dx、dy表示像平面上每个像素在x轴、y轴的物理尺寸。

(14)

3 结合S-YOLOv3的目标跟踪模型

检测跟踪模型如图14所示,对目标探测算法进行仿真。由于目标被遮挡或大幅度位移会导致KCF跟踪算法中目标的傅里叶响应值突变,可以用峰值检测的方法判别。首先将检测到目标的峰值保存起来,正常检测到目标的峰值为0.74~1.00,如果后续峰值小于第1次峰值的一半,则认为丢失,重新返回检测。

图14 结合目标检测的跟踪算法流程Fig.14 General theoretical framework

将识别出来的区域传入改进KCF跟踪算法,主要通过弹道模型拟合的二次曲线作为跟踪尺度系数,加入高斯阈值与检测目标进行判断,小于阈值后重新检测,以确保目标丢失在视野内可重新跟踪。

4 实验效果与数据分析

4.1 实验评价指标

对训练好的目标检测模型进行测试,使用以对象为基准的评估指标进行效果评估,即精度P、召回率R、精确值和召回率的调和均值F1、均值平均精度mAP、每秒处理帧数FPS。

(15)

(16)

(17)

(18)

式中:TP用于表述预测与真实参数相同,预测参数就是相应的正(在该情形中相应的真实参数即正样本);FP表示预测和真实有区别,预测即正(在该情形中相应的真实参数即负);FN表示预测与实际有区别,预测即负(在该情形中相应的真实参数即正样本)。

本文目标跟踪算法使用中心位置误差、精确度、重叠率3个指标评估。中心位置误差的计算公式如下:

(19)

式中:Kt表示真实目标位置,坐标为(xt,yt);Kr表示输出目标位置,坐标为(xr,yr)。

图15 重合度计算图Fig.15 Overlap degree calculation

图15所示为重合度计算图,其中D表示整副图像,矩形B表示真实目标区域,矩形C表示算法结果区域,A为B和C的重合区域。

由此重合度定义为

(20)

准确度定义为

(21)

4.2 实验环境及参数配置

基于目标检测及跟踪实验软硬件配置(见表1),设计仿真实验平台如图16所示。由于实验条件有限,通过视景生成器模拟山地打击情景,使用转台模拟弹体的旋转运动,转台一端的摄像头通过计算机将后端显示器的视景实时处理并输出到前端显示器。

表1 软硬件配置Tab.1 Hardware and software configuration

图16 仿真实验平台Fig.16 Simulation experimental platform

4.3 目标检测实验测试

为评估本文改进YOLOv3算法的性能,对YOLOv3与S-YOLOv3目标检测模型分别在数据集上进行训练。训练集和验证集按照7∶3的比例进行随机分配。在网络训练过程中,采用Adam方法进行训练,初始学习率设置为0.000 1,衰减系数设置为0.005,batchsize设置为16,预设锚点框数为9。

为验证改进算法的有效性,使用视景生成器单独生成1 000张数据作为测试集进行测试。

通过使用数据增强,网络训练过程中的空间维度同步提升,将分布的数据密度增大,从原始数据集中提取出更多的信息,使得增强后的数据集代表更为全面的数据集合,进而缩小训练集和验证集之间的差距。为验证扩充的数据集对目标识别和网络泛化能力有着显著的提升,表2显示了对比实验结果,可见通过数据增强的方式能够得到更好的训练效果,mAP值提升了26.7%。

表2 数据增强对比实验效果Tab.2 Comparative test effect of data enhancement

为验证本文对锚框计算改进的效果,进行对比实验,改进前预定义的锚框集合为((10,13)、(16,30)、(33,23));((30,61)、(62,45)、(59,119));((116,90)、(156,198)(373,326)),改进后锚框集合为((4,5)、(5,11)、(9,8));((8,15)、(17,9)、(14,15));((11,22)、(25,12)、(21,21)),表3显示了对比实验结果,可见通过改进锚框计算的方式对检测精度有了进一步提升,mAP值提升4.65%。

表3 锚框计算改进前后对比实验效果Tab.3 Comparative test effect of Anchors

为更好地验证本文算法的有效性,使用转台上的摄像头(分辨率1 920×1 080)在仿真平台上对屏幕放映的图像进行识别,以更加逼真地模拟旋转弹弹载图像,使用屏幕显示出来的图像相比原图会产生不同光照、色差等噪声因素,加上相机硬件产生的噪声,可以更好地验证算法鲁棒性。实验共检测1 000张弹载图像数据,结果如表4所示。

检测效果如表5所示。从表5中可以看出:在对数据未进行增强前,改进网络对小目标检测具有很好的结果;对数据进行增强后,在恶劣天气和动态模糊中,改进网络都具有很好的检测效果,可见本文算法在复杂环境下也能够准确检测到目标,也为后续的目标跟踪提供了关键的初始帧信息。

表4 YOLOv3与S-YOLOv3算法目标检测效果对比Tab.4 Detected results of YOLOv3 and S-YOLOv3

表5 检测对比结果

4.4 目标检测跟踪系统测试

实验过程模拟的是旋转弹从末制导段开启目标探测系统。由于高速的姿态运动以及复杂的战场环境,在弹载图像检测和跟踪目标过程中会出现识别困难以及丢失的情况,通过本文设计的目标探测算法,在成像质量受到严重影响情况下目标仍可被检测出来,在丢失目标情况下跟踪算法能够及时启动检测机制,提供目标信息,实现再次跟踪。最后完成制导信息的指令输出,对目标实施精确地打击。

目标检测与跟踪画面如图17所示,本文实验为目标检测与跟踪定位环节,假设解旋环节已经完成,即视场中旋转图像已解旋为正立。图17(a)、图17(b)分别为KCF算法和改进KCF跟踪算法的效果对比。由图17可见:在末制导段指定目标后开始跟踪,二者都能很好地跟踪目标(见图17(a)),目标都能被黄色框很好地跟踪到;随着跟踪时间的延长,KCF算法的跟踪目标框逐渐与目标出现了漂移,KCF算法没有像改进算法那样对目标尺度进行有效更新,导致跟踪性能下降,也有效说明改进后算法对目标跟踪尺度有了很好的估计;在目标丢失情况下(见图17(b)),改进后KCF算法由于结合了S-YOLOv3检测算法,能够及时地再次检测到目标,为跟踪算法再次提供了初始帧信息,为后续的跟踪提供了良好基础。

图17 跟踪图像序列Fig.17 Target image sequence

从评价指标上看(见表6),跟踪性能与KCF算法相比,中心位置误差和重叠率有了很大提高,识别准确度也得到了提升,处理速度为63帧/s,虽然不如KCF算法,但已经满足实时性要求,对工程实践的应用有一定指导意义。

表6 目标跟踪性能对比Tab.6 Performance comparison of algorithms

为进一步验证跟踪算法的性能,对跟踪的体视线角进行提取,如图18所示,在13 s处开始跟踪。由图18可以看出:与原算法相比,改进KCF算法高低角曲线与理论曲线误差更小,最大误差为0.004 58 rad,约0.268°;方位角最大误差为0.027 57 rad,约1.58°,其中有标定误差和相机与屏幕平行度不重合的影响。在像平面中,1个像素对应的体视线角误差大约为1.5°,与曲线最大误差接近,进一步验证了本文提出的改进后跟踪算算法的有效性。

图18 体视线角曲线Fig.18 Body line-of-sight angle curves

5 结论

本文对旋转弹弹载图像中小目标识别跟踪算法进行研究,通过模拟山地打击场景,针对弹载图像的特点对图像数据进行模拟制作,对现阶段较成熟的YOLOv3检测器模型进行了改进,结合处理速度高的KCF算法,实现了复杂环境下的小目标精确定位。得到主要结论如下:

1) S-YOLOv3检测算法配合改进KCF跟踪算法实现了更加鲁棒的目标定位,算法加入了丢失判别机制,时刻更新尺度信息,检测精度和跟踪效果有了很大的提升,处理速度达到63帧/s,满足了实时性要求。

2) 通过数据增强扩充的方式,制作了不同天气、光照、运动及旋转模糊等复杂环境的弹载图像数据,增强了算法对复杂环境背景下目标的检测能力。

3) 检测网络添加了多尺度分支结构,使用k-means均值聚类算法重新计算锚框,跟踪算法利用弹道的速度—时间信息更新目标跟踪框尺度,使得算法对小目标尺度更加敏感。

总之,本文将YOLOv3检测算法成功应用在旋转弹的目标检测和跟踪领域,可见深度学习算法在弹载图像目标检测中的可行性,对智能弹药的发展具有一定推进作用。

猜你喜欢
尺度矩阵图像
环境史衰败论叙事的正误及其评判尺度
A、B两点漂流记
多项式理论在矩阵求逆中的应用
矩阵
矩阵
矩阵
名人语录的极简图像表达
以长时间尺度看世界
9
一次函数图像与性质的重难点讲析