一种面向无人机视觉目标检测的对抗样本攻击方法

付科涵，王布宏，王 振

(空军工程大学 信息与导航学院，西安 710077)

0 引言

无人机作为远程可控的嵌入式系统，已经成为工业应用领域技术发展热点和现代军事战争的重要组成部分。其中，目标检测技术被广泛应用于环境监测、基础设施检查、军事侦察等各类任务中。依靠强大的特征提取能力，深度目标检测网络（Deep Object Detection Network，DODN）凭借其对预定义语义对象分类与定位中的优异性能，实现了无人机平台对视觉图像关键目标的自主检测与分类，GPS等传统导航手段失灵情形下，依靠降落点检测技术完成安全降落，对无人机应用与自身安全具有深远意义。

随着深度神经网络（Deep Neural Network，DNN）技术在多个领域的普遍应用，其潜在的安全问题也受到国内外学者的一致关注。最具代表性的就是Szegedy团队通过对正常样本添加微小扰动，DNN就将以高置信度输出错误类别[1]。攻击者精心设计的对抗扰动将欺骗检测器，造成分类与目标定位错误，将造成物理实体发生碰撞甚至坠毁。然而无人机视觉DODN作为近年的热点问题，多数研究聚焦于目标检测模型的性能改良与实际场景的应用，却忽略了无人机DODN自身的安全性与鲁棒性问题。本文针对无人机DODN的脆弱性，对潜在的对抗攻击进行研究，提出。

面向无人机DODN的目标梯度攻击方法，在数据集VisDrone上对攻击方法的有效性进行验证，本文提出的攻击方法实现了对两种结构无人机DODN的多种目标性攻击，造成目标检测器性能显著下降，实验结果证明与现有方法相比，在攻击效率、攻击成功率具有明显优势。

1 相关工作

1.1 无人机深度目标检测网络

CNN通过池化使卷积获得的特征具有空间不变性，这使得CNN在大规模图像分类问题上取得重大的成功，同时也推动了DNN在目标检测领域的应用。无人机DODN已经被广泛应用于森林农业监测[7]，智慧交通[8]、工业巡检[9]等多个领域。

DODN根据有无候选框生成阶段可以分为两类：基于区域建议的两阶段算法和基于回归的单阶段算法。Lin等人[2]基于RPN网络提出的两阶段模型ECascade RCNN，使用改良的FPN主干网络提取特征，通过RPN得到候选边框，面对无人机图像目标检测的多尺度问题有效提升了检测精度。文献[3]在两阶段模型Faster R-CNN基础上融合FPN，提出的FFRCNN模型引入Focal Loss与空洞卷积，有效提升了检测算法的检测精确度。除了基于RPN的两阶段目标检测模型，更多的无人机目标检测模型对实时性优异的单阶段模型进行改良。针对无人机计算能力与内存的限制，文献[4，5]通过对YOLOv3，YOLOv4卷积层通道缩放因子施加L1正则化，修剪信息较少的特征通道来获得更适用于无人机的目标检测模型。在单阶段模型YOLOv5基础上使用Transformer检测头，集成卷积块注意力模块，相比原有SOTA方法具有更良好的检测性能与即时解释能力[6]。

目前，无人机DODN的研究多数针对无人机图像小目标、样本不均衡等问题，在传统视觉目标检测模型FRCNN，YOLO系列网络基础上设计高效的注意力机制，并对原有骨干网络、检测头进行优化。

1.2 对抗样本攻击

DNN 的不可解释性使得其面临诸多安全威胁，Szegedy[10]等人在基于DNN的图片识别模型的原始样本中加入特定的轻微扰动，使经过训练的分类模型检测精度大幅下降，这一成果令众多研究者开始关注对抗样本攻击领域。文献[11]提出了著名的V优化框架，文中提出基于迭代投影梯度的PGD（projected gradient descent）算法，迭代过程沿凸可行域边界的投影梯度下降得到对抗样本，被认为是最有效的一阶攻击方法。

在目标检测领域，DAG[12]与RAP[13]攻击为建议区域分配错误的对抗标签，覆盖与重叠的建议区域使FRCNN执行迭代梯度反向传播错误建议，从而产生错误分类。UEA[14]攻击设计多尺度的注意力特征损失，通过生成对抗网络生成对抗样本来破坏检测器中网络提取的特征。然而DAG等三种对抗样本攻击面向具有RPN网络的两阶段目标检测模型，且只能实现随机的无目标攻击。在目标检测模型的目标性对抗攻击研究中，文献[15]提出一种用于混淆标签的POA（Pick-Object-Attack）攻击，作者通过极小的扰动更改图像中特定目标的预测标签，实现了对检测器的定向欺骗，然而该攻击方法仍局限于FRCNN这一两阶段检测模型。稀疏对抗攻击SSA在l0范数约束限制下联合YOLOv4和FRCNN集成检测器训练稀疏对抗扰动，实现隐蔽目标的攻击效果[16]。

2 面向无人机深度目标检测网络的目标梯度攻击方法

针对无人机实时DODN系统，本文提出一种基于目标梯度的白盒对抗攻击框架，图1展示了面向无人机DODN的目标梯度攻击架构，主要包括实时采集图像、目标检测模型和对应的目标梯度攻击模块。目标梯度攻击方法利用检测网络于检测结果进行攻击，通过控制模型损失函数与攻击目标生成目标性对抗样本。

图1 面向无人机视觉目标检测的目标梯度攻击框架

2.1 目标检测模型

DODN被视作典型的多任务学习模型，多个学习组件分别对应目标置信度、检测框定位、目标分类签三种输出。对输入检测模型的分辨率为(hxw)的图像x，无人机目标检测器对真实物体寻找S个候选的边界框检测结果预测边界框中心坐标宽高；置信度参数是框选目标为真实目标的概率，表明候选边界框定位的是真实物体还是背景；是图像中目标的类别概率向量，是将目标物体分类为第k类的概率。

目标梯度攻击依赖于检测结果与网络结构，目标检测模型的损失函数通常包括回归损失函数Lbox、置信度损失Lconf与分类损失Lclass三部分构成

以TPH-YOLOv5目标检测模型为例，回归损失函数Lbox由GIoU损失函数给出

为有效处理无人机视觉图像数据集样本分类不均衡问题，置信度损失Lconf与分类损失函数Lcls基于交叉熵损失的LFL（Focal Loss），对应置信度损失与分类损失为：

其中Ii=0，1，表示真实目标是否被第i个检测框定位；真实类别为c（即时，检测器输出类别概率分量

2.2 目标梯度攻击

目标梯度攻击模块用于对原始图像x添加扰动生成对抗样本x′，目标梯度攻击基于凸可行域内投影梯度下降算法[25，26]，通过引入投影梯度的方法限制多步迭代的扰动范围，避免高维模型迭代过程中的梯度爆炸问题。

目标梯度攻击面向无人机DODN多任务学习的特点，与训练阶段相反，目标梯度攻击通过控制目标损失函数对中间样本梯度，沿放大损失函数的方向，得到欺骗不同任务的目标性对抗样本。

2.2.1 无目标攻击

无目标攻击不针对任何特定目标而是对YOLO V5检测器进行随机性攻击，无需设计控制损失函数，攻击效果因输入图像和攻击算法而异，对目标检测框攻击后造成消失、误分类等多种攻击结果。无目标攻击如式(8)所示：

其中，L是YOLO V5组合损失函数，无目标攻击迭代过程将同时放大总损失函数；Pxr是Lp范数中以x为中心r为半径的超球面上的投影函数，目的是限制扰动过程中数据处于限制范围内；a是攻击率，控制迭代步长；sign是符号函数，决定迭代过程中梯度的方向；为组合损失函数。根据凸集投影定理[16]可知目标梯度投影具有唯一性，且产生的中间样本xt′也始终在DODN凸可行域内，保证了攻击的有效性和目标性。

2.2.2 目标分类攻击

分类攻击旨在不改变深度目标检测网络预测的真实物体的存在性与边界框位置的同时造成DDON定向分类错误，即检测结果中在YOLO V5中，错误标签攻击为：

Lclass是类别损失；B*(x)为修改后的恶意检测值，攻击模块可以使用预定设计的错误标签修改真实检测结果中对应的类别标签，即在每一轮迭代中都将修改为其中p*i可以定向构造为检测器中预测类别文件中的一类。

2.2.3 目标消失攻击

目标消失攻击样式对目标检测器产生致盲效果，被攻击的DODN输出检测结果产生的对抗样本所有锚点对应的候选边界框与真实物体边界框的IOU均小于阈值，真实物体被检测器视作背景。YOLO V5模型物体消失攻击可以用式(9)表示：

目标消失攻击利用YOLO V5主导物体存在决策的置信度损失Lconf；取将原始样本向空检测集迭代得到对抗样本。算法1给目标梯度攻击具体实现细节。

算法1 目标梯度攻击对抗样本生成算法

输入：攻击目标T，目标检测模型M及其权重W，原始样本x，迭代轮数it，最大扰动å，攻击学习率a。

输出：对抗样本x_adv

3 实验与评估

3.1 无人机视觉数据集

本文无人机视觉目标检测模型使用VisDrone数据集，VisDrone[17]由中国天津大学机器学习和数据挖掘实验室的AISKYEYE团队收集的无人机视觉图像数据集。数据集包括265228个视频帧和10209个静态图像，通过对400余部采集视频剪辑标注得到。VisDrone通过多种无人机平台在不同光照、地域的物理环境下采集，图像具有多目标、小目标特点。

3.2 实验设置

3.2.1 实验环境设置

为有效对本文对抗攻击算性能进行分析，本文选取TPH-YOLOv5与ECascade-RCNN作为目标无人机DODN。对无目标攻击的分析将选取DAG，RAP，UEA三种对抗攻击算法对ECascade-RCNN进行攻击。对目标性攻击，使用POA与SSA算法分别两种目标检测器进行攻击分析。

3.2.2 评价指标

为了评估面向DDON目标梯度攻击算法的有效性，本文采用mAP、攻击成功率、时间成本与结构相似度指标对实验结果进行分析。

1）mAP

在目标检测性能评估中，常见的评价指标包括精确率（Precision）、召回率（Recall）、平均精度（Average Precision，AP）。AP本质上是精确率-召回率曲线p与x轴正半轴和y轴正半轴共同围成的面积：

通过分析所有类别AP平均值mAP的变化即可有效评估面向目标检测对抗样本攻击的整体性能。

2）攻击成功率（Attack success rate）

mAP通过目标检测器检测性能的变化反应目标梯度攻击整体性能，但有目标攻击算法性能评估需要对攻击目标效果进一步分析。

对目标消失攻击，攻击有效性通过有无攻击状态下检测目标数来衡量，该比例越低表明目标消失攻击致盲效果越明显。因此目标消失攻击成功率ASRobj可以用式(11)表示，其中Num和Numobj分别表示无攻击状态和攻击状态下检测到的目标总数如下所示：

目标分类攻击有效性通过检测结果中标签变化反应，通过计算各类别被替换为指定标签的数量与正常标签之比体现攻击有效性。错误标签成功率可以用式(12)表示，ASRcls为目标分类攻击成功率，Numcls表示目标分类标攻击下被替换为指定标签的检测目标数如下所示：

3）攻击耗时

对抗样本的生成效率也是评价算法性能的一个重要指标，攻击过程的总时间一般包括攻击时间和检测时间两部分。本文对攻击算法的总攻击耗时进行对比分析。

3.3 实验分析

实验根据定性分析与定量分析两个结果对对抗攻击实验进行分析。首先从定性分析角度来看，图2展可视化的展示了TPH-YOLOv5在正常状态、目标梯度攻击多种情形下检测结果。可以看出，本文攻击算法可以灵活实现无目标和多种目标攻击效果。

图2 对TPH-YOLOv5目标梯度攻击效果

为了进一步分析目标梯度攻击有效性，本文对攻击效果、时间复杂度、结构相似度进行定量分析。首先对攻击效果分析，本文将选取数据集测试图像的全体作为原始样本，进行攻击并由检测记录得到对应的mAP。为保证对比实验的兼容性与公平性，实验选取两种架构的无人机目标检测模型TPH-YOLOv5与ECascade-RCNN作为攻击对象，选取本文攻击算法与经典对抗攻击算法DAG，RAP和UEA，以及目标性攻击方法的SSA进行对比。

表1 不同对抗样本攻击算法攻击后目标检测模型mAP变化

在单阶段目标检测模型中，本文攻击算法在实现多种目标性攻击的前提下，均造成目标检测器性能明显下降，且性能优于SSA算法。在两阶段目标检测器中，与DAG、SSA等对抗算法对比，无目标于目标消失攻击在攻击性能上具有一定优势。由于POA算法被设计于针对单一检测框而非全体，因此mAP的下降不能完全反应攻击性能，需要ASR指标进一步分析评估。

进一步，对两类目标性攻击进行分析。图3展示了在置信度 值为0.5时，各类攻击状态下检测到的目标总数，目标消失攻击下检测目标总数以数量级下降，而两种目标分类攻击检测总数与无攻击状态相近。图4展示对不同置信度 值下的检测目标总数，目标消失攻击下检测目标数相比无攻击状态大幅减少。图5对目标分类攻击后测试集十种类别目标标签替换成功率进行统计

图3 置信度阈值为0.5时，不同攻击样式下检测目标总数

图4 不同置信度阈值无攻击与目标消失攻击下检测目标数

图5 目标分类攻击对不同类别攻击成功率

表2对各目标性攻击ASR进行对比，为保证对比结果的公平性，选择两阶段目标检测ECascade-RCNN作为攻击目标。对两类Cˆ=0攻击类型，检测器将无法检测到目标，本文攻击方法相比SSA具有更高的攻击成功率。对误分类的Pˆ≠P攻击，目标分类攻击在选择低置信度攻击MinP时，成功率高于高置信度攻击MaxP和POA攻击。总体而言，本文所提出的目标性攻击方法在攻击成功率上具有一定优势，且具有更优异的模型可用性与更多样的攻击样式。

表2 不同目标性对抗样本攻击算法的攻击成功率

实验进一步对对抗样本算法效率进行分析。在测试集中随机选取200张图像进行攻击并记录不同算法所需时间。重复该过程100次，记录100次攻击平均耗时作为算法效率对比依据。表3展示了不同攻击下的平均耗时。

由表3可知，本文攻击算法平均耗时要低于DAG、SSA等对抗攻击算法。但由于UEA基于生成对抗网络，在训练阶段已经建立输入与对抗样本映射关系，攻击平均耗时较低，然而本文方法利用检测结果与检测网络结构进行攻击，在攻击成功率上要远高于该方法。

表3 不同样式目标性对抗样本攻击的平均耗时

综上所述，本文所提出的对抗攻击算法能够以较低的耗时对目标检测器取得显著攻击效果。相比于传统对抗攻击算法，本方法兼具攻击效率、攻击成功率，且能对多种检测模型实现无目标攻击和两类目标性攻击，可以认为本文对抗样本攻击方法对无人机DODN的反制具有一定的应用前景。

4 结语

本文提出了一种面向无人机DODN的视觉图像对抗样本攻击方法，重点关注于解决现有目标检测对抗攻击算法的模型可用性差，攻击随机性强等问题。提出的目标梯度攻击方法基于TPH-YOLOv5与ECascade-RCNN的网络结构与检测结果生成对抗样本。根据攻击者不同攻击的意图，仅需对攻击模块中目标梯度进行调整即可实现有目标与无目标攻击。实验结果表明，本文目标梯度对抗攻击方法在攻击成功率以及攻击效率上具有性能优势；此外相比现有对抗攻击算法，本文的攻击方法可针对多种架构的DODN，且可以实现多种目标性攻击。在未来的研究中，在本文研究结果的基础上，将关注于面向无人机目标检测情景下对抗样本的视觉不可见性与物理可实现性，进一步提升对抗样本的现实可用性。