基于多光谱交互注意力融合的多尺度无人机小目标检测

吴长柯 陈虎 潘涛 黄菊 刘洪 张萍 吴志红 苏强

摘 要： 针对无人机检测中存在的目标较小、受背景环境影响大、以及多光谱特征难以深度融合等问题，本文提出了针对无人机小目标检测的多尺度多光谱交互注意力融合目标检测模型. 首先，将骨干网络设计为双流网络，分别提取不同尺度红外和可见光特征，并增加小目标检测层和BiFPN 级联操作，提升对无人机小目标特征的提取能力. 其次，创新性的设计了多光谱交互注意力融合模块，在该融合模块的指导下，网络可以在不同尺度融合红外和可见光模态的信息，使红外和可见光的特征进行深度聚合，发挥各自模态的优势，指导开展无人机小目标检测. 实验结果表明，与最先进的多光谱目标检测模型相比，本文提出的模型在FLIR、LLVIP 两个公开的多光谱目标检测数据集上都达到了优越的性能，在构建的多光谱无人机数据集上，本文提出的模型有效提升了无人机的检测精度和鲁棒性.

关键词： 无人机检测； 小目标检测； 多光谱交互注意力融合； 多尺度

中图分类号： TP391 文献标志码： A DOI： 10. 19907/j. 0490-6756. 2024. 032005

1 引言

近年来，随着无人机技术的发展，无人机在军用和民用领域发挥着越来越重要的作用，带来便利的同时，如何监管无人机也成为了一个巨大的挑战. 一方面，在民用领域，无人机的“黑飞”、“滥飞”问题日益突出，不仅对公民隐私和财产安全造成了危害，更是对社会治安和人民生命安全带来了十分巨大的威胁［1］. 另一方面，在军用领域，无人机成为了现代战争的新型武器，在当前爆发的俄乌冲突中，俄乌双方大量使用无人机进行侦察和打击，对自杀式无人机的运用更是屡见不鲜，对无人机的检测是军事领域反制无人机的重要手段.

然而无人机检测领域仍存在许多问题，制约着无人机检测技术的发展. 首先是无人机具有体积较小、雷达截面小、低速的特点，利用传统的雷达设备很难探测和识别出无人机［2］. 随着机器学习算法的发展和应用，无人机识别有了新的手段，即通过可见光相机拍摄到无人机视频或者照片，利用目标检测算法检测出无人机目标. 但是在夜晚、雾天等光照条件较差或遮挡严重的环境下会受到很大的影响，容易造成无人机的漏检问题.

可见光和热红外图像的交叉光谱融合已经成为目标检测的研究热点［3-10］，因为多模态信息直观地被认为是互补的［11］. 可见光图像具有丰富的纹理细节，而红外图像具有较强的穿透力，两种图像互补通常能够提升目标检测的精度和鲁棒性. 考虑到运行的无人机目标具有红外热辐射特性，将可见光与红外探测两种手段相结合开展无人机检测具有现实意义. 然而无人机目标较小，特征较为单一，且两个模态之间的特征差别较大，要深入融合无人机可见光和红外图像特征比较困难. 使用传统特征相加或级联等方式融合可见光与红外特征，往往会出现较强特征覆盖较弱特征的情况，容易造成无人机的多检错检问题. 研究如何开展可见光和红外特征的深度融合，对指导提高无人机小目标检测性能和多光谱融合相关领域研究具有积极意义.

目前为止，无人机的检测方法主要集中在图像识别、音频信号分析、频谱探测以及雷达数据分析等方面. 最早的研究采用雷达信号分析来探测无人机，再利用支持向量机进行训练与分类识别［12］. 机器学习和目标检测算法的发展让无人机检测有了新的手段，文献［13］提出了一种基于随机森林的无人机检测方法，通过采集可见光下的图像序列，使用混合高斯模型和聚类检测算法检测图像中的运动小目标，再使用随机森林算法融合目标的多种特征得到检测目标. 文献［14］提出了一种基于多隐含层深度神经网络的弱小无人机目标检测模型. 文献［15，16］采用了改进的YOLOv3模型，提高了无人机目标检测精度，但其采用的数据集都是基于可见光的，未考虑复杂环境的影响. 文献［17］提出了使用可见光和红外图像融合开展无人机目标检测的方法，但其在融合方式上只是使用简单的平均融合和级联融合，未加入注意力机制，无法做到可见光和红外模态特征的深度融合. 在多光谱融合目标检测领域，网络性能的好坏通常取决于融合策略的设计. 文献［18］提出了一种新的循环融合和细化模块，以改进多光谱特征融合，同时考虑到特征的互补性和一致性平衡. 文献［19］提出了引导注意力特征融合来指导红外和可见光的融合过程. 文献［20］使用Transformer 自注意力机制融合红外和可见光图像，能够突出模态内部的重要特征，但无法很好区分红外和可见光的特征，难以学习模态之间的优势.

本文研究的主要内容是以深度学习为基础，通过改进常见的目标检测算法YOLOv5，探索融合红外和可见光两个模态进行检测的可行性. 同时通过对交互注意力机制进行研究，提出新颖高效的红外和可见光融合模块以及相应的目标检测网络.