面向空地应用的红外时敏目标检测跟踪数据集

傅瑞罡，范红旗*，朱永锋，回丙伟，张志龙，钟平，李冬冬，张少良，陈刚，王雒

1.国防科技大学电子科学学院ATR重点实验室，长沙 410073

2.武汉高德红外股份有限公司，武汉 430073

引 言

车辆作为典型的时敏目标，是陆地作战的重要力量、战场补给的重要载体，已成为现代军事对抗的重点目标之一[1]。近年来，随着无人机遥感的迅猛发展，以无人机作为平台，挂载各式成像系统，已成为现代军事对抗系统中收集情报的重要组成部分。其中，红外传感器因其隐蔽性好、全天候工作、抗干扰能力强等独特优势[2]，是无人机遥感成像中最常见的传感器之一。

因此，为实现对战场态势高效的感知、监视、分析，发展红外时敏目标的智能检测跟踪技术具有宽阔的应用前景和重大的实用价值。而随着现代战争对抗程度的加深，红外时敏目标的智能检测跟踪面临严峻挑战，主要表现在：1）时敏目标成像不规则。时敏目标在运动时，其热辐射并不均匀，通常在发动机附近会有较高响应，其他部位相对较弱，体现在数据上表现为目标没有清晰轮廓；此外，由于热辐射与天时天候相关，目标在不同天时天候下的红外成像不同；2）受到平台载重限制，无人机可挂载传感器的空间分辨率不会太高，加之远距离成像，由此获得的目标通常为小目标，目标的形状结构不清晰；3）目标所处的地面环境复杂，特别是一些具有强红外辐射的地面杂波容易淹没感兴趣目标；4）目标非合作，典型的如多目标交汇、目标过遮挡物等问题一直是目标检测跟踪技术面临的重难点问题。

为发展红外时敏目标的智能检测跟踪技术，一个大规模的实测红外数据集是非常必要的。然而，与紧迫的需求不匹配的是，当前红外时敏目标的实测数据相对匮乏。为填补这一空白，本文通过外场实地拍摄制备了一个面向空地应用的红外时敏目标检测跟踪数据集，可为红外目标检测跟踪、红外目标特性等研究提供基础数据。

1 数据采集和处理方法

1.1 数据采集方法

1.1.1 试验设备和传感器简介

数据采集用到的主要设备为多旋翼无人机(UAV,Unmanned Aerial Vehicle)，其基本参数如表1所示，外形图如图1所示。旋翼无人机采用锂电池供电方式，最大载重量10公斤，最大续航时间30分钟，将传感器安装至无人机后，无人机可按照预先设定的轨迹逼近目标。

表1 无人机基本参数Table 1 Basic parameters of UAV

数据采集使用的传感器为长波非制冷红外传感器，传感器后端加装数据链，可将实时红外图像以 25Hz的帧频传递至地面操控端。同时通过地面操控端控制传感器搜索目标、锁定目标和跟踪目标，可以维持目标始终位于传感器视场内。传感器基本参数如表2所示。

表2 传感器基本参数Table 2 Basic parameters of the UAV sensor

1.1.2 采集场景设置

数据采集过程中，我们主要设计了两种不同情况的实际场景，一是路面相对开阔的内场场景，二是路面相对复杂的外场场景，分别如图2(a)、2(b)所示。内场场景的特点是目标的行进路线可规划，行车场景可设计；外场场景的特点是背景更复杂，很容易产生多目标交汇、目标过遮挡物等现象。

同时，考虑到环境温度对红外成像结果的影响很大，为使数据集更加完备，我们采集了不同天时下的数据。图2(c)、2(d)分别为图2(a)、2(b)中两个场地对应不同天时下的成像。可以看出，白天的场地整体更加明亮，傍晚的场地则相对暗淡。

1.2 数据处理与标注

1.2.1 数据预处理

本次数据采集共获得了上百GBytes的原始数据。但这些数据中存在大量的无效数据，例如无人机在起飞阶段、寻的阶段、降落阶段录制的数据一般不包含感兴趣时敏目标，均属于无效数据，需要在预处理阶段进行筛除。此外，预处理还包括对原始视频进行解码，将其转换为8bit位深的windows位图格式。

1.2.2 数据标注

数据标注是向数据集图像添加标签的过程。在本数据集中，我们不仅要指定所有感兴趣时敏目标的外接矩形框，还要给予不同目标不同的ID号。此ID号主要用于关联目标，从而标记出各个目标的轨迹。在同一图像序列内，同一目标的ID号始终保持一致。

具体的标注工作由人工标注完成：通过labelimg软件[3]逐帧对采集到的所有图像做标注，如图3所示。

2 数据样本描述

本数据集的数据部分由两部分组成，其中，Image文件夹放置有87个子文件夹，分别对应不同时间的87段图像序列，每段图像序列包含250帧图像；Annotation文件夹放置有这些序列图像对应的标注结果。本小节将对图像数据和标注数据的典型样本分别展开描述和分析。

2.1 图像数据样本

数据集中的每幅红外图像的分辨率为640×480像素、8 bit位深、大小约为300KB，图像存储格式为windows位图，后缀名为bmp。每段图像序列包含250帧图像，图像文件名从001.bmp开始依次递增至250.bmp，如图4所示。

通过对这些图像数据的整理和分析，我们认为本数据集的主要挑战集中在以下两方面：

（1） 复杂环境干扰，包括地面杂波干扰、多目标互相干扰、其他类型时敏目标干扰以及障碍物遮挡干扰等。

① 地面杂波干扰：

目标所处的地面环境复杂，特别是一些具有强红外辐射的地面杂波容易淹没感兴趣目标，如图5(a)所示。

② 多目标互相干扰：

多目标互相干扰主要表现为车辆时敏目标的交汇，它体现在图像上表现为多个目标融为一个“目标”，如图5(b)所示。在这种情况下，要保证目标检测的高召回率是对检测跟踪算法的考验。此外，目标交汇还会带来多目标的轨迹交叠，保证目标交汇前后各自ID的一致性并不容易。

③ 其他类型时敏目标干扰：

除了车辆这类感兴趣时敏目标外，本数据集还包括一些其他类型的时敏目标，例如行人、电瓶车等，如图5(c)所示。因此，要把感兴趣时敏目标从图像中检测出来，仅仅利用目标的运动信息是不够的。

④ 障碍物遮挡干扰：

时敏目标在运动过程中可能出现被遮挡的情况，如图 5(d)所示。此时，由于目标信息的丢失，容易导致检测跟踪算法失效。特别是，若目标被完全遮挡，如何保证遮挡前后目标ID的一致性也是一大难题。

（2） 复杂成像条件，包括时敏目标成像不规则、平台移动/晃动导致图像模糊等。

车辆在运动时，其热辐射并不均匀，通常在发动机附近会有较高响应，其他部分相对较弱，体现在数据上表现为目标没有清晰轮廓；同时，时敏目标的成像还受到天时天候影响，不同条件下成像各异，如图6(a)所示，一个良好的目标检测跟踪算法必须具备鲁棒这种成像不规则的能力；此外，如图6(b)所示，平台的移动/晃动会导致传感器成像模糊，如何保证在低质图像上检测到目标、或者保证检测到的目标在成像模糊前后ID的一致性，是算法贴近实际应用必须考虑的问题。

2.2 标注数据样本

本数据集所有图像均有与之对应的标注结果，标注结果的文件格式为xml文件。标注文件的内容与VOC数据集[4]基本相同，下面以数据集中第77段图像序列下第一张图像的标注结果为例进行解释说明，如图7所示。

如图7(a)所示，标注结果中，folder、filename、path等元素给出了标注结果对应的图像路径信息；size元素则给出了对应图像的属性信息：该图为长480、宽640的单通道图像；object元素则给出了各个时敏目标的ID号及其位置信息，图中的目标数由object元素个数给出：例如，图7(a)表明该图共存在3个目标，它们的ID由name子元素给出，分别为“1”、“2”、“3”，这些ID用于对目标的轨迹做分析，在当前图像序列的所有帧中不会改变；它们的位置可以通过读取子元素xmin、ymin、xmax、ymax来得到：(xmin、ymin)决定了目标的左上角坐标，(xmax、ymax)则决定了目标的右下角坐标，如图7(b)所示。

3 数据质量控制和评估

本数据集中的所有图像都是通过无人机挂载长波红外成像设备，在外场实地拍摄获得的，目标和地面背景的红外辐射特性真实可靠。目标在图像中的位置信息均为人工标注并由专家核查检验的结果，标注质量有保障。

本数据集已在第三届“空天杯”创新创意大赛（2021）——探测识别算法挑战赛（光学识别赛道）中作为官方比赛数据使用。大赛的圆满举办表明本数据集的数据质量是科学可信的，可作为数据素材，供更广泛的科研人员使用。

4 数据价值

4.1 本数据集特色

本数据集面向日益迫切的红外图像智能化处理和军事应用需求，是一个通过外场实地拍摄形成的，以车辆目标为探测对象，以地面场景为探测背景的图像序列数据集，可为相关科研人员研究红外目标检测跟踪技术提供实验数据。

本数据集共计21750帧图像，89174个目标，组成了87段视频序列、393段目标轨迹，规模较大；提供了目标真值位置以及目标真值轨迹（如图8所示），可以支撑多种视觉任务的开展，例如目标检测[4]、单目标跟踪[5]、多目标检测跟踪[6]等，应用广泛；场景覆盖了典型的天时天候、地形环境（附录1给出了每段图像序列的场景），贴近实际应用，具有较大难度与挑战性。

附录1

4.2 与其他数据集的区别

近些年，国内外大量优质数据集[7-15]的公开，为推动遥感目标检测技术的发展提供了强大动力。然而，其中的大部分遥感数据集都是可见光数据集[8-12]，红外遥感数据集相对较少，较为有名的红外遥感数据集包括VEDAI[7]、DroneVehicle[13]、地/空背景下红外图像弱小飞机目标检测数据集[12]以及复杂背景下红外弱小运动目标检测数据集[13]等。

与本数据集相同，VEDAI[7]、DroneVehicle[13]均为以车辆作为探测目标的数据集。然而，它们采集的数据不是序列图像，因此无法支持时敏目标跟踪等视觉任务，在数据用途上不如本数据集广泛。此外，VEDAI数据集是卫星航拍图像，在图像获取的方式上与本数据集不同；Drone Vehicle数据集虽然是无人机拍摄图像，但多为正下视（如图9(a)所示），且车辆轮廓比较清晰，说明DroneVehicle的成像距离较近，然而实际战场很难获取这种近程遥感数据。本数据集相比DroneVehicle成像距离更远，更贴近战场实际需求。

回丙伟等人[14]于2019年发布的地/空背景下红外图像弱小飞机目标检测数据集（如图9(b)所示），以及孙晓亮等人[15]于 2021年发布的复杂背景下红外弱小运动目标检测数据集均可以支撑红外目标的检测跟踪研究，但他们面向的是地空应用，针对的是空中飞行目标，并非车辆时敏目标。

综上，本数据集填补了红外时敏目标超视距探测识别领域中的数据空白，可为红外时敏目标检测跟踪等研究提供基础数据，具有宽阔的应用前景和重大的实用价值。

5 数据使用方法和建议

本数据集提供了序列图像中目标的精准位置框，在使用方式上具有灵活性和多样性，可支撑如目标检测[4]、单目标跟踪[5]、多目标检测跟踪[6]等多种视觉任务的开展。使用者可从数据网站下载本数据集，然后根据实际任务需求，编写相应算法。

本文推荐将本数据集应用在红外图像目标检测跟踪上，具体使用步骤如下：

（1） 将数据集中的第1-76段图像序列作为训练集，使用者设计并编写红外图像目标检测跟踪算法；

（3） 将验证集中每一段图像序列的检测跟踪结果以*.txt格式进行保存，其中*为对应的图像序列文件夹名称（如1、2等），具体文件内容如表3所示。本数据集提供输出样例，可在Evaluation文件夹中查到（输出样例为“1.txt”）。

表3 输出文件格式示例Table 3 Format of the expected output file

（4） 通过比对本数据集提供的真值结果，计算验证集中每一段检测跟踪结果的检测准确性得分与航迹连续性得分。总得分越高，表明算法性能越优。

① 检测准确性得分

➢ 每个正确检测[即真值标注框内（含）有检测结果]，得1分；

➢ 每个漏检[即真值标注框内（含）无检测结果]，减1分；

➢ 每个虚警[即在真值标注框外出现检测结果]，减2分；

② 航迹连续性得分

湖北汽车城十堰，位于鄂、豫、陕、渝四省（市）交界带。这一区域群山林立，山峦叠嶂。洞天福地武当山，正好就坐落在这一带。

航迹连续性得分面向的是每条真值航迹。具体为，计算真值航迹与预测航迹两两之间的重合度（即正确检测的数量），并使用匈牙利算法[16]获得真值航迹与预测航迹两个集合之间的最优匹配。而航迹连续性得分为匹配后所有真值航迹获得的重合度之和×1分。

在上述评价准则下，验证集测试结果满分为22418分。Evaluation文件夹提供了上述评价准则的评分程序代码。

致 谢

本数据集已在第三届“空天杯”创新创意大赛（2021）——探测识别算法挑战赛（光学识别赛道）使用，感谢大赛组委会对本数据集的认可和采纳，感谢来自全国各大高校的50余支参赛队伍对本数据集提出的宝贵建议和意见。

数据作者分工职责

傅瑞罡，男，浙江省金华市人，博士，讲师，研究方向为光学成像自动目标识别技术，主要承担工作：数据加工与标注，数据集制作。

范红旗，男，陕西省渭南市人，博士，副教授，研究方向为数据科学与雷达目标识别，主要承担工作：数据集设计。

朱永锋，男，江苏省南通市人，博士，副研究员，研究方向为雷达目标识别与抗干扰，主要承担工作：数据集设计。

回丙伟，男，河北省衡水市人，博士，讲师，研究方向为目标识别数据工程，主要承担工作：数据集制作，数据使用评价。

张志龙，男，陕西省渭南市人，博士，研究员，研究方向为光学图像目标自动识别，主要承担工作：数据集设计，数据集制作。

钟平，男，四川省内江市人，博士，研究员，研究方向为智能目标识别，主要承担工作：数据集设计，数据使用评价。

李冬冬，男，湖南省长沙市人，博士，副研究员，研究方向为无人机视频目标跟踪，主要承担工作：数据集制作。

张少良，男，湖北省孝感市人，本科，高级工程师，研究方向为精确制导，主要承担工作：数据采集。

陈刚，男，湖北省襄阳市人，硕士，高级工程师，研究方向为红外目标识别，主要承担工作：数据采集。

王雒，男，辽宁省营口市人，硕士研究生，研究方向为光学成像自动目标识别技术，主要承担工作：数据加工与标注。