复杂背景下的红外探测虚警抑制方法研究

吕 弈,黄成章,史馨菊,祁海军,乔志平,黄静颖

(1.中国电子科技集团公司第十一研究所,北京 100015;2.国网冀北电力有限公司管理培训中心,北京 102401 3.北京波普华光科技有限公司,北京 100015)

1 引 言

红外弱小目标检测技术在红外告警设备、预警卫星中具有重要的作用。通过自动检测算法可以使红外设备自动识别并跟踪人眼难以发现的弱小运动目标。在目标检测任务中,算法在部分情况下会不可避免的产生错误的告警事件,称为虚警[1]。虚警会导致不必要的资源浪费,并会致使用者降低警惕性,从而影响决策者的判断,并影响整体作战效能[2]。因此降低虚警率对于提高红外目标检测算法效用具有重要意义。

在红外图像中,弱小目标检测任务的虚警率往往较高,因为其灰度特征呈小区域高斯分布,与红外成像系统的噪声、盲闪元[3]等干扰非常相似,使得现有红外弱小目标检测算法从图像中提取出较多符合高斯特征分布的潜在目标点。此外,在飞机下视场景中,常常存在与目标红外特性相近的地面亮斑,进一步增加了弱小目标检测任务的难度。因此,红外图像中的目标检测算法在提高检测率的同时,会不可避免地将干扰错误地识别为目标,使得下视场景中的虚警率较高。而根据皮尔逊准则[4],红外告警设备的指标要求红外告警系统在保持虚警率不高于一定值的情况下,使检测率尽可能提高。因此,虚警问题也成为限制红外告警系统检测率的重要因素。

目前常见的虚警抑制方法主要应用在三个阶段,成像阶段、检测阶段与后处理阶段。在成像阶段常用的方法为红外成像噪声抑制技术、盲闪元滤除技术等[5],此类方法虽然可以降低图像中的噪声以减少干扰,但对于红外弱小目标特征也会产生一定的削弱,同时这类方法并不能解决与目标特征相似的下视场景虚警问题。

在检测阶段常用的方法可分为跟踪前检测(Detection Before Track,DBT)和检测前跟踪(Track Before Detection,TBD)两类。DBT算法通过计算单帧图像的检测概率和虚警概率确定检测门限,在分割后得到的二值化图像序列中根据目标的运动特性进行目标轨迹关联,剔除虚警点,实现目标跟踪[6-8]。TBD 算法则先对所有候选目标运算运动轨迹,再根据同一目标灰度能量变化区分虚警[9-10]。这两类方法可以有效利用时空信息找到目标,并滤除灰度特性不稳定的虚警,但同样由于其对目标灰度特性的依赖,当地面亮斑灰度特征与弱小目标相似时,则难以区分。而地面亮斑灰度特征常常与目标极为相近,均符合高斯分布且灰度特征稳定,如图1所示,因此仅通过灰度难以区分目标与虚警。

图1 目标灰度特征与虚警灰度特征对比图

在后处理阶段,目前常见的虚警抑制算法主要分为两类。一类是基于图像分类算法对目标与虚警进行分辨,随着近几年深度学习的飞速发展,基于机器学习的目标分类算法[11-12]由于取得了不错的精度而得到越来越广泛的应用。但在红外小目标检测场景中,目标与虚警的灰度特征差异较小,且基于卷积神经网络的目标分类方法缺乏对时间维度信息的利用,导致识别精度不高,在复杂场景下难以完成对虚警与目标的分辨。此外基于深度学习的方法往往有着较大的计算量,难以满足工程中的实时性要求,因此难以实现各类场景的虚警抑制。另一类是基于图像特征匹配的方法[13],通过对图像的纹理特征进行提准,并进行帧间配准,以计算出两帧图像间的透视变换矩阵,进而换算出目标相对于背景的绝对速度,以分辨目标检测结果是运动的目标还是静止的虚警。但该方法运算量较大,在特征提取与配准步骤运算速度慢,难以满足高实时性场景,且该算法为保持精度需要缓存多帧图像信息,内存占用大,对硬件配置要求高。此外在一些场景下,如相机移动速度过快导致能匹配上的相同特征较少,或红外图像中的背景纹理特征较弱,都会导致配准运算无法实现,使该方法失效。

根据分析,影响红外目标检测算法的因素并造成虚警问题的因素主要包括以下三类:第一类客观因素,由于地理原因,红外图像背景复杂多变、且从物理角度目标与干扰的红外灰度特征相似导致难以区分;第二类系统因素,在许多情况下,图像的成像质量较差,存在盲闪元、焦距不实、画面存在抖动、拖影问题,以及信号处理系统运算能力限制问题;第三类人为因素,在一些情况下,相机会受人为控制而被动高速移动,使得目标运动特性非常不规律。如何使虚警抑制算法能够在以上场景中均能正常工作,同时保持计算的高效性,是本文的主要研究目标。

针对以上问题,本文提出基于目标相对运动信息的红外虚警抑制方法,实现了低运算量、高鲁棒性、便于移植的虚警抑制技术。通过对上报目标进行运动信息提取,并分析目标间的相对运动关系,以构建运动信息匹配表,最终根据运动信息匹配结果进行投票信息选择,以滤除检测目标中的虚警。

2 方 法

本文中基于目标相对运动信息投票的虚警抑制系统分为三个模块:一是基于欧氏距离的初始批次分配;二是基于自适应帧匹配的运动信息提取,三是基于相对运动关系的推理投票统计,算法的总体流程如图2所示。

2.1 基于欧氏距离的初始批次分配

为便于集成应用,采用模块化设计,输入为所有候选目标在红外图像中的位置信息,输出为滤除虚警后的保留下来的当前帧目标位置信息。因此在批次分配阶段需要对每一个候选目标分配一个批次值,首先对输入的所有候选目标位置进行保存,并基于欧几里得距离遍历所有的目标最近帧位置信息,寻找最符合的历史位置链,完成对目标的关联。对于无法关联的目标,在这一过程将创建一个新的批次来存储该目标的位置信息以及出现的帧号。对于可以关联到批次的目标,保存出现的帧号以及位置信息到对应批次的信息中。完成对所有目标的批次分配后,将在这一帧出现的所有批次存储到批次记录表中。

2.2 基于自适应帧匹配的运动信息提取

在较为复杂的情况下,红外弱小目标检测算法输出的目标信息可能是不稳定的,每一帧的上报内容可能存在以下几种情况:只包含目标、只包含虚警、二者均包含或上报内容为空几种情况。其次,红外告警系统可固定于飞行器上,考虑到目标在图像中的位置信息可能受机身抖动或视场变化影响而产生剧烈变化,仅考虑目标的运动信息是不准确的。由于成像系统抖动或视场变化对目标和虚警的影响都是相同的,因此在该场景下目标与虚警间的相对位置信息仍能保持稳定。根据以上分析,基于候选目标的相对位置关系进一步分析目标的运动特性,可以有效排除干扰,对运动目标进行准确判断。

根据当前帧输入目标结果,将所有出现的目标两两组合分别计算之间的相对速度。在计算两目标间相对速度时,通过查找批次记录表中这两个目标最早出现的帧号,提取上报位置信息,并和当前帧两目标位置按照如下公式进行计算可得。

(1)

其中,ΔVt2(P1,P2)代表P1和P2两个目标批次在t2时刻的相对速度,Dt2(P1,P2)代表P1和P2两个目标批次在t2时刻的相对欧式距离,t2代表当前时刻,t1代表两目标最早同时出现的一帧。

(2)细煤泥系统处理能力不足。煤质较好时，压滤机一个压滤循环周期需11 min，5台压滤机处理能力105 t/h；煤质差时，泥化现象严重，小于320目粒级物料高达67.25%，煤泥沉降极慢，压滤机一个压滤循环周期需23 min以上，6台压滤机处理能力只有60 t/h，而且滤饼水分较高。按年入洗500万t原煤计算，每小时需处理的细煤泥量为109 t，所以压滤机处理能力明显不足，这是洗水浓度居高不下的主要原因。

在计算得到多个目标间的相对运动关系时,可以发现虚警间的相对运动速度近乎为0,只有目标具有速度,因此可以快速并准确判断出哪一个是真正目标。如图3所示典型情况,目标1和目标2相对静止,与目标3相对速度为10,则可判断目标3为真正运动目标。

图3 计算相对运动典型情况

此外,由以上分析可以得出两个基本定理:(1)静止目标间相对位移具有不变性;(2)目标间相对速度具有传递性。因此在运动信息提取阶段,即使有两个候选目标没有在同一帧内同时出现过,依然可以通过将二者与另外一个候选目标计算相对速度,进而得出这二者间的相对速度,如图4所示。

图4 基于相对速度传递性计算相对运动关系情况

2.3 基于相对运动关系的推理投票统计

在投票统计阶段,采用动态投票机制的方法,实现对运动目标的准确识别。动态投票机制对匹配时间范围内出现的所有批次目标构建相对速度统计表,以目标为单位进行投票,保存一定迭代周期总票数作为目标结果。在推理投票过程中,包含以下两种可以判断目标信息的情况:

第一种情况,如图5(a)所示,其中a代表目标自身为运动目标的情况;b代表只有一个目标在运动的情况,当所有目标相对自身速度均大于预定阈值速度时,所有其他目标均相对于自身在高速运动。这种情况下可识别为该目标自身为运动目标。

图5 运动关系推理投票示例图

第二种情况,如图5(b)所示,当只有一个目标相对自身速度大于预定阈值速度时,可以视作该目标相对于其他大部分目标均静止,只有一个目标在运动。这种情况下可识别为该高速目标为运动目标。

除以上两种情况外,其他情况作为无法判断处理。在完成运动目标判断后,以每个目标为单位对运动的目标批次进行投票,并将每一轮投票结果进行保存。最终将统计一定轮次后的投票结果进行统计,票数最多的目标批次作为本算法的输出结果。

3 实 验

3.1 实验设置

将本文方法与典型包含时空滤波、目标轨迹关联与目标分类的红外弱小目标检测算法相结合,使用存在大量无法被识别的、与目标红外特征相似的虚警的16位红外图像视频数据进行测试。数据集共包括8个场景,其中4个场景同时包含目标与虚警,4个场景仅包含大量虚警而不包含目标。本文方法中的目标关联欧式距离阈值大小为10(pix),判定运动的速度阈值设置为0.4(p/s)。实验采用设备配置为Windows 10 64位系统,CPU为Xeon Silver 4110 2.2 GHz,内存为32 GB。

3.2 评价指标

本文采用虚警率(False Alarm Rate,FAR)、单帧运行时间(Time per Frame)两个性能评价参量指标,进一步的对比了本文提出的方法的有效性。其中虚警率是检验装备是否具有实战价值的一项重要指标,用来表示虚警事件发生的频率。虚警率的定义为“单位时间内系统发生虚警事件的平均次数”,其公式定义如下:

(2)

其中,nFA为发生虚警事件的次数;T为系统工作的总时间。

此外考虑到本文方法应用的场景下,目标与虚警特征均较为明显,因此为了更详细地展现本文数据集特征,对包含目标的场景数据中,还加入了目标信噪比的测量,具体公式定义如下:

(3)

其中,Er代表目标区域的均值;EB代表背景区域的均值;δB代表背景区域的标准差。

3.3 实验结果

首先对典型红外目标检测算法进行了测试,在飞机下视包含大量地面亮斑的场景中,典型红外目标检测算法的检测结果中包含大量虚警。之后,将本文提出的方法与典型目标检测方法相结合,记录了使用本文方案前与使用后的对比结果,包括每1000帧内出现的虚警批次数量及算法平均每帧运算消耗时间。实验结果如表1所示,其中场景1至场景4包含目标,场景5至场景8不包含目标。

表1 不同场景下实验结果

通过表中结果可以看出,本文提出的方法大幅度降低了各类场景下的虚警率,且运算速度较快,平均每帧运算时间仅0.78 ms。此外,实验过程中记录了输出结果,并将典型目标检测算法的输出以实线方框绘制于红外图像中,本文方法输出结果以虚线方框绘制于红外图像中。包含目标的场景实验结果如图6所示,不包含目标的场景实验结果如图7所示。其中图6从左至右三张图分别为从场景1至场景4中随机选取的三帧截图,图7从左至右三张图分别为从场景5至场景8随机选取的三帧截图。通过实验结果可以看出,本文提出的方法不仅可以从包含大量虚警的候选目标中准确找到目标,同时可以在所有候选目标均为虚警的场景下保持虚警率为0。

图6 包含目标场景的虚警抑制效果图

图7 不包含目标场景的虚警抑制效果图

4 总 结

本文针对复杂场景下的红外弱小目标检测任务,提出了一种基于目标相对运动信息的高鲁棒性红外虚警抑制方法,在8种包含虚警的复杂场景下进行了实验,包括背景相对相机静止目标移动的场景、目标相对相机静止虚警移动的场景、相机画面剧烈抖动的场景以及所有检测目标均为虚警的场景。实验结果表明,本文提出的方法在以上场景中都能够准确滤除虚警,同时可以在所有候选目标均为虚警的场景下保持虚警率接近为0。基于相对运动推理的方法可以有效实现复杂场景中的虚警抑制,在不同场景中表现稳定、快捷、滤除率高。