基于极端学习机背景预测的红外小目标检测算法

赵爱罡，王宏力，杨小冈，陆敬辉，姜 伟，黄鹏杰

（1.第二炮兵工程大学 控制工程系，西安 710025；2.第二炮兵工程大学 士官学院，青州 262500）

基于极端学习机背景预测的红外小目标检测算法

赵爱罡1,2，王宏力1，杨小冈1，陆敬辉1，姜 伟1，黄鹏杰1

（1.第二炮兵工程大学 控制工程系，西安 710025；2.第二炮兵工程大学 士官学院，青州 262500）

为自适应检测复杂环境中的红外小目标，提出了基于极端学习机背景预测的红外小目标检测算法。首先，依据灰度值分布设计局部边缘敏感平滑滤波器，在相近的灰度范围内，使中心像素的灰度值等于邻域内多数灰度值的融合，对红外图像进行滤波，能够去除大量噪声并突出图像主要结构；其次，利用极端学习机对滤波后的图像建立回归模型，以邻域像素值为输入，以中心像素值为输出训练模型，并对背景进行预测，得到的图像与滤波后的图像做差，得到小目标显著图；最后，利用图像块对比特性对显著区域处理，使小目标区域均匀突出，抑制背景区域，并经过简单阈值操作，实现对红外小目标的检测。实验结果表明：与其他检测算法相比，在复杂背景下，本文算法检测结果的局部信噪比增益最高，单帧检测时间为 0.18 s。本文算法对背景进行学习，发掘背景与目标的差异，提高了算法的适应能力，并且能够有效检测小目标。

极端学习机；红外小目标；背景预测；回归模型

红外小目标检测技术是目标识别与跟踪中的关键技术，广泛应用于精确制导、防空预警、卫星遥感等领域[1]。小目标检测算法的效率和实时性直接影响军事系统的有效性。由于红外小目标对比度低，环境比较复杂，常被大量的云杂波、海杂波和噪声淹没，并且目标尺寸较小，没有明显的形状和纹理信息，检测比较困难，目前已成为各国军事专家关注的焦点。

近来，国内外专家发表了许多关于红外小目标检测的文章，提出了诸多检测算法，大致分为两类：

1）基于人眼视觉注意机制的检测算法。它将小目标视为场景中的显著区域进行检测。文献[2]提出了改进的局部对比测量（Improved Local Contrast Measure，ILCM）检测算法，它将小目标视为局部显著区域，通过图像分割，与周围图像块局部对比，检测显著性区域；文献[3]提出了二阶方向导数（Second-Order Directional Derivative，SODD）滤波器，它利用小平面模型估计中心像素与周围像素的关系，对方向进行求导，得出方向滤波器，借助傅里叶相位谱对进行显著性检测，得到方向显著图，最后通过整合多方向的显著图发现并定位弱小目标。此类算法计算过程简单，效率高，但对于不同的复杂背景，检测效果差异大，有时难以区分虚假目标。

2）基于成分表达的小目标检测算法。它通过构造字典，发掘背景之间或目标之间的内在关系，对表示系数进行分析，从而达到检测目的。文献[4]提出了基于低秩和稀疏表达（Low Rank and Sparse Representation，LRSR）的检测模型，将背景的表达系数视为低秩矩阵，通过构造弱小目标字典对小目标进行稀疏表达，分析系数矩阵的结构，检测弱小目标；文献[5]提出了鲁棒字典学习（Robust Dictionary Learning，RDL）检测算法，通过分析背景的系数表达矩阵和弱小目标的特点，近一步拓展了低秩含义，分别使用行稀疏和列稀疏对系数矩阵和误差矩阵进行约束，得到背景图像块之间的系数关系并定位误差矩阵中不能被稀疏表示的红外小目标；文献[6]提出了基于子空间低秩矩阵分解（Subspace Low-rank Matrix Decomposition，SLMD）的模型，将背景刻画为低秩矩阵成分，将小目标视为稀疏矩阵成分，从而对小目标进行检测。

此类算法能应对不同的复杂背景，检测效果较好，但是涉及许多最优化算法，迭代步骤多，实时性较差。为此需要寻找一种适应性和实时性兼备的红外小目标检测算法。

极端学习机[7]是一种建立在广义神经网络原理上的新型网络结构，在随机给出神经输入权值与偏差的基础上，将传统神经网络训练问题转化为求解线性方程组，以解析方式直接计算出输出权值的最小二乘解，快速完成网络的训练过程。本文将其引入红外小目标的检测中，在局部边缘敏感平滑滤波的基础上，以邻域像素值为输入，中心像素为输出，训练极端学习机回归模型，学习背景主要特征。小目标区域与背景区域不同，在模型中表现为预测误差较大，作为小目标的显著区域，经过进一步筛选确定小目标的位置。这种方法在实时性和适应性上均表现良好，能够促进小目标检测的实用性。

1 边缘敏感平滑滤波器

一般红外探测器易受到大气环境、拍摄震动和传播噪声的影响，图像会含有部分噪声，影响背景模型的学习。因此需要对图像进行处理，目的是去除噪声，保留图像的主要结构，特别是小目标的特性不受影响，利于进一步小目标的检测。本文根据像素统计特性，设计了边缘敏感平滑滤波器（Edge-Sensitive and Smoothing Filter，ESSF），只对相对平坦的区域进行平滑，简化背景的结构，同时保持局部边缘的对比度，保护小目标的局部特性。

首先将图像灰度值归一化到[0,1]，假设中心像素灰度值为r，其邻域为 (,)N i j，在邻域内与中心像素值接近的像素集合为式中： (,)f i j为灰度值，th为阈值，在红外图像中取值为0.1。这部分像素值一般处在与中心像素灰度值相近的连接区域。为消除少量噪声的影响，使用集合S( i, j)中灰度值较多的像素来计算中心像素的灰度值。将集合 (,)S i j中的灰度值划分为N个灰度阶其中每个灰度阶中像素的个数为

,按像素个数从多到少排序，取个数最多的前M(M N＜ )个灰度阶，并且个数之和满足：

在滤波过程中使用积分直方图进行加速。积分直方图中，每个像素值为N通道，这样通过简单加减法即可计算任意邻域的直方图，即灰度阶和对应的像素个数，再减去不符合灰度条件的像素值，就可使用式(3)计算每一像素的灰度值。滤波效果对比如图1所示。

对噪声图像进行滤波处理。由图1可以看出：均值和中值滤波均不同程度地破坏了小目标的局部特征，并且滤波后平坦区域的波动仍比较大，影响背景模型的建立；双边滤波对小目标区域保护比较好，但去噪效果差；边缘敏感平滑滤波不但没有降低小目标的对比度，而且对非目标区域进行平滑，去除了噪声，突出了背景的主要结构，为极端学习机回归建模创造了有利条件。

图1 滤波结果对比Fig.1 Comparison on filter results

2 基于极端学习机的背景模型

图像像素之间的关联性比较强，存在某种模式，比如中心像素值可以利用邻域像素进行估计，像素的显著性可以利用全局像素值的分布进行计算等。基于此，借助极端学习机发掘像素之间的普遍关系，即背景像素的取值规律，而小目标的取值规律明显与背景不同，训练的模型对小目标具有较大误差，以此为依据，判定像素是否属于小目标。

2.1 极端学习机回归模型

ii含L个隐藏层神经元，神经元激活函数为 ()F·的极端学习机回归模型可表示为

式中：为连接第i个神经元的输入权值；ib为第i个神经元的偏差；输入权值和偏差是随机赋值的，为已知量；iβ为连接第i个神经元的输出权值。式(4)用矩阵形式表示为

式中：一般情况下训练样本比隐层个数多，故TH H非奇异，可利用 Moore-Penrose逆求得得到回归模型为

图像经过边缘敏感平滑滤波后，以某像素点为中心，取圆形邻域，设共有像素M个，以中心像素值为回归值y，将其余 1M-个像素值经过降序重新排序后组成向量x。圆形邻域和像素值重排能够增强背景模型的鲁棒性，使得局部结构具备旋转不变性，只要结构相同，即使位置或是方位不同，形成的特征是相同的，所以预测得到的中心像素的值是相同的。

2.2 参数选择

2.1 节中的模型中有两个参数需要设置，分别是选取特征的邻域直径和隐层层数，在极端学习机回归模型中，预测误差越小，说明模型越符合实际数据，模型建立越精确。但在本文应用中，若预测误差为0，说明模型完美拟合图像的任何变化，能够逼近图像中任何细节，小目标反而无法进行检测。理想情况是，只对背景变化进行建模，包括大部分类似成分，预测误差较小，而对小目标区域预测误差较大，这样才有利于小目标的检测。结合具体需求，将预测误差和小目标局部信噪比相结合，构造误差加权局部信噪比，平衡小目标预测误差与背景预测误差，对参数进行选

预测获取的回归值为则预测误差定义为

小目标局部信噪比定义为

式中：tm为目标区域的均值，bm为去除小目标区域后背景的均值，bσ为背景像素分布的标准差。误差加权局部信噪比定义为

式(9)以预测误差的指数形式为权值，加权局部信噪比，综合描述小目标检测的难易程度，其值越大，说明越有利于小目标的检测。

1）特征邻域直径的确定

挑选5种背景不同的图像序列进行实验，发现在不同的隐层层数下，预测误差与局部信噪比随特征邻域直径变化的趋势相同，故设置隐层层数为20进行实验。图2所示为5种序列多帧图像的平均显示结果，预测误差随特征选取邻域直径的增大而变大，这是因为距离远的像素之间关联性变差，用距离较远的像素来预测中心像素，误差会变大，但总体误差控制在0.04范围内，说明模型没有发散，仍然可用。图2(2)说明：预测误差小不一定有利于小目标的检测，在特征选取邻域直径为5时，加权信噪比最大，最适合小目标的检测，故选取邻域直径为5，限制特征的选取范围。

图2 特征邻域直径的选取Fig.2 Selection of feature neighborhood diameter

2）隐层层数的确定

同样以5种背景不同的多帧图像作为测试图像，预测误差和加权局部信噪比为多帧图像计算结果的均值。隐层层数的选取应该与特征维数和数据关系的复杂度相适应。层数过少，导致模型无法拟合数据之间的关系，预测误差会很大；层数过多，预测误差会减到最小，同时会带来一些问题，比如增加了算法的计算时间，出现过拟合现象，导致模型预测出现较多的波动，检测效果差。图3所示为预测误差和加权局部信噪比随隐层数量变化的趋势。图3(1)说明在隐层数量达到10以后，预测误差基本保持一致，维持在较低的水平(大约0.005)，建立的模型能够揭示邻域像素之间的关系；图3(2)为加权局部信噪比的变化趋势，在隐层数量为13时，达到最大值(33.6)，随后过拟合现象凸显，将小目标区域的误差平均分布在其他像素上，这是极端学习机训练中利用广义逆的原因，误差是在平均意义上减小的。为检测小目标选择最佳隐层数量，结合加权局部信噪比，对应图3(2)中的峰值，隐层数量为13时，小目标检测效果最佳。

图3 隐层数量估计Fig.3 Estimate of number of hidden levels

3 基于背景预测的红外小目标检测

红外小目标在图像中与周围像素的关系相对比较特殊，通过极端学习机对图像建模，学习图像中大部分像素分布。对于少量像素的特殊分布形式，如小目标区域，极端学习机回归模型表现为预测误差较大。本文借助这种性质对小目标进行检测，算法流程如图4所示。

按图4流程图得到预测误差图像抑制了大部分背景，无论小目标是孤立的还是与背景部分相容，预测误差对小目标的响应均比较强。但有时小目标区域误差不连续，存在孤立像素点，一致性较差，而且在部分少量细节处出现了明显的误差响应。为使检测目标区域比较一致，目标更加突出，需要进一步处理。

图4 检测算法流程图Fig.4 Flowchart of detection algorithm

如图5所示是图1(6)的预测误差图像，为描述方便，定义以像素位置(,)i j为中心的子块P为中心块，大小为d d× 。一般确保中心块P不陷入小目标内部即可，取 5d= ，邻域子块大小与中心块相同，分布如图5所示。

图5 图像块及其8邻域图Fig.5 Image patch and its 8 neighborhoods

当中心块位于平坦背景、边缘背景和目标处时，与邻域子块的对比度不同，定义中心块与邻域子块对比度为

由式(11)可以看出，当中心块包含灰度极大值时，与邻域的最大最小对比度均比较大，有利于增强局部显著性。经过大量实验，中心块位于不同区域时最大最小对比度一般特点总结如表1所示。

根据表1不同区域中最大最小对比度的特点，取最大最小对比度的均值作为显著性度量，实现小目标区域的一致性和局部增强。显著图计算公式如下：

最后利用自适应阈值Th检测目标，计算公式如下：

式中：SM 和Sσ为 (,)S i j的均值和标准差；ρ为系数，一般取3 5～ 。但显著图中只有极少的显著区域，均值较低，为精确分离高亮显著区域，系数取值 =10ρ 。

表1 不同区域最大最小对比度响应特点Tab.1 Characteristics of maximum and minimum contrasts under different regions

4 实验结果与分析

实验数据部分来源于 2015年西安蒲城内府通用航空展，采用浙江大立M3制冷型中波红外探测器实地拍摄。实验硬件平台为3.00GHz Intel Core i3 CPU, 4GB RAM计算机；软件平台为Windows7操作系统；软件搭建为VS2012+Opencv2.4.9。

4.1 本文算法检测效果

为进一步验证本文算法的有效性，采用5幅分辨率为320×240的典型红外小目标图像进行验证。第1幅为河道背景，背景模糊，小目标为孤立目标；第 2幅为海天背景，杂波较多，小目标位于线形杂波上，但局部对比度较大；第3幅为天空背景，小目标与云背景融为一体；第4幅图像为云杂波背景，小目标淹没在起伏较大的云杂波中；第5幅图像为地面背景，小目标为低空飞行的直升机，与地面相接，地面背景比较复杂。检测效果如图6所示。

图6 本文算法检测实验结果Fig.6 Results of detection experiments for the proposed method

图6 (1)为原始红外小目标图像及3D显示图。

图6(2)为边缘敏感平滑滤波结果，滤除了大量杂点噪声，使平坦区域更加平滑，同时保护细节不受影响，特别是小目标区域，从整体上突出图像的主要结构，为建立模型优化数据。

图6(3)为极端学习机预测误差图像，通过邻域像素对中心像素进行预测，所得结果与原图像相减，获得残差图像。极端学习机通过训练能够学习到图像中的主要结构，即像素分布模式，在第2幅和第5幅图像中，存在其他细节，预测误差较大，相对而言，真实小目标数量更少，局部结构更加特殊，所以预测误差真实小目标区域要更大一些。

图6(4)为预测误差形成的显著图，根据图像的背景、边缘和小目标区域特点，计算最大和最小子块对比度，取其均值作为显著性度量，由图可知，对增强小目标区域效果显著，特别是第5幅图像，杂乱的地面背景误差分布均为均匀，经过提取显著图后，小目标较背景明显突出。

图6(5)为最终检测结果。实验证明本文检测算法在各种复杂背景下，无论小目标是孤立型还是融合型，极端学习机模型均能对背景的多数像素分布有效拟合，通过最大最小对比度增强预测误差图像的小目标区域，可以有效检测小目标。

4.2 与其他检测算法的对比

为进一步评估本文算法的有效性，选择基于形态学变换的 Top-hat[8]检测算法、基于最大均值滤波[9]（Maximum Mean，Max-Mean）的检测算法、基于图像块对比度[10]（Image Patch Contrast，IPC）的检测算法、基于最小二乘支持向量机[11]（Least-Square Support Vector Machine，LS-SVM）背景预测的检测算法进行对比试验，分别从单帧检测、局部信噪比、局部信噪比增益和运行时间对算法进行评估。

单帧检测依然采用图6所示的5幅图像进行实验，因为最终检测一般需要阈值参数的设置，参数不同，检测结果也不同，所以只对比显著图，即用于最终检测的图像。如图7所示，依次为Top-hat、Max-Mean、IPC、LS-SVM 和本文算法检测的显著图。Top-hat和Max-Mean均能有效抑制比较平滑的背景，对于波动较大，背景边缘明显的图像，检测效果较差。例如第2幅和第5幅图像，检测得到的显著图中，边缘强度较大的区域杂点较多，难以进一步对小目标定位；IPC对小目标的增强效果比较明显，但抑制背景效果较差，在小目标与边缘融合的情况下，如第4幅和第5幅图像中，因为局部对比度较小，且与边缘相连，小目标区域特征与边缘结构相似，难以分离小目标与背景区域，检测效果受限；LS-SVM和本文算法属于同一类算法，故对其结果进行了图像块最大最小平均对比度增强，由结果可知，对于复杂的背景，检测算法性能有所下降，主要是模型的适应性较差。相比之下，本文算法得到的显著图局部信噪比均比较高，便于检测小目标，主要是因为模型的学习能力较强，能应对各种复杂背景，算法具有较强的鲁棒性。

局部信噪比和局部信噪比增益是衡量小目标检测难易程度和算法性能优劣的客观指标，本文取3个图像序列进行实验，如图7中第3幅、第4幅和第5幅图像均来自这三个图像序列。因本文算法没有加入时间和空间的约束，所以不需要连续的图像序列，试验在 3个图像序列中随机抽取100帧图像进行实验，局部信噪比、局部信噪比增益和检测时间均是单帧图像的均值。局部信噪比定义如式(8)，局部信噪比增益[12]定义为

表2 算法性能对比Tab.2 Comparison on algorithm performances

图7 检测结果对比实验Fig.7 Comparison experiment on detection results

由表2可知，在3个不同的背景序列下，同一种算法的检测性能表现也不同，不同算法之间存在明显差异。总体来说，Top-hat、Max-Mean和IPC检测算法效果较差，因其没有考虑背景的复杂程度和具体的背景成分，对小目标在背景中的存在模式以及大小考虑不周，计算模式单一，难以胜任复杂背景下小目标的检测任务；LS-SVM算法的检测结果较好，依据背景的成分进行建模，学习背景的像素分布，能根据不同的背景进行调整，以适应当前的背景成分，所以检测鲁棒性较好，但是用的核函数比较单一，且需要计算2

N(N总像素个数)次内积，算法训练和预测均比较耗时，检测时间较长，单幅图像检测需要2.82 s。

在几种检测算法中，本文的检测结果最好，并且对于不同复杂程度的背景，模型均能抓住背景的主要成分进行学习，存在数量适中的非线性单元，对数据的拟合能力较强，能有效突出小目标区域，算法的鲁棒性较好，而模型的训练和预测复杂度适中。在单核CPU环境下单幅图像的检测时间平均为0.18 s，虽检测速度不及前3种检测算法，但是检测效果较为显著，经过后续的优化可以达到实时性的要求。

5 结 论

文中对红外小目标特性进行了分析，提出了能够保护小目标并平滑背景的边缘敏感平滑滤波算法，能抑制大量噪声，突出小目标区域；随后采用极端学习机建立模型，对滤波后图像提取特征，经过排序后对极端学习机进行训练，并对图像进行预测，使用滤波后图像减去预测图像得到残差图像，可以抑制大部分背景；针对预测误差图像的特点，采用图像块最大最小对比度的均值进行增强，最后经过简单阈值可准确定位小目标。与现有检测算法相比，在各种复杂背景下，本文算法的检测结果局部信噪比增益最高，且单帧检测时间仅为0.18 s，基本能满足工程应用。

（References）：

[1] 闫钧华, 陈少华, 徐俊峰, 等. 基于可见光与红外图像特征融合的目标跟踪[J]. 中国惯性技术学报, 2013, 21(4): 517-523.

Yan Jun-hua, Chen Shao-hua, Xu Jun-feng, et al. Target tracking based on feature fusion of visible and infrared image[J]. Journal of Chinese Inertial Technology, 2013, 21(4): 517-523.

[2] Han Jin-hui, Ma Yong, Zhou Bo, et al. A robust infrared small target detection algorithm based on human visual system[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172.

[3] Qi Sheng-xiang, Ma Jie, Tao Chao, et al. A robust directional saliency-based method for infrared small-target detection under various complex backgrounds[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(3): 495-499.

[4] He Yu-jie, Li Min, Zhang Jin-li, et al. Small infrared target detection based on low-rank and sparse representation[J]. Infrared Physics & Technology, 2015, 68: 98-109.

[5] Yang Chun-wei, Liu Hua-ping, Liao Shou-yi, et al. Small target detection in infrared video sequence using robust dictionary learning[J]. Infrared Physics & Technology, 2015, 68: 1-9.

[6] Zheng Cheng-yong, Li Hong. Small infrared target detection based on low-rank and sparse matrix decomposition [J]. Applied Mechanics and Materials, 2013, 239-240: 214-218.

[7] Huang Guang-bin, Zhu Qin-yu, Chee-Kheong Siew. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1): 489-501.

[8] Tom V T, Peli T, Leung M, et al. Morphology-based algorithm for point target detection in infrared backgrounds[C]//Optical Engineering and Photonics in Aerospace Sensing. 1993: 2-11.

[9] Deshpande S D, Meng H E, Venkateswarlu R, et al. Max-mean and max-median filters for detection of small targets[C]//SPIE's International Symposium on Optical Science, Engineering, and Instrumentation. 1999: 74-83.

[10] 王刚, 陈永光, 杨锁昌, 等. 采用图像块对比特性的红外弱小目标检测[J]. 光学精密工程, 2015, 23(5): 1424-1433. Wang Gang, Chen Yong-guang, Yang Suo-chang, et al.. Detection of infrared dim small target based on image patch contrast[J]. Optics and Precision Engineering, 2015, 23(5): 1424-1433.

[11] 吴一全, 尹丹艳, 纪守新. 基于双树复数小波和 SVR的红外小目标检测[J]. 仪器仪表学报, 2010, 31(8): 1834-1839. Wu Yi-quan, Yin Dan-yan, Ji Shou-xin. Detection of small infrared target based on dual-tree complex wavelet transform and SVR[J]. Chinese Journal of Scientific Instrument, 2010, 31(8): 1834-1839.

[12] 赵爱罡, 王宏力, 杨小冈, 等. 基于结构低秩编码的复杂环境红外弱小目标检测算法[J]. 中国惯性技术学报, 2015, 23(5): 662-669. Zhao Ai-gang, Wang Hong-li, Yang Xiao-gang, et al. Infrared dim small target detection algorithm based on structural low-rank coding under complex environment [J]. Journal of Chinese Inertial Technology, 2015, 23(5): 662-669.

Infrared small-target detection algorithm based on background prediction by extreme learning machine

ZHAO Ai-gang1,2, WANG Hong-li1, YANG Xiao-gang1, LU Jing-hui1, JIANG Wei1, HUANG Peng-jie1
(1. Department of Control and Engineering, The Second Artillery Engineering University, Xi’an 710025, China; 2. School of Sergeancy, The Second Artillery Engineering University, Qingzhou 262500, China)

In order to adaptively detect infrared small targets under complex background, an infrared smalltarget detection algorithm is proposed based on background prediction by extreme learning machine. Firstly, a local edge-sensitive smoothing filter is designed based on grayscale distribution, in which center pixel grayscale is defined by mixing together more pixels in neighborhood with similar grayscale. It can remove a large amount of noises and highlight main structure of infrared image after filtering the image by local edge-sensitive smoothing filter. Secondly, it establish a regression model for filtered image by using extreme learning machine, in which training is carried out by using the grayscale of pixels in neighborhood as input and the grayscale of center pixel as output. After training, the background is predicted by this model and subtracted from the filtered image to form a salient map for small targets. Finally, in order to unanimously highlight the region of small targets and restrain the background, the salient region is processed by using the contrast characteristics of image patches, and then small targets’ detection can be realized by simple threshold operation. Experiment results show that, compared with other detection algorithms, the local signal-to-noise rate gain is the highest by the proposed algorithm under complex background, and the single-frame detection time is 0.18 s. The proposed algorithm can study the background and discover the difference between the background and the target, which improve the adaptability of the algorithm and can effectively detect small targets .

extreme learning machine; infrared small target; background prediction; regression model

TP391.41; TP274.52

A

1005-6734(2016)01-0036-09

10.13695/j.cnki.12-1222/o3.2016.01.008

2015-12-01；

2016-01-25

国家自然科学基金（61203189，61374054）

赵爱罡（1986—），男，博士生，主要从事红外图像目标检测识别、机器视觉等。E-mail: zhoaigang1986120@163.com

联 系 人：王宏力（1965—），男，教授，博士生导师。E-mail: wanghongli_1965@163.com