基于多特征融合的红外目标识别算法*

吴彩莲，郝永平，张 乐，王 磊

(沈阳理工大学兵器科学技术研究中心， 沈阳 110159)

0 引言

随着红外图像的目标识别在军事等领域发挥越来越重要的研究价值与意义[1-2]，红外背景条件也愈来愈复杂，干扰信息以及目标特性更加多样化等不可抗力因素的存在，导致红外目标识别[3]面临很大挑战。早期，人们更加关注如何选择与提取比较单一的特征来描述红外图像目标的性能，随着环境条件的复杂多变，一种特征远不能更有效表征目标特性来完成目标的追踪识别。红外目标的颜色特征对物体形态的变化和变形敏感性不高，当物体发生旋转或尺寸的变化时可保持一定的鲁棒性，但当目标环境非常相似时，背景颜色无法精确区分，导致红外目标识别效果很差。同时为了区别背景环境中静态干扰物体，目标的运动特征尤其重要[4]。边缘特征对目标运动敏感度较高，即目标的细微移动非常容易引起该特征局部明显的变化。但该特征量不易受到外界光线和其他因素变化的影响，对目标图像的颜色特征量变换依赖性也较小。

通过以上分析，当采用较多特征融合处理可以提高其跟踪识别精度，但随之严重降低识别的实时性能。故提出将目标的颜色特征、运动特征和边缘这三种特征融合的粒子滤波算法进行红外目标识别与跟踪处理。该算法主要利用了基于HSV颜色空间的直方图提取红外目标的颜色特征[5]；大津法(Ostu)进行阈值分割来获取红外目标的轮廓、中值滤波算法除噪以及运用形态学完成目标轮廓的腐蚀运算从而获取红外目标的运动特征；同时利用选用梯度算子对图像目标的边缘检测处理，该算法主要步骤是将源彩色图像进行灰度转换，并利用Sobel算子，即检测效果最好的算子进行边缘检测，计算每个像素的梯度幅值和方向，提取出该边缘特征的直方图。最后基于粒子滤波框架下对以上三种特征数据融合处理，将融和数据应用于粒子权值计算，提高红外目标在复杂多变环境下跟踪识别的鲁棒性、准确性等。

1 红外目标的融合特征提取

1.1 颜色特征的提取

由于颜色特征对物体形态的变化和变形并不敏感，当物体的方向、尺寸等发生变化时仍能保持一定的鲁棒性，所以在红外图像的目标跟踪识别中应用十分的广泛。

图1 HSV颜色空间

HSV颜色空间是主要以颜色的色调(hue，H)、饱和度(saturation，S)与亮度(value，V)来描述的非线性系统,可表示为圆锥模型，如图1所示。该空间可直接对颜色分量提取，更贴合人类的视觉要求使之对色差均匀感知，减少光照带来的影响。本实验主要把HSV颜色空间即256×256×256，分别量化H分量为 16级，S和V化为4级即16×4×4，最后完成3个颜色分量合成向量L，且该向量为一维，取值域[0,255]。最后通过计算该目标的区域各分量及合成量直方图[6]，如图2所示，目标模板概率计算公式如下：

(1)

1)a是内核带宽，K(x)是内核函数，且常用内核函数公式:

(2)

式中:1>d为距离该目标模板的区域中心点的距离；2>K(x)应用于给像素赋较小权值，且该像素满足距离该区域中心较远，减少边界对该目标的影响。

3)z0(x0,y0)为该目标的区域中心，其中(x0,y0)代表其中心区域的坐标点；

4){zi(xi,yi),i=1,2,3,…,n}为目标该区域像素点的坐标；

同理，后续分帧过程中，所选取的目标位置y坐标,该向量模型计算公式：

(3)

图2 各分量及合成量直方图

由图2可以看出：图2(a)表示提取色调H分量的颜色直方图，其中横坐标表示bins，即H分量颜色划分的块数，纵坐标表示H颜色分量中对应像素点的数量。当bins取值为50时，即将分量H颜色范围分成50块，此时图像中对应每块区域内所包含像素点的总个数，由图看出约为0.23×104即为每块相应直方图的高度值为0.23×104；同理，图2(b)表示提取量度V分量的颜色直方图；图(c)表示提取饱和度S分量的颜色直方图；图2(d)表示提取3个颜色分量的合成向量直方图。

1.2 运动特征的提取

红外目标粒子的细微移动会导致其边缘轮廓信息的变化，因此通过大津法(Ostu)进行红外目标阈值分割获取其轮廓数据，然后利用中值滤波算法降低噪声，最后运用形态学完成目标轮廓的腐蚀运算最终获取红外目标的运动特征，如图3所示。

图3 运动特征提取算法

具体求解步骤如下：

1)利用大津算法红外图像的灰度图像二值化分割[7]，获取最大的目标像素与背景像素的类间方差。

设图像F(x,y),T为目标与背景的分割阈值，w0为目标像素占据整张图像像素的比例，并且目标的平均灰度值记为ε0。令背景像素占据整张红外图像像素的比例为w1,ε1为背景像素的平均灰度值。

整张红外图像的平均灰度值为ε，类间方差值为ρ。设m×n的红外图像，其背景条件比较昏暗，当图像像素灰度值为n0时，满足n0T，故经过计算最终可得类间方差值ρ：

ρ=w0w1(ε0-ε1)2

(4)

利用遍历法计算出类间方差值ρ及最大阈值T,最后利用 Ostu算法的阈值分割来获取二值图像。

2)以上获取的二值图像因存在一些较小的孤立噪声点，故本实验采用几何均值滤波算法有效的将其去除并且较好的获取红外图像的边缘轮廓信息。考虑算法过程中，邻帧间采用时间很短，并且目标的运动幅度也较小，因此实验选择二阶的常速模板作为目标的运动模板来分析研究目标粒子状态的转移，故该目标域：

(5)

红外图像的目标粒子状态转移的运动方程为：

Xg=AXg-1+Vg-1

(6)

式中：A为6×6的状态转移矩阵，且令

(7)

式中：Δt是每两个帧之间时间的间隔；Vg-1代表高斯噪音。

1.3 边缘特征的提取

本实验主要选取梯度算子进行边缘特征量的提取，将源红外图像进行灰度转换，并利用Sobel算子进行边缘检测[8]，通过计算每个像素的梯度幅值和方向，提取该边缘特征的直方图，如图4示。

令红外图像的目标模板中像素点是k(i,j),(i,j)的梯度定义如下：

(8)

分别采用水平和竖直Sobel算子对该像素点分解处理，获取横向和纵向的梯度值，且两个卷核为Gx(i,j)、Gy(i,j)。使用范数对该像素点的幅值衡量近似为:

|G(x,y)|≈max(|Gx(i,j)|,|Gy(i,j)|)

(9)

该像素点的梯度方向：

(10)

设λ为目标的边缘阈值，故此时该像素点的梯度方向从新定义为：

(11)

(12)

考虑本实验中所建立的目标模板以及候选目标模板可以使用巴氏系数进行衡量，故令该候选目标模板的边缘直方图是Kr，得

(13)

所以，基于该目标的边缘特征，每一个粒子的观测率，即目标模板和候选目标模板的相似度为：

(14)

图4 边缘特征提取算法流程

2 基于特征融合的红外目标跟踪识别算法

2.1 选择机制融合

本实验主要将颜色特征、运动特征和边缘特征这三大特征进行融合，然后采用粒子滤波框架进行红外目标跟踪识别处理。对于红外目标图像的颜色特征，主要应用基于HSV颜色空间的直方图来建立目标的模型；然后大津法(Ostu)对图像的阈值分割进一步获取该红外目标的轮廓、中值滤波算法除噪以及运用形态学完成目标轮廓的腐蚀运算从而获取红外目标的运动特征；同时对边缘特征的提取主要利用Sobel算子对目标图像的边缘检测，通过计算每个像素点梯度幅值、方向提取其边缘方向直方图。下一步实验将基于粒子滤波框架下对以上三种特征数据融合处理，最后把融和数据应用于粒子权值计算，获得该目标更准确、精准的位置状态估计值[9]。考虑在实验中需要在视频帧中完成对红外运动目标的跟踪与识别，故以运动特征量作为整个特征的基础，并选取式(6)为本实验的粒子状态转移方程，基于该基础上进一步处理颜色和边缘特征的数据融合算法[10]。

(15)

(16)

(17)

(18)

求取最终目标位置的状态估计，即

(19)

在实际跟踪识别中，当外界光照不能满足条件和目标的姿态、形状等变化时,需要在每次跟踪识别后，再次更新特征的权值。设第k帧目标位置状态估计是φ，故通过该估计值提取的特征量与所建立的目标模板对比，并结合巴氏系数进一步对其度量[11]。实验结果中：巴氏系数若小于某设置阈值，则表明所建立的模板中，该特征量并不适应目标的跟踪识别环境，故需对建立的目标模板适当更新处理。考虑到目标的各特征量各不相同，因此在整个实验环节依据准确跟踪目标时及跟踪时窗口的偏移的不同设置阈值。建立的目标模型更新公式如下：

(20)

2.2 特征融合算法流程

根据上述分析可得，在粒子滤波理论基础上完成对颜色特征、运动特征及边缘特征的融合处理，获取准确性、鲁棒性及识别率更高的融合算法，其中，具体算法流程图如图5。

图5 特征融合算法

具体流程步骤如下：

1)初始化：人为选择视频帧中目标感兴趣域，建立目标模板及初始状态参数，从而确定质心位置，定义初始帧k=0。通过计算目标模板的颜色与边缘特征的直方图，确立目标特征模板。

5)更新：使用巴氏系数衡量候选目标特征模板和目标模板相似度，如果小于设定阈值则进行模板的更新处理。

7)判断结果，采集第k+1张视频帧，进入循环体。

3 实验仿真与分析

本实验主要是在Intel(R) Core(TM) i5-4570 CPU @ 3.2 GHz (4 CPUs)、4096 MB RAM的硬件系统上，并融合红外图像的测试数据库完成的仿真结果。首先采用经典的粒子滤波算法，然后在粒子滤波的理论基础上，进一步分析基于多特征融合的粒子滤波算法进行目标的跟踪识别对比。

实验：提取一组马路背景下正在行驶的小轿车的红外序列图像，选取600帧，并截取其中6帧序列图像依次排序分析研究，编号分别为135帧、248帧、376帧、389帧、432帧及548帧。视频序列的原始红外图像如图6所示，跟踪识别效果图如图7、图8所示。

图6 原始红外图像

图7 基于多特征融合的粒子滤波算法

图8 经典粒子滤波算法

通过以上跟踪识别效果图分析，图6为基于多特征融合的粒子滤波算法的效果图，图7为经典粒子滤波算法的效果图，灰色矩形框表示跟踪识别的目标体。由图看出，在截图第248帧前，两种方法都可以准确跟踪识别该目标，但随着目标背景灰度差的降低，对比度降低，导致跟踪识别难度加大。实验提出的基于多特征融合的粒子滤波算法都比较实时、准确的跟踪上目标小轿车，而经典粒子滤波算法中从第376帧看出跟踪框不能实时的捕捉到目标体，导致跟踪识别实验失败。

4 结论

在经典粒子滤波算法中，由于环境条件的复杂多变，单一红外图像目标的特征量远远不能持续有效表征目标的特性来完成目标的追踪识别，导致最终的跟踪失败。同时，为更好地获取目标跟踪识别的效果，文中提出了把颜色、运动和边缘特征融合的粒子滤波算法。充分利用红外目标图像三种特征的优势，一定程度上避免和降低了由外界环境、物体本身姿态变化等因素对实验目标的跟踪识别的影响。从上述实验结果分析可得：基于多特征融合的红外图像目标识别算法，即基于多特征融合的粒子滤波算法能更好的适应人类的视觉系统，更加有效地提高了红外图像目标在复杂多变环境下的鲁棒性和识别效率、准确率等。