基于区域矩的舰船图像目标特征融合方法研究

刘松涛，王 杰，常 春

(1.海军大连舰艇学院信息作战系，辽宁大连116018;2.海军航空工程学院训练部，山东烟台264001)

1 引言

近十几年，图像特征融合吸引了许多学者的关注，得到了一些研究和发展。当前的特征融合方法，主要包括特征选择方法、串接特征提取方法和同时特征提取方法，其中:(1)特征选择方法的基本思想是所有特征放在一起，然后用合适的方法进行特征选择［1］;(2)串接特征提取方法是将不同的特征描述子串接连续应用，比如为了得到对旋转、尺度和平移不变，且对噪声鲁棒的描述子，文献［2］提出了结合Radon、Fourier和Mellin变换的描述子;(3)同时特征提取方法。可细分为两类:①串行特征融合。基本思想是把多个特征向量组合成一个特征向量，然后在高维向量空间提取特征［3］;②并行特征融合。可以采取三种思路:复向量特征融合［4］，加权特征融合［5］和用某种理论(比如，Canonical Correlation Analysis，CCA［6］)直接融合多个特征向量。

本文面向舰船图像目标识别，设计了合适的目标特征，然后引入区域矩描述子进行特征融合［7］，目的是从特征融合的角度来提高目标识别算法的性能。区域矩是图像矩概念的推广，不是计算原始图像像素的矩，而是计算图像特征的矩。基本思想是首先为每个像素分配一个特征向量，包含图像局部描述的各向同性和各向异性特征，将图像空间变换到特征空间。然后利用区域矩融合这些特征，主要研究了三种区域矩，包括中心矩、Hu氏不变矩和径向矩。由于图像特征空间映射到图像特征矩空间是线性的。因此，可以使用欧氏范数和线性分类器。而区域协方差描述子将图像特征映射到黎曼流形空间，距离计算比较复杂［8］。另外，与区域协方差描述子相比，区域矩描述子具有旋转不变性，且计算积分图像时复杂度低。理论分析和实验验证部分将会体现出区域矩的这些优越性。

2 区域矩描述子

2.1 基本原理

令I是灰度图像或RGB图像，Φ表示将I映射到d维图像特征向量的一般算子，则:

然后，对图像特征f求矩、中心矩、Hu氏不变矩和径向矩，得到矩序列mn=，中心矩序列 μn=，Hu 氏不变矩 τ1，…，τ7∈Rd和径向矩Rn。基于上述图像特征的矩，可以得到下面的区域矩描述子:

(1)中心矩(Central Moment，CM)描述子。从图像特征中心矩的集合{μi}，定义n阶(n≥2)中心矩描述子为:

(2)Hu 氏不变矩(Hu’s Moment Invariant，HMI)描述子。从图像特征 Hu氏不变矩的集合{ τi}，定义Hu不变矩描述子为:

其中，每个向量的长度为7d。

(3)径向矩(Radial Moment，RM)描述子。从图像特征径向矩的集合 { Ri}，定义n阶(n≥1)径向矩描述子为:

其中，每个向量的长度为nd。

2.2 描述子特性

(1)维数少。所有三个描述子都是图像的低维表示，特别是RM描述子。另外，描述子的维数随着d的增加线性增加，而区域协方差描述子是平方增加。

(2)平移不变性。三个描述子中除了RM描述子外，都具有平移不变性。RM的变化是因为它的计算是相对于D的几何中心，这也意味着RM描述子能够在图像中定位目标。

(4)旋转不变性。如果图像特征是各向同性的，HMI和RM具有旋转不变性;如果部分图像特征是各向异性的，HMI、RM不具有旋转不变性;与图像特征无关，CM具有旋转不变性。

2.3 基于积分图像的快速实现

文献［7］将积分图像用于计算图像特征的矩，解决了计算效率问题。给定图像I，通过可以计算积分图像。然后，区域D=［x'，的面积可以用下式计算:

下面基于积分图像给出快速计算CM，HMI和RM描述子的算法。

(1)CM描述子。为了计算yCM，需要矩的集合。令中心矩计算公式为:

(2)HMI描述子。为了计算yHMI，需要中心矩μ2和μ3，可以利用公式(6)计算得到。总之，整个计算复杂度包括积分图像数10d，然后描述子运算量为O(d)。

(3)RM描述子。为了计算yRM，需要R1，…，Rn。令径向矩计算公式为:

表1概括了这三种描述子的计算复杂度。通常n=2或3就可以描述目标。当n固定时，三个描述子的复杂度都是O(d)。为了和区域协方差描述子进行对比，表1也给出了区域协方差描述子(Region Covariance，RC)的计算复杂度［8］。很明显，无论是描述子长度，积分图像数，还是描述子运算量，区域矩描述子都占有优势。

表1 不同描述子的计算复杂度Tab.1 Computational complexity of different descriptors

3 仿真实验

特征融合和目标识别实验用两组图像进行，第一组是舰船目标红外图像，第二组是舰船目标可见光图像。每类均5张，前3张作为训练集，后2张作为测试集，如图1和图2所示。

仿真中结合各向同性特征ΦA和各向异性特征ΦI，通过可见光和红外舰船图像的识别实验来分析3阶CM描述子、HMI描述子，以及2阶RM描述子的特征描述能力。

对可见光图像，各向同性特征为:

其中，前四个特征是RGB颜色通道和图像灰度梯度的幅度，后三个特征是形状参数，kρ和kθ是主要曲率k1和k2的极坐标表示，s是形状索引。这三个特征可以通过文献［9］的快速计算程序得到，公式如下:

各向异性特征为:

其中，Ix，Iy，Ixx和Iyy是图像灰度的一阶和二阶偏微分的幅度。

图1 舰船目标红外图像Fig.1 ship target infrared images

图2 舰船目标可见光图像Fig.2 ship target visible images

类似地，对红外图像，各向同性特征为:

各向异性特征为:

分类识别时采用KNN分类方法，k=4，距离测度为欧式距离。

3.1 基于特征融合的可见光图像分类识别实验

表2显示采用不同特征组(Φ= ［R，G，B］T，

cHMI描述子的性能。由于Φc是各向同性的，所以HMI是旋转不变的。Φg是各向异性的，所以HMI对旋转比较敏感。当Φc和Φg结合形成ΦA时，识别性能折衷。由于Φs是各向同性的，HMI也是旋转不变的，而且由于含有形状信息，识别性能超过Φc。当Φc和Φs结合形成ΦI时，识别性能最好。这表明Φs特征比Φg特征更重要。总的来说，ΦI=，特征组的识别性能最好。

表2 不同特征HMI融合的可见光图像分类结果Tab.2 Classification results of visible images based on different features’fusion using HMI

I和RM描述子结合，识别结果如表3所示。比较相同特征ΦI，不同特征融合方法HMI、CM和RM的融合识别结果，可以发现，三个特征矩融合方法对可见光图像的识别性能都非常好。最后，采用相同的特征ΦI和分类器，区域协方差的融合识别性能如表4所示。实验中，对每个图像，不管训练样本，还是测试样本，都采样s=50个随机协方差，对可见光图像的d=7维特征，协方差矩阵是7×7。由于窗口位置和窗口大小的随机性，可见光图像的分类识别作了10次实验，然后取平均值来代表协方差描述子的分类性能。很明显，区域矩特征融合优于区域协方差的特征融合，能够获得更好的目标识别效果。

表3 相同特征时CM和RM融合的可见光图像分类结果Tab.3 Classification results of visible images based on the same features’fusion using CM and RM

表4 相同特征时区域协方差融合的可见光图像分类结果Tab.4 Classification results of visible images based on the same features’fusion using region covariance

3.2 基于特征融合的红外图像分类识别实验

表5显示采用不同特征组(Φc=［I］T，Φg=子的性能。显然，ΦI=［Φc

T，Φs

T］T特征组的识别性能最好。

表5 不同特征HMI融合的红外图像分类结果Tab.5 Classification results of infrared images based on different features’fusion using HMI

I述子结合，识别结果如表6所示。比较相同特征ΦI，不同特征融合方法HMI、CM和RM的融合识别结果，可以发现，三个特征矩融合方法对红外图像的识别性能都比较好。但由于特征的选择问题，识别性能稍差于可见光图像识别，下一步可考虑更加适合于红外图像的特征，进一步提高特征融合的识别性能。最后，采用相同的特征ΦI和分类器，区域协方差特征融合的红外图像识别性能如表7所示，实验过程类似于可见光图像识别实验，再一次验证了区域矩特征融合优于区域协方差的特征融合能力。

表6 相同特征时CM和RM融合的红外图像分类结果Tab.6 Classification results of infrared images based on the same features’fusion using CM and RM

表7 相同特征时区域协方差融合的红外图像分类结果Tab.7 Classification results of infrared images based on the same features’fusion using region covariance

总之，从理论上，在区域矩和区域协方差之间比较，区域矩占有优势。实验结果也证明，无论对可见光图像，还是红外图像，区域矩都具有比较好的特征融合能力。

4 结束语

图像中的不同特征总是反映目标的不同特性，对它们的优化组合，既保留了参与融合的多特征的有效鉴别信息，又在一定程度上消除了由于主客观因素带来的冗余信息，对提高所获取目标特征的准确度无疑具有重要意义。因此，为了提高特征对目标的全面描述能力，本文将基于区域矩的特征融合方法用于舰船目标识别。该方法的主要特点为:(a)通过矩和图像特征的精心设计，描述子具有尺度和旋转不变性;(b)图像特征的线性映射可以使用欧氏范数和线性分类器;(c)区域矩的计算与图像特征维数为线性关系，效率高。仿真实验表明，在给定特征集的基础上，HMI、CM和RM这三种矩融合方法的特征融合能力都较强，特别是针对舰船可见光图像识别，识别率高达100%。应该说，由于特征选择问题，红外图像识别性能稍差于可见光图像识别，若考虑更加适合于红外图像的特征集，特征融合的识别性能必将更好。注意到，区域矩融合方法还没有随机初始化问题，所以实用性和有效性高于区域协方差融合方法。

［1］ Y Shi，T Zhang.Feature analysis:support vector machines approaches［C］//Proceedings of SPIE Conference on Image Extraction， Segmentation， and Recognition， 2001:245－251.

［2］ Thai V Hoang，Salvatore Tabbone.Invariant pattern recognition using the RFM descriptor［J］.Pattern Recognition，2012，45(1):271 －284.

［3］ C J Liu，H Wechsler.A shape and texture － based enhanced Fisher classifier for face recognition［J］.IEEE Trans.Image Process.，2001，10(4):598 －608.

［4］ J Yang，J Y Yang，D Zhang，et al.Feature fusion:parallel strategy vs.serial strategy［J］.Pattern Recognition，2003，36(6):1369－1381.

［5］ A N Rajagopalan，K Srinivasa Rao，Y Anoop Kumar.Face recognition using multiple facial features［J］.Pattern Recognition Letters，2007，28(3):335 －341.

［6］ Quansen Suna，Shenggen Zenga，Yan Liua.A new method of feature fusion and its application in image recognition［J］.Pattern Recognition，2005，38(12):2437 －2448.

［7］ Gianfranco Doretto，Yi Yao.Region moments:fast invariant descriptors for detecting small image structures［C］//Proceedings of CVPR，2010:3019 －3026.

［8］ Oncel Tuzel，Fatih Porikli，Peter Meer.Region covariance:a fast descriptor for detection and classification［C］//Proceedings of ECCV，2006:589－600.

［9］ Stokely E M，SJ Wu.Surface parameterization and curvature measurement of arbitrary 3－d objects:five practical methods［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1992，14(8):833 －840.