基于支持向量机改进算法的船舶类型识别研究

戴卫国，李海涛，颜恒平，刘启军



基于支持向量机改进算法的船舶类型识别研究

戴卫国1，李海涛1，颜恒平2，刘启军1

(1. 海军潜艇学院，山东青岛266042；2. 海鹰企业集团有限责任公司，江苏无锡214063)

利用船舶目标辐射噪声DEMON谱特征，采用改进的支持向量机算法，实现了对船舶目标的分类识别研究。针对支持向量机算法对噪声比较敏感和最优分类面求解时约束较多不利于支持向量机最优分类面寻优的问题，在保持支持向量稀疏性和应用径向基核函数的条件下，对支持向量机算法在松弛变量和决策函数两方面进行了改进，提出了基于径向基核函数的齐次决策二阶损失函数支持向量机改进算法，并应用于利用船舶目标辐射噪声DEMON谱进行船舶目标类型分类识别实验。理论分析、数据仿真与实验结果表明，该改进算法实现了在二次规划中的较少约束条件下最优分类面求解，具有模型参数寻优空间广阔、总体分类性能优的特点，其分类性能优于原支持向量机算法，是一种适合于船舶辐射噪声DENOM分类识别的有效的支持向量机改进算法。

船舶目标分类；支持向量机；齐次决策二阶损失函数

0 引言

船舶辐射噪声的复杂性使得很难对其进行分类与识别，船舶辐射噪声的特征提取和分类方法是人们一直研究探索的技术难题。船舶辐射噪声的DEMON(Detection of Envelope Modulation On Noise)谱反映了航行船舶噪声的节奏信息和船舶本身一些固有的物理不变特征，被广泛应用于被动船舶目标识别[1]；支持向量机(Support Vector Machine，SVM)是一种基于统计学习理论的模式识别方法，采用结构风险最小化原则代替了传统机器学习方法中的经验风险最小化原则，在解决有限样本、非线性及高维模式识别问题中表现出许多特有的优势，与其他学习机相比具有良好的推广能力和很强的普适性[2-5]。

本文利用船舶目标辐射噪声DEMON谱特征，采用改进的支持向量机算法，进行了对船舶目标的分类识别研究。针对支持向量机算法[2-5]对噪声比较敏感和最优分类面求解时约束太多不利于求解的问题，根据支持向量机在不等式约束条件下可以保持支持向量解的稀疏性特性，在应用径向基等平移不变核函数的情况下，对支持向量机的松弛变量和决策函数两方面进行了改进，从而提出了基于径向基核函数的齐次决策二阶损失函数支持向量机的分类算法(简称支持向量机改进算法)，实现了支持向量机求解中二次规划中的最小约束条件下最优分类面求解，研究了其MATLAB实现方法，并采用扩展的XOR(异或)仿真数据、双螺旋线仿真数据、船舶辐射噪声数据进行了分类识别实验，表明该算法具有分类面划分合理、模型参数寻优空间广阔、总体分类性能优的特性。

1 支持向量机改进算法

1.1 支持向量机原理

支持向量机从线性可分情况下的最优分类面发展而来，最优分类面是要求分类面不但能将两类正确分开，而且使分类间隔最大。维空间中线性判别函数的一般形式为：，设分类面的方程为，为输入样本，为训练样本维数，为输出类别，使得对线性可分的样本集，满足：,[1]。

在线性不可分和在非线性情况下通过在求解二次规划的约束条件中增加一个非负的松弛项，以及引入核函数后，支持向量机的分类问题转化为求为决策变量的二次规划原始问题[6,7]：

该问题可通过求解其拉格朗日对偶问题得其最优解，其对偶问题为

(3)

1.2 支持向量机改进算法

支持向量的稀疏性是支持向量机的主要特性之一。在保持支持向量稀疏特性的前提下，为解决支持向量机算法对噪声比较敏感的问题，并寻求较少约束条件下的最优分类面寻优，对支持向量机在以下两个方面进行了改进：一是将松弛变量采用的一阶函数形式改为二阶函数形式，即在目标函数中采用来代替，此改进可以去掉所求解的二次型规划的对偶问题中关于不等式约束中的上限约束条件，并钝化支持向量机算法对噪声数据的敏感性；二是根据径向基核函数具备的平移不变性，在基于径向基核函数的支持向量机算法中，可对支持向量机决策函数进行齐次处理去掉偏置，将其决策函数修改为，从而在求解二次规划问题的对偶问题时，则可减少关于的等式约束条件，仅余下不等式约束中的下界约束。通过此两处改进，构建了基于径向基核函数的齐次决策二阶损失函数支持向量机的改进算法，从而实现二次规划中的最小约束条件下最优分类面求解。

此时其原始问题的目标函数和约束条件为

此目标函数为凸函数，不等式约束条件为线性函数，强对偶条件成立[8]。求解式(4)的对偶规划，引入拉格朗日函数

(5)

(7)

所以原始问题的对偶问题可以表示为

(9)

1.3 支持向量机改进算法的MATLAB实现

关于在线性约束条件下的二次规划问题，在MATLAB中专门提供了用于求解二次规划问题的quadprog函数，可直接用于求解中等规模的支持向量机问题。相对于大规模的支持向量机求解的选块算法、分解算法、序列最小最优化算法而言，quadprog函数直接求解方法意义明确、中间变量清楚、过程可控，且运算速度可行，是一种较好的学习及调试手段。

quadprog函数求解的最优化问题形式为[9]：

对于支持向量机和支持向量机改进算法，应用quadprog函数求解的对比如表1所示。

表1 应用quadprog函数求解支持向量机实现方法对比

2 仿真数据分类实验分析

为了验证该支持向量机改进算法的实际效果，本文利用扩展的XOR仿真数据和双螺旋线仿真数据进行实验分析。

2.1 扩展的XOR仿真数据分析

平面上相间排列的25点的两类点集，可以看作是扩展的XOR数据，如图1所示。

(1) 选取惩罚因子=10，径向基核函数参数，对该25点的两类点集进行支持向量机及其改进算法的训练和测试分类实验，其在原始空间及改进的分类曲线分布如图2所示。图2中绿色圆点为正类目标，红色的十字为负类目标，黑色实线为最优分类曲线(二维情况下，分类曲面退化为分类曲线)。

(a) SVM的分类曲线

(b) 改进SVM的分类曲线

图2 SVM的分类曲线及改进SVM的分类曲线(=10和=0.2)

Fig.2 Classification curves of SVM and the improved SVM for=10 and=0.2

由对比可见，由于减少了约束条件，故获取了更宽的优化空间，在此模型参数下，改进算法的分类曲线对样本空间划分合理，分类均衡。

(2) 选取惩罚因子=10，径向基核函数参数，对该25点的两类点集进行支持向量机及其改进算法的训练和测试分类实验，其在原始空间及改进的分类曲线分布如图3所示。

(a) SVM的分类曲线

(b) 改进SVM的分类曲线

图3 SVM的分类曲线及改进SVM的分类曲线(=10和=0.55)

Fig.3 Classification curves of SVM and the improved SVM for=10 and=0.55

由对比可见，此时改进算法可以对所有目标全部正确分类而原算法不能，因此改进算法获取了更为广阔的核函数模型寻优空间，更有利于核函数模型的参数寻优。

2.2 双螺旋线仿真数据分析

双螺旋线分类一直是模式识别领域公认的一个难题，它也因其难度而经常被用作检验模式识别算法性能的“试金石”[3]。该问题的分类要求是把-坐标平面上的两条不同的螺旋线的点正确分开。

双螺旋线的平面坐标形式用如下的参数方程来表示：

采用网格搜索法，惩罚因子取值范围为1至100，步进为1；径向基核函数的取值为0.01至1，步进为0.01，在100100的网格范围内，对双螺旋线数据样本进行训练和测试。

采用支持向量机算法，训练样本数据的错误率随参数和的分布如图4所示。

采用改进的支持向量机算法训练样本数据的错误率随参数和的分布如图5所示。

从训练样本的训练错误率随模型参数的变化来看，改进支持向量机在训练样本中，具备较宽的低错误率训练空间。

此时，采用支持向量机算法，测试样本数据的错误率随参数和的分布如图6所示。

采用改进算法，测试样本数据的错误率随参数和的分布如图7所示。

从测试样本数据的测试错误率随模型参数的变化来看，改进支持向量机具备较宽的低错误率测试空间。

从仿真数据综合来看，改进的支持向量机算法性能较优。

图6 SVM算法中测试数据错误率分布

3 海上实测船舶噪声数据实验及分析

3. 1 实验准备

船舶螺旋桨噪声具有宽带调制现象，调制周期对应于螺旋桨轴转动周期或螺旋桨叶片切割海水的周期。轴转动频率和叶片频率较低，由于被动声呐孔径有限，这些较低的频率分量一般很难从接收的辐射噪声信号中直接获得，但通过对连续谱信号的解调处理可以提取这些低频调制分量。调制特征的合理使用可以较好地改善目标分类识别的泛化能力和稳健性。

通过对船舶目标辐射噪声进行DEMON谱分析，提取DEMON谱轴频的1至15阶谐波线谱的幅度、线谱宽度，轴频的频率稳定度、幅度稳定度，谐波簇信噪比共33维特征，进行归一化处理后作为桨叶数识别的特征。

进行实验的船舶目标辐射噪声样本全部为海上综合声呐听测波束实际录取的船舶目标噪声，试验样本的选取条件为：(1) 在综合声呐对噪声目标探测和稳定跟踪后输出得到的远场单目标噪声信号；(2) 船舶目标噪声DEMON谱中存在可见的调制线谱；(3) 船舶目标的类型特征明确。通过样本选取共获取了3725个船舶目标噪声样本，按目标类型进行分类，其中A类样本678个、B类样本1749个、C类样本590个、D类样本708个。

3.2 识别特征提取过程

对船舶辐射噪声依次进行带通滤波、检波、低通滤波、降采样、FFT变换得到DEMON谱[1]，如图8所示，横坐标为频率，纵坐标为幅度。DEMON谱中一般存在很多频率成倍数关系的谐波线谱，这组谐波中的第一根线谱频率对应螺旋桨转速。根据谐波线谱的幅度关系、宽度特征、稳定度、信噪比等特征，可以判断目标的类型，图8为典型的D类目标DEMON谱图。

本文提取的目标类型识别特征是由以下5部分特征组成的33维特征矢量：

(1) 轴频1至15阶谐波线谱的归一化幅度大小；

(2) 轴频1至15阶谐波线谱的归一化宽度大小；

(3) 轴频的频率稳定性，本文以30 s数据中轴频频率变化的方差作为频率稳定性特征；

(4) 轴频的幅度稳定性，本文以30 s数据中轴频幅度变化的方差作为幅度稳定性特征；

(5) 谐波簇信噪比，本文以15阶谐波线谱相对背景干扰线谱的突出程度作为信噪比特征。

据此对图8所示DEMON谱进行分析，得到33维识别特征矢量如图9所示。

3.3 船舶辐射噪声分类实验及分析

将选取的目标噪声按类别随机分为对等的两部分，一部分用来训练，另一部分用来测试，对支持向量机及其改进算法，以及神经网络算法进行对比。

支持向量机模型选取采用了网格搜索法，惩罚因子取值为，径向基核函数的取值为，，在2020的网格范围内，分别采用“一对一”、“一对余”[10-12]的支持向量机多分类方法，分别进行目标类型识别的分类实验。

根据总样本的错误识别率最小原则[1]，分别获取支持向量机算法模型的最优参数，以此为训练参数，对目标样本进行10次的随机分类实验，测试与训练样本各占50%。

同时对同一批数据，与应用最为广泛的BP神经网络学习算法[13]进行了对比。BP算法采用随机抽取50%样本训练，50%进行测试，通过综合考虑和模型寻优后，采用输入层为33个神经元、中间层为12个神经元、输出层为5个神经元的三层BP神经网络进行了10次分类实验

最终统计获得在“一对一”、“一对余”的多分类方法下的支持向量机及其改进算法的对比，以及与BP神经网络的实验结果对比，结果见表2、3。

表2 基于“一对一”方法实验结果平均正确率比较

表3 基于“一对余”方法实验结果平均正确率比较

由实验结果可知，在“一对一”、“一对余”模式下，改进支持向量机算法相对于原支持向量机算法，以及BP神经网络算法而言，具备较好的分类识别能力，同时支持向量机改进算法对小样本类(A、C、D类)性能改进更优。

综合而言，该支持向量机改进算法，具备较好的分类识别能力，性能较优。

4 结论

通过理论分析、扩展的XOR数据、双螺旋线仿真数据和船舶辐射噪声DENOM谱特征分类实验数据表明，对支持向量机在松弛变量和决策函数两方面进行改进而提出的基于径向基核函数的齐次决策二阶损失函数支持向量机改进算法，具有分类面划分合理、模型参数寻优空间广阔、总体分类性能优的特点，分类性能优于原支持向量机算法等分类算法，该支持向量机改进算法是一种适用于水声目标的类型识别应用的有效的分类算法，有可能实现对水声目标类型的有效分类识别。

[1] 戴卫国, 程玉胜, 王易川. 支持向量机对舰船噪声DEMON谱的分类识别[J]. 应用声学, 2010, 29(3): 206-211. DAI Weiguo, CHENG Yusheng, WANG Yichuan. Classification of the DEMON spectra of ship-radiated noise based on Support Vector Machine[J]. Applied Acoustic, 2010, 29(3): 206-211.

[2] 瓦普尼克(Vladimir N·Vapnik). 统计学习理论的本质[M]. 张学工译. 北京: 清华大学出版社, 2000. Vladimir N·Vapnik. Statistical Learning Theory[M]. Beijing: Tsinghua University Press, 2000.

[3] 焦李成, 周伟达, 张莉. 智能目标识别与分类[M]. 北京: 科学出版社, 2010. JIAO Licheng, ZHOU Weida, ZHANG Li. Intelligent target identification and classification[M]. Beijing: Science Press, 2010.

[4] David Casasent, Yu-Chiang Wang. A hierarchical classifier using new support vector machines for automatic target recognition[J]. Neural Networks, 2005, 18: 541-548.

[5] Martinez-Ramon M, Rojo-Alvarez J L, Camps-Valls G. Support vector machines for nonlinear kernel ARMA system identification[J]. Neural Networks, 2006, 17(6): 1617-1622.

[6] 邓乃杨, 田英杰. 数据挖掘中的新方法----支持向量机[M]. 北京: 科学出版社, 2004. DENG Naiyang, TIAN Yingjie. New data mining method-SVM[M]. Beijing: Science Press, 2004.

[7] 张春华. 支持向量机中最优化问题的研究[D]. 北京: 中国农业大学, 2004. 06. ZHANG Chunhua. Studying of solving the optimization problem in SVMs[D]. Beijing: China Agricultural University, 2004. 06.

[8] 陈宝林.最优化理论与算法[M]. 2版, 北京: 清华大学出版社, 2005. CHEN Baolin. Optimization theory and algorithm[M]. Second Edition, Beijing: Tsinghua University Press, 2005.

[9] 李明. 详解MATLAB在最优化计算中的应用[M]. 北京: 北京电子工业出版社, 2011. LI Ming. Application of MATLAB for optimization theory[M]. Beijing: Electronics Industry Publishing Press, 2011.

[10] 赵春晖. 多类支持向量机方法的研究现状与分析[J]. 智能系统学报, 2007, 2(2): 11-17. ZHAO Chunhui, et al. Research and analysis of methods for multiclass support vector machines[J]. CAAI Transactions on Intelligent Systems, 2007, 2(2): 11-17.

[11] 黄勇, 郑春颖, 宋忠虎. 多类支持向量机算法综述[J]. 计算技术与自动化, 2005, 24(4): 61-63. HUANG Yong, ZHENG Chunying, SONG Zhonghu. Multi-class support vector machines algorithm summarization[J]. Computing Technology and Automation, 2005, 24(4): 61-63.

[12] Vojtech Franc Vaclav HlavaC. Statistical Pattern Recognition Toolbox for Matlab User’s guide[R]. 2004. ftp://cmp.felk.cvut.cz/pub/cmp /articles/ Franc -TR-2020-08.pdf.

[13] 许东, 吴铮. 基于MATLAB6.X的系统分析与设计——神经网络[M]. 西安: 西安电子科技大学出版社, 2003, 10: 19-24. XU Dong, WU Zheng. System analysis and design based on MATLAB6.X[M]. Xi'an: Electronic and Science University press, 2003, 10: 19-24.

Application of an improved support vector machine classification algorithm to underwater targets recognition

DAI Wei-guo1, LI Hai-tao1, YAN Heng-ping2, LIU Qi-jun1

(1. Navy Submarine Academy,Qingdao266042,Shandong, China; 2.HaiYing Enterprise Group Co.Ltd,Wuxi 214061,Jiangsu, China)

The underwater targets recognition based on DEMON spectra has been realized with a proposed improved support vector machine algorithm. To solve the problem that the support vector machine (SVM) is sensitive to noise and that there are so many restrictions against looking for optimal hyper-plane in solving the optimal hyper-plane, an improvement is done in the relaxation and decision function. The SVM algorithm of homogeneous decision - second order loss function based on RBF (Radial Basis Function) is given, and the solution of optimal hyper-plane under quadratic programming problem is realized. Recognition experiments have been done by using simulation datasets and four kinds DEMON datasets of ship radiated noise. The results show that this algorithm has the characters in large optimized space of model parameters and good overall recognition performance, which is suitable for ship radiated noise recognition.

ship targetclassification; Support Vector Machine(SVM);homogeneousdecision-second order loss function

O427.9

A

1000-3630(2015)-03-0203-06

10.3969/j.issn1000-3630.2015.03.003

2015-03-08;

2015-06-02

戴卫国(1968－), 男, 博士, 副教授, 研究方向为水声目标识别研究。

戴卫国, E-mail: dwg1968@163.com