冯祥❋❋,陈良彬
(空军第一航空学院,河南信阳464000)
基于主成分分析和独立成分分析的调制分类算法❋
冯祥❋❋,陈良彬
(空军第一航空学院,河南信阳464000)
基于主成分分析(PCA)和独立成分分析(ICA),提出了一种新的调制分类算法。算法采用PCA对样本数据降维、去除冗余成分,采用FastICA方法提取分类特征;采用支持矢量机(SVM)作为分类器,以解决数据在低维空间中的不可分问题。该算法具有较低的复杂度和较高的训练速度。仿真表明,与最大似然(ML)算法相比,算法仅具有1.8 dB的信噪比损失,在Rayleigh慢衰落信道和中速运动的条件下,算法对5种QAM调制类型具有较好的分类性能。
通信信号;调制分类;主成分分析;独立成分分析;支持矢量机
通信信号调制类型自动分类技术是软件无线电、认知无线电的重要技术基础,在军事和民用通信系统中均具有广泛应用价值,自该技术引起人们注意以来,相关研究一直是人们的关注热点,提出了很多分类算法[1-5]。随着研究的深入,人们关注的焦点集中在如何在小样本、低信噪比、衰落信道条件下设计出性能较好的调制分类器,使该分类器能够以较高的正确识别率,有效识别种类尽可能多的调制类型,并且要求分类器具有尽可能小的计算量,以满足在线、训练对速度的要求。达到上述目的采取的技术途径主要有两种:一种是采用先进的信号处理技术[4-5],通过对观测样本的有效处理,达到对抗信道衰落、有效提取分类特征的目的,最后通过求得欧式距离实现对样本调制类型的识别,这种方法的缺点是环境适应性不好;另一种方法是以统计学习理论为基础,设计稳健的分类器,使调制类型分类器具有较为广泛的适应、推广能力,该方法在小样本条件下的性能一般较差。分集技术是第一种办法采用的技术途径之一,通过分集达到对抗多径衰落、获得一定的分集增益、提高低信噪比环境下调制分类器性能的目的[5];主成分分析(PCA)和独立成分分析(ICA)[6-7]是通过多观测样本压缩、降维以及寻求反映样本内在独立成分的办法,提取分类特征,以满足减小计算量、对抗干扰和衰落的目的,PCA/ICA也属于先进信号处理范畴,ICA与基函数确定的小波变换不同,它是根据样本数据本身进行变换,对处理样本具有一定的适应性;支持矢量机(SVM)是求解模式识别问题的有效工具,其最大的优点是可在样本有限的情况下获得最优解[2,8]。本文在Rayleigh衰落信道下,将PCA/ICA和SVM结合,研究了几种MQAM(Multiple Quadrature Amplitude Modulation)调制类型的分类问题,通过理论分析证明了算法的正确性,并通过仿真实验验证了算法的环境适应性。
2.1 主成分分析
主成分分析(PCA)的核心去掉样本的冗余信息,只留下代表样本主要信息的成分,以实现对样本数据降维,达到减少计算量的目的,通过PCA变换后的新成分分量不相关或正交。
设样本来自备择集合中的L种调制类型,独立等概率地选取每种调制类型的K个样本数据,将这些原始样本构成一个数据矩阵XL×K,其协方差矩阵为R=XXT,可对该协方差矩阵作特征值分解:
其中,T表示转置,Λ为协方差矩阵的特征值对角阵,U为相应的特征矩阵,对原始样本作如下变换:
式中,P为原始样本矩阵的主成分,p1是第一主成分,pk为第k主成分,选取前d个主成分,舍弃其余主成分,构成新的特征样本P′,新的特征样本是对原始样本的降维、压缩,去掉了一些冗余信息。
2.2 独立成分分析
在模式识别方法中,高阶统计量中包含了样本的很多重要信息,独立成分分析(ICA)正是一种基于高阶统计量,寻求样本内在统计独立成分的方法,并将相互独立的原始样本成分从混合样本中提取出来,它属于盲信号分离的范畴,其一般模型为[6]
其中,X是观测样本,独立成分分析就是在混合矩阵A和独立源信号S未知的情况下,寻求分离矩阵W(W=A-1),使y=WX是对S的最优估计。从本质上来讲,ICA的求解问题可以转化为使y非高斯性最大化的问题。根据信息论的知识,高斯变量具有最大的熵,因此一般采用负熵作为度量变量非高斯的准则,其表达式为
其中,v是标准高斯随机变量,函数G可以取Hyvarinen推荐的两个函数[6-7]:
分离矩阵W可以用基于负熵最大化的快速算法FastICA[7]获得,该算法比其他ICA算法收敛速度更快。
将PCA、ICA应用到调制分类领域,核心就是通过对样本的处理,减少环境、干扰对信号的影响,以获得识别不同调制类型的本质特征,基于PCA/ICA的调制分类特征提取步骤总结如下:
(1)对每种调制类型的训练样本去中心化:S=S-E(S);
(2)求协方差矩阵R;
(3)求主成分矩阵P′;
(4)运用FastICA算法求分离矩阵W,进而得到ICA独立基子空间Y=WP′;
(5)对备择集合每种调制类型,求其对应的特征向量Fn=YSn,并组成特征矢量矩阵F=[F1,F2,…FN]T。
支持矢量机(SVM)是V.Vapnik提出的一种基于结构风险最小化的一种有监督的分类方法,该方法的核心思想是通过非线性映射将输入向量变换到高维特征空间,在高维特征空间中构造最优分类超平面,并在此特征空间中达到分类样本的目的[8]。
对于线性可分问题,利用拉格朗日乘子法求解,得到最优分类函数为
其中,sgn(·)是符号函数,ai为拉格朗日乘子。对于线性不可分问题,V.Vapnik[8]引入核空间理论,通过选择合适的映射函数,将低维空间不可分的问题,转化为高维空间的线性可分问题。理论上来说,满足Mercer条件的对称函数K(xi,x)都可以实现这种映射关系:
这就是支撑矢量机(SVM),其基本思想可以概括为:首先通过满足Mercer条件的核函数(如径向基核函数、多项式核函数)将输入样本变换到高维空间,然后在高维空间中求取最优分类超平面,实现对样本的分类。
利用经过PCA压缩、降维和ICA提取的分类特征,就可训练和设计SVM分类器,本文选择径向基核函数K(xi,x)=exp{-|x-xi|2/(2c2)},c为核函数宽度,其大小影响支持矢量的个数,因而核函数宽度会对分类面的形成产生影响。此外,由于标准SVM是一个二值分类器,将SVM应用到多种调制类型的分类情形时,涉及一个将标准SVM推广到多值分类的问题,构造一个基于SVM的多值分类器的基本方法是将多个二值分类器进行组合,具体实现方法有1对1、1对多、DDAG等3种。这3种方法各有特点:1对1的实现方法的优点是思路简单、容易实现且分类识别效果较好,缺点是需要训练的SVM子分类器的数目较多;1对多的实现方法的优点是需要训练的SVM分类器数目较少,对一个L分类问题,需要设计和训练的SVM子分类器个数为L个,缺点是容易出现不可分和分类重叠的问题;DDAG分类器的优点是测试速度较快,缺点是分类精度依赖于DAG上类别的顺序。
综合考虑,我们选择采用1对1的方法实现调制类型分类器,具体实现方法如下:在SVM的分类器设计中,每次只考虑两类调制类型样本,即对每两类调制类型样本设计一个SVM子分类器,假设备择分类集合共有L类调制类型样本,需要设计的SVM子分类器总个数为L(L-1)/2个。设用于识别第i类和第j类调制类型的分类函数是fij(x),如果fij(x)>0,则认为x是第i类调制类型,给第i类调制类型加1,否则给第j类调制类型加1。这样测试样本经过L(L-1)/2个SVM子分类器的判决后,选择计数最多的那类调制类型作为最终的分类识别类型。
为了评估本文提出的基于PCA/ICA调制分类算法的性能,我们在Rayleigh慢衰落信道下对算法进行了仿真,观测样本模型为
式中,{s(n)=sI(n)+j·sQ(n)}是一个独立同分布的复符号序列,均值为零,它的取值来自于与调制类型相对应的星座图,信号能量为E;w(n)是一个均值为零、方差为N0的高斯噪声序列,信噪比定义为SNR=E/N0;hejφ表示Rayleigh信道复衰落因子。
仿真中,考虑备择分类集合{2QAM,4QAM,8QAM,16QAM,64QAM},信道采用Jakes模型,考虑低速移动及普通商用频段的情况,移动设备速度取2 m/s,载波频率取900 MHz。
训练分类器阶段,在0 dB、3 dB和6 dB 3种信噪比条件下,备择集合的每种调制类型各产生50个训练样本组成训练集合对分类器训练,取径向基核函数的宽度c=0.5。
仿真实验一本实验的目的是为了观察算法随信噪比的变化情况,以验证算法的有效性。表1给出了信噪比(SNR)为10 dB、观测样本为300时分类算法识别率的混淆矩阵,可以看出,5种调制类型的正确识别率均在0.98以上。为了进一步考察信噪比对分类算法性能的影响,图1给出了算法总体正确识别率随信噪比的变化情况,观测样本分别为200和300,信噪比从0 dB变化到16 dB,当观测样本为200,信噪比大于10 dB时,总体识别率接近0.99。
表1 正确识别率的混淆矩阵(SNR=10 dB)Table 1 The confusion matrix of the correct classification probability when SNR=10 dB
图1PCA/ICA调制分类算法性能Fig.1 Performance of the PCA/ICA modulation classification algorithm
最大似然(ML)分类算法对同一分类集合的识别性能,可以视为其他算法分类性能的所能达到的上限[1],为了进一步说明本文算法的有效性,图1还给出了最大似然分类法对备择集合的分类性能,可以看出,在信噪比大于10 dB时,本文算法和ML算法的识别性能极为接近,当观测样本为200、总体正确识别率到达0.9时,本文算法与最大似然分类算法相比较仅有1.8 dB的信噪比损失。
仿真实验二本实验的目的是为了考察算法对移动设备速度的适应性。实验中观测样本为200个和300个,SNR=10 dB,信道采用Jakes模型,图2给出了备择分类集合中5种调制类型的正确识别率随归一化多普勒频率(与设备移动速度对应)的变化曲线,可以看出,当归一化多普勒频率小于2.0×10-4(对应的移动速度为20 m/s)时,算法的识别性能随归一化多普勒频率变化较小,当设备的移动速度越来越快时,算法的识别性能越来越差,并且观测样本数目越多,设备的移动速度对算法性能的影响越大。
图2 多普勒频率对算法性能的影响(SNR=10 dB)Fig.2 The effect of Doppler frequency on modulation classification algorithm when SNR=10 dB
通信信号调制分类本质上是一个模式识别问题,其核心是分类特征的提取和分类器的设计。本文提出的基于PCA/ICA提取样本分类特征的方法,实现了对样本数据的压缩和降维,在有效提取分类特征的前提下,减少了运算量。在设计分类器时,我们采用基于结构风险最小化的SVM方法,以保证分类器在小样本条件下的识别性能,解决了低维空间的不可分问题。仿真实验表明,在Rayleigh慢衰落信道下,算法在较大的信噪比范围内对5种调制类型具有较高的正确识别率,当信噪比大于10 dB时,其识别性能与ML算法非常接近,在正确识别率为0.9时,与ML算法相比较,本文算法仅具有1.8 dB
的信噪比损失。同时,在低速移动(速度小于20 m/s)的情况下,算法也具有较好的适应性能。
[1]Hameed F,Dobre O A,Popescu D C.Likelihood-based modulation classification:On the computational complexity and performance bounds[J].IEEE Transactions on Wireless Communications,2009,52(8):5884-5892.
[2]李一兵,葛娟,林云.基于熵特征和支持向量机的调制识别方法[J].系统工程与电子技术,2012,34(8):1691-1695. LI Yi-bing,GE Juan,LIN Yun.Modulation recognition usingentropy features and SVM[J].Systems Engineering and Electronics,2012,34(8):1691-1695.(in Chinese)
[3]LIU Ai-sheng ZHU Qi.Automatic modulation classification based on the combination of clustering and neural network[J].China Universities of Posts and Telecommunicatons,2011,18(4):13-19,38.
[4]Orlic V D,Dukic M L.Automatic modulation classification algorithm using higher-order cumulants under real-world channel conditions[J].IEEE Communications Letters,2009,13(12):917-919.
[5]李艳玲,李兵兵,刘明骞.瑞利衰落信道中基于分集技术的MQAM信号的识别[J].北京邮电大学学报,2012,35(4):64-67. LI Yan-ling,LI Bing-bing,LIU Ming-qian.Spatial Diversity Based MQAM Modulation Classification in Rayleigh Fading Channel[J].Journal of Beijing University of Posts and Telecommunications,2012,35(4):64-67.(in Chinese)
[6]Hyvarinen A,Oja E.Independent component analysis:algorithms and applications[J].Neural Networks,2000,13(4-5):411-430.
[7]Hyvarinen A.Fast and robust fixed-point algorithm for independent component analysis[J].IEEE Transactions on Neural Network,1999,10(3):626-634.
[8]张学工.统计学习理论的本质[M].北京:清华大学出版社,2000. ZHANG Xue-gong.The nature of statistical learning theory[M]. Beijing:Tsinghua University Press,2000.(in Chinese)
FENG Xiang was born in Xinyang,Henan Province,in 1968.He received the Ph.D.degree from Xidian University in 2008.He is now a professor.His research interests include communication countermeasure,digital signal processing and adaptive transmission.
Email:wirelessfx@126.com
陈良彬(1976—),女,河南信阳人,硕士,讲师,主要研究方向为网络安全、保密通信等。
CHEN Liang-bin was born in Xinyang,Henan Province,in 1976.She is now a lecturer with the M.S.degree.Her research concerns network security and secret communication.
Modulation Classification Algorithm Based on PCA and ICA
FENG Xiang,CHEN Liang-bin
(The First Aeronautical Institute of Air Force,Xinyang 464000,China)
A principal component analysis(PCA)and independent component analysis(ICA)based modulation classification algorithm is presented.The samples are first processed by PCA to reduce their dimension and eliminate their redundancies,and then the classification features are obtained by the FastICA algorithm.The Support Vector Machine(SVM)is applied to solve the non-separable problem in low dimension space.The algorithm is less complex computationally and has faster classifier training speed compared with other algorithms.The extensive simulation results show that the proposed algorithm has only 1.8 dB SNR loss,and exhibits better classification performance under Rayleigh channel and medium movement condition.
communication signal;modulation classification;principal component analysis;independent component analysis;support vector machine
date:2013-05-16;Revised date:2013-06-18
❋❋通讯作者:wirelessfx@126.comCorresponding author:wirelessfx@126.com
TN911
A
1001-893X(2013)07-0864-04
冯祥(1968—),男,河南信阳人,博士,教授,主要研究方向为通信对抗、数字信号处理、自适应传输等;
10.3969/j.issn.1001-893x.2013.07.008
2013-05-16;
2013-06-18