聚类加权PSO-LSSVR的模拟电路性能在线评价策略

张爱华， 王永超

（渤海大学工学院，辽宁锦州121000）

聚类加权PSO-LSSVR的模拟电路性能在线评价策略

张爱华， 王永超

（渤海大学工学院，辽宁锦州121000）

针对模拟电路性能在线评价中现场数据采集不可避免产生错值和干扰的问题，运用模糊C-均值聚类（FCM）方法，根据数据特征将电路模型分为多个子模型，同时对子模型样本进行加权；利用标准支持向量机（LSSVR），结合粒子群算法（PSO）对于参数优化的优越性，实现对于错值、干扰参数的有效抑制。考虑到传统的离线评价策略在训练样本组发生变化时，存在模型不能适时调整等问题，引入增减交互更新设计，实现模型的快速在线更新。实验以高效模拟电路实验为依托，采用近两年内由精密仪器设备测评所得的传统的OTL放大电路的八项技术指标构建训练集，建立PSO-LSSVR的组合模型进行在线评价。结果表明：该方法能有效处理错值和干扰所带来的回归偏差，性能优于传统LSSVR法、ε-SVR法，评价精度与精密仪器性能评价精度近乎相同，同时具有运算速度优的优势。仿真实验进一步验证了模拟电路性能评价方法PSO-LSSVR的有效性。

PSO-LSSVR；增减交互；模拟电路；在线性能评价

模拟电路因其广泛的应用性，受到研究者们的关注。同时，又因自身及其故障的多样性和复杂性，导致模拟电路的故障复杂和多样，使得现有的模拟电路性能评测策略不能完全满足需求。目前，神经网络、支持向量机（SVR）［1-3］、遗传算法等关键技术的快速发展，为复杂、大规模发展的模拟电路应用技术及其精确的性能评价提供了有效空间。笔者提出了聚类加权PSO-LSSVR的模拟电路性能在线评价策略，以期达到比传统方法具有更好的数据处理能力，回归精度高，运算速度快的目的。

1　增减交互更新算法引入

针对异常点问题，2002年，Suykens等［4］通过对样本加权提出了加权LSSVR，虽然增加了鲁棒性，但权重选择为常数，易受到LSSVR参数选择的影响。2008年张爱华等［5］提出SVR的放大器性能评价方法，该方法虽然具有评价精度优、成本低等优点，但它未考虑实际数据包含异常点（错值和干扰）等现实问题，同时该设计实现困难，且收敛速度慢。文献［6］中，提出基于密度加权的PSVM方法，虽权重不为常数，但受模型密度选择的影响，对错值处理能力偏弱。文献［7］将RBF网络引入鲁棒LSSVR，虽然增加了鲁棒性，但仍面临着权值初始选择及结构确定困难等问题。针对上述不足，笔者将FCM引入到模拟电路的性能评价方中。由于FCM生成的模糊隶属度直接相关于每个样本，并不为常数，所以FCM不仅用来生成LSSVR子模型，而且还可以为新生成的子模型样本进行加权，进而进行组合预测。

结合FCM后虽提高了回归精度，但仍存在核计算量大，训练时间长等不足。针对快速时间响应的需求，唐春霞等［8］采用交叉验证的方法对LSSVR参数进行优化处理，实现了一定的时间响应速度的提升，但其缺点在于但时间优化的角度存在一定的盲目性。此外，Chen Zhen等［9-10］采用遗传算法实现了LSSVR参数的优化处理，其优点在于问题的处理不依赖于问题所需数学模型，缺点是该评价策略的实现较为困难，且时间响应速度收效甚微。PSO算法作为一种基于种群的随机优化方法，可以同时搜索待优化目标函数解空间中的较多区域，寻优能力较为突出，且收敛速度较优，该算法被引入文中，以实现参数选择。同时，文中引入增减量交互更新算法解决了原有的离线学习算法对于训练样本组发生变化时模型调整受限的问题，以保证样本总数在一定范围内。增减量交互更新算法的引入，既克服样本数据过多而带来的运算滞障，又兼顾历史数据的重要性。

2　模糊C-均值聚类

FCM是从硬C-均值算法（记为HCM）推广而来，其算法如下。

v=（v1，v2，…，vc-1，vc）；

m——隶属度的加权系数，m＞1，其约束为

由约束式（2）优化式（1），得

模糊C-均值聚类算法是，基于误差平方和目标函数准则给出初始方案后，通过式（3）、（4）反复迭代，使得目标函数式（2）达到极小。

3　PSO-LSSVR预测模型

3.1最小二乘法支持向量回归机理

设S=｛si|si=（xi，yi）｝表示所记录下的样本数据，其中xi（xi∈R Rn）表示第i个样本的输入值；yi（yi∈R R）表示相应输入样本所对应的输出值。针对所记录样本S=｛s1，s2，…，sn-1，sn｝的回归求解问题，将输入值通过低维到高维空间映射φ（x）：R Rd→R R¯d，该特征空间的回归函数可表示为

式中：φ（x）——特征函数；

w、b——待求的回归参数。

LSSVR目标为追求经验风险与结构风险最小化，其最小化风险函数为

在式（6）中，设定损失函数为平方和，并由等式约束条件替代不等式约束条件。由此，该优化问题［11］可转化为：

式中：γ——惩罚系数；

J（w，e）——目标函数，其值大小决定了对误差的惩罚力度；

e——表示样本估计误差向量，e=（e1，e2，…，eN-1，eN）T。

LSSVR期望从该优化问题（7）中获得形如yi= w·φ（xi）+b的估计式，以保证对未来样本进行正确的测试与诊断。同时，为了解决如何确定特征函数φ（xi）等问题，拉格朗日乘子及矩阵变换方法被引入，进而式（7）的优化问题可表示为

式中：A≡Ω+γ-1I；

Ωij=k（xi，xj）；

1=［1，1，…，1，1］T；

y——样本输出向量，y=［y1，y2，…，yN-1，yN］T；

a——拉格朗日乘子向量，a=［a1，a2，…，aN-1，aN］T。

进而可求解式（8）的b、a得到LSSVR模型为

其中，k（xi，xj）为满足Mercer条件的核函数。选用高斯径向基（RBF）核函数

式中：σ——核函数宽度。

而核函数宽度σ、惩罚因子γ为LSSVR的两个主要参数，该参数对的确定对LSSVR模型的学习与泛化能力影响［12］。文中采用改进的粒子群算法［13］来优化选择参数对（σ，γ）。

3.2改进的粒子群优化算法

在PSO算法中，ui=（ui1，ui2，…，uim-1，uim）为粒子i的位置向量，pi=（pi1，pi2，…，pim-1，pim）为第i个粒子所经历过的最好位置，每个粒子的速度向量表示为vi=（vi1，vi2，…，vim-1，vim），种群中所有粒子经历过的最好位置pg=（pg1，pg2，…，，pgm-1，pgm），粒子i的速度、位置更新为

式中：r1、r2——随机数且选自于［0，1］；

w——惯性权重，其作用在于平衡算法的全局搜索/局部搜索能力。

w参数在进化过程中的动态调整尤其重要，文中采用代数线性递减方法实现惯性权重w实现进化，具体表达为

式中：wmin、wmax——惯性权重的最小值和最大值；

iter——当前迭代次数；

itermax——最大迭代次数。

在PSO算法中，c1和c2分别表示粒子的自我学习因子及社会学习因子，此处取常数2来表示。进化初期，为保证粒子可以在整个搜索空间飞行，粒子应具有较强的自我学习能力和较弱的社会学习能力；而在进化后期，为使粒子趋于全局最优，则需要保证粒子具有较弱的自我学习能力和较强的社会学习能力。基于上述需求，同时保证所提算法具有良好收敛性，选用学习因子c1、c2动态调整策略，

式中，c1s、c1e、c2s、c2e分别为c1和c2初始值和最终值，一般c1s=2.5、c1e=0.5、c2s=0.5、c2e=2.5时算法效果最好。

4　PSO-FLSSVR增减交互更新算法

传统的离线评价策略当模型训练样本组发生变化时，并不能适时调整，往往需要对整个训练数据集进行反复训练。对于文献［14-16］中提出的增量学习算法，虽然能够充分的利用历史数据，但当训练数据集过多时，会大大降低系统的训练速度，且当时间过久后会出现无用样本，此时的无用样本就相当于干扰，会降低模型的回归精度。为此文中设计的PSO-LSSVR模型中引入增减量学习交互更新算法。当有新数据加入时，采用增量学习法完成在线模型的实时更新，当新数据组增长到V时，采用减量学习法，以保证PSO-LSSVR模型运算速度的快速性。

4.1增量学习更新模型

定义PSO-LSSVR模型由M个样本建立，当第M+1个样本加入时，需要训练所有样本组以得到新模型。设初始样本集为

若第k个采样时刻，PSO-LSSVR模型已存入D（D＞M）个样本，则当第k+1个样本存入时，则PSO-LSSVR回归模型更新为

aD+1、bD+1——更新后的拉格朗日乘子和模型偏置量。

由分块矩阵和求逆公式［17-18］得到HD+1的递推公式：

式中：HD=Φ-1D；

4.2减量学习更新

当模型因增量学习更新至ζ个样本时，则进行减量学习。删除ζ-k个样本后，需要训练剩余的D个样本以得到PSO-LSSVR更新模型。

设当前PSO-LSSVR模型为

且Aζ-1已知。式中，

从模型中删除样本（xk，yk），则更新后的模型参数为

由文献［18］可知

式中，

因Aζ-1已知，此处设定为2，…，ζ-1，ζ。则Q可通过删除的第k行和第k列得到，即

ζ-1个样本对应的PSO-LSSVR模型参数或通过式（15）确定以此类推，可确定ζ-M个样本对应的PSO-LSSVR模型参数。

4.3PSO-LSSVR算法流程

PSO-LSSVR算法流程分四个步骤，详见图1。

步骤1：确定PSO-LSSVR子模型的核函数类型，初始化聚类数目c，进行减量过程的样本容量ζ，算法终止条件ξ。

步骤2：FCM算法对离线数据进行聚类，生成c个类，对每类中的样本计算其子模型样本权值和子模型的核参数惩罚因子γ和核宽度σ，生成c个PSO-LSSVR子模型。

步骤3：对预测样本进行预测，计算其均方根误差MSE，若小于ξ，则终止循环，确定最终PSOLSSVR模型；否则进入步骤4。

步骤4：加入新样本后若样本总数M≤ζ，则进行增量更新，返回步骤2；否则采用减量更新，返回步骤2。

图1　PSO-LSSVR算法流程Fig.1 FlowchatofPSO-LSSVR

5　仿真实验

5.1数据采集及处理

实验电路采用模拟电子技术中典型的带自举电路的OTL功率放大器作为测试电路。仿真软件选用Multisim12.0，OTL功率放大器如图2所示。

放大器性能评价指标主要包括放大器增益、上下限截止频率、通频带、输入灵敏度、噪声电压、最大不失真输出幅度及最大不失真输出功率等八项指标。通过仿真实验，可以获取到Ui-t、Uo-t、UN-t及Au-f四组训练样本，考虑到噪声电压在1 ms后趋于稳定，前三组样本的工作空间定义为［1，2］ms，在Au-f中频率f的变化范围为MHz以上，而放大倍数Au在200 Hz时已进入通频带，为了能较好的得到回归结果，此处将工作空间定义为［0，1］kHz，即可确定通带下限fL，同理，当此处将工作空间定义为［1，25］MHz时，即可确定通带上限fH。首先，针对获得的训练样本组，分别从中随机选取100组样本作为实验的数据，并对这100组样本的输出分别加入3个150%错值和3个350%的干扰数据，以保证获得样本与实际现场采集数据的相似性。其次，可对这100组数据进行归一化处理，将其归一化到［0，1］，并选取50组样本作为离线训练样本，20组作为预测样本，30组样本作为电路模型发生变化时的训练数据集。为了充分证明PSO-LSSVR的精确性和可靠性，又分别采用LSSVR法、传统ε-SVR对此数据集进行了回归性能评价分析。

图2　带自举电路的OTL功率放大器Fig.2 OTL power am p lifier w ith bootstrap circuit

5.2数值实验

实验中确定所测试放大器的电压增益Au、通频带带宽fBW、通频带上限截止频率fH、下限截止频率fL、最大不失真输出幅度Uom、最大不失真输出功率Pom、输入灵敏度US及噪声电压UN等八项技术评价指标，由输出yi∈｛-ε，ε｝，表示是否符合性能评价标准。通过参过改进的PSO优化算法实现模型参数对（σ，γ）的优化，同时确定初始化聚类数目c，进行减量过程的样本容量V，算法终止条件ξ。根据训练数据对支持向量进行分别训练训练样本的数据特性及误差对比，评价结果见表1～3。

表1　训练样本的数据特征及误差对比结果Table 1 Result of data feature and com parative error of training sam p le

表2　测试样本的数据特征及误差对比结果Table 2 Resu lt of data feature and comparative error of testing sam ple

表3　评价结果对比Table 3 Result of comparative assessment

在实验中，取参数γ=1 000，同时c=6，ξ= 0.10，V=30。文中采用均方误差（MSE）及最大绝对误差（MAE）作为测试指标。

式中，Yi为实际值为预测值；K为测试样本的数量。

对所有的样本数据都进行归一化处理，最终结果采用15次实验的平均值进行分析评价。表1、表2可见，PSO-LSSVR对错值的处理能力明显优于LSSVR及ε-SVR。表3给出了三种方法对OTL电路的八项技术指标进行评价的结果及各算法所用训练时间的平均值，为了对比评价结果的精度，评价中还给出了仿真实验的理论值。

图3给出了三种算法下输出UO关于模型运行时间的局部回归效果对比曲线。

图3 输出UO局部回归效果对比曲线Fig.3 Local regression effect com parison cu rves of UO

图3中不仅可以看到，PSO-LSSVR回归方法在仿真设定的异常点面前，能够克服错值和非明显的错值对于回归信息的影响，同时，也能够体现出文中方法较优的运算速度，适于实现在线评测。图4给出了三种算法下增益Au关于输入信号的频率响应的回归效果对比曲线，从考虑异常数据及未考虑异常数据两种仿真曲线中，均可以获知文中所提文法对于异常值处理的能力。

图4　增益Au回归效果对比曲线Fig.4 Regression effect com parison curve of Auw ithout abnormal point

6　结束语

笔者针对传统的模拟电路性能评价方法对于异常点处理的缺陷，提出了基于聚类加权的PSOLSSVR模拟电路性能在线评价方法。采用标准LSSVR，结合粒子群算法的优越性，并应用FCM方法化分电路模型来加权组合预测有效处理了包含错值的数据集。此外，考虑到传统的离线评价策略对于训练样本组发生变化时，存在模型不能适时调整等问题，将增减交互更新设计引入到文中的性能评价策略中。在实际应用中，基于PSO-LSSVR的评测方法具有评价精度优、运算速度高、开发成本低、易于实现等特点。该评价策略值得研究与开发。

［1］ VAPNIK V N.The nature of statistical learning theory［M］.New York：Springer-Verlag，1995.

［2］ BRAZAIL P，SOARESC，COSTA J.Rankinglearningalgorithnm：U-singIBL andmeta-learningonaccuracyandtimeresults［J］.M-achineLearning，2003，50（3）：251-277.

［3］ CHAPELLE O，VAPNIK V，BOUSQUET O，et al.Choo-sing multip le parametersforsupportvectormachines［J］.Machine Learning，2002，46（1）：131-159.

［4］ SUYKENS JA K，BRABANTER JD，LUKAS L，etal.Weighted least squares support vectormachines：robustness and sparse approx-imation［J］.Neurocomputing，2002，48（1）：85-105.

［5］ 张爱华，于忠党.基于支持向量回归的放大器性能评价研究［J］.仪器仪表学报，2008（3）：618-622.

［6］ 王熙照，崔芳芳，鲁淑霞.密度加权近似支持向量机［J］.计算机科学，2012（1）：182-184.

［7］ KAWAMURA S，MIYAZAKIF，ARIMOTO S.Realization of robotmotion based on a learning method［J］.IEEE Trans on System，Man and Cybernetics，1988，18（1）：126-134.

［8］ 唐春霞，阳春华，桂卫华，等.基于KPCA-LSSVM的硅锰合金熔炼过程炉渣碱度预测研究［J］.仪器仪表学报，2010（3）：689-693.

［9］ CHEN ZHEN，AN YIHUANG.Modeling and simulation of the-GA-LSSVM-based soft measurement for torque［J］.AppliedMechanics and Materials，2010，44（7）：733-737.

［10］ BEZDEK J C.Pattern recognition with fuzzy objective function algorithms［M］.New York：Plenum，1981.

［11］ 张淑宁，王福利，尤富强，等.基于鲁棒学习的最小二乘支持向量机及其应用［J］.控制与决策，2010，25（8）：1169-1177.

［12］ 程启明，王勇浩.基于最小二乘算法的模糊支持向量机控制器及其应用［J］.中国电机工程学报，2007（8）：76-80.

［13］ 龙 文，梁昔明，龙祖强，等.PSO-LSSVM灰色组合模型在地下水埋深预测中的应用［J］.系统工程理论与实践，2013（1）：243-248.

［14］ 毛建洋，黄 道.一种新的支持向量机增量算法［J］.华东理工大学学报：自然科学版，2006（8）：989-991.

［15］ 曹 杰，刘志镜.基于支持向量机的增量学习算法［J］.计算机应用研究，2007（8）：48-49.

［16］ 唐小力，吕宏伟.SVM增量学习算法研究［J］.电脑知识与技术，2006（5）：160-162.

［17］ WILSON A，FEM A，RAY S，et al.Multi-task reinforcement learning：a hierarchical Bayesian approach［C］//Proc of the 24 th international conference on machine learning.New York：ACM，2007，1015-1022.

［18］ 高润鹏，伞 冶，朱 奕.基于减量学习的鲁棒稀疏最小二支持向量回归机［J］.探测与控制学报，2011，33（11）：14-21.

（编辑徐 岩）

New PSO and LSSVM regression based on clustering weighted to evaluate analog circuit performance online

ZHANG Aihua， WANG Yongchao
（College of Engineering，Bohai University，Jinzhou 121000，China）

This paper features a novel PSO-LSSVR building on clustering weighted scheme as a viable alternative to the analogy circuitwhich suffers an inherent drawback in performance evaluation online，namely the inevitable production of the wrong values and interference due to on-site date collection.This alternative strategy involves firstly dividing the circuitmodel intomultiple sub-models via fuzzy clustering mean（FCM）according to data features，and weighting the samples of the sub-models simultaneously；secondly，effectively inhibiting the wrong values and disturbance parameters by combining the norm LSSVR with PSO superior in terms of parameters optimization；and thirdly，introducing the incremental or reduced learning interaction to update themodel online in response to the traditional offline evaluationmodel incapable of real-time adjustment to the changing samples.The strategy is validated by the experiment drawing on the college analog circuit experiments，the construction of the training set using the traditional OTL performance eight indexes，obtained via precision instrument evaluation in recent two years，and the realization of evaluation online by developing the PSO-LSSVRmodel.The results reveal that the proposed method PSO-LSSVR capable of effectively dealing with the regressive deviation caused by the wrong values shows a performance superior to that of the traditionalmethods，such as LSSVR，andε-SVR，an evaluation accuracy approximate to thatof the precise instrument，and a better operation speed.The simulation verifies the reliability and validity of PSO-LSSVR evaluation method.

PSO-LSSVR；incremental or decremental interaction；analog circuit；online performance evaluation

10.3969/j.issn.2095-7262.2014.05.024

TP183；TN710

2095-7262（2014）05-0546-07

A

2014-07-10

国家自然科学基金项目（61304149）；辽宁省自然科学基金项目（2013020044）

张爱华（1977-），女，满族，辽宁省抚顺人，副教授，硕士，研究方向：航天器姿态控制，E-mail：Jsxinxi-zah@163.com。