模型替代方法在优化设计中的应用

刘万刚,宋述芳,樊维超,吕震宙

(西北工业大学 航空学院,西安 710072)



模型替代方法在优化设计中的应用

刘万刚,宋述芳,樊维超,吕震宙

(西北工业大学 航空学院,西安 710072)

在优化设计问题中,常常会遇到目标响应与设计变量之间具有隐式函数关系的情况.针对此类问题,模型替代方法可以通过寻找输入参数和输出响应之间的转换关系来替代真实未知的目标函数.考虑了响应面法(RSM)、Kriging模型、径向基函数(RBF)神经网络和高阶模型替代法(HDMR)等常见的模型替代方法,对它们的原理、优缺点进行了对比分析.对优化算法进行了改进,提出了截断多初始点搜索优化算法,以期尽可能全面地搜索其全局最优点,为结构设计提供全面的指导.

模型替代; 径向基函数(RBF)神经网络; Kriging模型; 高阶模型替代法(HDMR); 响应面法(RSM)

在实际工程优化设计过程中,性能目标与设计变量之间常常不具有显式的函数关系式,且通常表现为高度非线性、多参数等特性.近年来提出的替代模型方法可以有效运用实验点,构造模型输入—输出转换关系,以有效解决此类隐函数问题.目前比较常用的Kriging模型、径向基神经网络模型、响应面模型、高维替代模型等的代理模型[1-4].本文比较了不同情况下,上述代理模型的运用效果,为更好地深入了解这几种代理模型在优化问题中的运用作铺垫.

直接搜索优化算法通过在可行域内反复调用目标函数进行寻优,存在耗时多、效率低、易于陷入局部最优等缺点.本文采用代理模型替代目标函数,在此基础上发展了截断多初始点搜索优化算法,以期尽可能全面地搜索全局最优,为结构设计改型提供尽量全面的指导和依据.

1 模型替代方法及对比分析

1.1 Kriging方法

Kriging模型是一种最优的线性无偏估计,它包含了线性回归部分和非参数部分[5].一般来说,Kriging模型的形式为

y(x)=G(β,x)+z(x)=gT(x)β+z(x)

(1)

式中：β为回归系数;g(x)为变量x的多项式函数.在设计空间中,提供模拟的全局近似,非参数部分z(x)提供模拟的局部近似,一般为服从正态分布N(0,σ2)的随机过程,其协方差矩阵Cov(Covariance)可以通过极大似然估计确定:

(2)

式中：R(xi,xj)为N个样本点{x1,x2,…,xN}中任何两个样本点xi和xj的空间相关方程,一般采用高斯相关方程,它对模拟的精度程度起决定性作用.

(3)

(4)

式中：极大似然估计因子为

(5)

式中：G为由样本点和多项式函数g确定的回归系数矩阵.通过极大似然估计确定相关矩阵的参数θk,就可以得到最优的Kriging模型.

1.2 径向基函数神经网络

人工神经网络(Artificial Neural Networks,ANN)是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型[6].径向基函数(Radial Basis Function,RBF)神经网络,是一种高效的前馈式神经网络,具有最佳逼近性能和全局最优特性,且结构简单,训练速度快,广泛应用于模式识别、非线性函数逼近等领域.

RBF网络是通过非线性基函数的线性组合实现从输入空间到输出空间的非线性转换.径向基神经网络一般使用径向基函数(常用高斯函数)作为激活函数[7],

(6)

式中：xp为训练样本;ci为所选取的中心.通过自组织选取中心学习方法,可以得到网络输出为

(7)

隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到,计算公式如下

(8)

式中:cmax为所选取中心之间的最大距离;N为样本的个数.

1.3 响应面法及高阶模型替代法

1.3.1 响应面法

响应面法(Response Surface Method,RSM)的基本思想就是先选定用于近似隐式函数的多项式形式,然后通过实验点来确定近似函数中的待定参数[3].RSM的实现过程中涉及的问题有:① 响应面函数形式的选取;② 实验样本点的抽取方式;③ 响应面函数拟合的方法.

目前运用得较多的响应面形式是线性响应面(LRSM)和二次响应面(SRSM):

(9)

(10)

线性响应面中的待定系数少,因而拟合响应面所需的样本就少,从而可以减少工作量,但它不能够反映隐式函数的非线性.二次响应面因其引入了二次项,可以一定程度上反映隐式极限状态方程的非线性.目前确定响应面待定系数的常用方法是加权最小二乘法.

Bucher设计是目前运用最广泛的抽样方式,它围绕抽样中心,并沿坐标轴正负方向分别偏离一定距离来选取样本点,偏离距离一般取为τ倍的基本变量xi(i=1,2,…,n)的标准差σxi,τ称为插值系数,一般取为1～3之间的常数.

为了进一步考虑隐式函数的非线性程度,Rabitz等[4]提出了高维模型替代方法.

1.3.2 高阶模型替代法

高阶模型替代法(High Dimensional Model Representation,HDMR)的基本思想:输出量y(x)可以用多个单一输入变量的独立作用和变量之间的耦合作用的叠加来表示,即y(x)可以表示成如下形式:

(11)

式中:g0为0阶常数项;gi(xi)为1阶分量函数,表示变量xi对输出的单一作用;gij(xi,xj)为2阶分量函数,表示变量xi和xj相互耦合后对输出的联合作用;g1,2,…,d(x1,x2,…,xd)为d阶分量函数,表示所有分量耦合后对输出的联合作用.

忽略高阶耦合影响,y(x)可表示为

(12)

采用正交多项式逼近其分量函数,文献[8]得出的y(x)表达式为

(14)

1.4 算例验证与对比分析

算例1 Rosenbroke 函数(变量数d=3)

从图1可以看出,对于多项式形式的函数,Kriging、RBF神经网络、HDMR均能很好地得到真实函数的代理模型.

图1 算例1的代理模型对比

算例2 Ishigami 函数

从图2可以看出,对于含有sin/cos的非线性程度较大的函数,Kriging方法比RBF神经网络和HDMR具有较大的优势,后两者与真实函数之间有一定的差异,但误差在可接受的范围内.

图2 算例2的代理模型对比

2 基于模型替代的优化设计算法

本文对优化算法进行了改进,以期尽可能全面地搜索全局最优结果,以便为结构设计提供全面的指导.

2.1 优化问题的数学模型[9]

minf(x)

s.t.up(x)=0 (p=1,2,…,nu)

vq(x)<0 (q=1,2,…,nv)

(15)

2.2 截断多初始点搜索优化算法

为了寻找到所有的全局极小值,阶段自适应优化算法的优化过程包括如下内容:在[xl,xu]的d维空间上产生均匀分布的样本点;通过截断选取确定所需的多个初始点;基于多初始点搜索技术获取所有的全局最小值(x*,f(x*)).其具体实施步骤如下:

(1) 设定i=1,k=1,最大迭代次数kmax.

(2) 在d维空间中产生样本x={x1,x2,…,xN}.

(3) 估计目标函数在样本点x处的函数值,并将函数值{fi}按从小到大的顺序排列,从x中并且选取缩减的xr,根据xr={xi∈x|i=1,2,…,Nr,Nr=αN,α=0.2～0.5}.

(4) 从xr中选取搜索初始点xi,i=i+1.

(5) 如果i

(6) 如果k=kmax,或满足迭代停止准则,则输出所有全局最优点;否则,返回步骤(2).

2.3 模型替代在优化中的运用流程

利用一些模型函数来表示复杂的未知函数,包括Kriging、RBF神经网络、HDMR方法,其对应的优化流程图如图3所示.

图3 模型替代在优化中的运用流程图

3 算例分析

3.1 Branin 函数

全局最小值f(x*)=0.398在点x*={(-π,12.275),(π,2.275),(9.425,2.475)}处.

图4 Branin 函数的等高线

3.2 Ishigami 函数

全局最小值为-10.740 9,共有6个,在点(x1=-π/2,x2=±π,0,x3=±π)处取得.

在无约束情况下,从表1和表2可以看出,Kriging方法具有最优的优化效果,可以很快而且准确地找到全部的最优点,相比之下RBF和HDMR方法因构建代理模型精度有偏差,所需的样本点数和迭代次略大,但是依然能够找到所有的全局最优点.

3.3f(x)=x1x2

全局最小值为-12.5,在点x*={3.54,-3.54},x*={-3.54,3.54}处取得.

从表3的结果对照可以看出,在有约束的条件下,3种方法都可以很好地找到最优点,其中RBF方法中函数调用次数最少,只需1次迭代,Kriging和HDMR方法也都有较好的优化结果.

3.4 工程算例

表1 Kriging、RBF神经网络、HDMR方法的Branin函数优化结果对照

注：Nnew代理模型产生的样本点数;Iteration 为生成代理模型的次数;No.f.call为调用真实目标函数的次数;Nlocal-search为局部寻优的次数;Nmetamodel.call为调用代理模型的次数.表2中的所有符号含义相同

表2 Kriging、RBF神经网络、HDMR方法的Ishigami函数优化结果对照

最终优化结果为7.088 6,最优点的变量取值为x*={0.714 0,0.5,0.971 4,0.5,0.5,0.5,0.906 4,0.5,0.5,0.5}.

从表4的结果对照可以看出,Kriging和HDMR方法都很好搜索出其全局最优解,RBF方法结果略有欠缺,这是因为目标函数本身是线性函数,如果把RBF的激活函数变为线性激活函数,结果会有改进.

图5 十杆结构

表3 Kriging、RBF神经网络、HDMR方法的带约束优化结果对照

表4 Kriging、RBF神经网络、HDMR方法的十杆结构优化结果对照

4 结论

Kriging方法整体来看具有最好的效果,该方法中由G(β,x)提供模拟的全局近似,而z(x)提供模拟的局部近似,很好地兼顾到了整体和局部两者的关系,所以一般具有很好的效果.RBF神经网络利用反向传播学习算法应用递归技术,对于非线性函数的逼近效果很好,具有良好的泛化能力和较快的学习收敛速度.RSM能有效解决线性和非线性程度不高的函数逼近问题,为了能将其适用于非线性程度较大的情况,研究人员提出的HDMR,可以实现自适应,以保证其逼近的精度.将Kriging、RBF神经网络、HDMR方法应用于逼近优化问题的目标函数,采用截断多初始点搜索优化算法能够很好地搜寻优化问题的全部的全局最优点,它们在优化时间、迭代次数、函数调用次数有细微的差异,整体上来看Kriging方法具有最好的替代效果.

[1] 李彬.径向基函数神经网络的学习算法研究[D].济南:山东大学,2005.

LIBin.Researchonlearningalgorithmsofradialbasisfunctionneuralnetworks[D].Jinan:ShandongUniversity,2005.

[2]KAYMAZI.Applicationofkrigingmethodtostructuralreliabilityproblems[J].StructuralSafety,2005,27(2):133-151.

[3]RAJASHEKHARMR,ELLINGWOODBR.Anewlookattheresponsesafeapproachforreliabilityanalysis[J].StructuralSafety,1993,12(3):205-220.

[4]RABITZH,OMERFA.Generalfoundationsofhighdimensionalmodelrepresentations[J].JournalofMathematicalChemistry,1999,25(2):197-233

[5] 张崎,李兴斯.基于Kriging模型的结构可靠性分析[J].计算力学学报,2006,23(2):175-179.

ZHANGQi,LIXingsi.Analysisofstructuralreliabilitybasedonkrigingmodel[J].ChineseJournalofComputationalMechanics,2006,23(2):175-179.

[6]ELHEWYAH,MESBAHIE,PUY.Reliabilityanalysisofstructuresusingneuralnetworkmethod[J].ProbabilisticEngineeringMechanics,2006,21(1):44-53.

[7]LEES,KILRM.Agaussianpotentialfunctionnetworkswithhierarchicallyself-organizinglearning[J].NeuralNetwoks,1991,4(2):207-224.

[8]FEILB,KUCHERENKOS,SHAHN.Comparisonofmontecarloandquasimontecarlosamplinginhighdimensionalmodelrepresentation[C]//1stInternationalConferenceonAdvancesinSystemSimulationSIMUL,September20-25,2009,Porto,Portugal.2009:12-17.

[9]YOUNISA,DONGZM.Trends,featuresandtestofcommonandrecentlyintroducedglobaloptimizationmethods[J].EngineeringOptimization,2010,42(8):691-718.

Comparison of different metamodeling methods for optimization design

LIU Wangang,SONG Shufang,FAN Weichao,LÜ Zhenzhou

(School of Aeronautics,Northwestern Polytechnical University,Xi’an 710072,China)

For the structural optimization design,the relationship between the objective function and design variables is a high nonlinear,and high dimensional implicit function.How to cope with these cases? Metamodeling methods can be used to capture the association patterns between input variables and output response.The response surface method(RSM),kriging model,radial basis function(RBF)based neural network and high dimensional model representations(HDMR),are presented,the effectiveness and versatility of those methods are identified by several numerical examples.Metamodeling methods are proposed to apply for optimization design.The optimization algorithm is developed to search all the global minimums by selected multiple initial points.Thus it can provide the guidance for structural design.

metamodeling method; radial basis function(RBF)based neural network; kriging model; high dimensional model representations(HDMR); response surface method(RSM)

国家自然科学基金重点资助项目(NSFC51308459);中央高校基本科研业务费资助项目(310201401JCQ01014,3102015BJ(II)CG009)

刘万刚(1978—),男,博士生.E-mail:lwgyeah@163.com

宋述芳(1982—),女,副教授,博士.E-mail::shufangsong@nwpu.edu.cn

O 224

A

1672-5581(2017)02-0119-06