灵敏度分析根据输入参数对输出影响的大小来评估模型输入参数的重要性.通过研究灵敏度分析结果,研究员可以将重要性较小的输入因素设为定值或者直接去掉, 大幅减少模型和问题的复杂性;研究员还可以通过灵敏度结果,优先利用有限的资源来改进重要性较大的输入因素, 有针对性地提升模型表现,并得到针对模型输出的归因分析结果.
灵敏度分析包括全局灵敏度分析和局部灵敏度分析.其中, 局部灵敏度分析实现简单、计算量少, 但只能反映局部点的单项不确定因素的灵敏度信息, 一般适用于线性模型.全局灵敏度分析方法可以反映不确定因素在整个变化空间内对输出的影响, 适用于非线性、非单调的复杂系统.
Sobol’ 法是一种基于方差的全局灵敏度计算方法, 其将系统输出方差分解为由各输入变量所决定的方差之和, 从而定量分析输入变量对系统输出的影响.文献[6]对比分析了Sobol’法和其他全局灵敏度分析法,发现Sobol’法是评价集总式系统单个参数灵敏度和多参数相互作用灵敏度的最有效方法之一.但是, Sobol’全局灵敏度分析法需要另外构建系统模型, 因此灵敏度的计算精度和准确性很大程度上受到系统模型的影响.由于Sobol’法的计算核心是Monte Carlo方法, 假设参数在定义域内均匀分布, 这导致Sobol’ 法的局限性很强,定义区间如果受到脏数据或者离散点的影响, 准确率将大大下降, 在实际问题中平均分布的假设很难满足, 计算准确性难以保证, 并且无法处理未知模型.文献[9]在Sobol’法的基础上提出使用多维Fourier变换来降低计算成本的Fourier幅度灵敏度检验(FAST)法. 文献[10]提出了一种结合FAST和随机平衡设计的方法.文献[11]对这些方法进行了整合和改进.但是这些方法并没有从根本上解决Sobol’ 法存在的问题,计算量依然很大且有和Sobol’法一样的局限和缺点.文献[12-13]提出基于人工神经网络的灵敏度分析方法,通过把人工神经网络与灵敏度分析结合,计算不同气象条件下蒸发过程的灵敏度.文献[14]提出使用神经网络结合数据处理(GMDH)组合方法计算Sobol’灵敏度.使用神经网络在解决复杂非线性系统的模拟问题的同时,计算出系统全局灵敏度的方法在当下得到了比较多的关注, 由于不需Monte Carlo 采样, 这种方法计算效率更高.但是传统神经网络本身存在训练参数太多、无法提取高维深度相关特征和局部特征以及网络层数不宜过深的问题, 而且传统神经网络在建模的时候并没有考虑后续求灵敏度这一步骤,二者存在割裂,导致求得的灵敏度区分度低,该方法实现效果并不理想.
教学评价是教学体系中一个重要的环节,对教学效果有直接的影响。有效的教学评价可以让学生认识到自身的不足,从而有针对性地改善学习方法。在传统的小学语文课堂教学中,语文教师通常只评价学生的学习结果,很少去关注和评价学生的学习过程。这种情况下,学生只知道自己做得不好,但是却不知道自己哪里做得不好。新形势下,语文教师可以利用信息化教学改善这一现状。例如:在写作教学中,当学生完成作品之后,语文教师可以通过多媒体将学生的作品展示出来,然后让学生进行自我评价,接着让其他学生进行评价。这样就能丰富评价主体,让评价内容更加全面、客观,学生对自身的不足有一个全方位的认识,从而有针对性地改善自己,提升自己。
针对上述问题,将深度学习方法引入全局灵敏度的计算中, 利用深度学习方法对交叉特征的提取能力同时提升模型的表现和全局灵敏度分析的准确性,创新性地提出SInception-卷积神经网络(CNN)模型.该模型的创新点包括:① 通过针对灵敏度分析设计的特征打散机制和SInception网络结构增加模型的局部特征组合能力;② 提出串行修正线性单元(CReLU)激活函数增加灵敏度计算结果的稀疏性;③ 在训练深度学习网络时额外引入L1正则化,以增加网络参数的稀疏性,提升后续灵敏度计算的区分度和准确性.考虑到研究者多希望利用样本灵敏度有计划、有效率地调节模型输出, 所以提出利用训练好的深度学习模型求得每个样本的参数灵敏度,建立系统输出与输入参数的近似函数关系方程以优化系统输出.在Kaggle波士顿房价数据集、工业航迹融合评估数据集和函数3个公开数据集中进行测试并与Sobol’ 法和传统神经网络法对比, 证明了所提方法的有效性和鲁棒性,得到了准确性指标.
Sobol’法基于Monte Carlo抽样技术和模型分解思想,能够定量计算系统各输入参数的1阶灵敏度和高阶灵敏度以及总灵敏度.假设模型可以表示为
=()=(,, …,)
(1)
式中:为模型输出;={,, …,}为输入参数;为模型输入参数个数.Sobol’法将函数()分解为单个参数或几个参数相互结合的子项之和设各参数的空间域为∈[0, 1], 则有
(,, …,)=
1, 2, …, (,, …,)
(2)
式中:,,1, 2,…,为分解后的子项函数,如果输入参数独立,且每项按0均值选择、平方可积,那么式中为常量,等于输出的期望值.Sobol证明上式的分解唯一且相互正交,可以通过多重积分求得:
(3)
(4)
(5)
1.4统计学处理:数据采用SPSS13.0统计软件分析处理,计数资料采用χ2检验,计量资料采用t检验。P<0.05则差异存在统计学意义。
“我用亲土1号已经是第三年了,效果非常好,用了以后树的叶片浓绿,根系发达,苹果长得美得很!今年苹果卖得早,不然还能多卖点钱。”王建云表示,“果树就是我的根基,不会因为受了灾就舍不得投入。亲土1号好产品加上我的经验技术,让我获得亲土状元,我相信也一定会给我带来好收成!”
(6)
其子项方差可以通过()的每一子项计算得出:
也许有人问,不懂“国语”的音乐家把Chopin翻译成了“雪盆”不对,但为什么不翻译成“肖盆”(这个不是发音和外文更接近吗)?而作为经典中的人物David为什么可以翻译成“大卫”而不是“戴维”?Peter为什么翻译成“彼得”而不是“皮特”?这些都源于汉语的特殊之处,属于表意文字,而且同音字较多。同音字既然多,就有选择的余地,并且选择不同的字可以体现不同的内涵,这一点就不是汉语姓名翻译成外文(纯粹音译)所能比拟的。如何选音译的用字,这个是外文姓名汉译的一个关键,它要考虑的方面非常之多,和整个的中西文化语境都有关系。
, , …, =
(7)
式中:1≤<…<≤,=1, 2, …,由于,,1, 2,…,子项相互正交,对式(2)两边平方,并移项合并可得到下式:
1, 2, …,
(8)
通过方差比可以求得Sobol’灵敏度为
(9)
当=时,计算结果为参数的1阶灵敏度系数,表示对输出的主要影响.
在实际工程中,系统模型函数()往往难以获得,Sobol’法利用Monte Carlo法的思想,通过采样并利用估算式求积分.具体估算式如下式所示:
(10)
(11)
式中:“^”表示此变量为估计值;c为采样个数;(~)=[12…(-1)(+1)…];为第个采样点;上标1, 2为不同采样组数.
Sobol’法有十分明显的缺点,当模型输入参数个数为时,每个参数都需要计算2个Monte Carlo积分,当模型较大、参数较多时,参数分布不平均导致需要的采样次数较多,Sobol’法的计算量十分庞大.由于Sobol’法求得的值为基于采样的估计值,所以求得的灵敏度精度在很大程度上受到采样精度和样本数量的影响,尤其在模型样本数量较小时, Sobol’法无法取得理想效果.
SInception-CNN与传统CNN一样包含卷积层、池化层和全连接层3种模块.卷积层通过不同的核函数实现对输入特征的提取;池化层的作用是减少维度,对特征进行压缩并提取主要特征;全连接层进行最终的特征组合.本文提出通过打散特征的方法,将输入特征组合为不同的输入特征矩阵,通过这种方法把结构化的数据转换为“图”,从而为不同特征组合在一起输入同一个卷积核提供了机会.一个样本的处理过程如图1所示.其中:为一个大小为2×2的卷积核提取局部特征后进行非线性变换的函数.
神经网络(NN)作为全连接层受限于不能独立处理局部特征,CNN的卷积核受限于只能处理输入参数周围空间的局部特征.对结构化数据的回归问题和灵敏度分析问题来说,考虑特征间的相互作用十分重要,通过引入这种打散输入样本的方式,引入了特征的多种邻居组合,为后面的CNN卷积核带来多种组合的可能,引入更多特征间的相互作用.
SInception-CNN参考了文献[18]的并行卷积核设计,并使用了丰富的卷积核尺寸,考虑了不同数量、不同空间关系的特征相互作用.SInception-CNN的模型结构如图2所示.其中:卷积核1×1、2×2等卷积核后的数字为卷积后的输出维度;CReLU 为本次卷积操作使用的激活函数.
对模型进行方差分析,结果见表3。由表3可知,模型的P值<0.0001,说明该数学模型极为显著;失拟项值为0.6757,差异不显著,表明该方程对试验的拟合度较好,可用来确定羊肚菌SDF制备的最佳工艺。对表2中数据进行回归分析,建立回归方程:Y=31.77-1.60X1-1.55X2-2.06X3-0.43X4-1.06X1X2+0.18X1X3-0.83X1X4-0.17X2X3+2.44X2X4+0.25X3X4-3.18X12-1.83X22-1.47X32-0.51X42。
目前, 使用最为广泛的ReLU激活函数如图3所示.其中:为上一层输出;为激活函数.
如果对使用ReLU激活函数的网络进行灵敏度分析,会导致灵敏度结果区分度低,影响准确性.因为ReLU在设计之初的考虑是在引入非线性能力的同时减少计算量、减少梯度消失,并未考虑后续的灵敏度计算.所以,本文参考文献[19]设计了一种新的激活函数CReLU,可以自适应杀死小权值的权重,达到特征筛选的目的,从而增加灵敏度计算的区分度.CReLU的激活函数如图4所示.自适应阈值计算公式如下式所示:
(12)
式中:为上一层节点数量;为激活函数的自适应阈值;为上一层第个神经元的输出后续实验表明这种激活函数达到了预期效果且没有减少模型的拟合能力.
在44个核设施国家和地区中,78%国家和地区的“蓄意破坏”(Sabotage Ranking)得分上升,主要是因为它们的安全水平得到了显著提升,包括加强了核场区的实物保护,增加了内部威胁防御措施,并改进了响应能力。但应注意的是,一半以上国家和地区的“蓄意破坏”得分低于80(总分为100),这表明相关国家和地区的提升空间仍然很大。
总的来说,全局灵敏度的计算可以分为3类方法:基于回归的方法、基于方差的方法和基于矩独立的方法.Sobol’法是基于方差的方法,而神经网络和 SInception-CNN 是基于回归的方法.基于回归方法的原理是通过建立输入与输出的近似映射,得到输入因子的标准回归系数作为灵敏度指数.
SInception-CNN是一种深度学习建模方法, 全局灵敏度分析是一种数据或者模型的分析方法.通过两者的结合, 既使得深度学习方法可以得到其对输入参数的灵敏度信息, 不再是一个完全的“黑盒”, 又把深度学习很强的特征提取能力赋予了全局灵敏度分析.通过引入深度学习, 全局灵敏度分析具有了智能, 不再需要人工对特征进行组合提取, 不再需要对参数的定义域进行人为选定.基于深度学习的全局灵敏度分析是一种智能的端到端的分析方法.
基于深度学习的智能全局灵敏度分析方法先通过数据训练深度学习模型SInception-CNN, 再利用其权重信息的反向传播求模型的全局灵敏度.本方法既可以看作是一种对深度学习模型的分析方法, 又是一种新的分析全局灵敏度的思路.虽然本方法对灵敏度的计算模式类似于局部灵敏度方法中的求导法, 但是得益于卷积和神经网络的参数共享和全连接结构, 本方法所求得的结果为全局灵敏度,即包含了各个特征之间相互作用的计算结果.特征参数在卷积特征图中输入, 经过卷积结构和全连接层, 在输出神经元输出, 这个过程中包含了大量的共用权重计算, 而这些权重值是由所有样本的所有特征参数训练而得出的,因此用本方法求得的灵敏度结果包含了全局信息,更符合全局灵敏度的定义.
全连接层一般置于整个网络的末尾,因此在反向传播算法中先计算全连接层神经元的灵敏度.典型的3层全连接层如图5所示.其中:为输入层的第个神经元;为隐含层的第个神经元;为输出层的第个神经元;、为偏置系数;为与之间的连接权重;为与的连接权重.
从图7中可以看出,在加减速路段与匀速路段交接的位置加速度变化率很大,影响了乘车的舒适性。图7中虽然将超高修正段的数据设为0,但是由于车辆行驶过程中,相邻的曲线段之间存在耦合的特点,受修正段的影响,其相邻段内的加速度变化率也是比较大的。而在路段尾端由圆曲线进入缓和曲线、由缓和曲线进入直线时,加速度变化率虽然比较小,但是波动还是比较密集的。另外,由于路段一在中间两段缓和曲线之间没有加入直线段,从图7中可以发现拐点之后的加速度变化率波动很大,直接影响了乘车的舒适性。
前两层间的前向传播公式如下所示:
屋里很暗,叶晓晓半天还适应不了。可夏天不一样,黑暗对他没有影响,他很快摸到茶杯,给叶晓晓倒了杯凉白开,递到她面前。
(13)
(3)化学成分分析 在剥落块的低倍试片上从表面、中部、内部分别取样进行化学成分分析,分析结果及70Cr3Mo钢的标准成分如表3所示。
对如图5所示的全连接层模型,应用BP算法的思想,如果想知道输入层的每个神经元对输出层的神经元产生了多少影响,可以用对求导得出,类似于局部灵敏度分析中的直接求导法,具体如下式所示:
(14)
(15)
式中:(=1,2)为第层的激活函数的导数矩阵,每个神经元输出对输入的导数为1项; 符号⊙为矩阵对应项相乘;∂/∂为输入层对输出层的灵敏度;∂/∂为输入层对隐含层的灵敏度;∂/∂为隐含层对输入层的灵敏度输入层的每个神经元对模型输出(输出层的下一层,只有1个输出神经元)的灵敏度计算公式如下式所示:
(16)
式中:°为输出层对模型输出的灵敏度.
CNN网络包含卷积层和池化层,卷积层和池化层结构,如图6所示,其中:为通道总数.
(,)=
(17)
第卷积层的前向传播公式的矩阵形式如下:
=(+)
(18)
式中:为第个卷积层的输出结果;为第个卷积层的输入;为相应卷积核参数;为第个卷积层的偏置系数.
则求得当前卷积层输入神经元对模型输出的灵敏度的矩阵形式为
(19)
数据集包含37个特征和1个标签,其特征包括房屋的大小、位置、层数等信息,标签是房屋价格,将数据集输入模型.
池化方法分为均值池化和最大池化.池化的目的是通过减少计算图的大小减少计算参数,并再次提取有价值特征.最大池化因为适合分离稀疏特征被更广泛的使用, 并且它可以减少卷积层参数误差造成均值的偏移, 提取出纹理特征.最大池化的前向传播是把计算图中的最大的特征变量传递给下一层.反向传播是把梯度直接传给前一层最大特征的位置.所以通过保存的池化层输入中对应尺寸的最大值位置即可建立池化层梯度矩阵.池化层输入对模型输出的灵敏度如下式所示:
(20)
式中:为池化层输出;为池化层输出对模型输出的灵敏度;函数根据正向传播的池化逻辑为灵敏度重新分配权重导数.
神经网络方法和SInception-CNN方法灵敏度分析结果如图7所示,其中:为输入特征的灵敏度计算值.由图7可以看出,由于SInception-CNN特殊的激活函数设计,以及加入L1正则化,得到的灵敏度结果更具有稀疏性,筛选掉无效特征.
(21)
与Sobol’法的鲁棒性对比中,在加入脏数据(使参数区间产生变化)后Sobol’ 法的计算结果变动非常大, 除了第1位灵敏度参数,排序都发生了变化, 而SInception-CNN法所受到的影响很小, 排序结果没有发生变化, 这是由于SInception-CNN法通过学习输入与输入参数的非线性关系即模型结构计算灵敏度, 少量样本不会影响基本非线性映射, 所以鲁棒性高.而Sobol’ 法依赖于参数区间提供采样范围, 当脏数据影响采样范围时, 计算结果将产生很大偏差.
用上述方法可以求出所有项.()的总方差为
(22)
式中:为标准化后输入对模型输出的灵敏度.
在一个工业数据集、一个公开的真实数据集和用函数生成的仿真数据分别进行了实验, 以验证本方法的有效性. 工业数据集为工业航迹融合结果评估数据集;真实数据集为Kaggle波士顿房价数据集.本文通过真实数据集的对比Sobol’法和神经网络法验证本方法的鲁棒性和有效性, 通过函数生成数据集量化本方法的准确性和广泛适用性.
式中:为下一层对模型输出的灵敏度;rot180为将卷积参数矩阵翻转180°;为第个卷积层激活函数的导数矩阵.
在对比试验中, NN、CNN和SInception-CNN使用了相同的训练参数数量,模型评价指标体系如表1所示,使用了均方误差(MSE),平均绝对误差(MAE)和平均误差率3个指标.由表1可以看出,SInception-CNN模型在测试集的效果最优.
神经网络模型在输入时需要进行标准化处理,设标准化过程为
灵敏度计算结果鲁棒性对比如表2所示,其中:括号内的值为当前特征的灵敏度排序,本方法在多维特征数据集中可以取得与神经网络方法相近的结果但更具稀疏性.在数据集中引入一个脏样本,这个人工生成样本的特征3取值为正常值的3倍,改变了特征3的参数区间.
式中:()为原始输入的平均值;std()为的原始输入的标准差;为标准化后的模型输入层.则对模型输出的灵敏度为
工业航迹信息融合结果评估数据集包含25个特征和一个标签.这个数据集的内容是对一套中航工业的航迹融合算法的评估数据.Sobol’法、神经网络法和SInception-CNN法求得的灵敏度结果如图8所示.
由图8可知,Sobol’法在21、22、23这3个特征上获得了较大的灵敏度,这是因为这3个变量的取值范围很大,但分布非常不平衡,90%的样本都在取值范围的右端,这显然对依靠变量取值范围进行采样的Sobol’法造成了很大的影响.但是SInception-CNN方法和NN方法不会产生这种问题,而且 SInception-CNN 方法又在结果的稀疏性上强于NN法.
针对SInception-CNN法的准确性问题,使用函数进行测试.函数被广泛应用于各种数值统计方法(灵敏度分析方法),因为其相当复杂,且参数灵敏度可以计算.函数形式如下所示:
(23)
式中:为模型输入参数;为决定参数灵敏度的调整项;为输入参数个数,且=1,2,…,;为输入参数总数,则可以表示为
袁绍觉着自己兵多粮足,准能把曹操灭了。曹操也准备跟袁绍决战,但他的人马少,打了几仗没得胜。他就下令修筑土垒(),坚守营寨。袁绍看到曹军不敢出战,就让士兵们在曹营外面堆起一个一个的小土山,土山上再搭起高台子,叫士兵们站在高台上向曹营里射箭。曹操的将士只好用挡箭牌遮住身子,在地上慢慢地爬来爬去。袁绍的士兵看了,都得意地哈哈大笑。曹操忙跟谋士们商量对付的办法。他们造了一个发石机,能把十几斤重的大石头打出去。这种发石机投射大石头的时候,还“轰隆隆”地发出响声,挺吓人的,所以大伙儿又叫它“霹雳车”。结果,袁军的高台让石头打得塌的塌,垮的垮,士兵们头破血流,逃回营里去了。
(24)
函数的真实灵敏度在文献[23]中求出,计算方法在文献[24]中有详细介绍.本实验中使用6个输入参数,={0, 0.5, 3, 6, 9, 99,99},假设所有参数的空间域为[0, 1].
实验使用Sobol’序列生成随机数,并构造关于函数的数据集.分别使用Sobol’法和 SInception 法计算模型灵敏度,并与真实值对比,求二者的平均误差可以表示为
(25)
传统的数据处理方式过于单一,存在局限性,在进行管理系统的储存工作时,多在数据库内部进行,此现象直接增加了人们获取数据内容的难度,导致获取方式过于烦琐。但随着我国科技的发展,网络技术也发生着改变,互联网技术开始普及,此现象直接为数据库的信息获取提供了较大便捷,实现人们对数据内容的高效获取。
NN法和SInception-CNN法作为基于回归的方法,数据来源于数据集,因此不需要额外采样.由图9可以看出, 针对函数,当Sobol’法的采样次数小于 3 644 时, NN 灵敏度分析方法的精确度大于Sobol’法; 当Sobol’法的采样次数小于 3 973 时, SInception-CNN 法的精确度大于Sobol’法.因为深度学习模型是一个黑盒系统,其内部存在一些噪声,所以根据深度学习模型来求灵敏度时计算结果不可避免地包含了一些噪声.基于深度学习的全局灵敏度分析方法在理想生成数据中的准确性低于Sobol’法. SInception-CNN方法更适用于模型未知、参数分布不均匀或者无法进行大量采样的情况.
加强领退料的管理,控制材料的用量.一是要严格按照施工图纸编制材料使用计划;二是要严格按照工程进度实行限额领料制度;三是要加强工程现场管理,做到合理堆放,减少搬运,充分利用废旧材料,并防止材料被盗情况发生,确保工完场清,减少材料损失;四是完工后及时做好工程决算,认真核对甲供材料使用量,及时回收周转材料,对决算退料灵活处理,防止出现材料一经退回即成废品积压在仓库的现象.
输入特征与输出之间的关系以SInception-CNN卷积网络权重的形式保存了下来.因此使用SInception-CNN方法可以求得每个样本的参数灵敏度.针对单个样本的参数灵敏度相当于输入参数对系统输出的近似梯度.使用参数灵敏度可以得到输入与输出间的自适应线性关系方程,继而选择最有效的参数组合来提升输出.
数据集使用的Sklearn波士顿房价数据集,有13个输入变量,1个输出变量.各个参数的实际意义如表3所示.
将69号样本输入训练好的SInception-CNN模型,并根据输入对模型进行反向传播求梯度,结果如图10所示.
印刷行业现在最缺的可能就是,数字化的人才,这类人才,不单要熟练操作数字化设备,还应娴熟运用各类数字化软件,李新立坦陈自己的忧虑。诚如他所说,传统印刷在国内经过这二十多年的大发展,已经储备了大量的人才,但在数字化的时代,一切应用都跟数据有关,行业及企业要想赢得未来,精通数字语言的人才就是关键。而如何破局,还需群策群力。
经验证,求得结果可以真实反映参数的实际意义.例如,参数1(人均犯罪率),其值越高则房价越低,那么求得的近似梯度为负,其他参数都可合理解释.
以其中第69号样本为例,选取梯度为正的几个参数将其均提高0.1(标准化后),输入SInception-CNN 模型, 输出从20.18提高到20.46,提升了0.28,依据灵敏度对预测差值的计算为0.253,误差为0.14%.利用SInception-CNN 法计算的样本参数灵敏度可以得到最优调整策略,并得到预期变化量.
本文结合深度学习和全局灵敏度分析提出了一种智能全局灵敏度分析方法.使用SInception-CNN 以模型权重的形式学习输入与输出间的复杂关系, 通过梯度反向传播计算系统参数灵敏度和全局灵敏度, 在建模的同时完成全局灵敏度的计算.这种新颖的结合既使得深度学习方法可以得到其对输入参数的灵敏度信息, 不再是一个完全的“黑盒”, 又把深度学习很强的特征提取能力赋予了全局灵敏度分析.全局灵敏度分析不再需要人工对特征进行组合提取, 不再需要对参数的定义域进行人为选定, 可以直接根据数据得出结果, 成为了一种端到端的智能方法.
在两个真实世界数据集中,证明了SInception-CNN相比于经典方法Sobol’法有更强的鲁棒性且不依赖已有模型,相比于NN法有更强的准确性和稀疏性.通过对函数进行灵敏度分析,得到了SInception-CNN在理想生成数据中的准确性指标.此外, 本文还提供了一种根据智能全局灵敏度分析方法优化模型输出的方法.