多层DAE协同LSSVM的瓦斯突出预测模型

付 华 梁 漪

(辽宁工程技术大学电气与控制工程学院 辽宁 葫芦岛 125105)

0 引 言

煤岩体高应力、高瓦斯压力采掘空间区配合矿震动载易引发瓦斯突出动力灾害，原空间地质动力系统失稳，存积的弹性能呈爆发式瞬间释放，产生煤岩体破碎并抛出的现象，严重威胁井下施工人员生命安全和设备安全。我国浅部煤炭资源接近枯竭，随着深部开采，煤岩体承载更高的应力和能量，瓦斯突出发生的可能性愈发增大。因此，对其预测成为矿井深部开采迫切解决的科学问题[1-2]。

针对瓦斯突出预测的研究有很多成果，经典预测方法从机理角度以单因素作用或多因素多指标综合作用开展预测工作，产生了D、K综合指标预测、地质动力区划等方法[3-5]。这些方法理论相对简单，需要大量的试验数据支撑，数据获取过程复杂，消耗较高的时间成本和经济成本。为弥补以上经典预测方法的不足，许多学者开发了大量基于智能理论预测方法，提高突出预测效率和预测准确率，得到了广泛的应用。这类方法通常使用降维手段提取动态监测数据有效的特征信息来加速模型决策，例如：文献[6-7]使用主元分析(Principal Component Analysis，PCA)选取对突出贡献率较高的主元影响因子；文献[8]使用局部线性嵌入(Local Linear Embedding，LLE)将高维突出影响因子数据映射至低维空间；文献[9]使用邻域粗糙集(Neighborhood Rough Set，NRS)提取反映突出的主要敏感指标。其中PCA是线性降维方法，而突出影响因子间具有非线性关系；LLE要求样本集是稠密均匀的且只保留训练样本的局部特征，对于离散的测试样本，不能为突出分类问题提取更有效的特征；NRS缺乏对模糊数据相应的处理方法。

基于以上分析，文中结合去噪自编码器(Denoising Autoencoder，DAE)抗干扰能力强、鲁棒性强和最小二乘支持向量机(Least Square Support Vector Machine，LSSVM)操作简单的优点，建立瓦斯突出预测模型。以DAE获取更高效的隐藏特征为目的，设计多层DAE网络，并结合瓦斯突出影响因子在时间轴上的特点和交叉熵规则定义多层DAE网络的代价函数，用BP算法和梯度下降法更新多层DAE网络的权重和阈值，得到的特征作为LSSVM的输入，对样本进行瓦斯突出分类。

1 预测模型设计

1.1 动静态约束下多层DAE网络的特征提取

1.1.1多层DAE

多层DAE网络是由L个去噪自编码器链接而成，DAE是Pascal Vincent[10]等在自编码器AE的基础上提出的一种神经网络，属于典型的单隐层反馈神经网络。相较于传统的反馈神经网络，DAE抗干扰能力强，因此选用DAE去提取原始样本的隐藏特征。多层DAE网络结构如图1所示。

图1 多层DAE网络结构

式中:α和β分别为动态影响因子和静态影响因子的控制参数，α+β=1。λw为正则参数，常用交叉验证法确定。

1.1.2多层DAE网络参数更新

初始化多层DAE网络相关参数，包括网络层数L，加噪概率q，输入、重构层节点数，隐层节点数，动态影响因子控制参数α，静态影响因子控制参数β，随机初始化编码器参数θ和解码器参数θ′。

首先进行网络预训练，利用“最大-最小值”归一化处理后的瓦斯突出数据在多层DAE网络中正向传播得到特征和重构输出。

其次进行网络微调，采用BP算法以式(1)为调优标准计算多层DAE网络权重W的变化量，表达式为：

式中：

因此，式(2)可以写为：

同理，偏置b的变化量为：

(6)

最后，按照式(5)和式(6)梯度减小的方向对权重W和偏置b进行更新，置学习率η=0.01，更新规则如下：

按照式(7)进行t次迭代，直至多层DAE网络收敛，此时的动静态影响因子特征Y(L)方可用于下一步的分类。

1.2 多层DAE协同LSSVM预测模型

s.t.ci=uTφ(yi)+v+ξi

式中:J(u,v,ξ)为突出预测模型目标函数，ξi为容许误差，C为惩罚参数。

同SVM求解方式一样，使用拉格朗日算子将上述优化问题转变为求解对偶无约束问题，将约束条件整合到式(8)的目标函数。

式中:L(u,v,ξ,λ)为重新定义的突出预测模型目标函数，λi为拉格朗日算子。

一般地，惩罚参数C根据经验选择。

2 瓦斯突出影响因子选取

瓦斯突出是在特殊的地质赋存条件下，煤岩体系统能量先以稳态积聚再以非稳态释放的非线性动力过程，是外部荷载环境、内部结构、构造及其物理力学性质的多物理场耦合作用的结果。通常瓦斯突出影响因子之间呈现复杂的非线性关系，致使某一因子是否为突出必要条件没有明确的划分。因此，结合相关文献[12-15]，综合考虑瓦斯、地质构造、煤的物理性质因素，选取13个突出影响因子，并从时间角度出发，将其划分为动态和静态两种类别。

静态影响因子Xs={煤层地质构造x1，地应力x2，煤的破坏类型x3，煤层厚度x4，煤层埋深x5，煤的坚固性系数x6，煤系地层的含水性x7，煤岩渗透率x8，岩浆入侵x9}。

部分影响因子为定性因子，使用前需量化处理，量化标准见表1。

表1 定性因子量化说明

3 确定模型结构参数

经整理，研究选取开滦矿业集团钱家营煤矿5号煤层14组典型的瓦斯突出矿井监测数据和86组无突出矿井监测数据形成样本空间，根据表1对定性因子进行量化，同时将所有样本按照“最大-最小值”进行归一化处理形成样本集。置测试样本与检验样本的比例为85:15。按照表2将样本空间分为5种分配类型，组内抽样为无放回随机抽取，所有分配类型下的样本均用于模型的各项检验。置动态影响因子控制参数α=0.5，静态影响因子控制参数β=0.5，高斯核参数为1 000，惩罚参数C=50，迭代次数t=200。

表2 样本分配类型

3.1 确定模型网络层数

固定加噪概率q=0.4，正则参数λw=0.01，分别检验带有L=2～5层DAE网络的模型预测性能，每个网络的第l=2,3,4,5隐层节点数分别设置为11、9、7、5，以平均分类准确率和训练时间为检验标准，试验统计结果如图2所示。

图2 多层DAE网络平均分类准确率和训练时间统计

由图2可得，不是网络层数越多模型的效果越好。训练时间随网络层数增加而迅速递增。根据试验结果，从模型准确性和节约成本的角度出发，置模型中多层DAE网络层数L=2。

3.2 确定模型最优隐层节点数

同BP神经网络类似，隐层节点数对模型性能有重大影响，数量过少，网络无法训练或压缩性能很差；数量过多，训练容易陷入局部最优，所以最优隐层节点数需要人为多次实验确定。结合“控制变量法”和“穷举法”的思想，反复试验并计算模型平均均方根误差RMSE，选择最小误差所对应的隐层节点数确定多层DAE网络拓扑结构。具体做法如下：

h(1)表示第一隐层节点数，h(2)表示第二隐层节点数。因多层DAE网络在预测模型中起维度压缩作用，因此有1

图3 模型采用不同隐层节点数的预测效果

显然h(1)=10时，RMSE达到最小值0.305。其次置h(1)=10，对h(2)在[2,9]区间内的候选整数值进行逐一实验，RMSE统计结果如图3虚线所示。可见h(2)=7时，RMSE达到最小值0.279。因此，瓦斯突出预测模型中多层DAE网络拓扑结构为13(输入层节点数)→10(第一隐层节点数)→7(第二隐层节点数)→13(重构层点数)。

3.3 确定模型加噪概率和正则参数

针对动静态类型输入数据，在合适的区间内设定加噪概率q和匹配恰当的正则参数λw对模型的预测表现极为关键。置正则参数λw=0.01，其他参数均按常规选取。以q=0.10为起点，按照0.1步长逐渐增加q值至q=0.90，重复5次试验获取平均RMSE，并用MATLAB R2014a中的cftool工具箱拟合加噪概率q与RMSE之间的关系，拟合曲线如图4所示。

图4 噪化参数q对模型预测效果的拟合关系

由图4可得，所尝试的数据点中q=0.40时RMSE最小为0.298。实际中不需精确计算使RMSE达到最小值的加噪概率q，根据拟合结果认定在以0.4为左边界的闭区间[0.4，0.47]内选择q值即为合理，后续试验皆规定q=0.40。

此外，采用交叉验证法确定合适的正则参数，设预选范围λw∈{0.001,0.01,0.1,1,10,100,1 000}，改后λw∈{0.001,0.01,0.1,1,10,100}将该范围内λw的取值逐次代入模型中，得到相应的RMSE分别为0.315、0.303、0.338、0.376、0.402、0.457，因此预测模型的最优λw为0.01。

4 模型预测对比

4.1 DAE与多层DAE特征提取能力对比

本节进行DAE-10-LSSVM模型、DAE-7-LSSVM模型和多层DAE-LSSVM模型预测效果对比，用于观察单层DAE与多层DAE在瓦斯突出数据集上特征提取能力的差别。其中DAE-10-LSSVM相当选用与多层DAE-LSSVM中第一隐层输出的同等维度特征作用于分类器进行预测，其网络拓扑结构为13→10→13。DAE-7-LSSVM相当选用与多层DAE-LSSVM中第二隐层输出的同等维度特征作用于分类器进行预测，其网络拓扑结构为13→7→13，两模型其他参数设置均与多层DAE-LSSVM保持一致。采用F1度量和模型训练时间Tp描述模型预测性能和收敛性能，对比结果见表3。

表3 5种样本分配方式下3个模型预测准确性和有效性对比

由表3可知，5次试验中多层DAE-LSSVM模型F1度量值都高于其他两模型，平均度量更是远超其他两模型，表现了较高的准确性。DAE-7-LSSVM模型对于不同组合方式的样本，预测准确性浮动较大，模型稳定性较差，DAE-10-LSSVM模型较其稍有改观。在模型训练时间方面，多层DAE-LSSVM模型收敛速度略慢于另外两模型，因为该模型复杂度相较而言更为复杂，势必多花费一些时间训练模型，鉴于其优秀的预测性能，并且收敛时间也在可接受的范围内，总体上认为多层DAE-LSSVM模型较另外两模型有更大的优势。

4.2 不同模型预测效果比较

为验证所提模型相较于其他智能预测模型是否具有优越性，与PCA-LSSVM模型、LLE-LSSVM模型、LSSVM分类器、BP神经网络进行预测精度对比。BP神经网络采用13→7→1拓扑结构，激励函数为Sigmoid函数，训练网络时设置学习率为0.01，迭代次数为500次。采用表2中5种分配方式下的样本组合，从均方根误差RMSE、F1度量两方面评价模型预测性能。对比结果见表4。

表4 5个模型预测效果对比

由表4可知，多层DAE-LSSVM模型的RMSE和F1度量值在5个智能预测模型中均为最小。相较PCA-LSSVM模型、LLE-LSSVM模型，所提模型的RMSE和F1度量值分别提高27.5%和22.3%，亦证明所提模型能够获得更有效的特征表示。相较LSSVM分类器，所提模型的RMSE和F1度量值分别提高50.0%和44.5%，亦证明在瓦斯突出预测过程中，减少样本维度能构使得预测准确率大大提升。相较BP神经网络，所提模型的RMSE和F1度量值分别提高55.3%和55.7%，亦证明LSSVM分类器比Sigmoid函数在分类问题上获得更优越的性能。综上，多层DAE-LSSVM模型能更适用于瓦斯突出预测，具有良好的理论价值和实用价值。

5 结 语

以瓦斯突出影响因子为基础数据，根据瓦斯突出影响因子在时间域上的分布特点，将其分为动、静态影响因子，并基于交叉熵准则设计适用于突出样本特征提取的多层DAE网络代价函数，以此作为网络的调优标准。由该网络提取的样本特征用于训练LSSVM分类器，建立多层DAE网络协同LSSVM模型用于试验区的瓦斯突出预测。

应用实际的瓦斯突出影响因子数据进行多次重复试验，确定多层DAE-LSSVM预测模型的结构参数，与不同网络结构的单层DAE-LSSVM相比，证明多层DAE-LSSVM模型有较好的降维效果。同PCA-LSSVM、LLE-LSSVM、LSSVM、BP神经网络瓦斯突出预测模型对比，证明所提模型预测准确率高，鲁棒性强。