基于非负绞杀与OS-ELM的精矿品位在线软测量算法

赵亚栋,孙 涛,刘咏诗,孙 凯

齐鲁工业大学(山东省科学院) 信息与自动化学院,山东 济南 250353

浮选精矿品位是选矿生产过程中的一项重要品质指标,对指导该过程优化生产和智能控制至关重要。传统精矿品位测量一般采用人工离线取样的化学分析法,该方法测量精度高,但操作复杂、获取周期长,导致生产效率相对较低。

随着自动化行业的快速发展,铜矿浮选过程中精矿品位的实时测量方法大都采用载流X射线荧光分析法[1]。然而,该方法不仅须实时校正分析过程,而且日常消耗较高,分析的测量误差也相对较大,存在一定的时滞性,因此可采用软测量的技术方法实现测量过程的实时控制。软测量技术通过构造易于测量的过程变量与目标变量之间的数学关系建立数学模型,间接实现关键变量的有效估计,目前已广泛应用于铜矿浮选过程的控制领域。

极限学习机(extreme learning machine,ELM)由于结构简单、训练成本较低,成为工业领域的研究热点[2]。其通过随机选取网络输入权值和隐藏层偏置来解析计算输出权值,有效克服了传统前馈神经网络由于不适当的学习步长而导致算法收敛速度慢、容易陷入局部最优等问题。然而,实际工业过程生产状态通常随时间不断地动态变化,标准ELM难以满足在线实时应用的需求。为此,SINGH等[3]提出一种在线序列极限学习机(online sequential extreme learning machine,OS-ELM)的网络模型。该算法首先通过小样本训练网络初始输出权值,然后依据增量学习过程中新增的样本或样本块,对上一步求出的网络输出权值进行结构更新,以实现模型的在线校正。由于OS-ELM具备优秀的在线学习能力,因此往往被应用于复杂工业过程的实时预测。

另一方面,在矿物浮选过程中存在冗余变量,且变量之间具备强相关性和耦合性,导致网络训练时间增大,降低了模型的泛化能力。非负绞杀(nonnegative garrote,NNG)算法可将变量选择与回归系数的优化过程融为一体,在处理高维度和强耦合的建模问题时具有良好的效果[4]。文献[5]将NNG算法与多层感知机(multilayer perceptron,MLP)相结合,提出一种基于变量选择的MLP神经网络模型,可用于复杂工业过程的离线建模。然而,在实际应用中,由于生产工况的不断变化,工业过程参数常具有时变特征,所建离线模型性能会不断下降,为保证生产过程关键参数的测量精度,必须在实际应用中对模型进行在线校正。

本文将NNG算法与OS-ELM相结合,提出一种基于OS-ELM及其输入变量选择的精矿品位在线软测量算法(NNG-OSELM)。一方面利用OS-ELM算法对网络输出权值进行递推更新,实现模型的在线更新;另一方面通过NNG算法的惩罚能力对输入权值进行压缩,筛选出相关变量,提高预测精度;最后将其成功应用于某矿企浮选过程铜矿品位的在线软测量,并通过与不同算法的性能对比,验证了算法的有效性。

1 工业背景

铜矿浮选是铜矿选矿工艺的重要环节,精矿品位是铜矿浮选过程的一项重要检测指标[6]。随着自动化水平的快速发展,载流分析仪的应用解决了传统人工测量矿浆品位过程中存在检测耗费劳力过高,测量准确率低以及生产滞后的问题[7]。

BOXA型载流X荧光品位分析仪是一款在线矿浆品位实时测量仪器[8],可在线同时测量多种矿浆金属品位。载流X荧光品位分析仪安装了检测波长属性(分光晶体+半导体探测器)和能量属性(能量通道)两种检测原件,检测出的数值也分为波长色散和能量色散两种数据[9],如图1所示。

目前,载流X荧光品位分析仪已采用在线建模技术,但主要采用多元线性回归的建模方法[10],忽略了变量之间的非线性和强耦合性,影响最终目标金属品位的预测精度;另一方面,其采用离线训练模型,难以适应生产条件的不断变化,导致分析仪稳定性不足。

2 NNG-OSELM算法设计

2.1 在线序列极限学习机

OS-ELM网络是在ELM的基础上提出的一种在线学习算法,可针对固定或变化的数据块进行学习,仅需调节隐藏层节点数,而无需遴选其他参数,具有收敛速度快、泛化性能高的优点,其网络拓扑结构如图2所示。

OS-ELM网络训练过程分为两个阶段:初始学习阶段和在线学习阶段。初始学习阶段为ELM网络训练过程,对于任意的N个样本(xj,tj)(j=1,2,…,N)其中xj=[xj1,xj2,…,xjn]T∈Rn,tj=[tj1,tj2,…,tjn]T∈Rm, 如果具有L个隐藏节点的网络结构能够以零误差近似这个样本,则表明存在αi,bi和βi有:

(1)

式中αi、bi分别为输入层到隐藏层的随机输入权值和偏置,βi=[βi1,βi2,…,βim]T为隐含层到输出层的第i个连接权值,当对隐藏层附加sigmoid激活函数时,G(αi,bi,xj)=g(αi·xj+bi),αi·xj表示两者的内积。

(2)

(3)

在线学习阶段通过新旧数据样本块更新网络输出权重。假设第k+1(k为数据块的数量,初始k=0)块训练样本进入到模型中,则:

(4)

隐藏层输出矩阵Hk+1和输出权重β(k+1)计算如下:

(5)

(6)

为避免递归过程求逆,将上式通过Woodbury[11]恒等式修改为:

(7)

(8)

(9)

2.2 NNG算法原理

NNG算法通过对输入权值施加约束惩罚实现变量系数的压缩,从而达到变量选择和系数优化的目的,对于线性子集回归问题:

(10)

式中,x=[x1,x2,…,xn]T与y分别表示输入、输出变量,ω=[ω1,ω2,…,ωn]为系数矩阵,ε为随机误差。假设一组绞杀向量θ=[θ1,θ2,…,θn],然后应用于最小二乘(ordinary least squares,OLS)[12]可得:

(11)

(12)

s表示NNG算法的惩罚力度:当s≥n时,其约束条件|θ|

2.3 算法设计

NNG-OSELM算法共分为两个阶段,首先,通过训练集得到较优的ELM网络作为初始结构模型。其次,将NNG算法的绞杀算子θ嵌入ELM输入权重,重新建立新的ELM模型结构,公式计算如下:

(13)

式中,θ=[θ1,θ2,…,θn]为输入向量的收缩系数,最优收缩向量θ*计算公式如下:

(14)

式(14)属于非线性不等式约束优化问题,通过置信域算法求解得到最优收缩向量θ*。该算法是一种迭代算法,基本思想是通过当前迭代点vd的一个小邻域,求解邻域中的某个子问题得到试验步sd,利用评价函数来决定是否接受该试验步,确定信任域为下一次迭代。

(15)

(16)

(17)

(18)

更新后的输出模型为:

(19)

2.4 NNG-OSELM超参数调优与模型选择

模型的超参数很大程度会影响模型的预测性能,因此对超参数调优至关重要。NNG-OSELM算法采用枚举法与交叉验证(cross validation,CV)相结合的方法寻找最优值,具体包括OS-ELM网络的隐含层节点数以及NNG算法的绞杀参数。

2.4.1 OS-ELM超参数调优

OS-ELM算法仅需确定隐藏层节点数,首先根据先验知识确定隐藏层节点数的候选置信取值范围,然后采用穷举法进行超参数寻优,获取训练最好的初始ELM网络,采用均方误差(mean square error,MSE)评价网络性能,计算公式如下:

(20)

图3 不同节点数的校验误差

2.4.2 绞杀参数调优

在NNG-OSELM算法中,绞杀超参数s取值会影响算法的绞杀强度,其最优值s*由线性等分向量s=[s1,s2,…,sv]枚举后,通过CV寻找模型的最小校验MSE,并结合最小化赤池信息准则(akaike information criterion,AIC)以求得最优值s*。具体过程如下:

(1)数据集划分。将数据集δ=(X,Y)均匀划分为J块子集δ={δ1,δ2,…,δJ},其中δF={δ1,δ2,…,δf}为训练集,余下数据集δF+1={δf+1,δf+2,…,δJ}为验证集,之后逐步向后选择新的训练集和验证集,直至J-f折交叉验证结束。

(2)模型验证。首先利用训练集获得s不同取值下的各个NNG-OSELM模型,然后通过验证集验证各模型性能,最后由MSE评价模型性能。

(21)

(22)

式中s1=0为向量下限,sv=n为向量上限,v为向量中元素个数。

2.4.3 算法流程

步骤1 随机采样样本数据,然后将输入变量做归一化处理。处理后的数据前80%作为训练集,用于模型的超参数调优,剩余20%作为测试集,用于在线更新测试。

步骤2 采用枚举法对ELM网络超参数进行寻优,获取最优隐含层节点数,通过式(3)计算ELM网络初始输出权重β(0)。

步骤3 将惩罚向量θ应用于训练好的ELM网络,以建立新的ELM网络优化表达式。

步骤4 初始化s,f,K:令s←s1、f←5、J←10,对于当前s,f,J,由式(14)求得收缩算子θ。

步骤5 将收缩向量θ代入式(13)中,然后通过式(20)获取当前测试集下的MSE。

步骤6 令f←f+1,若f

步骤7 通过以上步骤获取测试集交叉验证下MSE的平均值。

步骤9 令s←s+Δs,若s

步骤10 通过式(22)求解最优值s*。

步骤11 通过步骤10所求得的s*计算式(14),获取最优收缩向量θ*=[θ1*,θ2*,…,θn*]。

步骤13 通过式(22)输出最终预测模型Tk+1。

3 仿真结果及分析

3.1 仿真实验设置

(1)候选变量选择。仿真实验以某实际铜矿浮选过程中载流X荧光品位分析仪测量铜品位的实际历史数据为研究对象。经测量过程研究及数据分析,选择其中15个辅助变量组成候选输入变量集(表1)和1个目标变量(实验室标定铜的样品品位)共924组数据组成样本集。

表1 铜品位浮选过程候选输入变量

表1(续)

(2)数据归一化。在回归数学模型中,自变量X的量纲不一致将会导致回归系数无法直接解读或者错误解读,数据归一化后可以加快模型的收敛速度,提高模型的预测精度,归一化的计算公式如下:

(23)

式中xmin、xmax为x样本数据的最小值和最大值,其结果映射在[0,1]之间。

(3)异常点检测。在采集的工业的数据中,由于人工操作失误或机器故障会导致异常点的产生,从而影响模型的泛化性能,因此需对数据进行异常点检测[13]并剔除。异常点检测的方式通常有基于模型、基于邻近度以及基于密度的方法。最常用的方法基于模型的方法,其根据数据构建模型,然后通过判断对象拟合模型的情况来确定数据是否为异常点。

本文采用基于模型的方法进行异常点检测并将数据中的异常点剔除,根据实际的工业过程,变量2为金属铜的波长色散计数率,与铜品位的测量直接相关,因此建立铜的波长色散计数率与实验室标定铜品位的回归数学模型,通过设定的阈值判断是否为异常点,其中阈值通过普通化残差来表示[14],检结果如图4所示。

图4 异常点检测结果

3.2 模型性能评价指标

采用的模型性能评价指标共3个:

(1)模型预测误差平方的平均值(MSE),反应真实值与预测值之间差异的一种度量,值越小表明预测精度越高,计算公式如式(20)所示。

(2)平均绝对值误差(mean absolute error,MAE),预测值与实际值之间绝对误差的平均值,可以避免误差相互抵消的问题,值越小表明预测精度越高,计算公式如下:

(24)

(3)模型大小(model size,M.S.),最终模型的输入变量个数,反应了模型的复杂度,计算公式如下:

(25)

3.3 仿真结果及分析

将处理后的数据划分为两部分,第一部分为数据集的前20%用作算法训练,第二部分的80%数据集划分为3批数据集作为在线更新测试集。由于ELM网络结构的初始参数都是人工确定的,因此每次仿真实验的结果都会有所不同。为体现算法的稳定性,将通过相同的数据样本对不同算法进行10次仿真并取其MSE、MAE的最优值作为模型性能评价标准,不同批次的测试集的结果如表2、表3及表4所示。

表2 第1批测试集的性能评价指标

表3 第2批测试集的性能评价指标

表4 第3批测试集的性能评价指标

通过上述结果表明,基于输入变量选择的NNG-OSELM在线预测算法对比其他算法MSE、MAE均有提升具有较好的预测结果,而且从实际工业过程出发,对比于现阶段载流X荧光品位分析仪只选用6个输入变量作为关键影响变量,该算法不仅考虑到其他关键变量的影响比如分析仪自身的不稳定以及外界因素的干扰(漂移系数对铜品位预测的影响),这些干扰变量会对最终铜品位的预测效果产生较大的影响,因此该结果充分表明NNG算法的筛选相关变量能力会提升模型的预测精度,提升检测效率,充分验证了算法的有效性。图5至图7为各批次数据的候选输入变量对应的收缩系数。

图5 第1批测试集的收缩系数

图6 第2批测试集的收缩系数

图7 第3批测试集的收缩系数

由表5可知,θ均值大于0.5的变量共有8个,其中对目标变量影响较大的变量2、变量5对应的θ均值均大于0.85,而实际的载流品位分析仪测量过程需要目标变量的能量色散和波长色散的计数率相结合,这一结果与实际工业测量过程中测量铜品位的关键影响因素相符合。

表5 θ均值大于0.5的候选输入变量

变量1、变量3分别为波长色散铁的计数率以及能量色散铁的计数率,文献[15]指出测量铜品位需要铁的能量色散和波长色散的计数率作为辅助变量,因此这两个变量也与铜品位的测量相关。

文献[16]指出分析仪所测得的色散计数率中不仅包含激发金属元素的色散计数率还包含一次射线的散射辐射,因此色散计数率不是单独地与被分析矿物的荧光强度成比例,而变量6为散射道能量色散计数率,对铜品位的测量有直接影响。变量14、变量10、变量11、变量15表示与之对应变量的漂移系数,漂移系数表征了分析仪测量稳定性和精确度,是真值与分析仪测量值的比值结果,这个结果越接近1,表明分析仪测量精度和测量稳定性越高,因此这4个变量也会影响最终铜品位的预测效果。

综上所述,该算法输入变量的选择的结果与载流品位分析仪的测量机理及专家经验基本一致,充分验证了NNG-OSELM算法所建模型的可解释性。

4 总 结

在线软测量算法首先通过OS-ELM算法动态更新网络输出权重,建立在线软测量模型;其次通过NNG算法的稀疏能力,筛选出相关变量,进一步提高模型的预测精度;最后将所提出的在线学习算法应用于某矿企浮选过程中铜精矿品位的在线测量,并与其它先进算法及现场载流X荧光品位分析仪测量结果相比较,结果表明,该算法所建模型具有更高的精度,输入变量选择的结果与载流分析仪的测量机理及专家经验一致,充分验证了算法的有效性。