基于梯度提升决策树的特征筛选与钢卷力学性能预测

谢少捷，王 伟,2，何福善

(1.福州大学机械工程及自动化学院，福州 350100；2.福建省高端装备制造协同创新中心，福州 350100)

0 引 言

热镀锌钢卷应用广泛，随着经济的发展，用户对热镀锌钢卷力学性能的要求越来越高[1]。热镀锌钢卷生产工艺复杂，涵盖炼钢、热轧、冷轧、退火和平整等多道工序，影响钢卷力学性能的工艺参数很多，因此力学性能控制是热镀锌钢卷生产中的重要问题之一[2]。热镀锌钢卷力学性能预测是力学性能控制的基础。力学性能预测模型依赖高质量的输入特征数据，但是热镀锌工业生产环境复杂，从传感器采集到的工艺参数不可避免地会受到噪声等因素干扰，同时工艺参数众多导致过多的建模特征，影响模型的准确性和预测效率，带来维数灾难问题[3-5]。因此，特征筛选是热镀锌钢卷力学性能机器学习建模的一个重要步骤[6-7]，即在建模前将对力学性能影响较大的特征筛选出来。姚林等[8]结合实际生产工艺和已有的工艺参数收集手段，对模型的输入量和输出量进行仔细筛选，基于偏最小二乘回归模型建立带钢热镀锌质量控制模型。贺俊光等[9]根据冶金学以及对生产数据的相关分析结果，确定力学性能的主要影响因素，利用反向传播(BP)神经网络算法建立了各种工艺参数对热镀锌板力学性能影响的数学模型。上述特征筛选方法均是通过专家经验和冶金机理进行的，可能会忽略从冶金机理角度而言对力学性能影响尚不明确但实际上影响较大的特征。

随着统计技术的发展，学者们开始通过数理方法对力学性能建模特征进行筛选。吴思炜等[10]采用平均影响值筛选出对力学性能影响较大的特征，然后采用贝叶斯神经网络建立简化后的力学性能预测模型，该模型具有较高的预测精度。杨威等[11]基于随机森林算法获得各特征的重要性排序，建立一系列的模型来判断各特征对模型预测精度影响的程度，最终筛选出重要性较高的特征作为自变量，所建立的力学性能预测模型具有较高的预测精度。上述方法仅基于数理知识筛选出对力学性能影响较大的特征，从而使建立的预测模型不适用于后续的力学性能控制。

梯度提升决策树(Gradient Boosting Decision Tree，GBDT)算法[12]是基于Boosting策略的一种集成学习算法，其采用的Boosting策略主要关注降低偏差，通过依次学习多个基学习器来不断提升性能。GBDT算法在分类、回归问题上取得了优异的成果。SONG等[13]基于多种机器学习模型建立钢的拉伸强度和塑性与其影响因素之间的映射函数，对这些模型的性能进行评估后，发现基于GBDT算法的映射函数的预测精度最高。苏兴华等[14]以GBDT算法为核心建立机械钻速预测模型，同时将该方法与支持向量机、逻辑回归、K最邻近等其他机器学习算法进行比较，结果表明GBDT算法相对其他方法具有较高的准确率。目前未见基于GBDT算法对热镀锌钢卷力学性能预测方面的研究报道。作者以DC51D低碳铝镇静钢产品为例，利用工艺和力学性能生产数据样本，基于冶金机理选出热镀锌钢卷基本建模特征，通过GBDT算法筛选出对屈服强度影响较大的其他化学元素，基于筛选出来的特征建立屈服强度预测模型，再基于网格搜索法与交叉验证方法对模型参数进行优化，并利用模型分析不同特征对屈服强度的影响。

1 GBDT算法

1.1 建模过程

(1) 初始化学习器f0(x)的表达式为

(1)

式中：L(yi,γ)为损失函数；γ为使损失函数达到最小的常数。

对于回归问题，GBDT算法采用平方误差损失函数为损失函数，即：

L[y,f(x)]=[y-f(x)]2

(2)

式中：f(x)为机器学习模型预测值。

(2) 迭代轮数m取1,2,…,M，将此时损失函数的负梯度值rmi作为残差的估计，即：

-2[yi-f(xi)]

(3)

根据所有样本xi的负梯度值rmi得到由J个叶节点组成的一棵决策树，定义其对应的叶节点区域为Rmj，其中j=1,2,…,J，各个叶节点的最佳残差拟合值γmj为

(4)

式中：γm为在迭代轮数为m时的节点残差拟合值。

更新学习器fm(x)，得到：

(5)

(6)

(3) 经过M轮迭代得到最终的模型为

(7)

1.2 基于GBDT的相对特征重要性度量

GBDT是以CART决策树为基模型的集成学习模型。在回归问题中，CART决策树利用平方误差对分裂变量进行选择，并递归地生成二叉树。根据特征在GBDT模型生成过程中作为分裂变量的次数以及这一次分裂带来的增益提升，得到特征变量在GBDT模型中的相对特征重要性。将相对特征重要性用RFI表示，将平方误差用SE表示，假设特征集S有n个特征，即X1,X2,X3,…,Xn，则要计算出特征集S中的某个特征Xj的相对特征重要性RFIj。决策树中节点d的平方误差SEd的计算公式为

(8)

特征Xj在节点d的相对特征重要性，即在二叉分枝前后的平方误差减小量RFIjd为

RFIjd=SEd-wlSEl-wrSEr

(9)

式中：SEl和SEr分别为由节点d分裂的左右新节点的平方误差；wl和wr分别为节点d分裂的左右新节点的样本数占节点d样本数的比率。

平方误差减小量实际上是该节点此次分裂的收益，节点分裂时的收益越大，该节点对应的特征的重要性越高。假设第i棵决策树有L次分裂，从根节点到L-1层搜索所有分裂节点，假设特征Xj在第i棵决策树中出现的节点在集合E中，那么特征Xj在第i棵决策树中的相对特征重要性RFIij为

RFIij=∑d∈ERFIjd

(10)

假设模型中共有M棵树，则特征Xj在模型中的相对特征重要性为

(11)

由上求出所有特征在模型中的相对特征重要性，并作归一化处理得出特征Xj的相对特征重要性为

(12)

2 特征筛选与钢卷力学性能预测建模

2.1 特征筛选

钢卷力学性能预测建模的输出特征为屈服强度。热镀锌钢卷的基本成分、轧制工艺参数以及连退工艺参数是明确的，从物理冶金角度分析，这些特征均对屈服强度有重要影响。在GBDT算法的特征重要性分析过程中，要利用生产样本数据建立预测模型，根据各特征变化对屈服强度的影响程度来评定特征重要性。基于GBDT算法的特征重要性分析不但与特征和屈服强度之间的物理冶金关系有关，也依赖于数据样本中各特征的变化程度。在实际生产过程中，基本化学特征以及工艺参数特征中的部分特征由于控制程度较好，波动范围小，观测值较为稳定；这些数值稳定的特征容易被GBDT算法筛去。如果直接采用GBDT算法筛选特征，则会将在冶金机理上对屈服强度影响明确的特征筛除，说明仅用GBDT算法进行特征筛选存在一定的局限性。因此，在建立力学性能预测模型时，应将这些在冶金机理方面对屈服强度影响明确的特征作为模型的基本建模特征，包括热轧、退火、平整、拉矫等工艺参数，厚度、宽度等规格特征以及五大基本化学元素特征。在钢冶炼过程中不可避免会有其他化学元素存在，这些元素的存在也可能会引起屈服强度的变化，需要采用GBDT算法对这些元素进行筛选。

2.1.1 基于冶金机理的基本建模特征选取

热镀锌低碳铝镇静钢卷的生产工艺包括炼钢、热轧、冷轧、连续退火、平整和拉矫。在热轧工艺参数中，热轧入轧温度的升高会使铁素体晶粒度增大，热轧卷取温度决定组织中渗碳体的数量和形态，热轧终轧温度决定渗碳体在组织中的分布[15]。在退火工艺参数中，不同的退火均热段温度消除加工硬化的程度不同，退火直燃段温度决定退火加热速率，退火冷却段温度通过影响退火冷却速率来改变产品的组织和力学性能。热镀机组速率代表连续退火速率，影响退火加热和冷却的快慢。平整延伸率增大会导致表层晶粒变形区域增大，使得屈服强度增加。拉矫有利于改善材料在纵向和横向上的各向异性[16]。在规格特征中，热卷厚度、冷卷厚度通过影响总压下率而对屈服强度造成影响，宽度通过影响温度分布而对屈服强度造成影响。钢中的基本元素是碳、硅、锰、磷、硫，其中：碳是钢的强化元素，随着碳含量的增加，钢的强度增加，塑性下降；硅能固溶于铁素体，从而提高钢的硬度和强度；锰是钢中重要的合金元素，通过置换固溶提高钢的强度；磷和硫是冶炼过程中原材料中存在的元素，虽然含量不高，但是易增加脆性，从而影响钢的力学性能[17]。由此可知，热镀锌钢卷力学性能预测建模的基本特征包括工艺参数特征(热轧入轧温度、热轧终轧温度、热轧卷取温度、退火直燃段温度、退火均热段温度、退火冷却段温度、热镀机组速率、平整延伸率、拉矫率)、规格特征(热卷厚度、冷卷厚度、宽度)以及基本化学元素特征(碳、硅、锰、磷、硫含量)。

2.1.2 基于GBDT的其他化学元素特征筛选

热镀锌钢卷中的其他化学元素包括氮、铝、钛、铌、硼、氧。为分析这些元素对力学性能的定量影响，将热镀锌钢卷力学性能预测建模基本特征与这些化学元素一起作为建模输入特征，利用Scikit-learn机器学习库中的Gradient Boosting Regressor函数构建GBDT力学性能预测模型，得到氮、铝、钛、铌、硼、氧元素含量对屈服强度的相对特征重要性，结果如图1所示。由图1可知，氮、铝、钛含量的相对特征重要性较大，而铌、硼、氧含量的影响可以忽略。

图1 热镀锌钢卷中其他化学元素含量的相对特征重要性Fig.1 Relative feature importance of other chemical elements in hot-dip galvanized steel coils

定量分析氮、铝、钛含量对屈服强度的影响。以氮含量为例，取氮含量在实际生产数据中的最小值、最大值以及最小值和最大值之间的3个四等分点，而除氮含量外的其他化学元素含量取建模数据中的平均值，利用GBDT模型计算屈服强度，分析氮含量在其取值范围内的变化对屈服强度的影响。由图2可以看出，随着氮、铝含量的增大，屈服强度单调递增，而随着钛含量的增大，屈服强度基本不变，说明与钛含量相比，氮、铝含量的变化对屈服强度的影响程度更大。通常钛、铌等微合金元素对钢卷强度具有明显的影响，但是所研究的热镀锌钢卷为铝镇静钢，在产品设计时，铌、钛元素是残余元素，平均质量分数分别为0.000 13%，0.000 12%，因此二者含量对屈服强度的影响有限。综上可知，将对屈服强度影响较大的氮、铝含量也作为力学性能预测建模特征。

图2 用GBDT模型计算得到热镀锌钢卷的屈服强度随氮、铝、钛质量分数的变化曲线Fig.2 Curves of yield strength of hot dip galvanized steel coil vs mass fraction of N (a), Al (b) and Ti (c) by GBDT model

2.2 钢卷力学性能预测建模与模型参数优化

2.2.1 力学性能预测建模的交叉验证方法

交叉验证[18]将数据集划分为训练集和测试集，训练集用于训练模型，测试集用于评估模型，假设测试集数据和实际生产数据是独立同分布的，那么测试集上的误差可以近似看作是模型泛化误差。将训练集细分为训练集和验证集，在训练集上训练模型，利用验证集上的误差以帮助指导模型调参，防止模型欠拟合和过拟合[19]。在构建力学性能预测模型的过程中，需要对模型进行评估，根据评估指标选择最佳模型。作者选用均方根误差δRMSE、平均绝对误差δMAE和平均绝对百分误差δMAPE作为评估指标，计算公式分别为

(13)

(14)

(15)

式中：yi为第i条样本的屈服强度实测值；pi为第i条样本的屈服强度预测值。

2.2.2 模型参数优化结果及分析

网格搜索法在参数空间每维上取若干分隔，将参数空间划分为网格并遍历网格中每个点获得最优解，其优点是可以得到参数空间内的全局最优点，相比于人工调参可以得到更理想的结果[20]。表1为GBDT模型参数网格搜索范围，基于特征筛选得到的19个特征，按照5…2…3的比例将建模数据随机划分为互斥的训练集、验证集和测试集，在训练集上遍历网格中的每个参数点训练模型，在验证集上计算出屈服强度的均方根误差，选择使均方根误差达到最小的参数点作为网格搜索的结果，最终在测试集上验证模型的预测精度。

表1 GBDT模型参数网格搜索范围

在训练集上利用Scikit-learn机器学习库中的Gradient Boosting Regressor函数的默认参数(学习率0.1，树的数量100，树模型的最大深度3)建立GBDT模型，在验证集上计算得到屈服强度的均方根误差为11.292 MPa，平均绝对误差为8.703 MPa，平均绝对百分误差为2.791%；在测试集上计算得到屈服强度的均方根误差为11.575 MPa，平均绝对误差为8.974 MPa，平均绝对百分误差为2.875%。进一步对模型参数进行调整优化可以提高模型的性能和精度，经过网格搜索得到的GBDT模型的最优参数为学习率0.01，树的数量600，树模型的最大深度7。优化前后模型的预测精度对比如表2所示。由表2可知：经过模型参数优化后，模型预测精度得到较大提升。

表2 GBDT模型参数优化前后的预测精度

2.3 力学性能预测模型的分析与讨论

在热镀锌钢卷生产过程中，化学元素特征、热轧工艺参数特征和退火工艺参数特征的数值会有一定波动，基于模型分析这些特征变化对屈服强度的影响，有助于确定对屈服强度影响较大的特征。

碳、硅、锰、磷、硫含量为钢卷力学性能预测建模的基本化学元素特征，利用优化后的GBDT预测模型分析这些特征对屈服强度的影响，结果如图3所示。由图3可以看出：热镀锌钢卷的屈服强度随碳、硅、锰、磷含量的增加而增大，随硫含量的增加而减小，当碳、硅、锰含量变化时，屈服强度的变化幅度较大。在实际生产中，应严格控制碳、硅、锰含量的波动，从而保证钢卷屈服强度的稳定。

图3 基于优化后的GBDT预测模型得到基本化学元素含量特征对热镀锌钢卷屈服强度的影响Fig.3 Effect of basic chemical element content features on yield strength of hot-dip galvanized steel coils by optimized GBDT prediction model: (a) mass fraction of C; (b) mass fraction of Si; (c) mass fraction of Mn; (d) mass fraction of P and (e) mass fraction of S

热轧工艺参数特征和退火工艺参数特征包含热轧入轧温度、热轧终轧温度、热轧卷取温度、退火直燃段温度、退火均热段温度、退火冷却段温度，其对热镀锌钢卷屈服强度的影响如图4所示。在热轧工艺参数特征中，屈服强度随热轧入轧温度、热轧终轧温度的升高而增大，随热轧卷取温度的升高而减小。在退火工艺参数特征中，屈服强度随退火直燃温度、退火冷却段温度的升高而增大，随退火均热段温度的升高而减小。随着热轧入轧温度的升高，热镀锌钢卷中铁素体的晶粒尺寸增大，珠光体的体积分数降低，因此热镀锌钢卷屈服强度随热轧入轧温度的升高而增大[21]。热轧入轧温度的变化范围较大，且热轧入轧温度变化引起的屈服强度变化幅度较大；由于所有样本数据来自于相对稳定的实际生产过程，因此应从操作人员、设备、环境等方面提高控制热轧入轧温度的能力，从而控制屈服强度的稳定性。

图4 基于优化后的GBDT预测模型得到热轧工艺参数特征和退火工艺参数特征对热镀锌钢卷屈服强度的影响Fig.4 Effect of hot rolling features and annealing features on yield strength of hot-dip galvanized steel coils by optimized GBDT prediction model: (a) hot rolling in-rolling temperature; (b) hot rolling end-rolling temperature; (c) hot rolling coiling temperature; (d) annealing direct firing section temperature; (e) annealing soaking zone temperature and (f) annealing cooling section temperature

3 结 论

(1) 热镀锌钢卷力学性能预测建模的基本特征包括工艺参数特征(热轧入轧温度、热轧终轧温度、热轧卷取温度、退火直燃段温度、退火均热段温度、退火冷却段温度、热镀机组速率、平整延伸率、拉矫率)、规格特征(热卷厚度、冷卷厚度、宽度)以及基本化学元素特征(碳、硅、锰、磷、硫含量)；基于GBDT筛选出的对热镀锌钢卷屈服强度影响较大的其他化学元素特征为氮、铝含量。

(2) 通过网格搜索与交叉验证方法对GBDT力学性能预测模型参数进行优化，最优参数为学习率0.01，树的数量600，树模型的最大深度7，此时在测试集上测得屈服强度的均方根误差为10.671 MPa，平均绝对误差为8.244 MPa，平均绝对百分误差为2.641%，模型预测精度比模型参数优化前的明显提高，可应用于预测工业生产中钢卷的力学性能。

(3) 当碳、硅、锰含量变化或热轧入轧温度变化时，钢卷屈服强度的变化幅度较大，因此在实际生产中，应严格控制碳、硅、锰含量的波动，并提高控制热轧入轧温度的能力，从而控制屈服强度的稳定性。