基于机器学习多算法集成的产品质量问题预测方法

钟武昌, 战洪飞*,, 林颖俊, 余军合, 王 瑞

(1.宁波大学 机械工程与力学学院,浙江 宁波 315211, E-mail: zwc112633@126.com 2.中银(宁波)电池有限公司,浙江 宁波 315040)

传统的工业产品质量检测往往是事后抽检,遇到质量问题之后再去调整生产工艺和优化加工方案,这无疑增加了企业制造加工成本。随着“工业4.0”与“中国制造2025”等概念提出[1],制造型企业正不断向数字化转型,数字化工厂给产品质量预测提供了大量数据支持[2-3],如何利用产品加工过程的制造大数据预测产品质量是智慧工厂构建的基础,也是急需处理的难题之一。

人工智能、机器学习的不断发展为这难题带来了新的机遇,为了使机器学习模型能在制造行业相关场景落地,相关学者以数据驱动的形式为预测模型提供落地支持。Peres等[4]提出了一种基于深度学习的方法用于结构粘合剂的质量预测,并在汽车零件的生产制造中得到验证,有效降低了企业生产成本。董海等[5]针对传统机器学习方法处理制造大数据精度低、效率较差等问题,构建了一种基于eXtreme Gradient Boosting(XGBoost)算法的质量预测方法,用于处理汽车车身装配尺寸的精度控制问题。Duan等[6]提出了一种基于制造过程数据的实时质量预测系统,通过分析产品制造资源与质量状态之间的关系,建立了产品实时质量状态与加工任务过程之间的关系,从而实现实时质量预测控制。张振刚等[7]基于离散式制造数据,利用随机森林算法进行质量符合率预测,并与Bagging模型进行性能对比,表明随机森林模型对质量符合率的预测更加有效。Suthep Butdee[8]提出了一种基于神经模糊的方法来预测不确定环境下压缩机橡胶硫化过程的质量,在模糊推理系统中输入了四个影响因素,经过模糊化处理后,对成品质量进行预测,以此提高压缩机橡胶硫化过程的质量。杨剑锋等[9]针对多批量小品种产量小但质量影响因素众多的情况下,利用卡尔曼滤波进行产品质量预测,并采用分块线性回归挖掘出隐含的规则或模式。Yu[10]提出了一种基于知识的深层信任网络(KBDBN),来预测工件表面粗糙度的质量,而且比典型的机器学习模型(如支持向量机、邻近算法等)具有更好的预测效果。Sebastian Schorr[11]通过数控机床获得的扭矩测量值结合随机森林的机器学习方法来预测阀门的同心度以及钻孔和铰孔的直径,以此提高产品良率,减少不良品的发生。虽然人工智能及机器学习的预测效果较好,但仍存在单一预测模型学习能力受随机性限制,导致泛化能力不佳的问题。

基于此,在多算法集成预测方向中,周末等[12]基于多算法的有效集成用于短期电力负荷的预测,吴晓阳等[13]基于多算法融合预测模型对高炉煤气流进行预测,取得了较好的预测效果。因而本项目针对产品质量预测的应用场场景,经过反复测试,拟基于Stacking框架,将三种机器学习算法集成应用,用以产品质量问题的预测。采用XGBoost融合SHapley Additive exPlanation(SHAP)模型进行特征选择,提高数据质量,同时降低冗余特征,随后综合采用轻量级梯度提升模型(Light Gradient Boosting Machine,LightGBM)、梯度提升决策树模型(Gradient Boosting Decision Tree,GBDT)和套索模型(Least absolute shrinkage and selection operator,Lasso)三种算法进行Stacking框架的集成,构建产品质量预测模型。

1 质量预测模型的总体框架

由于制造过程数据不仅具有多维度、复杂性高等特性,还具有隐含的规律以及知识,单一模型的质量预测方法难以有效学习到所有的信息和规则,并且大部分的机器学习方法具有黑箱操作,使得预测模型难以落地到实际制造中。基于此,本文构建了XGBoost融合SHAP特征选择和Stacking集成的产品预测模型,整体流程如图1所示。

图1 产品质量预测模型总体框架

首先通过传感器、RFID等设备采集制造过程数据,如工艺数据、设备数据等,随后为保证数据质量,对数据进行预处理,如数据清洗、异常值处理、缺失值处理等,紧接着为了减少特征冗余,缩短模型训练时长,XGboost结合SHAP模型进行制造过程数据的特征选择,并挖掘出与产品质量相关性高的影响因素,形成高质量的符合模型训练的数据集,随后将处理后的数据导入产品质量预测模型,该模型采用Lasso、GBDT以及LightGBM三种算法进行Stacking集成,基学习器预测模型选择Lasso、GBDT、LightGBM三种算法,元学习器预测模型选择LightGBM算法,进而搭建基于Stacking集成的产品质量预测模型,该模型能为改善产品质量提供数据依据,从而进一步降低企业生产制造成本。通过以上流程形成制造数据的知识发现体系,并将发现的知识或规则存入知识库中,企业工程师根据知识库的指导,结合制造现场实际情况快速指导产品生产状态调整,降低产品不合格品,提高产品良率。

2 质量预测模型的构建

为了提高算法模型在产品质量预测方面的精确度与泛化能力,首先对制造过程数据进行结构化处理,并通过数据预处理增加数据质量,随后XGBoost结合SHAP模型进行制造数据特征选择,随后将处理好的的制造过程数据导入基于Stacking集LGL(Lasso-GBoost-LightGBM)产品质量预测模型中进行模型训练,以此得到产品质量预测结果。

2.1 质量预测数据的结构化

根据质量管理相关理论研究,影响工业产品质量因素主要是人员、设备、材料、环境、工艺、测试六个方面,本文的研究在人员、材料、测试都确定的情况下,从工艺、设备、环境采集的制造过程数据入手,使用机器学习算法构建产品质量预测模型,即通过产品制造过程中的工艺参数、设备运行状态、采集的环境数据导入进训练好的算法模型对产品质量进行预测,以提前预防不合格的产生,提升产品良率。

由于各类工艺数据、设备数据、环境数据在不同业务部门,数据分散,需要通过ERP、PDM等系统进行统一数据集成,并形成如表1所示的用于工业产品质量预测的结构化数据格式,表中表示同一产品加工过程中不同的工艺参数,上标表示产品批次ID,下标表示工艺参数编号,环境因素、设备状态数据与此同理,而是如产品尺寸、粗糙度等具有产品质量特性的标签值,并且是数值型数据。

表1 产品质量预测的结构化制造数据

由于在实际工业场景中,工艺参数、设备加工状态等取值对工业产品质量的影响存在各种不确定性和随机性,因此,本文通过数据清洗、异常值处理、缺失值处理等操作确保数据质量。例如生产设备故障,存在部分工艺参数值缺损,为了确保产品质量预测值的精准性,需要对缺失值部分进行剔除。又比如在实际生产过程中[14-15],存在部分数据之间单位差异很大,则要对数据进行归一化处理:

(1)

其中:x′、xa为归一化前的制造过程数据,xmax、xmin为归一化前制造过程数据中的最大值与最小值。

2.2 基于XGBoost-SHAP模型的特征选择方法

工业产品的质量特性受到多种因素影响,如果把所有因素影响导入进预测模型中,则会使得预测模型的结构网络复杂化、计算性能时间增长。为降低预测模型复杂度,减少冗余特征对预测模型的影响,且避免维度灾难,需要对制造过程数据集进行特征选择,选取合适且相关性高的特征进行训练,一般的特征选择方法有方差法、相关系数方法等。特征选择的方法主要观测特征与目标的相关性是否大于0,如果等于0则表示无相关性,若为负数,则是负相关性。比如方差法计算各个制造过程数据特征的独立方差,利用方差大于0的特征构成新的制造过程特征集合,相关系数法则用皮尔森相关系数进行特征选择,按照系数大小判断两个变量之间强弱关系。本文的特征选择采用XGBoost算法引入SHAP模型的方法,不仅能衡量特征重要度,还能以可视化的方法更加直观理解关键特征对产品质量的影响结果。XGBoost[16]是GBDT算法的改进,为了降低过拟合性以及增加收敛性,引入了正则项,并改善了损失函数,以保证模型的精准度。

(2)

(3)

式中:γ表式树分割的难度系数,用于控制树的生成,T表示叶子节点的个数,λ表示L2正则系数,目标函数经过泰勒公式展开成如(2)所示式:

(4)

式中:Gi为损失函数的二阶导数,Hi为损失函数的一阶导数。

Lee和Lundberg提出了基于SHAP模型[17]对特征进行可视化分析的方法,SHAP模型不仅能展示制造过程数据特征的重要性排序,还能观测到单一特征对目标变量的影响程度和正负作用,这无疑增加了特征如何影响模型预测结果的可信度,同时也能从制造数据特征中挖掘出一定的规则或规律,给实际加工业务提供一定的参考价值。该方法起源于合作博弈论,即利用一个加性模型去拟合训练出良好的学习器,如式(5)所示:

yi=y0+f(xi,1)+…+f(xi+c)

(5)

其中:y0代表产品质量的预测基准值,即所有产品质量目标量y的均值,yi代表第i个产品质量的预测值,xi代表第i个产品,c代表第i个产品中的第c个制造过程数据特征,f(xi,1)代表xi产品的SHAP值,即第i个产品中第一个制造过程数据特征对产品质量预测值的贡献度,如果该贡献度值大于0,则说明这一制造过程数据特征对产品质量预测值有正向作用,如果该贡献度值小于0,则说明这一制造过程数据特征对产品质量预测值有负向作用。

另外,SHAP值应用与产品质量预测中最为突出的一点在于通过量化影响产品质量因素的正负值映射出制造过程数据特征对每个产品的影响程度,具体计算方式为:

(6)

其中:φ代表当前第个特征的SHAP值,N代表所有制造数据特征的集合,S代表N所去除第i个制造数据特征之后的子集,|S|!代表S制造过程数据特征数量的阶乘,fx(S∪{xi})代表采用特征xi和制造数据特征集合S时预测模型对产品x处于加工状态的质量预测结果,fx(S)表示采用制造数据特征集合S时模型对产品x加工状态的质量预测结果,故两者之差反映制造数据特征对模型输出质量预测结果的贡献。

同时,该计算公式可以计算出每一个制造数据特征xi在不同特征子集S的贡献度均值,说明SHAP模型可以从全局与个体两个角度可视化产品质量预测结果。

综上所述,XGBosst-SHAP模型在选择特征筛选方面不仅能从影响预测结果的正负两方面考虑从而选择更契合预测模型的特征,还能通过图表可视化的形式发现数据特征与产品质量预测结果的关联性,进而总结归纳出某些规律或规则,给实际加工制造业务提供一定的参考价值。

2.3 基于Stacking的多预测算法的集成

考虑到工业产品生产过程和相关制造过程数据集的复杂性,单一分类算法难以适应于所有的制造场景,为了提高预测模型精确度以及适应复杂多变的工业生产环境,提出了将LightGBM、GBDT、Lasso进行Stacking集成,以此构建一个更加稳定且精度更高的LCL(Lasso-GBoost-LightGBM)预测模型。该模型通过数据预处理、特征选择、模型训练、性能分析等一系列步骤,既保证数据质量,也确保模型的预测精度达到实际制造业务要求。

2.3.1 质量预测模型学习器的选择

目前机器学习领域有多种回归预测学习器应用在质量预测中,例如Lasso回归算法,该算法通过自身构建一个惩罚函数,将变量的系数进行压缩并使某些回归系数变为0,进而达到变量选择的目的,优点是可以获得一个变量比较少的预测模型,但是也容易导入一些冗余的无关变量或者遗漏某些对预测模型影响较大的变量,这是该算法有待改进的地方。GBDT算法具有预测精度高、处理非线性数据效率高、对异常值的鲁棒性强、可以灵活处理各种类型的数据(包括连续值和离散值)等优点,但由于弱学习器之间存在依赖关系,难以并行训练数据,且遇到数据维度较高时会加大算法的计算难度。LightGBM算法具有计算准确率高、运行速度快、支持并行处理、占用内存少和适用于大规模数据处理等优点,但LightGBM可能会长出比较深的决策树,从而更容易发生过拟合。每种算法都有一定的优点和缺点,为了保证预测模型的预测速度、预测的精确度以及适应复杂多变的加工制造场景,因此本文选择Lasso、GBDT、LightGBM这三种学习器,将这三种学习器进行Stacking集成,通过多模型融合实现扬长弊短,从而合理利用各学习器的回归预测优势。

其中使用Lasso回归算法构建的产品质量预测模型的输入为各种设备或系统收集到的制造数据,输出为产品质量特性标签值,比如产品尺寸、粗糙度等具有产品质量特性的标签值。Lasso回归是在损失函数后,加入L1正则化,在质量预测中,Lasso回归算法的正则化系数通过设定合适的候选集利用K折交叉验证的方法从中找到最佳的正则化系数,而随机树种子(random_state)通常设定为1,其他参数设定为默认值。因此,Lasso回归算法[18]用于工业产品质量预测的学习器为:

(7)

GBDT算法[19]是一种迭代的决策树算法,由多棵决策树组成,所有树的结论累加起来作为最终答案。假设某产品样本I,将N维制造数据特征设为Xi={x1,x2,…,xn},xi∈χ⊆Rn,Rn为输入空间,Y为输出空间,yi∈Y⊆R,Qi={y1,y2,…,yn},为质量特性标签,将梯度提升决策树(GBDT)应用于产品质量预测中,假设T(Xi;θm)表示为决策树,θm表示为决策树参数,M为树的个数,利用特征得到棵树的总和:

(8)

初始化第一个GBDT质量预测模型的弱学习器F0(x):

(9)

建立m棵回归树,则计算第棵回归树对应的响应值为:

(10)

利用CART回归树拟合数据(xi,rm,i),得到m棵回归树,其对应的叶子节点区域为Rm,j,其中j=1,2,…,Jm,Jm为第m棵回归树叶子节点的个数,并计算出Jm最佳拟合值:

(11)

通过多次迭代,更新回归树可以得到最终预测模型,因此,GBDT用于工业产品质量预测的学习器为:

(12)

LightGBM算法[20]是一个梯度Boosting框架,采用基于决策树的算法,原理上和GBDT类似,都是采用损失函数的负梯度作为当前决策树的残差近似值,去拟合新的决策树,但LigthGBM算法的优势有以下几点:使用基于直方图的决策树算法,采用一种带深度限制的 Leafwise的叶子生长策略,使得LightGBM算法的处理速度更快,效率更高。

(1) LightGBM算法优势是直方图优化,如图2所示,利用特征工程中输出的制造数据特征值转换为离散值实行装箱处理,即变为bins,之后将制造数据特征值为浮点型数据的特征进行离散化,即变为bin data。

图2 直方图的构建

(2) LighGBM算法利用一种带深度限制的Leaf-wise的叶子生长策略,用以在确保高效率运行计算的过程同时能防止过拟合现象的产生,如图3所示,可以观察到在相同的分裂次数下,该方法的误差更低、计算效率更高。

图3 Leaf-wise生长策略

LightGBM 算法使用直方图方法、带深度限制的按叶生长策略等改进方法,模型训练速度相对于GBDT模型显著提高,在工业大数据应用场景中,面对大样本高维度的工业数据集时具备较快的训练速度,有利于随生产过程进行迭代升级。

2.3.2 Stacking集成的LCL质量预测算法

已有研究表明[21],单一模型的预测结果精确度有限,为了提高预测模型的泛化能力同时降低机器学习模型的偏差及方差,提出基于Stacking集成的LGL(Lasso-GBoost-LightGBM)产品质量预测方法。该方法依据Stacking集成原理,选取不同种类的学习器作为基预测模型和元预测模型;结合工厂加工过程产生的大量制造过程数据,制定并提取制造过程数据特征指标作为第一阶段基预测模型的数据集进行Stacking转换;通过第二阶段元预测模型对转换后数据集的学习训练,有助于预测不合格的产生,提高产品良率。基于Stacking集成的LGL产品质量预测方法如图4所示,主要步骤如下:

图4 基于Stacking集成的LGL质量预测流程

Step 1:将经过数据预处理、特征选择(筛选出关键质量影响因素特征)等处理好的制造过程数据集划分为训练集Xtrain={(Xn,Yn),n=1,2,…,N}和测试集Xtest={(Xm),m=1,2,…,M},其中Xn为制造过程数据的训练集特征向量,Yn为训练集质量特性标签值,则输出的预测结果为。

Step 2:为了保证训练集的多样性,将训练集Xtrain={(Xn,Yn),n=1,2,…,N}划分为不交叉的5份训练子集{W1,W2,…,W5}。

Step 3:将LightGBM、GBDT、Lasso基学习器模型每个都选择{W1,W2,…,W5}其中一份为测试集,其余4份为训练集进行学习,直到5个训练子集循环完毕,得到一个基学习模型对训练集的Stacking转换:Pz={Pz1,Pz2,…,Pz5},z=1,2,3,则训练集Xtrain={(Xn,Yn),n=1,2,…,N}经过Stacking第一阶段转换为元训练集Xmeta。

Step 4:在每个基预测模型5轮训练的同时,测试集Xtest={(Xm),m=1,2,…,M}在其模型中生成5列预测结果,取其平均得Qz={Qz1,Qz2,…,Qz5},综合3个基预测模型得出经Stacking转换后的元测试集Ymeta。

Step 5:将经过Stacking第一阶段转换后的元训练集Xmeta以及相对应特征标签输入进元学习器模型LightGBM中训练,输入元测试集Ymeta进行预测,输出最终的质量预测结果。

Step 6:模型性能分析采用均方误差(MSE)、均方根误差(RMSE)、平均绝对误差(MAE)三个指标,当模型达到指标验收要求时,保存模型,并将其应用到实际生产业务中。

3 实例应用验证

采用注塑成型制造过程积累的加工数据对本文所提方法进行应用,并将预测结果与Lasso、GBDT、LightGBM三种算法进行对比,验证本文预测模型与方法的准确性。

3.1 注塑加工过程的数据获取及处理

本文采用了工业大数据竞赛注塑成型的数据集,数据集包含模内温度、模内压力、锁模压力、炮筒温度、开模速度等传感器、记录表、ERP系统收集的制造过程数据。首先是在注塑加工过程不同地方放置24个传感器,该数据采集频率跟随不同阶段设定有20 Hz和50 Hz两种,主要采集温度、压力、速度等数据。其次是成型机状态数据,数据维度共计86维,主要为成型机在加工过程中的各项运行数据如开模时间、切换位置等。然后是注塑成型加工过程设定的工艺参数,含有注塑成型的81种工艺设定参数,主要是根据工程师设定的注射模式、保压切换时间等。最后是注塑成型后的产品测量尺寸。

考虑到多数注塑成型过程数据对模型训练效果产生的影响微乎其微,为了避免计算资源的浪费,将重要的高频特征计算出平均值、最大值、最小值等,并与其他数据构建出一个崭新的数据集,表2为数据部分展示,表3为注塑成型制造数据的部分特征名称、含义及其特征排序。

表2 注塑加工过程数据展示(部分)

表3 注塑加工过程特征变量展示(部分)

紧接着,考虑到传感器采集的数据存在异常值或者缺失值,需要对数据进行预处理保证数据完整性,以此提升计算效率。又由于注塑成型特征复杂,为了提高预测模型精度,并降低模型训练时长,采用XGBoost-SHAP模型方法对数据集进行特征选择,从而减少模型复杂度和冗余特征。最后对数据集按照合适的比例划分训练集、测试集,将其导入Stacking预测模型。

3.2 基于XGBoost-SHAP的注塑加工过程的特征选择

基于XGBoost-SHAP的注塑加工特征选择方法通过python的第三方包xgboost、shap实现,本文将相关系数、全量特征、方差法、XGBoost特征选择与XGBoost-SHAP模型特征选择方法用拟合度值进行对比,如图5所示,观测到基于SHAP模型的特征选择方法的拟合度达到0.958,明显优于方差法、相关系数法等特征选择方法,并且SHAP模型还能提供图表可视化分析,能更为直观地看到关键特征是怎样影响注塑产品尺寸预测结果。

图5 特征选择方法拟合度对比

如图6所示,根据各个特征SHAP的值的平均绝对值进行排序,本文选出重要的十五个特征。

图6 SHAP值特征分析

每一个点代表一个样本的一个特征,纵坐标为特征编号,从上往下重要度依次降低,横坐标为特征的SHAP值,样本各特征值的大小用不同深浅表示,颜色越深则表示该特征值越大,越浅则表示特征值越小。其中,模内温度均值(Sensor5_mean)、模内压力均值(Sensor1_mean)、座进终止压力(EL_CF_END_PRESS)、模具恒温温度均值(MouldTemp1_mean)对注塑产品的尺寸影响较为显著,故本文可以通过该图着重关注特征重要性排序高的关键影响因素,如果遇到注塑产品尺寸超差的问题,首先查看关键影响因素的数值范围是否在正常范围内,从高到底逐步排除关键影响因素,从而获取异常的影响因素因子,为进一步处理注塑产品尺寸超差问题提供数据和技术支持。

在SHAP值特征分析图中,只能看到特征重要性排序以及对预测结果影响,而SHAP依赖图则能深入挖掘某一具体特征是如何影响预测结果的。图7中的横坐标轴上是特征值大小,纵坐标轴上是相应特征的SHAP值。

图7 SHAP分析依赖图(部分)

由于该数据集经过加密处理,特征值大小不是实际制造数据数值。例如模内温度均值(Sensor5_mean)[40 000,450 000]和[72 000,76 000]区间范围内SHAP值小于0,说明在该范围内的模内温度均值对注塑产品尺寸的作用是负向的,而在[76 000,88 000]区间范围内SHAP值大于0,说明模内温度均值在该范围左右对注塑产品尺寸的作用是正向的,当尺寸超差则第一时间查看模内温度均值是否在合理范围内。从图7中看模具恒温温度均值(MouldTemp1_mean)的SHAP分析依赖图,则能得出在[160 000,165 000]区间范围内SHAP值大于0,说明模具恒温温度均值在该范围左右对注塑产品尺寸的作用是正向的,在[200 000,220 000]区间范围内SHAP值小于0,说明模具恒温温度均值在该范围左右对注塑产品尺寸的作用是负向的。故本文可以把这些得出的规则或规律存储到知识库中,为处理注塑产品尺寸不合格问题提供一定的参考价值和指导意义。

3.3 算法对比分析

本文实验环境为:操作系统为Windows10、python3.7、LightGBM算法、GBDT算法、Lasso算法、Stacking集成算法等。其中LightGBM算法设置regression为目标函数(objective),提升类型(boosting_type)设置为gbdt,叶子节点数(num_leaves)、学习速率(learning_rate)等参数利用网格搜索选择最佳值。GBDT算法n_estimators(树的数量)设定为300,learning_rate(学习率)为0.05,max_depth(树的最大深度)为4,min_samples_leaf(树的最大深度)为15,loss(损失函数)设定为huber。Lasso算法通过LassoCV选取最优的alpha(正则项系数),random_state(随机数种子)为1,其他参数选择默认值。通过以上参数的设定,选取数据集中Size1尺寸作为对比尺寸数据,得到表4不同模型的性能对比情况。

表4 算法性能对比

从表4的实验结果可以看出,Lasso算法的各项性能指标表现最差,相比单一算法中表现较好的LightGBM算法,Stacking集成算法在MSE的性能上提升23.43%,RMSE提升12.63%,MAE性能提升13.50%。再从图8看真实值与预测值对比图,仍可以看出Stacking集成算法的预测模型对于尺寸预测值趋势捕捉更准确,波动更小。而Size1的合格范围上限UL(Upper Limit)为300.15 mm,合格范围下限LL(Lower Limit)为299.85 mm,说明基于Stacking集成算法的预测精度能达到注塑产品尺寸预测的标准,并值得在实际产品质量预测中得到应用。

图8 注塑尺寸的真实值与预测值对比

图9 改善后振动测试位移图

4 结语

本文提出了XGBoost结合SHAP模型进行特征选择的方法,该方法能通过可视化图表的形式更加直观发现制造过程特征是如何影响质量预测结果,从而发现规律或规则。同时提出基于LightGBM、GBDT、Lasso三种算法构建Stacking集成的产品质量预测模型,及时预防不合格产品的产生,并用注塑成型案例验证了本文提出模型与方法的可行性,给企业产品质量管理智能化提供了一定的参考价值。但由于产品加工时环境复杂性、设备差异性等问题,质量预测的实时性和反馈效率可能略有不足。后续工作中将数字孪生技术应用于产品质量预测控制,如何利用孪生数据提高产品质量和辅助生产决策是未来值得研究的方向。