基于Bi-LSTM的质量控制图模式识别

伍常亮　朱波　万育微　赵晟然

摘  要： 为提高制造过程质量智能控制的控制效果，提出了一种基于双向长短时间记忆网络（Bidirectional LSTM，Bi-LSTM）的控制图失控模式识别方法。文中分析了其分类的基本原理，构建了控制图模式识别模型，并通过蒙特卡洛仿真方法生成仿真数据集，进行仿真实验验证。仿真实验结果表明，Bi-LSTM用于控制图模式识别，准确率相对多层感知机（MLP）、贝叶斯分类器有了显著提升，相比支持向量机（SVM）具有效率上的明显优势，且在大样本下识别准确率更高。

关键词： 控制图模式识别;深度学习;双向长短时间记忆网络;并行计算;蒙特卡洛仿真

中图分类号： TP391.4    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2019.07.016

【Abstract】： In order to improve the control effect of intelligent control of manufacturing process， a method of recognition for out-of-control patterns in control chart based on Bidirectional LSTM （Bi-LSTM） is proposed in this paper. The basic principle of LSTM for classification is analyzed first. Followed by that， the pattern recognition model of control charts is constructed and a simulation data set is generated by the Monte Carlo simulation method for training and testing. The simulation experiments results show that the recognition accuracy of Bi-LSTM on control chart patterns is significantly superior than those of multi-layer perceptron （MLP） and bayesian classifier. In comparison with support vector machine （SVM）， it also shows obvious advantages in efficiency and gets higher recognition accuracy under the case of large samples.

【Key words】： Control chart pattern recognition; Deep learning; Bi-LSTM; Parallel computing; Monte Carlo simulation

0  引言

控制圖作为统计过程控制（SPC）的核心工具，基于统计学的中心极限定理和假设检验原理，检测产品生产过程是否稳定，区分过程受可归咎变异因素与不可归咎变异因素影响[1]。传统控制图对于超出控制限的异常较容易检测，而对于控制限内的异常模式难以识别，通常需要通过人工进行判断，易受到人的经验水平的影响。智能制造的兴起对制造过程质量控制提出了智能化的要求，将机器学习技术引入到过程质量监控中，通过机器学习模型对控制图进行模式识别成为实现过程质量智能化监控的有效手段[2]。

机器学习算法在控制图模式识别领域的应用研究早在上世纪80年代就开始受到重视，至今已取得了一定成果，如：（Guh和Hsieh，1999）[3-4]利用BP神经网络对控制图异常模式的识别进行了研究，表明BP神经网络对于该领域的继续深入研究具有一定研究价值，但BP神经网络的缺点在于参数难以调节，训练易陷入局部极小，识别率不高。接着，又有其他学者将概率神经网络（PNN）、支持向量机（SVM）、Adaboost等其他传统机器学习算法应用于该领域，表明了这些算法比BP神经网络更具有精度、效率或鲁棒性上的优势[5-7]。近些年来，也有部分者针对这些经典机器学习算法的不足，提出了改进算法，如：利用可调节激活函数参数和动态阈值的方法、自适应粒子群（AMPSO）、遗传算法 （GA）等对BP神经网络、SVM的参数选择进行优化，仿真实验表明这些优化后的算法在识别率或鲁棒性上有所提升[8-10]。还有些学者在控制图模式  的特征工程上做了研究，如：利用时域特征、形状特征、小波分解方法等，对控制图模式进行特征提取、特征融合的工作，表明了抽取和选择特征的重要性[11-12]。

这些研究表明了控制图模式识别领域目前存在的三大难点：一是算法设计，众多传统机器学习算法中，只有少数算法对控制图模式识别有较好的效果;二是特征选择，传统机器学习算法一般都需要对原始数据进行特征提取、特征融合之后才能取得更好的效果，对于特征选择的依赖性较高;三是这些传统机器学习算法一般在大样本情况下训练耗时太高（如SVM），难以适应现代化快速生产的节拍。

近年来，深度学习作为机器学习一个新的分支快速崛起，在计算机视觉、语音识别、自然语言处理等领域已经取得了相当可观的成绩。与传统机器学习算法相比，深度学习使用更多的样本数据可以更好地扩展，且不需要特征工程，这为控制图模式识别领域开辟了新的途径。双向长短时间记忆网络（Bi-LSTM）作为一种深度学习方法，善于处理序列的前后关系，因而常用于处理自然语言中的上下文信息[13-15]。控制图异常模式通常由人、机、料、法、环、测的异常所引起，产品生产过程中质量特性一般随时间呈规律变化，从产品的质量特性前后波动数据来分析，往往能分析出数据流的异常形态，从而找出根本的异常原因。鉴于Bi-LSTM算法善于处理序列前后关系的特性以及控制图模式数据流存在前后关系的特性，本文提出使用Bi-LSTM来进行控制图模式识别，利用蒙特卡洛模拟方法仿真得到控制图八种基本模式的数据（其中包括受控模式和其他七种异常模式），利用tensorflow搭建Bi-LSTM网络结构，并使用GPU并行加速训练，在识别精度和识别效率上取得了较好的效果。

1  控制图模式识别原理

在工序中，由于受到人、机、料、法、环、测等多种因素的影响，产品生产过程质量特性数据流往往存在着波动，按照这些波动数据流的分布特点，美国西部电气公司将其分为八种模式，即：受控模式（natural）、向上阶跃（upward shift）、向下阶跃（downward shift）、趋势向上（upward trend）、趋势向下（downward trend）、周期模式（cycle）、系统性模式（systematic）、混合模式（mixture），八种基本模式的分布特点如图1所示。

在控制图模式识别的实际应用中，一般采用移动窗口的方法进行异常监控，每生产出一个新的产品，便将窗口往后移动一次，将新的数据加入到识别窗口，若在某时刻点窗口检测出异常，则发出异常警报，并输出具体异常模式，移动窗口法及仿真样本示意图如图2所示。

在基于机器学习方法的控制图模式识别领域中，一般将如图2所示窗口内的数据流作为机器学习的样本。移动窗口长度的选择一般基于经验选取，一般来说，移动窗口长度小，则能更快检测出异常，但模式判别准确性低;移动窗口长度大，则模式判别准确性更高，但检测出异常的效率低。

2  Bi-LSTM原理及控制图模式识别模型构建

2.1  LSTM原理

长短时间记忆网络（LSTM）是一种深度学习模型，由循环神经网络（RNN）演化而来，相对于RNN，它可以捕捉到较长距离的依赖关系。在结构上，与标准RNN不同的是，LSTM在细胞（cell）上增加了门（gates）的结构，可以让信息选择性的通过[16]，实际上可以理解为是一种特征选择及更新机制。标准LSTM的结构如图3所示。

2.2  基于Bi-LSTM的控制图模式识别模型

2.2.1  模型结构及构建步骤

Bi-LSTM由前向LSTM和后向LSTM组合而成，相比单向LSTM更能学习到序列前后的关系，因此，本文建立基于Bi-LSTM的深度学习网络模型，模型结构如图4所示。

模型构建步骤如下：

（1）通过蒙特卡洛仿真原理生成符合控制图模式数据分布的样本，基于前人经验和本文预研实验结果，此处仿真样本窗口长度取32。八种控制图模式的仿真方程具体表示为[17]：

其中， 为产品第 时刻质量特性值; 为受控条件下统计量均值; 为 时刻由偶然因素引发的随机干扰，一般是服从 分布的高斯白噪声序列; 为 时刻的异常干扰值。

1）对于受控模式： =0。

2）对于阶跃模式： ，其中，阶跃发生前 ，阶跃发生后 ; 为阶跃幅度。

3）对于趋势模式： ，其中， 为倾斜度，当趋势模式发生前， 为0。

4）对于周期模式： ，其中， 为波动幅值; 为波动周期长度。

5）对于系统性模式： ，其中， 为震荡幅度，反映了偏离均值上下的程度。

6）对于混合模式： ，其中， 为 之间的随机数; 为振幅;若 ，则 ，否则 。

（2）对生成的数据样本进行标准化处理。该步骤有两大意义：一，实际生产过程中产品质量特性由产品本身而定，标准化可使模型更具普适性;二，标准化处理由于能消除由量綱不同所产生的影响，进行标准化处理有助于模型学习到真正的特征，从而提模型的识别性能。此处，对生成的样本数据集采用z-score 标准化，具体方式为：

（3）将标准化后的样本数据输入到前向LSTM和后向LSTM，利用其独特的网络结构来抽取特征进而深化学习，该步骤是Bi-LSTM模型训练的核心步骤;

（4）对样本进行标签化处理。此处采用（one-hot encoding）离散型特征编码方式，使得八种控制图模式每一种类型样本都只拥有一种“激活态”，让模型更具有非线性学习能力。对每种模式采取的编码方式具体如表1所示。

（5）利用 将将Bi-LSTM网络结构的输出概率归一化到 之间，再利用交叉熵函数作为损失函数，衡量实际输出与样本标签值之间的距离，辅助Bi-LSTM模型的迭代学习。具体策略表示为：

3  仿真实验验证

3.1  仿真数据集生成

此处，利用蒙特卡洛仿真原理共生成   个样本，每种类型样本依照其数据波动特性，采用不同的参数设置，以满足实际产品生产过程中异常模式的多样化特点，具体参数设置如表2所示。

其中，对于周期模式、系统性模式以及混合模式，幅度变化参数取值范围设在 区间，突变点取 ，是为了将更多异常特征信息体现在休哈特控制图控制限内，有针对地解决休哈特控制图控制限内的异常模式难以识别的现状特点。对于阶跃模式和趋势模式，由于其本身就容易超出休哈特控制图控制限，因此，设立不同的突变时刻点，既可满足这种实际状况，又可利用控制限内的异常特征，在超出界限前便捕捉到异常信号，从而更快识别出异常模式，以满足过程质量控制的实际需求。

3.2  模型训练

本仿真实验所采用的实验设备相关硬件为Nvidia GeForce GTX 1050 Ti的GPU以及NVIDIA CUDA 8.0驱动，采用tensorflow1.0-gpu开源机器学习框架，仿真平台为python3.6。

基于前人经验及预研实验，此处学习率（learning rate）取0.0008，批量大小（batch size）取2048进行批量训练，前向及后向LSTM cell个数各取512个。随机打乱样本，取标准化后总样本的70%作为训练集，10%作为验证集，迭代次数设为1000次。

为了防止过拟合，本文仿真采取早停策略（early stopping），具体策略为：

其中，GL为早停阈值，本实验取GL>1时提前结束训练; 为第 次迭代的验证误差; 为迭代过程中最小的验证误差;

采用早停法的好处在于：1）防止过拟合;2）节省训练时间;

本仿真实验模型训练及早停情况如图5所示。

由图5可知，随着迭代训练次数增加，训练误差和验证误差趋于收敛，两条曲线基本吻合，说明训练过程没有出现欠拟合。且在早停策略的作用下，在第521次提前结束训练，避免了过拟合情况的发生。

3.3  模型泛化性能测试实验

取标准化后总样本的20%作为测试集，对训练的模型进行测试，平均识别率达到了98.35%，对于八种模式的具体识别情况如图6所示。此外，在相同训练集与相同测试集的前提下，将Bi-LSTM与SVM、MLP、高斯贝叶斯分类器进行比较，不同算法对八种控制图模式的识别情况如表3所示。

从图6可见，对于Bi-LSTM模型，混合模式与受控模式较容易误判，趋势向上易误判为向上阶跃、趋势向下易误判向下阶跃。

从表3可见，Bi-LSTM算法对控制图模式识别的识别率和SVM相差无几，对八种模式的平均识别率达到了98.35%，相比MLP和高斯贝叶斯分类器识别率更高。

3.4  Bi-LSTM与SVM性能比较实验

基于Bi-LSTM与SVM对控制图识别的识别率相近，本文分别在总样本为720、7200、72000、288000的水平对两种算法在识别率、训练时间、测试时间上做了比较，其中训练样本占80%，测试样本占20%。十次仿真实验平均结果如图7所示。

由图7可见，在识别精度上，两种算法都随样本量增加而增加，当总样本量为72000时，Bi-LSTM识别率达到SVM的水平，当总样本量为288000时，Bi-LSTM识别率已经超过SVM的水平，且从趋势上来看，当样本量更大时，Bi-LSTM算法在识别精度上将更优于SVM（受于实验设备计算能力的限制，本文没有取更大样本量进行仿真实验）。在训练时间和测试时间上，SVM算法随样本量增加而显著增加，而Bi-LSTM算法的训练时间和测试时间随  样本量增加虽然有所增加，但相对SVM显然效率  更高。

4  结论

本文基于长短时间记忆网络（Bi-LSTM）在处理序列前后关系特征上独特的优势，提出将Bi-LSTM用于控制图模式识别。通过仿真实验表明，该方法在样本量足够时，相比SVM、MLP、高斯贝叶斯分类器这些传统机器学习方法，能够取得不弱于甚至更好的识别效果。其次，由于深度学习并行加速计算的普及，该方法在模型训练和应用上，效率都比SVM算法更高，更能适应未来大数据环境下快速生产的需求。再者，该方法对人工特征提取的依赖性较传统机器学习算法更低，可以自动抽取和学习特征，使用更加方便。随着工业物联网的普及和计算机处理性能的飞速进步，大数据的优势得以体现，如何充分发挥大数据的优势成为热点和难点，本文提出将Bi-LSTM算法用于控制图模式识别，给该领域未来的继续深入研究提供了新的可行途径。如何更好地将深度学习与研究产品质量过程在线智能监测与控制有机结合是下一步的研究方向。

参考文献

[1] Sauter R M. Introduction to Statistical Quality Control （2nd ed.）[M]. John Wiley & Sons， 1991.

[2] Shewhart M. Interpreting statistical process control （SPC） charts using machine learning and expert system techniques [C]//Aerospace & Electronics Conference. IEEE Xplore， 1992.

[3] Guh R S， Hsieh Y C. A neural network based model for abnormal pattern recognition of control charts[M]. Pergamon Press， Inc. 1999.

[4] Guh R S， Zorriassatine F， Tannock J D T， et al. On-line control chart pattern detection and discrimination—a neural network approach[J]. Artificial Intelligence in Engineering， 1999， 13（4）： 413-425.

[5] Cheng Z， Ma Y Z. A Research about Pattern Recognition of Control Chart Using Probability Neural Network[C]// Isecs International Colloquium on Computing， Communication， Control， & Management. IEEE， 2008.

[6] 趙方方， 何桢. 基于SVM的控制图模式识别方法研究[J]. 组合机床与自动化加工技术， 2009（8）： 1-4.

[7] 张江霞. 基于Adaboost算法的控制图模式识别应用研究[D]. 南京理工大学， 2013.

[8] Xiang-Gan Z， Chang-An L， Wen-Tao F. The System of Control Chart Pattern Recognition Based on Improved BP Neural Network[J]. Modular Machine Tool & Automatic Manufacturing Technique， 2011.

[9] 张敏， 程文明， ZhangMin， et al. 基于自适应粒子群算法和支持向量机的控制图模式识别[J]. 工业工程， 2012， 15（5）： 125-129.

[10] 李太福， 胡胜， 魏正元， et al. 基于遗传优化的PCA-SVM控制图模式识别[J]. 计算机应用研究， 2012， 29（12）： 4538-4541.

[11] Yu-Bo Z， Xiao-Nan L. Recognition Method of SPC Control Chart Pattern Based on ISFS and ELM[J]. Journal of Qingdao University of Science & Technology， 2015.

[12] 劉玉敏， 赵哲耘. 基于特征选择与SVM的质量异常模式识别[J]. 统计与决策， 2018（10）.

[13] W?llmer， Martin， Eyben F， Keshet J， et al. Robust Discriminative Keyword Spotting for Emotionally Colored Spontaneous Speech using Bidirectional LSTM Networks[C]// IEEE International Conference on Acoustics. IEEE， 2009.

[14] W？Llmer M， Eyben F， Graves A， et al. Bidirectional LSTM Networks for Context-Sensitive Keyword Detection in a Cognitive Virtual Agent Framework[J]. Cognitive Computation， 2010， 2（3）： 180-190.

[15] Graves A， Jaitly N， Mohamed A R. Hybrid speech recognition with Deep Bidirectional LSTM[C]// Automatic Speech Recognition & Understanding. IEEE， 2014.

[16] Gers F A. Learning to forget： continual prediction with LSTM.[J]. Neural Computation， 2000， 12（10）： 2451-2471.

[17] Guh R S. Real-time pattern recognition in statistical process control： a hybrid neural network/decision tree-based approach[J]. Proceedings of the Institution of Mechanical Engineers， Part B： Journal of Engineering Manufacture， 2005， 219（3）： 283-298.