基于深度置信网络的大数据制造过程实时智能监控

周昊飞 刘玉敏

1.郑州航空工业管理学院管理工程学院，郑州，450046 2.郑州大学商学院，郑州，450001

0 引言

制造过程智能监控对提升产品质量水平、确保安全生产具有重要意义。随着物联网、无线传感、智能制造等技术的发展，现代制造过程能实时采集反映设备运行与制造过程状态的工业数据，已进入大数据时代［1］。这些工业大数据具有体量大、流速快、类别多和价值密度低等特性［2］，传统过程智能监控方法难以满足大数据制造过程实时质量智能监控的需求。因此，构建面向大数据的制造过程实时智能监控方法已成为当前制造型企业亟待解决的现实问题。

目前，制造过程智能监控的研究主要集中于控制图模式识别［3-4］、单变量数据流状态识别、多变量过程统计量状态识别［5］等方面。控制图模式识别方面，GAURI等［6］采用几何计算抽取的形状特征与多层感知神经网络相结合对其8种控制图模式进行识别；RANAEE等［7］采用形状特征与统计特征相结合，利用多分类支持向量机对控制图基本模式进行识别。单变量数据流状态识别方面，刘玉敏等［8-9］将小波重构特征与多分类支持向量机相结合对单变量动态数据流质量异常模式进行识别，随后，又将小波重构特征、形状特征与神经网络、支持向量机分类器相结合，提出了基于小波重构与组合式分类器的智能识别模型。多变量过程统计量状态识别方面，EL-MIDANY等［10］采用人工神经网络对多变量 χ2统计量进行监控，建立了多变量过程智能监控框架；CHENG等［11］应用人工神经网络对多变量S统计量进行监控，提出了二元制造方差阶跃的监控方法；MASOOD等［12］应用散点图描述二元制造过程的异常状态，而后应用基于统计特征的神经网络对均值阶跃进行监控。综上所述，已有过程智能监控方法通过人工设计的特定准则从已知类别的样本数据中选择合适的变量或新的特征，以提升神经网络、支持向量机等分类器对过程数据流或统计量呈现出的趋势、阶跃、周期异常变化状态的识别性能，均为不超过二层非线性特征变换的浅层学习模型［13］。然而，大数据制造过程需同时监控众多具有强相关性的过程变量，且过程异常状态类别具有较大的不确定性。由此可知，使用上述浅层学习模型对大数据制造过程进行智能监控存在以下局限性：①难以构建合适的统计量对其监控，且单一数据流呈现出的趋势、阶跃、周期等异常模式难以对其运行状态进行有效表达。②人工设计或选择的特征提取规则对过程先验知识依赖程度大，难以对其运行状态设计出通用性强的特征提取规则。

近年来，数字图像被用于表达高耦合、非线性的设备故障数据，为直观表达大数据制造过程运行状态提供了分析依据。孙锴等［14］基于二值图像，利用设备监测变量的上下阈值构造了某化工压缩机组系统故障图谱，通过故障库中案例的相似度计算进行故障诊断。AMAR等［15］基于灰度图通过时间窗口对振动信号进行分割建立了轴承故障图谱，并采用单隐层神经网络对其进行故障诊断。由上述研究可知，图谱像素间固有的关联性和耦合性能直观呈现出复杂设备的不同故障类型。深度学习理论通过构建深层次的模型能够捕获大数据中隐含的底层数据特征［16］，已被成功应用于人脸识别［17］、语音处理［18］、机械故障诊断［19-20］等领域。因此，如何利用数字图像建立精准反映过程运行状态的质量图谱，并构建具有特征自学习能力的图谱识别方法已成为解决大数据制造过程实时智能监控的关键。

灰度图是利用黑白间灰度来表达的图像，比二值图像具有更强的数据表示能力，故可应用灰度图表达高耦合、非线性大数据制造过程的运行状态。同时，由多个受限玻尔兹曼机（restricted Boltzmann machine，RBM）构成的深度置信网络（deep believe network，DBN）是一种典型的深度学习模型，在字符图像识别中表现出优异的特征自学习能力［21］。为解决浅层学习模型存在对大数据制造过程特征提取规则难以设计的问题，本文提出了基于深度置信网络的大数据制造过程实时智能监控方法。

1 大数据制造过程质量图谱

对大数据制造过程进行监控的首要问题是如何描述过程的整体运行状态。大数据制造过程通常由多个传感器同时监测不同的质量特性、加工参数等过程变量。假设其监测数据集包含m个被监测变量，各监测变量在t时间段内有n个测量值，则传感器测量数据矩阵

式中，xij为大数据制造过程第i个监控变量在 j时刻的观测值，i=1，2，…，m，j=1，2，…，n；Xi=[xi1xi2… xin]为第i个监控变量在t时间段内的数据序列；Xj=[x1jx2j… xmj]为 j时刻各监控对象的空间序列分布。

定义1 标准化数据矩阵。将矩阵X中的元素进行归一化处理，形成标准化数据矩阵 X′。具体归一化公式为

定义2 标准化数据矩阵的灰度级映射。将标准化数据矩阵中的各个元素值分别映射到灰度图Gx中对应的灰度值，计算公式为

式中，INT[·]为取整函数；gx为对应的灰度值，当 gx=0为黑色，当gx=255为白色。

用灰度图Gx的灰度值代替标准化数据矩阵中所对应的元素值，整个数据矩阵映射到灰度级空间中，从而形成直观反映被监控对象关联性、耦合性的过程质量图谱。为说明过程质量图谱描述大数据制造过程运行状态的有效性，采用定义1和定义2对9个监测变量在传感器采样间隔为10 ms时10 s内的过程整体运行状态进行表达，形成的过程质量图谱见图1。

图1 过程质量图谱Fig.1 The process quality spectrum

由图1可知，当某变量的测量值在目标值附近随机波动时，该变量在横轴上的灰度级几乎没有变化。当某变量的测量值出现阶跃变动时，质量图谱中对应变量的灰度级会直接跳变，呈现出明显的分界线；当出现趋势变动时，灰度级会连续变化，但没有明显的分界线。由此可见，利用灰度图建立的过程质量图谱能够清晰直观地表达多个监测变量的不同变化状态，可用于表示大数据制造过程的运行状态。

2 基于DBN的过程质量图谱识别

DBN由多个RBM叠加而成，对二值图像具有较好的识别能力。然而，灰度图是由实数型灰度级构成的非二值图像，可视层和隐层节点均为二值单元的常规RBM对其处理能力较弱。为此，本文采用可视层单元为带独立高斯噪声线性变量的高斯RBM（GRBM）建立用于识别过程质量图谱的深度置信网络。GRBM的网络结构见图2。

图2 GRBM的网络结构Fig.2 The structure of GRBM

GRBM的能量函数

式中，φ为GRBM的参数；wij为第i个可视层节点与第 j个隐层节点间的权重值；ai为第i个可视层节点的偏置；bj为第 j个隐层节点的偏置；σi为高斯噪声的标准差。

由能量函数可得出可视层节点与隐层节点的联合概率分布

式中，Z(φ)为配分函数。

由联合概率分布可得到可视层边缘分布

由于隐层节点间无连接，各节点相互独立，故第 j个隐层节点取值的概率

同样，第i个可视层节点取值的概率

将多个GRBM进行自底向上的叠加，得到DBN。隐层过多将增加训练复杂度，为平衡分类精度与训练难度，本文采用4个隐层的DBN。其训练过程由RBM的贪婪无监督逐层预训练和BP算法的整体微调两部分构成，见图3。以下介绍识别过程质量图谱的DBN训练步骤。

图3 识别质量图谱的DBN训练过程Fig.3 The training process of DBN recognized quality spectrum

2.1 GRBM无监督预训练

无监督预训练就是找到使隐层h更好表达可视层 v的参数φ。采用对比散度（contrastive divergence，CD）算法［22］对 GRBM 进行训练，步骤如下：

（1）初始化。将过程质量图谱中各像素点的灰度值作为GRBM1可视层节点的输入。将hj随机设定为0或1；φ设定为0到1之间的随机数。

（2）训练GRBM1。利用Gibbs采样从训练样本的任一状态出发，按照式（7）求出隐层单元的概率；而后，固定隐含单元，按照式（8）重构出可视单元。RBM参数φ依据以下规则进行更新。

式中，η为学习速率；·data为原始数据的期望；·recon为重构数据的期望。

（3）训 练 GRBM2。 将 GRBM1的 隐 层 作 为GRBM2的可视层，重复步骤（1）和步骤（2）。

（4）训 练 GRBM3。 将 GRBM2的 隐 层 作 为GRBM3的可视层，重复步骤（1）和步骤（2）。

（5）训 练 GRBM4。 将 GRBM3的 隐 层 作 为GRBM4的可视层，重复步骤（1）和步骤（2）。

2.2 BP算法的整体微调

（1）初始化BP算法的参数。BP算法中设定的参数初始化值见表1。

表1 BP算法参数设定Tab.1 The parameters of BP algorithm

（2）有监督学习。将GRBM4的输出作为GRBM5的输入，对过程质量图谱进行识别，此时数据带有类别标签。将输出结果与类别标签进行比对，误差依据BP算法反向分配至前4层，对DBN分类器进行整体微调。

3 大数据制造过程实时智能监控模型

大数据制造过程实时智能监控即是对代表不同过程运行状态的质量图谱进行智能识别。大数据制造过程中由于监测变量多，各种监测变量出现异常状态及其组合会形成类型繁杂的异常图谱，而过程运行正常时所形成的过程质量图谱是非常相近的。因此，为有效对大数据制造过程进行实时智能监控，可先采用识别正常过程质量图谱的DBN对当前过程运行状态进行判定。当识别出当前过程运行状态为异常时，再应用过程异常DBN对具体异常类别进行判定。所提的大数据制造过程实时质量智能监控模型见图4。

图4 大数据制造过程实时质量智能监控模型Fig.4 Real-time intelligent monitoring model for manufacturing process with big data

所提的实时质量智能监控模型包含离线训练与在线监控两个阶段，各阶段的具体实施步骤如下。

3.1 离线训练阶段

该阶段主要是利用离线收集的过程大数据建立质量图谱，而后对DBN分类器进行训练。

（1）离线收集过程运行状态数据。当过程运行参数、质量特性等监测对象均在设定值附近随机波动，产品无质量缺陷时的监测值界定为正常过程运行状态数据。当生产过程出现产品质量缺陷时，将此时的过程运行参数、质量特性等监测值作为过程异常运行状态数据。而后，依据定义1和定义2将所收集的过程运行状态数据转化为过程质量图谱。

（2）DBN分类器训练。从离线收集的正常过程质量图谱中随机选取一定数据的质量图谱分别作为训练、测试样本。将训练样本数据作为DBN的输入，通过上述GRBM无监督预训练、BP算法的整体微调对识别正常过程质量图谱的DBN进行离线训练。而后，采用测试样本数据对训练过的DBN进行性能测试。同样，选取一定数据的相同异常类型过程质量图谱分别作为训练、测试样本，对识别异常过程质量图谱的DBN进行离线训练。

3.2 在线监控阶段

（1）监控窗口取值。监控窗口依据设定的窗口宽度对大数据制造过程各监测变量测量值进行在线取值。

（2）当前窗口质量图谱识别。将监控窗口内的过程数据转化为过程质量图谱，利用离线训练好识别正常过程质量图谱的DBN对当前监控窗口内的过程质量图谱进行识别，判定过程是否正常。当DBN的识别结果为正常时，监控窗口依据设定的步长值向前滑动，执行步骤（1）；否则，执行步骤（3）。

（3）异常图谱类别识别。采用离线训练好的识别异常过程质量图谱的DBN，对当前监控窗口内过程质量图谱的具体异常类别进行识别。

4 实例应用

注塑成形过程具有流速快、采样频率高、待监控点多等特性，且制品质量主要依赖于过程运行参数的变动，属于典型的大数据制造过程。因此，以某注塑件的实际注塑成形过程为例，验证所提实时智能监控方法的有效性。某注塑件成形过程采用螺杆式注塑成形方式进行生产，其中料筒温度、模具温度、注射压力等过程参数均配备相应的测量传感器，可实时获取各监测变量的测量值。各过程参数监测传感器的位置分布见图5。各传感器的具体测量对象与设定值见表2。

图5 往复式螺杆注塑过程Fig.5 Reciprocating screw injection molding process

表2 传感器的测量对象Tab.2 The measuring object of sensors

注塑成形过程包含合模、注射、保压、冷却、开模顶出制品5个阶段。在表2参数值的基础上，设定注射时间2 s、保压时间5 s、冷却时间10 s，加上合模、开模顶出时间，单个制品的注塑成形时间为20 s。设定传感器的采样速率为10 ms，则每个制品对应一个10×2000的过程参数数据矩阵。其中，模内温度、模内压力值为动态变化的曲线，其正常与异常状况见图6。

图6 模内温度、压力的正常与异常状况Fig.6 Normal and abnormal state of cavitytemperature and pressure

离线收集制品质量正常与异常时对应的过程参数数据矩阵。本文中共收集正常过程参数数据矩阵500个，存在飞边、翘曲质量问题的异常过程参数数据矩阵各600个。对收集到的异常过程参数数据矩阵进行分析，形成制品质量与过程运行状态的对应关系表，见表3。

表3 制品质量与过程运行状态的对应关系Tab.3 The relationship between product quality and process operation state

依据定义1、定义2，将收集到的各种数据矩阵转化为过程质量图谱，其中部分过程质量图谱见图7。

图7 某注塑件成形过程质量图谱Fig.7 The process quality spectrum of an injection molding process

4.1 离线训练

从正常运行状态中随机各选取200个过程质量图谱，分别选取前100个作为DBN0的训练样本，后100个作为DBN0的测试样本。将过程图谱中的每个像素点作为DBN的输入（即输入节点个数为20 000），设定GRBM1隐层节点数为9 000、GRBM2隐层节点数为4 000、GRBM3隐层节点数为1 500，GRBM4隐层节点数为600，对GRBM进行无监督预训练。将GRBM4的输出数据作为GRBM5的输入数据应用BP算法进行有监督学习，形成识别正常过程质量图谱的DBN0。采用上述类似方法，分别对 DBN11、DBN12、DBN13等 6个识别异常过程质量图谱的分类器进行训练。

为了验证多个GRBM通过逐层特征变换对过程质量图谱原始数据特性学习的有效性，分别采用GRBM4学习到的特征数据、主成分分析的特征数据对原始图谱进行重构。其中，主成分分析特征提取规则为前10个主元向量。两种方法重构的质量图谱及均方误差（MSE）见图8。

图8 重构的过程质量图谱Fig.8 Restructured process quality spectrums

由图8可知，采用前10个主元向量重构的过程质量图谱灰度级的变化明显不如采用GRBM4学习到的特征数据重构精确，且其均方误差均较大，验证了GRBM特征学习的有效性。为进一步验证DBN过程质量图谱识别性能，分别与主成分分析与单隐层BP神经网络相结合的识别方法（PCA-BPNN）以及主成分分析与支持向量机相结合的识别方法（PCA-SVM）进行识别性能的对比。具体识别性能对比结果见表4。

由表4可知，基于前10个主元向量特征提取规则与BPNN的平均识别精度为89.29%，基于前10个主元向量特征提取规则与SVM的平均识别精度为91.14%，而所提识别模型的平均识别精度达到97.43%。这充分验证了这些浅层学习模型对过程质量图谱的识别精度明显低于所提基于DBN深度学习模型的识别精度。由此可知，离线训练好的DBN可应用于在线过程监控。

表4 过程质量图谱识别性能对比Tab.4 Recognition performance comparison of process quality spectrums

4.2 在线监控

采用监控窗口滑动取值的方式将离线训练好的DBN应用于注塑过程在线监控。监控窗口的宽度设定为单个制品注塑成形的时长，设定为20s。该制品注塑成形过程运行状态在线实时监控示意图见图9。

图9 某注塑件成形过程运行状态在线实时监控Fig.9 Online real-time monitoring for the operation state of an injection molding process

前2个监控窗口内过程图谱DBN0的输出值均接近目标值1，此时的成形过程处于正常运行状态。当监控窗口移动到60s时也即是第3个制品，DBN0输出值为0.210，远小于目标输出值。而后，DBN13输出值为0.968，非常接近目标值。对此时制品进行检查发现出现了飞边质量问题，检查实际注塑过程发现喷嘴处压力和温度传感器出现漂移，致使喷嘴处温度、压力均过大。对该处传感器进行相应校正，后续注塑过程呈现为正常状态。当滑动窗口移动到120s时也即是第6个制品，DBN0输出值再次远小于目标输出值。而后，DBN23输出值为0.952。对此时制品进行检查发现出现了翘曲质量问题，检查实际注塑过程发现模具加热水温与冷却水温均超过设定值，致使模具冷却不均。对加热、冷却水温进行相应调整，后续注塑过程呈现为正常状态。由此可知，本文所提监控方法的输出结果与实际过程异常状态完全一致，能有效对大数据制造过程进行在线实时质量监控。

5 结论

本文首先基于灰度图提出了大数据制造过程质量图谱，并采用DBN深度学习模型，提出了适于工业大数据特性的过程实时质量智能监控方法，通过注塑过程实例应用验证了所提监控方法的有效性。所提实时智能监控方法区别与已有监控方法之处主要在于，利用灰度图构建了大数据制造过程质量图谱，并采用多个GRBM对其进行无监督特征自学习，从而完成DBN分类器的离线训练。其中，过程质量图谱能直观呈现大数据制造过程的运行状态。特征自学习不再依赖工程经验设计特征提取方法，通过逐层特征变换能更好地发掘过程质量图谱原始数据的内在特性，大大提升了过程监控的精度。然而，DBN的网络结构及训练速度仍有提升空间，未来的研究将关注如何采用一些优化算法、并行计算方法来优化DBN的网络结构及训练速度。

［1］ QIN S J.Process Data Analytics in the Era of Big Data［J］.Aiche Journal，2014，60（9）：3092-3100.

［2］ FAN J，HAN F，LIU H.Challenges of Big Data Analysis［J］.National Science Review，2014，1（2）：293-314.

［3］ WEESE M，MARTINEZ W，MEGAHED F M.Statisti⁃cal Learning Methods Applied to Process Monitoring：an Overview and Perspective［J］.Journal of Quality Technology，2016，48（1）：4-27.

［4］ HACHICHA W，GHORBEL A.A Survey of Controlchart Pattern-recognition Literature（1991-2010）Based on a New Conceptual Classification Scheme［J］.Com⁃puters& Industrial Engineering，2012，5（63）：204-222.

［5］ YU J B，XI L F.A Neural Network Ensemble-based ModelforOn-line Monitoring and Diagnosis of Out-of-control Signals in Multivariate Manufacturing Processes［J］.Expert Systems with Applications，2009，36（1）：909-921.

［6］ GAURI S K，CHAKRABORTY S.Recognition of Con⁃trol Chart Patterns Using Improved Selection of Fea⁃tures［J］.Computers&Industrial Engineering，2009，56（4）：1577-1588.

［7］ RANAEE V，EBRAHIMZADEH A，GHADERI R.Ap⁃plication of the PSO-SVM Model for Recognition of Control Chart Patterns［J］.ISA Transactions，2010，49（4）：577-586.

［8］ 刘玉敏，周昊飞.基于MSVM的多品种小批量动态过程在线质量智能诊断［J］.中国机械工程，2015，26（17）：2356-2363.LIU Yumin，ZHOU Haofei.On-line Quality Intelligent Diagnosis for Multi-variety and Small-batch Dynamic Process Based on MSVM［J］.China Mechanical Engi⁃neering，2015，26（17）：2356-2363.

［9］ 刘玉敏，周昊飞.基于小波重构与SVM-BPNN的动态过程在线智能监控［J］.系统工程理论与实践，2016，36（7）：1890-1897.LIU Yumin，ZHOU Haofei.Online Intelligent Monitor⁃ing for Dynamic Process Based on Wavelet Reconstruc⁃tion and SVM-BPNN［J］.Systems Engineering—Theo⁃ry&Practice，2016，36（7）：1890-1897.

［10］ EL-MIDANY T T，EL-BAZ M A，ABD-ELWAHED M S.A Proposed Framework for Control Chart Pattern Recognition in Multivariate Process Using Artificial Neural Networks［J］.Expert Systems with Applica⁃tions，2010，37（2）：1035-1042.

［11］ CHENG C S，CHENG H P.Using Neural Networks to Detect the Bivariate Process Variance Shifts Pattern［J］.Computers&Industrial Engineering，2011，60（2）：269-278.

［12］ MASOOD I，HASSAN A.Pattern Recognition for Bi⁃variate Process Mean Shifts Using Feature-based Arti⁃ficial Neural Network［J］.International Journal of Ad⁃vanced Manufacturing Technology，2013，66（9/12）：1201-1218.

［13］ ERHAN D，BENGIO Y，COURVILLE A，et al.Why Does Unsupervised Pre-training Help Deep Learn⁃ing？［J］.The Journal of Machine Learning Research，2010，11（3）：625-660.

［14］ 孙锴，高建民，高智勇.基于故障图谱的企业级故障模式识别方法［J］.计算机集成制造系统，2015，21（2）：519-527.SUN Kai，GAO Jianmin，GAO Zhiyong.Plant-wide Fault Pattern Recognition Method Based on Fault-specturm［J］.Comuputer Intergrated Manufac⁃turing Systems，2015，21（2）：519-527.

［15］ AMAR M，GONDAL I，WILSON C.Vibration Spec⁃trum Imaging：a Novel Bearing Fault Classification Approach［J］.IEEE Transactions on Industrial Elec⁃tronics，2015，62（1）：494-502.

［16］ NAJAFABADI M M，VILLANUSTRE F.Deep Learn⁃ing Applications and Challenges in Big Data Analytics［J］.Journal of Big Data，2015，2（1）：1-21.

［17］ KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Im⁃agenet Classification with Deep Convolutional Neural Networks［J］.Advances in Neural Information Pro⁃cessing Systems，2012，25（2）：1097-1105.

［18］ BENGIO Y，COURVILLE A，VINCENT P.Represen⁃tation Learning：a Review and New Perspectives［J］.IEEE Transactions on Pattern Analysis&Machine In⁃telligence，2013，35（8）：1798-1828.

［19］ 雷亚国，贾峰，周昕.基于深度学习理论的机械装备大数据健康监测方法［J］.机械工程学报，2015，51（21）：49-56.LEI Yaguo，JIA Feng，ZHOU Xin.A Deep Learn⁃ing-based Method for Machinery Health Monitoring with Big Data［J］.Journal of Mechanical Engineering，2015，51（21）：49-56.

［20］ 张淑清，胡永涛，姜安琦.基于双树复小波和深度信念网络的轴承故障诊断［J］.中国机械工程，2017，28（5）：532-536.ZHANG Shuqing，HU Yongtao，JIANG Anqi.Bearing Fault Diagnosis Based on DTCWT and DBN［J］.Chi⁃na Mechanical Engineering，2017，28（5）：532-536.

［21］ DIAO W，SUN X，DOU F，et al.Object Recognition in Remote Sensing Images Using Sparse Deep Belief Networks［J］.Remote Sensing Letters，2015，6（10）：745-754.

［22］ HINTON G E.A Practical Guide to Training Restrict⁃ed Boltzmann Machines［J］.Momentum，2010，9（1）：599-619.