基于注意力SRU的离散制造过程生产异常分析

摘 要：为了判断生产异常对生产过程产生何种影响，在对离散制造过程中产生的物联数据进行详细分析的基础上，设计一种基于注意力SRU神经网络的生产任务剩余完工时间预测模型，通过并行化的特征提取过程并结合注意力机制给予不同时刻信息不同权重来对生产任务的延期交付时间进行预测，达到了解量化生产异常对于生产过程影响程度的目的，且有效提高了算法效率和准确率，从而帮助车间工作人员进行后续决策管控工作。

关键词：离散制造过程；制造物联数据；生产异常分析；注意力机制；SRU神经网络

中图分类号：TH164 文献标志码：A 文章编号：1671-5276（2024）04-0048-06

Production Anomaly Analysis of Discrete Manufacturing Process Based on Attention SRU

MA Yunxiao， GUO Yu， WANG Shengbo

（Collegeof Mechanical and Electrical Engineering， Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China）

Abstract：In order to judge the impact of production anomalies on production process， a prediction model for the remaining completion time of production tasks based on attention SRU neural network was designed after detailed analysis of the Internet of Things data generated in discrete manufacturing process. Through the parallel feature extraction process and by combination with the attention mechanism， different weights of information at different moments were given to predict the delayed delivery time of production tasks， which achieves the purpose of quantifying the impact of production anomalies on production process， and effectively improves the efficiency and accuracy of the algorithm， so as to help the workshop staff carry out subsequent decision-making control work.

Keywords：discrete manufacturing process; Internet of Manufacturing Things data; production anomaly analysis; attention mechanism; SRU neural network

0 引言

在离散制造的过程中，在制品会在不同工位流转，在制品在工位间流转过程中产生的数据往往蕴涵着大量信息可以被挖掘。在生产过程发生异常时，可以通过这些信息数据来判断生产异常可能对生产任务的完成造成的影响。

为了合理衡量异常造成的影响，目前在该领域通常采用的方法是依据可影响到整个离散制造系统性能指标因素的取值来对该属性未来的状态或数值进行预测。尹超等^[1]结合BP神经网络对影响产品质量的装配工序的构成进行了分析，对不同影响因素分配相对应的权重，并结合时间序列预测最终产品质量来预警装配过程中产生的质量异常并提供相应的决策支持。SYAFRUDIN等^[2]结合了大数据和制造物联相关技术构建了实时车间生产状态监控模型，通过判断离群点来检测生产状态中产生的异常，并结合随机森林算法对物联数据进行分类来辅助装配线的运行状态监控。张人敬^[3]提出了一种车间异常监控和处理的框架，构建了神经网络模型，通过影响订单完成时间的因素来对最终订单的延迟完成时间进行预测。QIU等^[4]提出了一种基于朴素贝叶斯和决策树的扰动预测模型，根据测试模型与预测模型的相关性来衡量生产异常程度，并采取相应的调控手段来应对生产中动态干扰产生的影响。ZHANG等^[5]利用Petri网技术从实时数据中提炼关键事件相关信息，结合决策树算法构建了异常发现和原因诊断模型，对离散制造过程的生产性能进行了分析。YIN等^[6]结合生产加工工序对生产异常事件进行分类，构建了实时异常事件采集系统，利用径向基函数神经网络对可能发生生产异常的时间和顺序序列进行了预测，有效地监控了生产过程。

上述文献均采用不同机器学习算法来对制造系统相关指标演化规律进行研究，但在异常分析领域对车间实时生产状态数据的应用较少，且并未考虑到异常分析问题的时序性和算法效率的问题。本文构建了一种注意力SRU模型，通过预测生产任务剩余完工时间来量化生产异常对于生产任务的影响程度。SRU是一种通过并行化特征提取来处理时序数据的神经网络，可以有效提高算法效率，同时本文模型结合了注意力机制解决了并行化特征提取可能存在的准确性问题。车间调度人员可在此基础上进行决策管控，提高车间在生产任务进行过程中实时响应异常的能力。

1 生产异常及生产异常分析问题的描述

1.1 生产异常的描述

结合生产实际流程和业务逻辑，将在制品生产过程中可能发生的异常事件归纳如表1所示。

1.2 生产异常分析问题的描述

一离散制造车间有某生产任务T，共包含A种类型的产品（该离散制造车间共计M台加工设备，共可生产K类产品），每类产品要求的生产数量为N_a（a=1，2，3，…，A）。本文后续的异常分析问题为：在该离散制造车间进行该生产任务时，以1.1节定义的生产异常以及在加工过程中加工设备发生故障等异常发生作为进行后续预测的条件。当发生上述异常时，通过车间该时刻的整体生产状态数据对该任务后续生产的受影响程度进行量化。

1.3 衡量生产异常的指标和影响因素分析

通常生产任务的实际剩余完工时间和计划剩余完工时间会存在偏差，将该偏差作为指标可以衡量生产异常对于后续生产任务的影响和扰动程度。将该偏差称为生产任务推后完工时间D，D的量化表达式如下：

D=D_AT－D_PT（1）

式中：D_AT表示生产任务实际剩余完工时间；D_PT表示生产任务计划剩余完工时间。D_PT在生产任务中为确定值，可通过生产任务计划总时长与当前加工时长获得，D_AT为非确定值，需通过本文模型进行预测得出。当生产任务进行到t时刻时，可以将D_AT定义为

D_AT=f（C_t，B）（2）

式中：B为正在进行的生产任务需要生产不同类型产品数量的集合，B={B₁，B₂，B₃，…，B_A}；C_t为t时刻车间的生产状态；f（·）表示D_AT和C_t、N两个影响因素的映射关系。车间每个工位的入缓存区状态I_S、加工区状态M_S、出缓存区状态O_S以及转运状态T_S，这4类生产状态信息共同组成车间某时刻有效的生产状态集合，故可将C_t进一步描述为下式：

C_t={I_S，t，M_S，t，O_S，t，T_S，t}（3）

1）入缓存区状态

I_S，t={I^s_S，t|s=1，2，3，…，M}，I^s_S，t是t时刻工位s的入缓存区状态，每个工位的入缓存区状态共同构成I_S，t。工位入缓存区中有序摆放着即将进入加工区的在制品，I^s_S，t由t时刻工位s入缓存区第i个位置在制品种类I^s_P，t，i以及该在制品进入入缓存区后等待时长I^s_T，t，i组成，如下式所示。

I^s_S，t，i={（I^s_P，t，i，I^s_T，t，i）|i=1，2，3，…，C_im}（4）

式中C_im为工位s入缓存区的可容纳在制品数量，在生产过程中为固定值。

2）加工区状态

M_S，t={M^s_S，t|s=1，2，3，…，M}，M^s_S，t是t时刻工位s的加工区的状态，每个工位的加工区状态共同构成M_S，t，t时刻工位s的加工区状态可以由加工区机床运行状态M^s_F，t、加工区中的唯一在制品种类M^s_P，t、加工区在制品已经加工的时长M^s_T，t组成，如下式所示：

M^s_S，t={（M^s_F，t，M^s_P，t，M^s_T，t）}（5）

3）出缓存区状态

O_S，t={O^sS，t|s=1，2，3，…，M}，O^s_S，t是t时刻工位s的出缓存区状态，每个工位的出缓存区状态共同构成O_S，t。工位的出缓存区中有序摆放着即将进行转运的在制品，O^s_S，t由t时刻工位s出缓存区第i个位置的在制品种类O^s_P，t，i以及该在制品进入出缓存区后已经等待的时长O^s_T，t，i组成，如下式所示：

O^s_S，t={（O^s_P，t，i，O^s_T，t，i）|i=1，2，…，C_om}（6）

式中C_om为工位s的出缓存区的可容纳在制品数量，在生产过程中为固定值。

4）转运状态

T_S，t={T^s_S，t|s=1，2，3，…，M}，T^s_S，t是t时刻离开工位s出缓存区的在制品的转运状态，每个工位的转运状态共同构成T_S，t，T^s_S，t由t时刻从工位s出缓存区中出来且处于转运状态的第a种类型的在制品的数量T^s_P，t，a以及第a种类型的在制品已转运时长T^s_T，t，a组成，如下式所示：

T^s_S，t={（T^s_P，t，a，T^s_T，t，a）|a=1，2，3，…，A}（7）

2 基于注意力SRU的生产异常分析

2.1 注意力SRU预测模型框架

结合1.3节所述衡量生产异常的指标和影响因素，本文提出了一种生产任务剩余完工时间预测模型（图1）。将生产任务剩余完工时间作为标签，将多条车间历史生产状态数据进行预处理并输入网络，生产任务剩余完工时间作为输出，利用注意力SRU预测模型深入挖掘历史生产状态数据。训练后的模型可应用于在线阶段，发生异常时可根据车间实时生产状态数据对当前生产任务推后完工时间进行预测。

2.2 数据预处理

针对时序型问题，输入预测网络的样本应为具有时序性的数据，现将物联设备采集到的某时刻t的车间生产状态数据进行时序化处理，具体步骤如下。

步骤1：获取t时刻原始车间生产状态一维数据S_t，数据长度为L，格式为[I¹_S，t，…，Iⁱ_S，t，…，M¹_S，t，…，Mⁱ_S，t，…，O¹_S，t，…，Oⁱ_S，t，…，T¹_S，t，…，Tⁱ_S，t，…，N，D_AT，t]。其中D_AT，t为t时刻生产任务剩余完工时间，为输入数据的标签。

步骤2：确定输入网络的步长l，并将l条原始数据序列化处理，相邻的两条状态数据的时间间隔为Δt，处理后t时刻输入网络的数据d_ata，t格式为[S_t，S_t-Δt，…， S_t-（l-1）^*_Δt]。

步骤3：为提高数据质量，对输入数据进行归一化处理，如式（8）所示。将数据放缩至[0，1]区间内，降低数据的离散性，使数据更加密集，加快模型的收敛速度。

2.3 注意力SRU特征提取

SRU神经网络主要解决了传统RNN和LSTM网络因串行化计算方式而导致网络训练速度受限问题。本文注意力机制的SRU并行神经网络具体结构如图2所示。

对于输入序列x_t首先进行线性变换：

为解决LSTM网络遗忘门需要上一个神经元的最终输出h_t－1的输入而导致独立性和并行性被破坏的问题，提出了完全drop连接，即去除对于h_t－1的依赖，SRU网络相应公式如下：

f_t=σ（W_f×x_t+b_f）（10）

r_t=σ（W_r×x_t+b_r）（11）

式中：W_f和W_r为遗忘门和重置门的核心权重矩阵；b_f和b_r则是相应偏置项；σ表示sigmoid激活函数。式（9）—式（11）是SRU网络解除对h_t－1依赖的核心公式，得到x_t～、f_t、r_t后可进行跨时间维度的计算，获取序列的相应时序信息，公式如下：

式中：⊙表示Hadamard乘积，即对应位置元素相乘，故式（12）—式（13）计算流程较为简洁；g表示tanh激活函数；C_t、h_t为输入序列x的第t个时间步的遗忘门与输出门。经SRU并行处理后输出的序列通过注意力机制参数α给予不同时间步状态相应权重，使不同时刻状态在预测中发挥相应作用，公式如下：

最后通过全连接层输出结果，如下式：

式中：h^L为最后一层SRU全部时间步的输出；h^L_s为最后一个时间步输出；W_q、b_q分别是全连接层的权重与偏差。

在式（9）—式（11）中，虽然解除了前一时刻的依赖，但是仍然存在一定的瓶颈即涉及W、W_f、W_r3个矩阵乘法的运算，故可将上述3个权重矩阵合并成一个大矩阵。矩阵乘法在所有的时间步骤中可以进行批处理，可以显著地提高计算的强度和GPU的利用率，且所有逐元素相乘的操作均可以放入一个kernel函数（核函数）中，否则加法和sigmoid激活函数就会分别需要调用各自独立的函数，并且增加额外的kernel运行延迟和数据移动的开销。矩阵合并的具体公式如下：

U^T=（W，W_f，W_r）^-1×[x₁，x₂，…，x_n]（17）

2.4 反向传播

在回归预测过程中，本模型采用Adam优化器算法进行反向传播，将方均误差结合正则化项作为损失函数以避免过拟合现象如式（18）所示，式中N为样本数，λ为L2正则化项参数，ŷ_i和y_i分别为样本i的预测剩余完工时间与实际剩余完工时间。

3 算法运行分析及实际用例

3.1 算法性能及运行结果

现有某企业精密机加车间共计12个工位，主要加工任务为8种类型零件产品，车间每个工位均部署RFID固定式读写器通过同轴线缆连接3枚RFID天线负责感知入缓存区、出缓存区和转运数据，加工区数据由工作人员通过手持式RFID读写器进行感知获得，将由上述方法获得的特征维度为582的7 041组车间历史数据作为数据集，并按照9∶1比例划分为训练集和测试集。注意力SRU神经网络模型各项参数经不断调试后如表2所示。

将实验数据进行预处理后输入模型进行实验，模型训练完毕后，从测试数据集中抽取100组数据对该网络模型进行精度验证，并将预测数值与实际数值对比结果进行统计，结果如图3所示（本刊黑白印刷，相关疑问咨询作者）。

从图3中各个样本的实际值与预测值对比可发现：对于发生在生产任务前期的异常样本即生产任务实际剩余完工时间较长的样本而言，预测值与实际值的差异较大，预测精度较低，反之则预测精度较高，即随着生产过程的推进和生产任务实际剩余完工时间的减小，该模型对于生产任务剩余完工时间的预测越来越准确。从总体效果来看，该模型可以较为准确地对生产任务剩余完工时间进行预测。

在实验中，为了对上述描述结论进行定量描述，将D_ATgt;500的样本称为前期阶段生产任务，将250lt;D_AT≤500的样本称为中期阶段生产任务，将D_AT≤250的样本称为后期阶段生产任务，对于生产任务的不同阶段均采用方均根差（root mean square error，RMSE）和决定系数（R-square， R²）来对预测值和真实值之间的偏差进行度量；RMSE值越小，模型的预测效果越好，R²越接近1，预测值对实际值的解释程度越准确，拟合度越好。两者具体公式如下：

式中：N为测试样本的数量；ŷ_n和y_n分别为样本n的预测剩余完工时间与实际剩余完工时间；y—_n为生产任务实际剩余完工时间平均值。注意力SRU模型的预测结果中不同阶段生产任务实验结果如表3所示。

由表3知，随着生产任务的推进，RMSE值逐渐变小，R²逐渐变大，即随着生产任务的进行，模型的预测精度逐渐提高。

图4为注意力SRU模型的RMSE值在训练集和测试集上的变化曲线，可见RMSE变化曲线收敛下降速度较快，稳定后RMSE值达到13.20，表明该模型的预测能力较好。RMSE变化曲线在测试集与训练集上的收敛速度与方向一致，表明该网络模型可以较好地避免过拟合现象的发生。图5为R²在训练集和测试集上的变化曲线，在100次迭代后曲线开始趋于稳定，最终R²可达到0.983，即预测值对实际值的解释程度较准确，拟合度较好。

为了验证本文所使用方法的优越性，选取LSTM、非注意力SRU神经网络在相同条件下进行实验，表4为3种神经网络模型的R_MSE和R²实验结果对比（A-SRU为注意力SRU模型）。

图6为上述3种网络模型同时进行300次迭代得到的RMSE值变化曲线对比效果图。LSTM神经网络和非注意力SRU神经网络的RMSE值收敛后分别达到18.53和19.40；A-SRU的RMSE值收敛下降速度较快，迭代过程较为平稳，其能够达到的最小RMSE值为13.20，为3种网络模型最低，即注意力机制有效改善了SRU网络的准确性问题，预测效果最好。时间维度上采用不同层数的批量化尺寸均为64的A-SRU与LSTM和CNN进行对比，结果如表5所示。A-SRU和LSTM准确率相近且均高于CNN，单层A-SRU效率和CNN相近且显著高于单层LSTM，4层A-SRU效率和单层LSTM相近。故综合准确率和运算效率，A-SRU模型较为优秀。

3.2 车间实际案例分析

以某车间某时刻发生的生产异常为例进行具体的实验验证该方法的可行性。实验采用发生于生产任务中后期的生产异常以保证准确性并量化其影响程度。某在制品在工位8发生入缓存区堵塞异常事件和加工（转运）排队超时事件，对后续生产流程造成了影响。将该异常发生时刻的车间所有工位的生产状态数据从系统数据库中进行提取，表6为工位8该时刻的生产状态相关数据。

将相关数据输入注意力SRU预测模型中，结果表明当前生产任务的剩余完工时间为171h，而计划剩余完工时间156h，即上述生产异常对未来生产任务会产生15h推后的不良影响，车间调度人员需综合考虑该延迟效果对车间整体生产过程的影响，采取相应的决策管控手段以尽量降低影响程度，防止情况恶化。

4 结语

本文针对离散制造过程中生产异常难以准确评估分析的问题，以生产任务推后完工时间作为生产异常衡量的指标并分析了其影响因素；结合物联制造数据的特征，设计了一种基于注意力机制的SRU生产任务剩余完工时间预测模型，将生产状态数据进行时序化和归一化处理，采用并行化的特征提取方式结合注意力机制提高了模型的训练速度和准确性，并通过不同模型对比分析，验证了模型在准确率和运算效率上的优越性，应用实际案例也验证了生产异常分析方法的可行性。

参考文献：

[1] 尹超， 甘德文， 梁忠权， 等. 复杂机电产品关键装配工序物料质量损失评估及预警方法[J]. 计算机集成制造系统， 2014， 20（6）：1432-1442.

[2] SYAFRUDIN M，ALFIAN G，FITRIYANI N，et al. Performance analysis of IoT-based sensor，big data processing，and machine learning model for real-time monitoring system in automotive manufacturing[J]. Sensors，2018，18（9）：2946.

[3] 张人敬. 基于深度神经网络的车间生产异常发现与分析方法研究[D]. 哈尔滨：哈尔滨理工大学， 2018.

[4] QIU Y T，SAWHNEY R，ZHANG C Y，et al. Data mining-based disturbances prediction for job shop scheduling[J]. Advances in Mechanical Engineering，2019，11（3）：16878.

[5] ZHANG Y F，WANG W B，WU N Q，et al. IoT-enabled real-time production performance analysis and exception diagnosis model[J]. IEEE Transactions on Automation Science and Engineering，2016，13（3）：1318-1332.

[6] YIN C ，GUO C ， ZHAO X . Evaluation and early warning method of abnormal production loss for minicar rear axle key process[J]. Computer Integrated Manufacturing Systems， 2014， 20（10）：2532-2541.

收稿日期：20230206