基于自适应深度学习的数控机床运行状态预测方法

杜柳青 李 祥 余永维

(重庆理工大学机械工程学院， 重庆 400054)

0 引言

实现数控机床未来运行状态的预测，能够挖掘机床潜在的异常突发状况，避免生产过程失效带来的损失，增强机床加工的稳定性，并且对设备的维修和维护具有指导性作用[1]。国内外学者对数控机床局部状态辨识、精度演化、故障识别等方面取得了较多研究成果[2-11]，而针对状态预测模型的研究较少。李海等[12]基于多维时间序列结合min-max标准化和自回归模型，实现了对数控机床的回转误差、主轴负载、主轴电流、电机温度等状态信息的预测。余永维等[13]基于时序深度学习模型，利用相空间重构原理挖掘精度时间序列关联信息，提出了数控机床精度预测方法。张存吉等[14]通过深度学习方法，构建深度神经网络，最终实现了微型铣削刀具磨损状态的分类。张鹏等[15]基于长短时记忆网络，引入注意力机制和多任务学习方法完成了对伺服系统状态的识别。

现有研究大多都是对数控机床局部状态的分析与预测，局部分析中伺服系统状态、运动精度、零件磨损等研究较为成熟，但典型性太强，适用范围窄；现有对机床整体状态的分析模型，也主要利用单一或局部数据对部分状态参数进行了回归预测，虽然实际回归效果好，但无法从回归参数中继续挖掘机床将来状态的具体所属类别，对机床未来运行状态的分类预测能力还比较欠缺。

深度学习网络具有强大的特征提取能力[16-23]。机床状态特征具有清晰的局部关系，而整体关系复杂度高[24]，适合通过深度学习方法来建模。机床的全局和局部运行状态与机床特征数据具有较强的时间序列关联性，可以通过机床时序数据挖掘未来状态变化。

为解决机床状态动态标签及差异化分布数据下的预测适应性差与准确度低问题，本文针对数控机床多源大数据流，提出一种基于时序深度学习网络的自适应混合时序模型，并融合时序深度学习网络和KNN(K-nearest neighbors)分类器，设计权值累积自适应更新规则控制特征数据库的方法控制模型，并提出一种组合收敛准则模型训练方法。

1 基于LSTM的时序深度学习模型

图1为基于LSTM的时序深度学习模型，LSTM单个神经元由遗忘门、输出门、记忆门组成(图1中Cell)。神经元通过这3个结构的计算，完成信息的舍弃和保留。神经元之间存在信息前馈传递性，即后续时间状态特征可以选择性地持久化之前状态信息，同时结合新输入特征信息得到最后的输出特征。

t时刻遗忘门、输入门、记忆单元、输出门的计算公式分别为

ft=σ(Wf[ht-1,xt]+bf)

(1)

it=σ(Wi[ht-1,xt]+bi)

(2)

(3)

(4)

式中Wf——遗忘门Wi——输入门

Wc——记忆单元

Wo——输出门权值矩阵

bf——遗忘门偏置参数

bi——输入门偏置参数

bc——记忆单元偏置参数

bo——输出门偏置参数

tanh、σ——激活函数

xt——t时刻输入特征

ht——t时刻隐状态特征

输入信号Xt=(x1,x2,…,xt-1,xt,xt+1,…)为数控机床多源参数序列。将LSTM的反馈结构在时间方向上展开，每一时刻的LSTM即为一个学习网络中的一层，沿时间方向展开，即形成基于LSTM单元的时序深度学习网络。

2 自适应深度学习机床状态预测模型

2.1 机床状态预测模型设计

针对传统LSTM模型不能处理动态标签任务的缺陷，引入KNN层，通过更改模型层的方式，来间接实现标签的任意增删，从而解决动态标签问题。融合LSTM特征提取器和KNN分类器的自适应混合时序深度学习模型如图2所示。

图2 混合时序模型Fig.2 Mixed time series model

模型输入为12维状态参量，通过LSTM筛选重构后输出高维特征向量。设计约束使输出特征向量在重构空间下映射到对应类别特征向量附近，最后通过度量特征距离的KNN层完成分类任务，输出分类结果。

模型隐藏层由经验判断设定，考虑到CPU推断的响应时间，隐藏层设计为22层，隐藏层具体参数如表1所示(层2～23)。

表1 网络结构参数Tab.1 Network structure parameters

KNN是一个典型的距离度量分类算法，其原理是找寻一个样本在特征空间中k个最邻近样本中最多的类，其优点是计算速度快，并在细粒度样本空间的预测准确率非常高。KNN算法可视为一个特征向量库，通过更新、增删、保存输出特征就可以完成类别更新的任务，以此解决动态标签问题。

KNN算法中特征向量之间的闵科夫斯基距离判断类别公式为

(5)

式中d——特征向量x和y的距离

p——距离系数

当p=2时为欧氏距离，欧氏距离是最常见的度量指标。

KNN算法数学模型为

(6)

其中

(7)

式中I——指示函数，当x与y的状态类别相同时其值为1，不同则为0

Nk(x)——训练集中包含k个最小邻点的领域

cj——样本类别

k——最小近邻数N——总的类别数

求得所有类别指示函数统计量最大的标签，即为最终分类结果。

引入KNN分类层后，LSTM作为特征提取层，将原有的softmax分类层替换为KNN。KNN算法处理的是高维特征搜索问题，KNN算法直接保存的实际是LSTM的输出特征，不同的特征集合，KNN算法会生成不同的k-d树，当删除类别时，只需将该类别从特征集合中删除并重新构造k-d树即可。新增类别则需要用新样本集合微调LSTM参数，得到新的特征输出集合，并构造新的k-d树来实现。

2.2 模型自适应更新法则设计

由于样本数据存在分布差异，采用KNN分类时，数据偏差会明显扩大算法误差(图3)，由于类别1存在数据偏差，导致真实类别1与类别2局部不可分，从而导致误判。为此，在KNN算法基础上设计一种针对分布差异的自更新法则。

图3 假设预测分布Fig.3 Distribution of hypothetical predict

通过带权值样本的迭代更新达到适应数据的效果，权值更新模型为

(8)

设定阈值G，在每轮预测过程中不断迭代该预测样本累积值Cxi，当低于阈值后该样本将会被删除。计算规则为

(9)

式中x——特征点j——训练轮次

Rmax——预测样本点与KNN预测结果的最大距离

Rmin——预测样本点与KNN预测结果的最小距离

dist——距离函数

KNN在预测时存在一个作用域半径，即以预测样本点为中心，参与预测的k个样本点能够围成最小圆半径。只有和预测样本点同类别的数据才进行累积计算。如图4所示，中心最大的圆点为预测样本点，设置的最小近邻为6个样本，Rmax作为作用域半径，作用域范围内的同类别样本会自增、范围外的会自减，而不同类别样本只会在距离小于Rmin时自减。所以当预测特征重复出现在某个空间位置时，该空间的样本点就会引导KNN逐渐趋向正确的分类。

图4 算法原理Fig.4 Algorithm description

该更新法则的自适应性测试结果如图5所示。由图5可知，偏离真实预测结果的部分数据会因高频次递减而被删除，从而消除了偏差数据的干扰，减少了在预测过程中因环境不同而导致的预测偏差，使模型具有较强的抗干扰性。

图5 自适应预测分布演化Fig.5 Adaptive prediction distribution’s evolution

2.3 自适应模型调参及训练

2.3.1损失函数优化

为使自适应深度学习分类器效果最佳，提出基于中心损失函数的特征距离度量优化策略，构建综合决策损失函数，确保模型有效融合，综合损失函数通过加权构造，即

L=Ls+λLc

(10)

(11)

(12)

式中λ——影响因子

Lc——中心损失函数[25]

cy——该类别的度量中心

Ls——CrossEntropy交叉熵损失函数

W——分类层权值向量

b——偏置参数n——类别数量

m——一次输入数据量

在最小化损失函数过程中，交叉熵损失函数只有在输出与标签不同时才产生较大梯度，使输出特征的类间间距变大，中心损失函数则是缩小类内距离。

2.3.2模型参数训练方法

采用BPTT(Back propagation through time)算法训练数控机床深度学习预测模型参数，因数控机床状态预测模型实际应用时对准确率和查准率要求较高，训练时收敛准则的相应阈值应越高越好，提出组合收敛准则为

(13)

其中

式中TP——正确分类的正样本数量

TN——正确分类的负样本数量

FP——错误分类的正样本数量

FN——错误分类的负样本数量

a——准确率g——查准率

步骤如下：

(1)前向传播。根据式(1)～(4)可以分别得到对应门的输出和最后输出ht。

(2)计算误差并反向传播。根据正向传播计算的结果可以计算损失函数，在t时刻纵向和横向传播误差的定义为

(14)

式中δ——误差

E——损失函数的输出值

(3)根据每层反向传播的误差项计算每个权值的梯度，然后更新每个权值。更新公式为

(15)

η——每次更新步长

ω——泛指模型参数，为每个神经元权重

重复步骤(1)～(3)，直到模型满足在训练数据集上的组合收敛准则为止。

3 实验与分析

数控机床的电流、电压、功率、转矩、速度以及运行温度等多源参数信息全面反映了机床的运行状态，采用机床运行过程参数训练自适应深度学习模型，预测数控机床进给系统和主轴系统的典型运行状态，包括正常状态、主轴转速异常、进给轴振动异常、主轴伺服故障、进给轴伺服故障，以验证基于自适应深度学习状态预测模型的效果，其输入多源数据和输出预测状态如图6所示。

图6 输入输出特征Fig.6 Input and output features

以G460L型数控机床为数据采集对象，定期在机床上进行空转、负载、加工等实验，采用PT100型温度传感器采集机床温度信息，通过SBWZ-2460型温度变送器、前置器输出至采集软件，其余数据通过以太网接口连接机床同步采集，图7为数据采集现场。

图7 数据采集现场Fig.7 Data acquisition site1.网络接口 2.温度数据接口 3.温度传感器

机床运行状态变化频率较快，预测时域步长不易过长，设置预测步长为30 s，数据采集间隔也应当同为30 s。不同特征间会因为量纲不同而导致数据呈指数级差异，为了保证训练模型时梯度迭代稳定，应当对数据进行无量纲归一化。因样本数据中正常和异常数据属于易采集数据，故障数据为稀有数据，样本均衡比为12∶7∶1，需要对故障数据做样本均衡。通过SMOTE(样本生成算法)对其进行过采样训练，样本生成公式为

(16)

式中r——0～1的随机数函数

设置输入为10个时序步长，对应输出为下一时刻的标签，并根据分类平衡性原则，以类子集7∶3划分训练集和验证集，基于Pytorch1.1.0、Cuda9.0、Win10、GPU：1080ti环境、设置学习率为0.025、热启动学习率激活、余弦退火算法更改学习率，每25轮验证一次精确度。采用BPTT方法结合center-loss策略和收敛判别准则，迭代256轮后模型预测损失值达到最小，得到最优模型迭代结果如图8所示。

图8 模型训练损失值-准确率变化曲线Fig.8 Change of model training loss-accuracy curve

以相同参数和数据集训练得到最优LSTM模型，同时对测试集进行预测。未替换分类层的混合模型准确率达到94.6%。提取3 000个输出特征，采用TSNE降维可视化工具得到图9所示的样本点云图。图中数字对应图6预测状态编号，不同图形表示不同标签的特征点，不同标签间区分界限越明显分类典型性越好，结果表明混合模型的结果更优。图9表明了混合模型的输出特征具有良好的可分解性，也从另一角度证明了中心损失函数和KNN的有效性。

图9 输出特征可视化结果Fig.9 Output feature’s visualization results

分别对LSTM和混合模型进行KNN替换，设置近邻数k为3～10，在相同测试集下遍历所有k值得到结果如表2所示。实验结果表明，在替换后k为5时模型准确率得到一定程度的提高，但提升不明显。而混合模型随着k的不断提升，预测准确率会越来越高，且相较LSTM准确率最高提升3.7个百分点。结果表明预测结果能够很好地反映机床的真实运行状态。

表2 最小近邻遍历结果Tab.2 KNN traversal results

将归一化后的测试集加入指定分布的高斯噪声(μ=0.1,σ=0.05)，在测试集上进行重复

预测(图10)。由图10可知，第1轮测试时，在负增益数据增强后准确率下降，第2轮测试精度都相应回升，实验结果表明混合模型具有较好的抗干扰能力。

图10 两次预测准确率变化结果Fig.10 Change results of twice prediction accuracy

利用相同模型层参数的LSTM和BP神经网络与本文方法进行对比实验，实验结果如表3所示。LSTM方法预测准确率为94.6%，BP方法为91.7%，同时都没有抗干扰能力。在CPU端做推断时BP和LSTM模型运行速度较慢、实时性较差，可见无论从预测准确率方面，还是实际嵌入运用方面，本文提出的自适应混合时序网络的预测方法都优于其他两种方法，说明了本文方法的有效性。

表3 结果对比Tab.3 Comparative results

4 结束语

根据数控机床状态分类预测的实际需求，分析了时序深度学习网络和KNN算法特性，提出了一种自适应混合深度学习建模方法来构建机床状态分类预测模型，并设计了改进的BBPT模型训练方法。该模型具有预测准确率高、推断速度快、抗干扰恢复能力强的特点。实验结果表明，混合时序模型较BP和LSTM准确率分别提升5.1、2.2个百分点，数据采集间隔和抗干扰能力也明显优于其他网络，能够很好地嵌入实际应用中，较好地满足机床状态分类预测要求。