基于LSTM 的刀具数据异常检测方法的研究∗

李建伟 鲁一萍 郭 宏

（1.太原科技大学计算机科学与技术学院 太原 030024）（2.太原科技大学机械工程学院 太原 030024）

1 引言

工业设备中，一把刀在监测过程中会产生几千万甚至上亿的数据［1，7］，而且生成十分迅速，较难捕捉到异常数据，刀具的监测往往需要采用实时的方法进行。传统工业中常用的3σ建模方法［1］已经不能满足现有的刀具异常数据监测。

目前，异常数据的检测方法多种多样，有基于距离的异常检测［2］，基于密度的异常检测［3］等。近几年也有一些针对流数据的异常处理方法，如基于多分辨率网格的异常检测方法［4］，基于在线集成学习和隔离机制的流数据异常检测算法［5~6］，基于ST与孤立森林的流数据异常检测算法［7~8］，基于聚类的异常检测算法［9］，基于稀疏表征的异常点检测方法［10］等。

此外，Hassan Sarmadi 等提出一种基于自适应马哈拉诺比斯平方距离和一类称为AMSD-kNN 的kNN规则的新颖异常检测方法［11］，用于在变化的环境条件下SHM［11］，为SHM 创建了一种新颖的无监督学习策略，这是针对一类变化的异常检测，不是普遍适用的。还有k 近邻的方法解决查找相似日志数据的异常［12］，自适应的离群值检测［13］，基于统计模式的系统调用跟踪特征提取方法［14］，用于心电检测的一维的卷积神经网络的异常检测［15］。

LSTM［16］适用于对时间性要求较高的数据检测，因此本文提出一种基于LSTM 的刀具异常检测方法。

2 LSTM模型

2.1 模型介绍

LSTM最显著的特征便是可以快速学习数据的新特点，实时地调节更新网络，以保证模型的准确性、有效性。本实验选择一个合适的时间窗口，将数据分组进行预测，利用差值进行分布建模，求出阈值，之后进行比较，来直观地观察判断每个数据异常的可能性。

用pt表示t时刻模型接收到的实时数据，pt是来自传感器网络采集的传感器数据，因此模型的输入为ptt，ptt+1，ptt+2……为了可以清楚地计算出每个异常数据的可能性，将每个数据预测建模求出一个值，与阈值进行比对。

2.2 长短时记忆神经网络LSTM

LSTM可以通过输入大量训练的流数据进行多次迭代来调整自身的参数，得到一个训练数据的模型。LSTM网络在隐含层中加入了一个状态来存储长期状态，避免了梯度消失的问题。

LSTM逻辑架构示意图如图1所示。

图1 LSTM逻辑架构示意图

首先是遗忘门，它用来控制LSTM是否让前一时刻学到的信息ct-1通过。然后是输入门，通过sig⁃mod 决定哪些值这一层进行更新，一个tanh 层用来生成新的候选值ct，ct作为当前层产生的候选值添加到cell state 中，把这两部分产生的值结合来进行更新。ct的更新公式如式（1）所示：

最后是决定模型的输出，通过sigmod层得到一个初始输出，再使用tanh 将值缩放到-1~1 之间，与sigmod得到的输出逐对相乘，从而得到模型的输出ht，ht的计算公式如式（2）所示：

输出门和单元状态ct共同决定LSTM的输出。

和其他的神经网络类似，叠加隐含层可以使得整个模型更加深入，得到较为准确的输出。本文有两个隐含层，其堆叠模型如图2所示。

图2 LSTM堆叠模型结构

3 模型实施

为了解决2.1 节提出的问题，运用LSTM 进行刀具数据预测，及时地调整网络结构，避免预测不准确。除此之外，预测之后的差值不直接作为与阈值进行比较的对象，而是将差值进行正态分布建模，再依据差值在分布内的概率密度函数值来分配当前时刻数据的异常值，具有可靠性。

3.1 模型框架

首先将从传感器采集到的刀具数据进行预测得到预测值pt'，将pt'与t时刻的数据pt进行比较，计算预测差值xt。得到xt后，选择一个合适的时间窗口［t1，t2］，计算这段时间内差值xt的均值和方差，再用求得的均值和方差进行正态分布建模，计算得到差值xt的概率密度函数值F（xt），F（xt）为pt的异常值；之后将F（xt）与异常值阈值AS（AS∈［0，1］）进行比较，大于阈值，则pt属于异常数据，否则pt为正常数据。

图3 方法整体流程

3.2 异常检测

实验共采集了六把刀的数据，其中用前三把刀的数据来训练LSTM 模型，后三把刀依次送入训练好的模型中，做异常检测。阈值AS是由前三把刀的历史正常数据训练得出，具有一定的代表性。

通常情况下，预测与实际的差值xt转换为统一量度的异常值概率密度函数F（xt），然后将异常值与之前求得的阈值进行比较，大于阈值AS的即为异常数据。

但是由于数据量较大，容易出现概念漂移的现象，正常数据和异常数据的模式都会受到一定的影响，单一将差值作为计算异常值的点，会使得在发生概念漂移之后的异常数值不是十分准确。因此本文选择一个合适的时间窗口，将窗口内的差值序列进行一个正态分布建模，计算F（xt）。

这样每个数据的异常分数就取决于t时刻以及之前的一段时间的预测差值分布，所求得的异常分数可以根据刀具数据的变化而变化，提高了预测的准确性。F（xt）计算如式（3）：

其中μ和σ2是时间窗口中差值序列的平均值和方差，x是滑动窗口里的实际时间序列数据。

本文选取第n个异常所在时间区间作为建模分布的区间，维持这个区间有利于让差值序列更符合模拟数据的实时模式。实验分别对后三把刀进行了一个异常检测，由于初检测的时候，刀具适应传感器需要一定的时间，所以在检测异常的时候选取中间30s~60s的时间段作为时间窗口，AS根据公式求得0.13789，结果如图4~图6所示。

图4 第四把刀的异常检测

图5 第五把刀的异常检测

图6 第六把刀的异常检测

异常检测的结果表明：LSTM 可以有效预测得出当前刀具的异常情况，完成了异常数据的识别。

4 实验结果分析

4.1 实验环境以及流程

实验环境：本文所用的实验环境为戴尔笔记本，CPU：Intel 酷睿i7 7700HQ，内存32GB，GPU：GeForceGTX1080Ti×4，操作系统为Windows10，开发环境为使用Python3.6 语言的jupyter notebook 集成的开发工具，使用Keras 提供的LSTM 神经网络模型。

实验的流程按照数据采集、数据预处理、数据归一化处理、模型的训练、调参数、数据预测以及正态分布建模几个步骤完成，如图7所示。

图7 实验流程图

数据采集：利用太原科技大学机械工程实验室已有的传感器设备，采集到六把铣刀的数据，包括温度，切削力，振动以及噪声等时序数据。

数据预处理：由于采集到的数据在开始的时候会有采集失误，需要对采集到的原始数据进行数据清洗等操作，得到完整的数据。

数据标准化处理：由于刀具的切削力、振动等参数同时作为特征值输入，一次采集到的数据量一般达到七千万，而且不能因为刀具数据量过大就对预测影响的比例变大，所以需要对特征序列进行最大-最小标准化处理，处理方式如式（4）所示：

调参数：在数据训练的过程中不断地调整网络框架结构以及LSTM 层中的参数值，一直到整个模型的预测效果最佳。

4.2 对比验证

4.2.1 单双层网络对比

1）首先搭建单层的LSTM 神经网络和全连接层模型，对刀具数据进行预测，将前两把刀的数据作为训练集，第三把刀的数据作为测试集。虑到模型的准确度之后，经过多次调试与测试，将网络层中的隐藏神经元设置为64，其实验结果如表1 所示。

表1 单层神经网络预测结果

2）实验二搭建了两层的LSTM 网络层和全连接层模型，其中第一个LSTM 层隐藏神经元和单层的一样，第二层设置为128，采用相同的训练集和测试集，放到模型中继续训练测试之后，其实验结果如表2所示。

表2 双层神经网络预测结果

从实验二的结果可以看出，两层LSTM 模型的预测性能大大增加，预测准确率也增加了约50%。

除此之外，由文献［17］可知，适当的增加神经网络层数可以提高预测的准确率，但是本文在增加了三层神经网络后，准确率只提高了不到0.001%，说明不断增加神经网络的层数并不一定能使预测的性能达到改善，相反还增加了计算的冗余。故而，对于像刀具数据的这种时间序列来说，综合计算量和预测性能，在适当的网路层数下，可以不必增加网络层数。

最终LSTM 模型使用含有2 个隐含层，每个隐含层的神经元个数分别为128，64，时间步长为165。为了避免过拟合现象采用dropout机制，drop⁃out设置为0.2，提高模型整个的泛化能力。

4.2.2 LSTM算法与PCA降维算法对比

为了证明LSTM 算法的有效性，将LSTM 算法与本组另一个PCA 降维算法在最后的预测准确度方面进行了对比，准确度的计算如式（5）：

pt是原始数据，pt'是通过预测之后的数据，L是整个时间窗口的长度。准确度比较结果如图8 所示。

图8 准确度对比图

通过对比实验可以发现，LSTM 模型的准确度高于PCA模型，因此我们最终采用LSTM模型。

5 结语

本文提出了基于LSTM 的刀具异常数据检测模型，通过捕获时间序列中的关系，利用差值分布建模得出了阈值与异常值。总体来说，LSTM 方法准确度优于PCA方法。PCA方法进行对比后，刀具异常数据检测的准确率提高了约20%。实验过程中采集的真实刀具数据，进一步验证了LSTM 模型的有效性。