基于DHNN的非线性profile异常状态监控方法*

崔庆安，王 君

(郑州大学 管理工程学院， 郑州 450001)

基于DHNN的非线性profile异常状态监控方法*

崔庆安，王 君

(郑州大学 管理工程学院， 郑州 450001)

针对数据关系复杂且样本量较小的非线性轮廓控制问题，提出一种基于离散Hopfield神经网络的轮廓异常状态监控方法。对于收集的小样本数据，首先采用支持向量回归机拟合出样本轮廓；然后将该过程的标准轮廓设置为吸引子，按照一定的编码方法将其存储于Hopfield网络中，再利用该网络的联想功能，判断新的样本轮廓是否发生了变异；最后将该方法与支持向量数据描述算法方法进行对比。研究显示，所提方法平均误识率以及平均运行链长均较小，较适用于复杂生产过程中的异常轮廓监控。

非线性轮廓控制；Hopfield神经网络；支持向量回归机

0 引言

随着制造过程的日益复杂，出现了轮廓型的质量特性，与质量特性为一个点的普通产品相比较，轮廓在空间中表现为一条线或者是一个面。轮廓是由一个响应变量与多个解释变量之间的复杂函数关系进行描述的。例如，汽车发动机的质量特性是由发动机产生的扭转力(响应变量)以及相应的每分钟转速值(解释变量)之间的函数关系进行表征的。轮廓可能是线性的也可能是非线性的，在控制图理论的基础上对这种函数关系进行实时监控，即轮廓控制(Profile Monitoring)。目前，轮廓控制技术在自动化加工领域有较广泛的应用，例如汽车制造[1]、精密零件制造[2]等。

构建轮廓控制图的监测方法虽然设计简单方便，但却只在某些生产情况下拥有较好的监测性能。基于模型参数控制图的方法需要拟合能够描述质量数据特性的函数模型，当数据间的关系比较复杂且存在相关性时，采用传统的拟合方法难以获得一个较好的轮廓模型形式，尤其在只有少量样本的情况下。因此，Hung等[10]、Moguerza等[11]采用支持向量回归机(Support Vector Regression, SVR)的方法拟合每一个轮廓模型，避免了可能出现的“过拟合”现象。考虑到小样本量轮廓数据的复杂性，这里应用SVR建立模型，提高模型的全局性描述能力。而基于差异度量的方法在采样点位置不固定的情况下，计算轮廓度偏差时存在较大的误差，建立的联合控制图应用效果不佳，性能低下。

因此，有些学者将异常轮廓的监测看为模式识别的问题进行研究。Yu等[12]在数据中只含有一个异常轮廓的假设上基于函数主成分分析，通过逐步功能离群点有效快速地识别出非线性异常轮廓。Ding等[13]提出一种监测异常轮廓的新方法，首先对原始轮廓数据作降维处理，然后采用数据聚类、分类技术的分析方法识别异常。这种分类识别的方法能够有效快速的监测轮廓数据中的异常值，但仍然需要服从正态分布的前提假设条件。

借鉴以往的研究，提出一种基于联想存储器的过程监测方法，以离散Hopfield网络(Discrete Hopfield Neural Network，DHNN)作为记忆联想存储器，通过将标准轮廓设置为吸引子存储于网络中；再通过网络学习，调节连接权重直至网络到达稳定状态。利用DHNN网络的联想功能，将待监测的样本轮廓与标准轮廓进行识别对比，判断样本轮廓是否处于受控状态。该网络不需要进行训练，因此不需要大量的样本。解决了传统控制图方法中对复杂参数估计困难的问题，适用于不同的过程。

1. 理论简介

1.1 支持向量回归机

SVM在用于回归估计时，选取恰当的非线性变换，将给定的训练集从空间Rn映射到高维Hilbert空间，转化为线性回归问题。SVR在建模与预测、故障诊断等领域取得了大量的成功应用。

回归估计就是利用给定的训练数据集，在函数集{f(x,α)}中寻找一个最优函数{f(x,αij)}，使预测的期望风险(或泛化误差)R(α)最小。根据得到的最优函数，可以推断任一输入x所对应的输出值y，输出值y可以是任意的实数。

(1)

在这里研究的非线性轮廓拟合问题，限定了f(x,α)是非线性回归函数。

f(x,ω)=(w·x)+b

(2)

为了求得该函数，引入非线性变换φ(xi)，将训练集从空间Rn映射到高维Hilbert空间，非线性分划即转换成线性分划问题，然后求解在Hilbert空间中的凸二次规划问题。

(3)

其中，(*)表示向量有*和无*号两种情况，计算相关参数值，从而构造出非线性回归函数，即建立了非线性轮廓。

1.2 离散Hopfield神经网络

Hopfield神经网络是二值循环神经网络，所有神经元单元将输出反馈到输入。图1为DHNN示意图[14]，从中可以看出，网络中的任意两个神经元之间都相互连接，每个神经元的输出经过其他神经元之后都会反馈给自身，模拟了生物记忆功能的联想学习，具有较好的容错、纠错性能[15]。因此，DHNN主要用于联想记忆。

图1 离散Hopfield网络示意图

DHNN的工作过程有记忆和联想两个阶段。假设网络共有m个神经元，有n(m

V=[V1,V2,…Vn]T,Vi=(v1,v2,…vm),
vj∈{1,-1}；(i=1,2,…n；j=1,2,…,m)，

则权值矩阵W为记忆标准轮廓的外积和。

(4)

在联想阶段，将需要识别的某一新值以特定的方式进行编码，将U(0)=[u1(0),u2(0),…un(0)]T作为网络神经元的初始状态，通过对神经元不断更新直至达到稳定状态。计算公式如下：

U(t+1)=sgn(WU(t)),t=0,1,2,…

(5)

其中，sgn(x)为符号函数：

(6)

DHNN工作的过程其实就是神经元的权值进行调整的过程，可以用“能量函数”分析其系统的稳定性。在满足一定条件的情况下，“能量函数”的能量在网络运行过程中不断减少，直至达到稳定平衡状态，稳定状态即为网络的输出[16]。

2 基于Hopfield网络的非线性轮廓异常状态监控方法的原理及步骤

2.1 基本原理

考虑到样本量较小以及数据间的复杂性，这里应用SVR方法确定轮廓模型的基本形式，在实现结构风险最小化的同时避免“过拟合”现象，确保所建模型具有较大的推广能力。此外，为了克服参数模型方法中对于复杂参数估计困难的问题，利用DHNN网络的联想记忆功能对轮廓异常状态进行监测，记忆阶段主要是吸引子的设置以及存储，联想阶段主要是通过网络的联想功能，实现对异常轮廓状态的监控识别。具体过程如图2所示。

图2 步骤流程图

在这个过程中，存在以下几个关键问题：

(1)如何建立标准轮廓的差异模型

由于研究针对的是少量的非线性轮廓样本，需要选择适用于小样本量前提的全局性建模方法。SVR具有的内在学习型机制，使其适用于对复杂关系过程进行回归建模，同时能够在样本量较小的情况下保持较好性能。因此，本文选择SVR进行全局性回归建模。

(2)DHNN记忆阶段，如何设计吸引子

吸引子的设置是整个DHNN网络进行监测识别的基础，需要对吸引子进行合理地设计。首先是对标准轮廓进行编码，对应着轮廓的分区为-1，否则为1，依此编码规则生成样本轮廓的数字矩阵，再计算各神经元之间的连接权值，将其存储于网络中，完成对吸引子的设置。

(3)DHNN联想阶段，对轮廓异常状态的识别

对轮廓的异常状态进行正确的识别，是所提方法有效性的关键。利用式(5)对U迭代，经过有限的时间Δt后，神经元的前后状态保持不变，可认为DHNN达到了稳态；再将网络输出与吸引子进行对比，若二者类型相似，可判断生产过程受控；否则失控，即轮廓出现了异常状态。

2.2 实现步骤

本文基于DHNN的非线性轮廓识别方法可以大致分为两个阶段：基于SVR的建模阶段以及基于DHNN的异常轮廓识别阶段。各阶段的详细步骤如下：

已知训练集T={(x1,y1),…,(xl,yl)}∈(Rn×y)l其中，xi∈Rn,yi∈y=R,i=1,…,l(l=20)

阶段1：SVR建模阶段

Step 1：选取合适的核函数[7]。

基于Gauss径向基核函数的SVR具有良好的拟合与泛化性能，且Gauss径向基核函数只有一个参数，有利于选择和优化。

(7)

Step 2：ε—不敏感参数的选择。

(8)

(9)

Step 3：惩罚参数C的选择。

(10)

阶段2：异常轮廓识别阶段

Step 4：吸引子编码。

将过程(或产品)的标准轮廓作为吸引子。生成标准轮廓的二值图像，将像素设定为40×40，按1，-1的编码规则，形成相应的记忆模式：V=[V1,V2,…V40]T,Vi=(v1,v2,…v40),vj∈{1,-1}(i,j=1,2,…,40)。

Step 5：网络权值的设计。

由以下公式计算吸引子任意两个神经元之间的连接权值矩阵，最终将吸引子存储于DHNN网络中。

(11)

Step 6：待识别轮廓的初始化。

联想阶段，按相同的编码规则，初始化待识别样本轮廓，作为网络神经元的初始状态。

U(0)=[U1(0),U2(0),…,U40(0)]T,
Ui(0)=(u1(0),u2(0),…,u40(0))
uj(0)∈{1,-1}(i,j=1,2,…,40)。

Step 7：神经元状态更新。

设网络在t时刻的神经元状态为U(t)，由

U(t+1)=sgn(WijU(t)),t=0,1,2,…

(12)

(13)

对U(0)进行迭代运算，对所有神经元进行同步更新。

Step 8：模式判别。

如果U(t+1)=U(t)，则该网络达到稳定点。将稳定点的输出与吸引子进行对比，若该输出与吸引子的类型相似，可判断生产过程受控；否则失控，即轮廓出现了异常状态。

3 算例研究

3.1 算例描述

在本节仿真研究中，假设一个样本轮廓上的观测点为(xi,yi),i=1,2,…,20，且轮廓模型[18]为：

(14)

其中，xi～U(0,1)，ε～N(0,σ2)为独立同分布的随机误差项，σ=0.1；g0(x)为受控(in-control，IC)模型，且g0(x)=1-ex；失控(out-of-control，OC)轮廓模型为g1(x)=g0(x)+δ(x)。δ(x)为过程异常波动，

δ(x)=θ(r(0.9x+0.1)+(1-r)sin(2π(x-0.5)))

(15)

其中，0≤r≤1为权重因子，θ为偏移量，可以调节偏移方向。在波动模型中，前半部分θ(0.9x+0.1)为一条直线，会使IC轮廓整体发生偏移；而后半部分θsin(2π(x-0.5))则会引起受控轮廓的上下波动。在实际应用中，两类误差同时存在，且不同情况下权重也不相同，本文取r=0.2，r=0.5，r=0.8。

综上所述，在仿真实验中，IC轮廓模型为：

(16)

OC轮廓的模型为：

(17)

其中，xi～U(0,1),i=1,2,…,20。可依式(16)及式(17)仿真生成不同的样本轮廓来考察所提方法的效果。

在仿真实验中，将标准轮廓作为吸引子存储于网络中。本算例中每个样本含有20个测量点，为了避免图像重要特征丢失，重新设定像素大小为40×40(如果轮廓较为复杂，可以适当调节像素大小，用更高维矩阵尽可能地涵盖轮廓的全部特征)。按照上述的编码规则进行编码，形成相应的记忆模式。由公式(11)计算任意两个神经元之间的连接权值W。

最终将其存储于Hopfield网络中。然后，将样本轮廓输入到该网络中，最终得到稳定状态下的网络输出与吸引子的对比结果。图3给出了r=0.2，θ=0.02时，OC样本轮廓的识别结果；图4给出了当r=0.8，θ=0.02时，OC样本轮廓的识别结果。此外，对60组样本轮廓(其中IC有15组，OC有45组，分别取r=0.2，r=0.5，r=0.8，且通过改变θ的取值，调节样本波动大小，每一个r取值下，15组样本的θ值分别从0.01变化到0.1、从0.1变化到0.5，步长分别为0.01、0.1)进行监测识别，其结果如表1、表2所示。最后，对OC作进一步研究，通过改变θ的取值(θ值分别从0.02变化到0.1、从0.1变化到0.5，步长分别为0.02、0.1。每一个θ值对应的样本量均为20)，调节过程波动的大小，轮廓监测的识别结果如表3～表5所示。

在上述条件下，将基于DHNN的非线性轮廓异常状态监控方法与SVDD的方法[19]进行比较。在r=0.2，θ取不同值的失控状态下，测得的链长ARL1如表6所示；此外，对15组轮廓样本进行试验，结果如表7所示。

轮廓样本数正确率(%)误识率(%)IC1573.3326.67OC4582.2217.78

表2 OC训练样本的识别结果

表3 失控轮廓样本的识别结果(r=0.2)

表4 失控轮廓样本的识别结果(r=0.5)

表5 失控轮廓样本的识别结果(r=0.8)

表6 ARL1(r=0.5)

表7 θ值从0偏移到0.2时DHNN方法与

3.2 结果讨论

从图3可以看出，样本轮廓上下波动且偏移量较小时，网络发生了误判，即该网络没有监测到该过程处于失控状态；图4显示该网络能够正确监测出异常轮廓，说明了所提方法的有效性。

表1说明，失控过程状态下的误识率比受控过程状态下低，说明所提方法对于失控过程的监控更有效；其平均误识率为20%，相对较小，表现稳定，可靠性较高。对失控状态下的轮廓监控进一步讨论，结果如表2所示，随着r取值逐渐增大，即轮廓发生整体偏移大于轮廓上下波动的偏移时，误识率下降了20%，说明所提方法在监测发生整体偏移情况下的过程波动时性能较优。

表3、表4以及表5分别给出了在一定的r取值下，不同的θ取值对所提方法的影响。从表中可以看出，随着θ逐渐增大，误识率在整体上呈现了下降的趋势，甚至当θ为0.1或取更大值时，误识率达到了0。说明轮廓发生波动且在偏移量达到一定数值时，网络监测识别的正确率很高，具有较强的监测性能。此外，对表3、表4以及表5对比分析，同样可以看出，在r取值逐渐增大的过程中，误识率也呈现不断下降的趋势，说明了所提方法在监测轮廓整体发生偏移时具有较强性能。

在理想状态下，过程(或产品)处于受控状态时，运行链长ARL0越长越好；过程(或产品)处于失控状态时，运行链长ARL1越小越好。本文中，过程处于受控状态下测得链长ARL0为164。在失控状态下，两种误差权重相同时，表6说明随着θ值的增大，DHNN方法的ARL1值逐渐下降，说明了该方法对于异常过程的监测具有较强的灵敏性。而SVDD方法的ARL1值整体上较大，说明所提方法性能较优。

表7则给出了在特定的过程波动强度下，DHNN与SVDD的误识率。表中数据说明在正常状态下，DHNN与SVDD在性能上的差别不大，误识率均为26.67%；在不同波动程度的情况下，DHNN方法的性能整体优于SVDD的方法，误识率相对较低。

4 结束语

本文对数据关系复杂且样本量较小的非线性轮廓异常状态监控问题进行了探讨。算例研究表明，所提方法对轮廓的异常状态进行识别时的性能要优于SVDD方法，平均链长较短，比较适用于监控复杂生产过程中的异常轮廓。采用DHNN的方法不需要大量的样本，不仅可以解决小样本量下参数模型方法中难以估计复杂参数的问题，还可以克服以时间序列为基础收集的数据之间的自相关问题。对于更深层次的问题，如如何进一步提高波动强度较小时异常轮廓的识别能力等，尚未进行探讨，需要更进一步的研究。

[1] Amiri A, Jensen W A, Kazemzadeh R B.A case study on monitoring ploymial profile in the Automotive industry[J]. Quality and Reliability Engineering International,2010, 5(26):509-520.

[2] Noorossana R, Izadbakhsh H. Profile monitoring for multinomial responses[J]. International Journal of Industrial Engineering and Production Manage,2013,23(4):417-429.

[3] 路春光,孟丽丽,王振中,等. 统计过程控制SPC系统的设计与实现[J]. 组合机床与自动化加工技术,2010(1):108-112.

[4] Hadidoust Z, Samimi Y, Shahriari H. Monitoring and change-point estimation for spline-modeled non-linear profiles in phase II [J]. Journal of Applied Statistics, 2015, 42(12): 2520-2530.

[5] Kazemzadeh R B, Noorossana R, Amiri A. Monitoring polynomial profiles in quality control applications[J]. The International Journal of Advanced Manufacturing Technology, 2009, 42(7): 703-712.

[6] Zhang H, Albin S. Detecting outliers in complex profiles using a χ2 control chart method[J]. IIE Transactions, 2009, 41(4): 335-345.

[7] Williams J D, Woodall W H, Birch J B. Statistical monitoring of nonlinear product and process quality profiles[J]. Quality and Reliability Engineering International, 2007, 23(8): 925-941.

[8] Vaghefi A, Tajbakhsh S D, Noorossana R. Phase II monitoring of nonlinear profiles[J]. Communications in Statistics-Theory and Methods, 2009, 38(11): 1834-1851.

[9] Qiu P, Zou C. Control chart for monitoring nonparametric profiles with arbitrary design[J]. Statistica Sinica, 2010, 20(4): 1655-1682.

[10] Hung Y C, Tsai W C, Yang S F, et al. Nonparametric profile monitoring in multi-dimensional data spaces[J]. Journal of Process Control, 2012, 22: 397-403.

[11] Moguerza J M, Muoz A, Psarakis S. Monitoring nonlinear profiles using support vector machines, Computer Science,

2007, 4756: 574-583.

[12] Yu G, Zou C, Wang Z. Outlier detection in functional observations with applications to profile monitoring[J]. Technometrics, 2012, 54(3): 308-318.

[13] Ding Y, Zeng L, Zhou S. Phase I analysis for monitoring nonlinear profiles in manufacturing processes[J]. Journal of Quality Technology, 2006, 38(3): 199-216.

[14] Hopfield J J. Neural net works and physical systems with e-mergent collective computational properties[J] . Proceedings of the National Academy of Sciences, 1982,79( 11) :2445-2558.

[15] 崔庆安, 王金凤. 基于Hopfield网络的渐进型漂移自相关过程质量控制方法[J]. 计算机集成制造系统,2008,14(10):2052-2058.

[16] 朱献文. 基于遗传算法和Hopfield神经网络的字符识别方法[J]. 电子设计工程,2011,19(18):57-59,62.

[17] Cherkassky V, Ma Y. Selection of Meta-Parameters for Support Vector Regression[C].Procedings of the International Conference on Artificial Neural Networks (ICANN), Madrid, Spain, 2002.

[18] 张阳. 复杂产品制造过程中轮廓控制方法研究[D].天津:天津大学,2013.

[19] 贺辰然. 基于支持向量机的线性轮廓图控制方法研究[J]. 电子设计工程,2014,22(8):92-94,98.

MonitoringtheOut-of-controlofNonlinearProfileBasedonDHNN

CUI Qing-an, WANG Jun

(School of Management Engineering, Zhengzhou University, Zhengzhou 450001, China)

Aiming at the problem of nonlinear profile monitoring with complex data relations and small sample size, a Discrete Hopfield Neural Network (DHNN) was proposed to monitor the out-of-control profile. For some collected small samples, first using support vector regression to fit nonlinear sample profile. Then the standard profile of product manufacturing process was set to be an attractor and stored in DHNN through certain encoding method. After that using associative function of the network to identify whether a new sample profile has been changed. Finally, the proposed method was compared to Support Vector Data Description (SVDD) method. Research showed that the average error rate and average run length of the proposed method are smaller, which is more suitable for the monitoring of out-of-control profile in complex manufacturing process.

nonlinear profile monitoring; hopfield neural network; support vector regression

TH165；TG506

A

1001-2265(2017)12-0097-06

10.13462/j.cnki.mmtamt.2017.12.024

2016-12-26；

2017-03-01

国家自然科学基金项目(71571168)

崔庆安(1974—)，男，山西襄垣人，郑州大学教授，博士，研究方向为质量工程，工业工程，(E-mail)cuiqa@zzu.edu.cn。

(编辑李秀敏)