基于半监督动态深度融合神经网络的软测量

郭小萍 种佳林 李元

收稿日期：2023-07-18；修回日期：2023-08-21  基金項目：国家自然科学基金资助项目（62273242）；辽宁省教育厅科学研究一般项目（LJ2020021）

作者简介：郭小萍（1972—），女，山西大同人，教授，硕导，博士，主要研究方向为基于数据驱动的复杂过程故障诊断和软测量；种佳林（1998—），女，辽宁朝阳人，硕士研究生，主要研究方向为基于数据驱动的复杂过程软测量；李元（1964—），女（通信作者），辽宁沈阳人，教授，博导，博士，主要研究方向为基于数据驱动的复杂过程故障诊断（li-yuan@mail.tsinghua.edu.cn）.

摘  要：半监督深度神经网络建模方法已被广泛应用于软测量，但基于分层训练的网络在特征提取过程局限于挖掘每层输入的有效信息，忽略了原始输入有效信息的丢失，逐层累积，从而导致原始输入的特征表示准确率低下；另外，缺乏挖掘过程时空相关性，也会导致模型性能退化。提出一种半监督动态深度融合神经网络（semi-supervised dynamics deep fusion neural network，SS-DDFNN）方法。该方法在特征提取网络的每层都重构原始输入数据并预测质量变量，通过在预训练损失中使用重构原始输入误差，减小原始输入有效信息的丢失；同时融入注意力机制和t分布随机邻域嵌入提取时空相关信息，应用提取的特征建立门控神经网络质量预测模型。实验结果显示，相较于SAE、GSTAE和SIAE模型，所提方法在脱丁烷塔案例中的预测精度分别提升了2.8%、1.1%和0.9%；在工业聚乙烯生产案例中，分别提升了2.7%、1.0%和0.7%。实验结果验证了所提方法的有效性。

关键词：自编码器；软测量；半监督特征提取；时空相关信息；门控神经元

中图分类号：TP273.1    文献标志码：A

文章编号：1001-3695（2024）02-030-0521-06

doi：10.19734/j.issn.1001-3695.2023.07.0276

Semi-supervised dynamic deep fusion neural network based soft sensor

Guo Xiaoping，Chong Jialin，Li Yuan

（College of Information Engineering，Shenyang University of Chemical Technology，Shenyang 110142，China）

Abstract：The semi-supervised deep neural network modeling method has been widely applied in soft sensor，but the network based on hierarchical training only excavates the effective information of each input layer in the feature extraction process，ignoring the loss of effective information of the original input and accumulating it layer by layer，resulting in low accuracy of feature representation of the original input.In addition，the lack of spatiotemporal information related to the mining process can also lead to model performance degradation.This paper proposed a semi-supervised dynamics deep fusion neural network（SS-DDFNN） method.This method reconstructed the original input data and predicted quality variables at each layer of the feature extraction network.By using the reconstructed original input error in pre-training loss，it reduced the loss of effective information from the original input.Simultaneously it incorporated attention mechanism and t-distribution random neighborhood embedding to extract spatiotemporal related information，and established a gated neural network quality prediction model using extracted features.The experimental results show that compared to the SAE，GSTAE，and SIAE models，the proposed method has improved prediction accuracy by 2.8%，1.1%，and 0.9% in the case of a debutanizer，respectively.In the industrial polyethylene production case，it has increased by 2.7%，1.0%，and 0.7% respectively.The experimental results show that the proposed method is effective.

Key words：AutoEncoder；soft sensor；semi-supervised feature extraction；spatiotemporal information；gating neuron

0  引言

现代工业过程复杂度不断提高，准确测量关键质量变量能有效地在过程中实施控制策略。然而，受测量技术、环境及成本等因素的制约，一些关键质量变量不能在线获得。通过对易于测量的过程变量进行质量预测成为了一种比较有效的方法［1］。目前，在许多实际生产过程中，质量变量通常由人工采样，需要通过化验室化验，间隔几小时得到具体数据，而过程变量可以在线获得，能够做到毫秒级一次的采样，这产生了大量无标签过程数据。过程数据蕴涵着过程中大量的有用信息，软测量模型的性能很大程度上取决于对过程数据的特征表示［2］。传统基于深度神经网络的软测量建模方法采用无标签的过程数据进行特征提取，这样提取的特征不能确保与质量变量真正相关［3］。

半监督学习策略能够同时利用标签数据和无标签数据构建模型解决了这一问题，其实质是利用大量的无标签数据以及少量的标签数据进行模型的训练，用质量变量指导特征学习过程，通过最小化重构误差与质量预测误差捕获无标签数据中的有效信息，提升模型学习性能［4］。半监督学习策略与深度神经网络的结合已被广泛应用于工业过程软测量。Yuan等人［5］提出了一种半监督预训练策略的软测量方法，将标签数据及未标签数据经过堆叠自编码器逐层预训练提取每层输入的有效特征，再通过标签数据进行微调实现质量预测，提高了模型预测精度。孙庆强［6］提出了集成半监督门控堆叠自编码器软测量建模方法。将数据划分为不同的子集，分别通过堆叠自编码器的逐层预训练，最大限度地利用标签过程数据和无标签过程数据挖掘各输入层与质量变量相关的特征表示。

在采用深度堆叠自编码网络逐层预训练的训练方式时，解码层重构每层输入数据并直接预测质量变量，预训练损失通常大于零，导致每一层中都存在输入数据的信息丢失，造成了原始输入数据丢失的有效信息逐层累积［7］。因此，上述半监督软测量模型未考虑丢失的原始输入数据有效信息累积的问题，将会对原始数据的特征表示存在偏差，影响模型预测能力。

此外，工业生产过程在时间上是连续的，这使得当前质量变量不仅与当前过程数据有关，还与历史过程数据有关，产生了较强的时序相关性［8］。在这种条件下，如何提高模型的特征表示也成为了软测量模型的关键问题。目前许多学者采用卷积神经网络（convolutional neural network，CNN）［9］、循环神经网络（recurrent neural network，RNN）［10］、长短期记忆网络（long short-term memory network，LSTM）［11］、自注意力机制［12］等特定的网络结构提取时间序列数据中的动态特征。为了方便地学习历史数据与当前数据的时序相关信息，Ren等人［13］应用了LSTM建立软测量模型，提高了模型预测精度。由于LSTM相较注意力机制网络结构很难提取样本的长期历史特征，Wang等人［14］提出了一种基于注意力的动态堆叠自编码器网络（attention-based dynamic stacked autoencoder network，AD-SAE）。其结合了注意力机制卓越的长距离历史信息提取能力和堆叠自编码网络，在工业过程软测量领域得到了广泛应用。

由于过程数据在空间中处于同一过程反映的不同位置，会存在相互影响的空间关系［15］。未考虑空间结构关系，会导致对过程信息的挖掘不够充分。曹文彬［16］提出了应用t分布随机邻域嵌入（t-distributed stochastic neighbor embedding，t-SNE）方法，將高维空间内的数据映射到低维空间时保持其概率分布，引导自编码器挖掘过程空间信息。常树超等人［8］构建了一种时空协同的图卷积长短期记忆网络，充分挖掘过程的时空特性，在燃煤电厂磨煤过程验证了模型的有效性。黄成等人［17］提出了一种基于时空局部学习的集成自适应软测量建模方法，分别通过滑动窗口和即时学习提取过程的时序关系和空间关系，提高了模型性能。在软测量建模过程中同时考虑时空关系，则能够在描述过程动态性的同时，将过程数据空间结构信息与质量变量关联，提升软测量模型的性能。

无论是深层自编码网络还是长短期记忆网络等都存在只考虑单一过程特性的特点，使其在复杂的工业过程中难以保持准确的质量预测精度。近来，骆钊等人［18］提出了一种将深层自编码网络与多头注意力机制结合，同时对时空数据进行半监督映射的方法，完成半监督时序自回归质量预测。其通过深层自编码网络与半监督方法以及注意力策略的融合，综合考虑了复杂的过程特性，提高了模型的性能。

因此，针对半监督特征提取过程中丢失的原始输入数据有效信息逐层累积以及过程数据中时序关系和空间关系未被充分挖掘等问题，本文提出一种具有序列特征动态融合和改进半监督预训练策略的软测量方法。该方法首先应用注意力机制和t-SNE算法融合不同历史时刻标签过程数据和无标签过程数据，并最小化其空间分布差异，从而提取时空相关信息；然后，通过逐层重构原始输入数据并预测质量变量的训练策略，将半监督预训练损失函数中重构误差改进为重构原始输入误差，再引入质量预测误差，从而减小原始输入数据丢失有效信息的累积；同时最小化t-SNE损失，减小空间结构信息的丢失，提高特征表示的准确率；最后特征回归网络通过门控神经元确定标签特征在最终输出中所占的权重，以综合特征进行质量预测。

1  理论背景

1.1  自编码器

自编码器（autoencoder，AE）是包括一个输入层、一个隐藏层和一个输出层的三层神经网络，其目的是重构输入数据，以获得输入的特征表示［19］。输入层和隐藏层组成编码器，将输入数据x转换成拥有高级特征的隐藏层数据h，如式（1）所示；隐藏层和输出层组成解码器，其将隐藏层数据h重构为输出数据如式（2）所示。

h=encoder（x）=f（Wex+be）（1）

=decoder（h）=g（Wdh+bd）（2）

其中：x=［x（1），x（2），…，x（dx）］∈Rdx；dx是输入数据的维度；h=［h（1），h（2），…，h（dh）］∈Rdh为隐藏层变量；dh为隐藏层变量维度；重构数据为=［（1），（2），…，（dx）］；We和Wd为权重矩阵；be和bd为偏差矩阵。f（·）和g（·）分别为编码过程和解码过程激活函数，本文选择sigmoid非线性激活函数。自编码器重构误差损失函数设计为

J（θ）=∑Ni=1‖i-xi‖22N（3）

其中：N为训练样本总数；xi为第i个训练样本。多个AE叠加在一起以增加网络深度形成堆叠自编码器（stacked autoencoder，SAE）。以堆叠两层AE为例，如图1所示。SAE可以直接预测质量变量，=f（Wph+bp），通过最小化标记样本的质量预测误差函数式（4）更新整个网络参数。

J（θ）=12N∑Ni=1‖i-yi‖2（4）

1.2  注意力机制

目前，注意力机制已经成为神经网络领域的一个重要概念，其原理如图2所示［14］。通过计算当前查询样本和不同元素之间的键值相似度来确定有多少来自不同样本的信息用于当前计算，融合了大量历史样本信息，计算过程如式（5）～（7）所示。

式（5）为不同样本之间的相似度计算：

si=qcurrent·ki（5）

式（6）为注意力权重因子计算：

ci=softmax（si）=exp（xi）∑Nj=1exp（sj）（6）

式（7）为注意力关注值计算：

ai=attention（（k，v），qcurrent）=∑Ni=1civi（7）

其中：qi、ki和vi表示第i个查询值、第i个关键字值和第i个值；k=［k1，k2，…，kN］和v=［v1，v2，…，vN］分别表示由所有N个关键值和值组成的矩阵。

2  SS-DDFNN模型的软测量方法

2.1  SS-DDFNN模型的构建

半监督动态深度融合神经网络（SS-DDFNN）包含两部分，如图3所示。半监督的训练思想是在特征提取过程进行半监督预训练，标签数据和无标签数据以4：6的比例均用于SS-DDFNN模型预训练。对于无标签的样本，逐层学习输入分布的形状；对于标签样本，在质量信息的指导下额外学习与质量相关的特征。对于标签的训练样本，损失函数是最小化其输入和质量输出变量的重建误差。而对于无标签的训练样本，损失函数仅使输入部分的重建误差最小化。网络参数由标签和无标签的训练样本确定。

SS-DDFNN网络第一部分是特征提取网络，该网络将不同时间序列数据映射到一组隐藏特征。首先原始标签过程数据及无标签过程数据经过长度为k的滑动窗口序列化，则t时刻序列化后的数据为［xt，xt-1，xt-k+1，…，xt-k］，k=1，2，…，N，包含了t时刻以及t时刻之前k个时刻的过程数据。将其经过式（8）（9）的位置编码，将位置向量Pt添加到原始向量，识别历史过程数据位置［14］。

Pti，2j=sin （i/100002j/d）+sin （t/100002j/d）（8）

Pti，2j+1=cos （i/100002j/d）+cos （t/100002j/d）（9）

位置向量每个维度对应正弦信號，1≤i≤k表示位置，1≤j≤d表示维度。位置编码后应用式（6）计算不同历史过程数据的注意力权重因子，根据式（7）为其分配不同的注意力关注值，最大限度地保持时序相关信息，融合为注意力数据xv。xv和xt是包含了标签过程数据xl和无标签将过程数据xu的输入数据。将其应用t-SNE空间相似性分析，将距离转换为条件概率分布，在高维输入空间采取高斯分布，低维隐层空间采取t分布［16］。最小化输入与隐层特征的距离分布差异，即最小化t-SNE损失，提取空间结构信息。式（10）为t-SNE的损失函数。式（11）（12）分别为高维空间和低维空间的概率分布，σ2为高斯分布的方差。

L=∑m∑npmnlogpmnqmn（10）

pmn=exp（-‖xm-xn‖2/2σ2）∑k≠lexp（-‖xk-xl‖2/2σ2）（11）

qmn=（1+‖ym-yn‖2）-1∑k≠l（1+‖yk-yl‖2）-1（12）

然后经过堆叠自编码器的逐层编码过程得到第一隐层特征h1、第二隐层特征h2，直到获得编码网络的第n隐层动态特征hn。hn通过逐层解码过程，每一层都重建原始输入数据l和u并直接预测质量变量。最小化改进的预训练损失减小原始输入数据丢失的有效信息逐层累积，并对参数集θ={We，be；Wd，bd；Wp，bp}进行更新。改进的预训练损失函数包含重构原始输入误差项、预测误差项和t-SNE的损失函数项，如式（13）所示。

J（θ）=1Nu∑Nui=1‖ui-xui‖2+1Nl∑Nlj=1‖lj-xlj‖2+1Nl∑Nlj=1‖lj-ylj‖2+∑m∑npmnlogpmnqmn（13）

其中：Nu和Nl分别为无标签过程数据和有标签数据的数量；ui、lj 和lj分别为重构数据和预测数据。

SS-DDFNN网络第二部分是由门控神经元组成的特征回归网络，该网络采用隐层有标签的特征来预测输出，作用机理如式（14）～（16）所示。对于第i个标签特征，首先根据式（14）使用标签特征hli生成门控值gi，门控值为特征在最终输出中所占的权重。

gi=σ（Wgi·hli+bgi）（14）

其中：σ为sigmoid激活函数。hli再根据式（15）映射生成候补预测值yi。

yi=tanh（Woi·hli+boi）（15）

各门值作用于候补预测值，并加和得到最后质量预测值为

=∑mi=1gi⊙yi=∑mi=1σ（Wgi·hli+bgi）⊙tanh（Woi·hli+boi）（16）

整个网络的参数通过最小化式（4）的预测误差进行微调。

2.2  SS-DDFNN软测量方法

基于SS-DDFNN模型的软测量建模流程分为训练阶段和测试阶段两部分，如图4所示。

在训练阶段，首先根据理论分析和操作经验选择模型的输入变量，采集并划分数据集（包括过程变量和质量变量）。然后预处理训练数据集，训练SS-DDFNN模型。当损失函数最小即模型训练完成，保存模型参数。测试阶段，预处理测试数据集，然后将其输入训练好的模型获得关键质量变量预测值。基于SS-DDFNN的软测量建模具体步骤如下所示。

输入：工业过程的无标签过程数据Xu={xu1，xu2，…，xum}；标签过程数据Xl={xl1，xl2，…，xln}；质量数据Y={yl1，yl2，…，yln}组成训练集和测试集；时间窗口长度k。

训练：

数据归一化预处理。

初始化SS-DDFNN网络结构、连接权重及偏置等参数。

经滑动窗口和注意力机制计算不同历史过程数据［xt，xt-1，…，xt-k］对当前过程数据xt的贡献，融合为注意力数据xv，再将xt及xv经过t-SNE计算概率分布，提取过程数据的空间结构关系。

经过SS-DDFNN网络的第一层编码过程获得其编码网络参数{We1，be1}和第一隐层特征h1={h11，h12，…，h1N}，通过最小化预训练损失函数更新其编码网络参数{We1，be1}，完成SS-DDFNN第一层网络的预训练；第一隐层特征作为SS-DDFNN网络第二层的输入。

令k＝2；主循环：

当k＜L，使用hk-1和Y来训练SS-DDFNN网络的第k层，从而获得其编码参数和第k隐层特征hk。

令k＝n，SS-DDFNN网络逐层预训练提取特征完成。

经前向编码过程得到的第n隐层特征hn通过解码过程，每层都重构原始输入数据并直接预测质量变量。

将hn中有标签特征hli分别传递到相应的门值网络和tanh函数得到对应的门控值gi和候补预测值yi。

融合不同标签特征的预测值，得到最终的目标输出值。

通过最小化预测误差损失来微调整个网络参数。

保存网络结构和参数。

测试：

将归一化预处理过的测试数据作为网络输入，经过半监督特征提取和有监督特征回归获得对应的质量变量预测值。计算RMSE、MAE、MAPE和R2四个性能评估指标，评估模型预测性能。

为了直观地评价模型的性能，本文使用均方根误差（RMSE）、拟合优度系数（R2）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）四个指标来量化模型预测效果［20］。

RMSE=1N∑Ni=1（yi-i）2，R2=1-∑Ni=1（yi-i）2∑Ni=1（yi-i）2（17）

MAE=1N∑Ni=1|i-i|，MAPE=100%N∑Ni=1|i-yiyi|（18）

其中：N是样本个数；yi是第i个样本的真实值；i是第i个样本的模型预测值；i是所有样本真实值的平均值。

3  案例研究

分别通过脱丁烷塔［21］和工业聚乙烯［22］生产过程数据详细的进行所提SS-DDFNN软测量方法的有效性实验验证，并与堆叠自编码器（SAE）［23］、门控堆叠目标相关自编码器（GSTAE）［24］ 和堆叠同构自编码器（SIAE）［7］模型进行比较。

3.1  脱丁烷塔案例

脱丁烷塔是工业炼油工艺的重要组成部分，主要用于脱硫和石脑油的分离。脱丁烷塔装置如图5所示。其中涉及的变量之间存在复杂的关系，为了保持稳定生产和保证产品质量，需要最大限度地提高汽油（C5）含量并最小化脱丁烷塔底部的丁烷（C4）含量。因此，为了提高C4的控制质量，需要进行软测量建模对C4含量进行实时估计。

本文选择七个常规测量的过程变量进行数据建模，表1详细介绍了过程变量信息。选取2 300个样本，其中前1 600个样本作为训练集，用于训练模型参数，后700个作为测试集，用于评价模型预测性能。

为了获得SS-DDFNN模型，需要初始化网络结构和超参数，主要是通过试错法获得的。初始学习率设置为0.002，批量大小设置为20。为了更有说服力，对比模型的结构参数与SS-DDFNN模型的参数保持一致。所提SS-DDFNN方法与三种对比方法SAE、GSTAE、SIAE的质量预测结果如图6所示。图6中可以清晰地看出本文方法的预测结果很好地追踪到了真实值的变化趋势。尤其是在第400测试样本附近其预测值曲线与真实值曲线拟合度最高，质量预测能力最优，而三种对比方法质量预测曲线偏离真实值曲线明显，质量预测误差较大。

表2详细给出了SS-DDFNN与SAE、GSTAE、SIAE方法的性能评估指标值。可以看出SS-DDFNN方法在四个指标上都取得了最佳性能，说明其模型性能最优，质量预测最精确。受无标签数据的影响，SAE方法的性能评估指标最差；GSTAE方法利用门控神经元融合特征以综合预测质量变量，其评估指标优于SAE；SIAE方法的性能评估指标也优于SAE，表明通过减小原始输入数据丢失的有效信息逐层积累会提高模型预测性能。

所提SS-DDFNN方法与SAE、GSTAE、SIAE三种对比方法的训练损失收敛曲线如图7所示。可以明显看出四种方法的训练损失收敛曲线的收敛值最终都接近于0，但是所提SS-DDFNN方法的初始損失值明显低于三种对比方法，并且SS-DDFNN方法的训练损失收敛曲线更趋近于收敛值。这表明改进后的损失函数优化了模型的性能。

构建消融实验，SIAE方法只考虑了特征提取过程中原始输入数据中有效信息的逐层丢失。建立一种半监督堆叠同构自编码网络（semi-supervised stacked isomorphic autoencoder，SS-SIAE）方法，将标签样本和无标签样本同时用于模型训练，并减少原始输入数据中有效信息的丢失。所提SS-DDFNN方法在SS-SIAE方法基础上提取时空相关信息。这三种模型质量预测结果对比如图8所示，性能评估指标值如表3所示。

在图8和表3中都可以直观地看出，所提SS-DDFNN方法具有最高的质量预测精度和最优的性能评估指标值，也表明所提方法的有效性被提高。

3.2  工业聚乙烯案例

该工业聚乙烯生产过程有三级反应过程，如图9所示［22］。本文取第一级过程数据进行方法验证，共有12个易于测量的过程变量，关键质量变量为熔体指数（MI）。选用文献［22］中的315个样本，其中前250个样本作为训练集，其余作为测试集。

图10～12为SS-DDFNN与SAE、GSTAE、SIAE方法的预测结果、绝对预测误差和预测误差箱线图。在图10中可以看出，SS-DDFNN方法的预测结果和真实值具有最高的一致性，尤其在第50～60测试样本中预测误差小于三种对比方法，提高了对MI的预测精度。尽管三种对比方法在分层预训练过程中实现了深层特征提取，但它们未充分挖掘和利用过程有效信息。

为了更加明确地显示四种模型的预测性能，图11给出了测试数据集上的绝对预测误差曲线，可以看出SS-DDFNN方法的绝对误差曲线最平稳，在大多数样本的绝对预测误差最小，误差波动明显小于SAE、GSTAE、SIAE方法，具有更加稳定和准确的预测能力，验证了所提方法的有效性。

图12预测误差箱线图更直观地反映了模型的性能，可以看出，SS-DDFNN在四种方法中显示出最窄的误差分布范围，误差更加集中地分布在零值附近，说明其具有最高的预测精度。

将四种方法应用于测试数据集，表4给出了详细的模型预测性能评估指标值。可以直观地看出SS-DDFNN方法的RMSE、MAE和MAPE值最小，R2值最大，表明其是性能评估指标最优的模型。另外，SAE方法的RMSE最大，表明其预测精度最差，主要是因为其无监督提取特征可能丢失了输入的有效信息；GSTAE方法虽然融合特征进行质量预测，优化了模型性能评估指标，但是没有提取过程时间及空间相关信息；SIAE方法从低级到高级逐层训练网络，仅改进损失函数避免原始输入数据丢失的信息逐层积累，使模型性能评估指标略有改善。因此对比模型不能保证最佳的预测精度。SS-DDFNN方法提取标签及无标签输入数据的时空相关信息，并在解码层重构原始输入数据，更准确地捕获原始输入数据的有效信息，提供了四种方法中最好的预测性能。

图13为所提SS-DDFNN方法与SAE、GSTAE和SIAE三种对比方法的训练损失收敛曲线。可以更加清晰地看出SS-DDFNN方法在四种方法中具有最低的初始损失值，在0.07附近，并且所提方法的训练损失收敛曲线收敛速度最快。这表明改进后的损失函数优化了模型的性能，减小了有效信息的损失。

4  结束语

本文提出了一种SS-DDFNN建模方法，用于预测工业产品质量。一方面，重构原始输入数据而不是每层输入数据，并直接预测质量变量。通过最小化包含重构原始输入误差、质量预测误差以及t-SNE损失的预训练损失，从而减小了逐层特征提取时原始输入数据中有效信息的丢失，使提取的特征对原始输入数据的表达更准确。另一方面，应用注意力机制计算不同时刻过程数据对当前时刻过程数据的贡献，融合了时序相关信息；采用t-SNE空间相似性分析提取了空间结构信息。最后，应用门控神经元为不同标签特征分配权重进行质量预测，提高了模型预测的准确率。因此，学习到的特征表示不但保持了原始输入数据的真实性，而且捕获了过程数据的时间及空间相关信息。比较了SAE、GSTAE、SIAE和SS-DDFNN方法在脱丁烷塔和工业聚乙烯一级炉中的预测性能，验证了所提方法的有效性。该方法能够有效提取复杂工业过程特性，具有较好的扩展性和良好的应用前景。但目前方法存在质量预测耗时长的现象，在下一步的研究中，将尝试加入稀疏策略和自适应策略，以保证更加快速地进行质量预测。

参考文献：

［1］崔琳琳，沈冰冰，葛志强.基于混合变分自编码器回归模型的软测量建模方法［J］.自动化学报，2022，48（2）：398-407.（Cui Linlin，Shen Bingbing，Ge Zhiqing.A soft sensor modeling method based on hybrid variational autoencoder regression model［J］.Acta Automation Sinica，2022，48（2）：398-407.）

［2］彭程.基于預训练的工业数据软测量［D］.杭州：浙江大学，2022.（Peng Cheng.Soft sensor of industrial data based on pre-training［D］.Hangzhou：Zhejiang University，2022.）

［3］包震伟，刘丹，米金鹏.弱监督与少样本学习场景下视频行为识别综述［J］.计算机应用研究，2023，40（6）：1629-1635.（Bao Zhenwei，Liu Dan，Mi Jinpeng.A review of video behavior recognition in weak supervision and small sample learning scenarios［J］.Application Research of Computers，2023，40（6）：1629-1635.）

［4］De Lima J M M，De Araujo F M U.Ensemble deep relevant learning framework for semi-supervised soft sensor modeling of industrial processes［J］.Neurocomputing，2021，462：154-168.

［5］Yuan Xiaofeng，Ou Chen，Wang Yalin，et al.A novel semi-supervised pre-training strategy for deep networks and its application for quality variable prediction in industrial processes［J］.Chemical Enginee-ring Science，2020，217：115509.

［6］孙庆强.基于自编码器的工业过程软测量建模方法研究［D］.杭州：浙江大学，2021.（Sun Qingqiang.Autoencoder based soft sensor modeling methods for industrial process application［D］.Hangzhou：Zhejiang University，2021.）

［7］Yuan Xiaofeng，Wang Yalin，Yang Chunhua，et al.Stacked isomorphic autoencoder based soft analyzer and its application to sulfur recovery unit［J］.Information Sciences，2020，534：72-84.

［8］常树超，赵春晖.一种时空协同的图卷积长短期记忆网络及其工业软测量应用［J］.控制与决策，2022，37（1）：77-86.（Chang Shuchao，Zhao Chunhui.A spatiotemporal collaborative graph convolution long short-term memory network and its industrial soft sensor application［J］.Control and Decision，2022，37（1）：77-86.）

［9］Wang Kangcheng，Shang Chao，Liu Lei，et al.Dynamic soft sensor development based on convolutional neural networks［J］.Industrial & Engineering Chemistry Research，2019，58（26）：11521-11531.

［10］Curreri F，Patanè L，Xibilia M G.RNN-and LSTM-based soft sensors transferability for an industrial process［J］.Sensors，2021，21：823.

［11］Yuan Xiaofeng，Li Lin，Shardt Y A W，et al.Deep learning with spatiotemporal attention-based LSTM for industrial soft sensor model development［J］.IEEE Trans on Industrial Electronics，2020，68（5）：4404-4414.

［12］周乐，沈程凯，吴超，等.深度融合特征提取网络及其在化工过程软测量中的应用［J］.化工学报，2022，73（7）：3156-3165.（Zhou Le，Shen Chengkai，Wu Chao，et al.Deep fusion feature extraction network and its application in soft sensing of chemical processes［J］.Journal of Chemical Industry and Engineering，2022，73（7）：3156-3165.）

［13］Ren Lei，Wang Tao，Laili Yuanjun，et al.A data-driven self-supervised LSTM-DeepFM model for industrial soft sensor［J］.IEEE Trans on Industrial Informatics，2021，18（9）：5859-5869.

［14］Wang Yalin，Liu Diju，Liu Chenliang，et al.Dynamic historical information incorporated attention deep learning model for industrial soft sensor modeling［J］.Advanced Engineering Informatics，2022，52：101590.

［15］張驰野，陈智超，江肖禹，等.基于时空图注意力模型的动态软测量建模方法［J］.中国科学：技术科学，2023，53（7）：1163-1174.（Zhang Chiye，Chen Zhichao，Jiang Xiaoyu，et al.A dynamic soft sensor modeling method mased on spatiotemporal graph attention model［J］.Science China Technologica，2023，53（7）：1163-1174.）

［16］曹文彬.基于改进自编码器的火电厂烟气NOx浓度软测量与应用［D］.杭州：浙江大学，2022.（Cao Wenbin.Soft measurement and application of NOx concentration in flue gas of thermal power plants based on improved autoencoder［D］.Hangzhou：Zhejiang University，2022.）

［17］黄成，金怀平，王彬，等.基于时空局部学习的集成自适应软测量方法［J］.仪器仪表学报，2023，44（1）：231-241.（Huang Cheng，Jin Huaiping，Wang Bin，et al.Integrated adaptive soft sensor method based on spatiotemporal local learning［J］.Journal of Instrumentation，2023，44（1）：231-241.）

［18］駱钊，吴谕侯，朱家祥，等.基于多尺度时间序列块自编码Transformer神经网络模型的风电超短期功率预测［J］.电网技术，2023，47（9）：3527-3537.（Luo Zhao，Wu Yuhou，Zhu Jiaxiang，et al.Wind power ultra short term power prediction based on multi-scale time series block self coding Transformer neural network model［J］.Power System Technology，2023，47（9）：3527-3537.）

［19］Yao Le，Ge Zhiqiang.Dynamic features incorporated locally weighted deep learning model for soft sensor development［J］.IEEE Trans on Instrumentation and Measurement，2021，70：1-11.

［20］Wang Yalin，Liu Chenliang，Yuan Xiaofeng.Stacked locality preserving autoencoder for feature extraction and its application for industrial process data modeling［J］.Chemometrics and Intelligent Laboratory Systems，2020，203：104086.

［21］Fortuna L，Graziani S，Xibilia M G.Soft sensors for product quality monitoring in debutanizer distillation columns［J］.Control Enginee-ring Practice，2005，13（4）：499-508.

［22］Liu Yi，Gao Zengliang，Chen Junghui.Development of soft-sensors for online quality prediction of sequential-reactor-multi-grade industrial processes［J］.Chemical Engineering Science，2013，102：602-612.

［23］Yuan Xiaofeng，Zhou Jiao，Huang Biao，et al.Hierarchical quality-relevant feature representation for soft sensor modeling：a novel deep learning strategy［J］.IEEE Trans on Industrial Informatics，2019，16（6）：3721-3730.

［24］Sun Qiangqiang，Ge Zhiqiang.Gated stacked target related autoen-coder：a novel deep feature extraction and layerwise ensemble method for industrial soft sensor application［J］.IEEE Trans on Cyberne-tics，2020，52（5）：3457-3468.

计算机应用研究   第41卷  第41卷第2期2024年2月  计算机应用研究Application Research of ComputersVol.41 No.2Feb.2024