基于变分自编码器的情感回归半监督领域适应方法

刘 欢，徐 健，李寿山

(苏州大学 自然语言处理实验室 江苏 苏州 215006)

0 引言

随着社交媒体的兴起，越来越多的用户在网络上发布带有情感的文本(例如微博，评论等)，为情感分析等研究任务提供了语料.本文讨论的情感回归是情感分析的一项子任务，旨在对文本的情感自动预测并给出实数值评分.近些年来，情感回归的重要性与日俱增[1]，引起广泛学术关注.

现有关于情感回归的研究主要集中在机器学习方法上，特别是深度学习方法[2-4].该方法利用大量的标注样本来训练回归模型，并取得较好效果.然而，这种方法的主要缺点是需要大量人工标注语料.在很多实际应用中，我们在某个领域(即源领域)包含大量标注样本，但是我们感兴趣的领域(即目标领域)包含较少甚至没有标注样本.例如，我们可能在书籍领域有大量标注样本，在电子产品领域只有未标注样本，而我们对电子评论领域的情感分析很感兴趣.正是由于不同领域样本分布的多样性，在一个领域训练得到的回归模型可能在其他领域性能不佳，而给每个感兴趣的领域都去标注样本又非常耗时耗力.因此，当目标领域标注样本较少甚至没有标注样本而只有未标注样本时，传统的基于大量标注语料的情感回归方法无法直接运用.

为了解决上述问题，许多情感分析的领域适应(跨领域)方法被提出，例如SCL[5]、SDA[6]等.领域适应方法的目标是将源领域的知识迁移到目标领域，以提升目标领域的性能.领域适应方法主要分为两类：监督领域适应方法和半监督领域适应方法.两者在源领域都有大量标注样本，主要区别在于，监督领域适应方法在目标领域只有少量标注样本，不能通过训练得到一个好的模型；而半监督领域适应方法在目标领域没有标注样本，只有未标注样本，与监督领域适应方法相比难度更大.本文着重讨论情感回归的半监督领域适应任务，并提出了一个基于深度生成模型的情感回归半监督领域适应方法.具体而言，首先使用长短期记忆网络(LSTM)来实现回归模型；其次我们用变分自编码器(VAE)来实现生成模型；最后联合学习LSTM回归模型和VAE生成模型，实现基于变分自编码器的半监督情感回归领域适应方法.

1 基于变分自编码器的情感回归半监督领域适应方法

1.1 基本的自编码器

自编码器是一种无监督神经网络，用来获取输入向量的隐藏表示并重构输入[7].自编码器可以被看作是一种特殊的神经网络，该神经网络共有3层：输入层、隐藏层和重构层，自编码器包含编码器和解码器两部分.

编码器f将输入x∈Rm×1映射为隐藏表示z∈Rk×1，其中m表示输入维度，k表示隐藏层的维度.具体公式z=f(x)=se(Wx+b)，其中：se表示编码器的非线性激活函数；W是线性变换的参数；b是偏差项.

解码器g将隐藏表示z进行重构，g(z)=sd(W′z+b′)，与编码器类似，解码器的激活函数是sd，参数是{W′,b′}.

1.2 基于变分自编码器的情感回归半监督领域适应方法

提出了一个基于变分自编码器的情感回归半监督领域适应方法，即VAE-R.图1是所提出方法的框架结构.我们的方法主要由3个部分组成：回归器qφ(y|x)、编码器qφ(z|x,y)和解码器pθ(x|y,z).这些部分的具体介绍如图1.

图1 基于变分自编码器的情感回归半监督领域适应方法框架Fig.1 Framework of the semi-supervised domain adaptation method of sentiment regression on variational autoencoder

回归器：如图1中的(a)所示，我们使用LSTM来获取评论文本的语义表示，再通过全连接层和输出层得到回归值，y=ReLU(WTLSTM(x))，其中WTLSTM(x)的输出维度是1，并且由于情感回归值非负数，所以输出层激活函数使用修正线性单元(rectified linear units，ReLU).

解码器：如图1中的(c)所示，解码器是给定隐变量z和实数值y，生成x的概率分布的条件生成模型，pθ(x|y,z)=D(x|fdec(y,z))，其中fdec(·)是解码函数，用来参数化概率分布D，D是输入数据的高斯概率分布.

为了实现解码器，本章采用了一种条件LSTM结构[10]，条件LSTM在每个时间步将词嵌入和评分张量拼接.该条件LSTM已被广泛应用[11-13]，我们将这种网络称作C-LSTM.C-LSTM将词嵌入和评分值作为输入，我们修改了LSTM单元的公式，将评分y加到输入门、遗忘门和输出门.具体公式如下：

it=σ(Wixt+Uiht-1+Viy)，

(1)

ft=σ(Wfxt+Ufht-1+Vfy)，

(2)

ot=σ(Woxt+Uoht-1+Voy)，

(3)

(4)

(5)

ht=ot⊙tanh(ct)，

(6)

VAE-R模型通过源领域标注样本和目标领域未标注样本的联合训练来更新模型参数.目标函数定义为

(7)

其中：Ts是源领域标注样本；Tt是目标领域未标注样本；α是一个可调超参数，表示源领域回归模型损失函数所占权重.

L(x,y)是源领域标注样本的重构损失函数，L(x,y)定义为

L(x,y)=DKL(qφ(z|x,y)||p(z))-logpθ(y)-Eqφ(z|x,y)[logpθ(x|y,z)],

(8)

其中:等号后面第一项表示先验分布p(z)和隐变量后验分布qφ(z|x,y)的KL散度(Kullback-Leibler divergence)；第二项表示隐变量z的条件概率的期望.

U(x)是目标领域未标注样本的重构损失函数，U(x)定义为

(9)

其中:H(qφ(y|x))表示回归器qφ(y|x)的信息熵.

从上面的损失函数我们可以发现回归器qφ(y|x)、编码器qφ(z|x,y)和解码器pθ(x|y,z)是VAE-R的3个关键组成部分.

2 实验结果与分析

2.1 实验设置

数据设置：我们的实验数据来自Mcauley[14]收集的亚马逊的产品评论语料.评论语料共有4个领域(book，CD，electronic，kitchen)，每个领域的评分范围都是1～5分.当4个领域中的1个领域作为源领域时，其他3个领域中的某一个领域作为目标领域.我们从源领域和目标领域的每1个评分选取2 000个样本.我们用源领域80%的标注样本和目标领域80%的未标注样本作为训练集，目标领域的20%的样本作为测试集.

特征表示：我们采用word2vec的skip-gram算法(gensim实现)，对整个数据集进行预训练以获得词嵌入.Embedding维度为100.

基本预测方法：LSTM作为我们的基本预测方法，用Keras实现.LSTM的超参数用网格搜索的方法在验证集上微调得到，其中LSTM层输出维度为128，全连接层输出维度为64，Dropout概率为0.5.

评价准则：本文采用决定系数(R2)作为情感回归性能的评价标准.R2也被称之为拟合优度，表示自变量对因变量的解释程度，取值范围为小于1的实数.换句话说，决定系数R2可以作为模型预测值与实际观测值拟合程度的度量标准，R2的值越接近1说明训练模型的预测值与实际观测值拟合程度越高.决定系数R2的计算方法为

其中：yi是第i个样本的真实标签值；fi是第i个样本的预测值[15].

2.2 实验结果

为了更好分析VAE-R方法，我们实现了几个情感回归领域适应方法，这些方法的介绍如下.

Baseline: LSTM回归模型，用源领域标注样本训练得到回归器，再用目标领域测试样本进行测试.

SCL: 这是Blitzer等[5]提出的名为structural correspondence learning(SCL)的领域适应方法.该方法的主要思想是利用目标领域的未标注数据获得数据的低维联合表示.

SDA: 这是Glorot等[6]提出的名为stacked denoising auto-encoders(SDA)的领域适应方法.该方法的主要思想是随机损坏输入数据，通过SDA神经网络训练深度生成模型，最后该模型的中间表示作为输入，用支持向量回归(SVR)训练得到回归器.

VAE-R: 这是我们的情感回归半监督领域适应方法，该方法联合学习变分自编码器和回归器.

表1展示了各个方法的R2结果，箭头左边表示源领域，右边表示目标领域.

表1 各领域适应方法的R2结果Tab.1 R2 results for adaptation methods in various domains

由表1可知：SCL在所有的实验设置中都高于Baseline.这个实验结果表明，SCL方法不仅适用于分类模型的领域适应任务，同样适用于回归模型的领域适应任务.

SDA方法总体上好于Baseline和SCL方法，只有在设置CD→book、electronic→kitchen和kitchen→electronic中表现不佳.在后两个实验设置中结果较差，可能是由于electronic和kitchen领域的情感表达方式差异较大，SDA很难学到通用情感表示.

在所有的方法中，我们的VAE-R模型在所有的实验设置中都表现最好.与Baseline方法相比，目标领域回归性能得到大幅提高，说明VAE-R模型能充分利用源领域标注数据并学到了相关信息；与SCL方法相比，我们方法的R2平均提高约5.3%，证明了深度学习在情感回归半监督领域适应任务的有效性；与SDA方法相比，我们方法的R2平均提高约4.3%，说明虽然同样使用到深度学习模型，但是SDA方法在学习输入的隐藏表示时，没有利用源领域样本的标签，而我们的VAE-R方法将回归模型和生成模型联合训练，充分利用了源领域标注样本的标签信息.

3 结语

本文提出了一个基于变分自编码器的情感回归半监督领域适应方法.具体实现为，首先使用长短期记忆网络(LSTM)来实现回归模型，其次用变分自编码器(VAE)来实现生成模型，最后联合学习LSTM回归模型和VAE生成模型，实现基于变分自编码器的情感回归半监督领域适应方法.实验结果表明，我们的方法比几个经典方法性能要好.