基于文本分类和情感识别的服务类电商满意度研究——以搬家服务为例

黄景涛 田文涛 庞旭林 李晶 王庆春

(国家市场监督管理总局信息中心 北京 100011)

近年来，非实物类的电子商务在我国得到了快速发展，如搬家、酒店、旅游、KTV、按摩等。搬家行业的线上交易比例越来越大，其中最有影响力的平台是58同城和美团。

在电商平台上，交易完成后通常要求用户给商品或服务作出评论。这些评论不仅为新用户选购商品提供生动实际的案例，还能帮助商户分析自身的优缺点，进行决策优化，提高商品质量和服务质量。通过研究这些评论内容，管理者可以了解整个行业的商品质量、服务质量、用户满意度和变化趋势及存在的问题等，从而进行针对性的监管和服务。

1 相关研究

基于评论内容对产品和服务的质量进行分析，国内外已经有了不少的研究。王木子、李军(2021)[1]，周燕、商平平[2]等利用客户给出的评论来评价实物型产品的满意度。一般而言，大多数评论针对的是产品的一个或几个特性，经常被称为产品的“方面”。秦海菲、杜军平(2018)[3]等认为，酒店的方面是服务、环境、设施、整体舒适度和餐饮。类似的研究还有赖玲玲、彭丽芳(2017)[4]基于在线评论分析的旅游市场服务质量等。

文献中常用的处理方法是将评论文本输入内容挖掘软件中，基于软件输出的结果进行分析。这些挖掘软件具有分词和词频分析功能，有一些还能进行文本聚类和情感分析。这种方法存在几个问题：(1)只能对整体的评论语句进行情感判断，而不是产品的方面(特性)。虽然部分软件有聚类功能，但聚类结果集与理想的方面分类集差异较大，评论语句里经常涉及产品的多个方面，导致聚类结果交叉较多，含混不清。(2)不能根据应用场景调整情感分值。有时同一句子在不同语境下情感分析的结果也不一样，如“满头大汗”对消费者具有负面情感，但是在形容搬家师傅工作时应属于正面情感。(3)自然语言处理领域的技术发展很快，挖掘软件没有及时更新，分析结果不能令人满意。

2 分析方法

2.1 分析框架

针对相关研究的不足之处，本文采用了一系列的新方法。在收集评论文本后，首先，进行预处理，把评论内容分割成多个短句，每个短句只针对产品的一个方面，采用优化后的文本分类模型对短句进行分类，将针对产品同一方面的评论短句分到同一个集合中；其次，采用基于预训练技术和微调技术的情感计算模型，计算每个短句的情感分值。在每条评论中，属于产品同一方面的短句取平均值得到该评论在这一方面的分值。情感分值为0～1的一个数值，如果超过规定的阈值，就判为满意，否则判为不满意；最后，将所有评论中满意评论所占的百分比作为该方面的用户满意度。实例研究表明，用户满意度可以较好地反映用户对该产品的喜好程度，对准备购买的用户和监管人员具有重要的参考意义。

2.2 文本预处理

在线评论的数据有一些明显特点，如口语化、短句较多、标点符号不规范、错别字较多、存在较多的空评论或内容完全相同的评论等。为了得到真实客观的语料和用户满意度，需对语料进行格式整理、内容整理、短句分割等预处理。格式整理包含删除句子中间的空格、换行符、转义字符等；内容整理包含删除空数据，删除明显重复的数据；短句分割，即用常见的标点符号对评论语句进行切分，形成短句集，它们是计算情感分值的基础单位。

2.3 词频分析及分析方面的确定

评论内容的词频分布与反映的内容、蕴含的情感具有紧密的关系。通过词频分析，我们可以得到评论文本反映的产品方面和用户的情感倾向。统计词频前，要先对文本进行分词，并删除一些虚词和助词等对整体的内容和情感分析帮助不大的词。根据词频统计结果，结合其他行业的文献分析，最终确定搬家服务的分析方面。

2.4 文本的方面分类

评论文本分成短句之后，每个短句的文字数量一般在10个字左右，而且语法不规范，仅凭文字特征不能充分反映其含义和类别。本文参考了Devlin[5]等提出的预训练语言模型，利用网络上大量存在的文本进行训练，学习其中的字、词出现的规律，建立一个符合海量文本分布的模型。本文以预训练模型为基础，搭建了一个文本分类模型，并用实际语料进行微调，最后用这个模型将短句按照不同的方面进行分类。

2.5 文本的情感分值计算

文本的情感分析是指对文本中包含的情感的极性和程度进行计算。对于评论文本，计算的是用户对商品的喜爱和厌恶的程度，反映了用户的满意度。本文使用了Tian Hao等(2020)[6]提出的SKEP模型，在多个情感计算任务中获得了最佳效果。

3 实验

3.1 数据

58同城是搬家行业内比较活跃的网站。笔者在58同城上下载了2018—2021年共4年的评论数据，共计24172条。经过预处理和分割后，得到的短句数量为121686条。

3.2 词频分析和分析方面的确定

对预处理后的全部评论文本进行分词，去除停用词，并进行词频统计。对高频词及对应的文本进行分析，并参考酒店、旅游等其他行业的方面分类，确定了如表1所示的5个分析方面。

表1 分析方面的确定

3.3 短句的方面分类

对分割后得到的短句，取其中1万条按前文确定的方面进行人工标注。为了让分类器工作在“无偏”的模式下，可对各个方面的标注语料进行平衡，删多补少，让各个方面的训练语料数量比较接近。按照前文的方法，用这些语料对文本分类器模型进行微调，并用微调后的模型对短句进行方面分类，得到的结果如表2所示。

表2 短句的方面分类

3.4 评论的情感计算

在分割后的评论短句中取1万条，在搬家服务评论的语境下进行标注，情感极性为积极的标为1，消极的标为0。对标注语料的类别进行平衡处理，按照前文的方法，用这些语料对情感计算模型进行微调。用微调后的模型计算全部短句的情感分值，并计算用户满意度，得到的结果如表3所示。

4 基于方面的搬家服务质量分析和提升

4.1 服务质量分析

(1)从表3可以看出，沟通联络方面的用户满意度为97.15%，呈现小幅增长趋势，从2018年的96.69%增加到2021年的98.78%。从评论文本来看，差评中排名靠前的词语包括：差、态度、电话、售后服务等；得分最低的短句为：跟客服沟通态度还很不好、售后服务差、客服态度极差、电话响应慢、接线员态度差等。由此可以看出，在沟通联络方面用户不满意的是沟通态度和售后服务、电话响应速度等。

表3 各方面的用户满意度和评论数

(2)服务价格方面的用户满意度为84.72%。对差评进行词频分析，前几名分别是收费、依据、加价、没有、标准、临时、中途、费用等。得分最低的短句为：商家报价非常离谱、当我拿价格跟货拉拉比时对方直接爆粗口辱骂(价格多120%)、报价很离谱、价格太虚高。由此可以看出，在服务价格方面，虽然整体满意度逐年增加，但在最高的2021年才有89.77%，是需要大幅提高和加强监管的方面。用户最不满意的是报价虚高和临时加价、收费没有标准等。

(3)服务质量方面的用户满意度为88.92%。差评中提到最多的词汇包括轻放、易碎、碰、打包、磕、拆装等。得分最低的短句为：商家服务非常野蛮、服务很差劲、柜子搬散架了我没说什么水壶碎了化妆品全部掉出来有些挤得到处是我也没说什么。由此可以看出，在服务质量方面，虽然满意度逐年增加，但在最高的2021年才有93.67%，还有提升的空间。用户最不满意的是野蛮服务、不注意保护物品、服务不规范等。

(4)人员素质方面的用户满意度为95.11%。对差评进行词频分析，其中前几名分别是专业、小心、累、满头大汗、辛苦、力气、扛等。得分最低的短句为：搬家师傅素质超级低、员工也是态度极其差、商家的工人素质太差、搬货的人态度一点都不好等。由此可以看出，在人员素质方面，虽然整体满意度逐渐增长，但还需进一步提升。用户最不满意的是工人素质差、动作野蛮、态度不好等。

4.2 行业监管和质量提高

从以上数据和分析可以看出，搬家服务的用户满意度呈现逐年增加的态势。从各方面来看，沟通联络和人员素质方面的满意度较高，而服务价格和服务质量方面满意度较低。对于从业者和监管者，可考虑从以下几个角度改善。

4.2.1 制定服务收费清单，提高价格透明度

用户对于服务价格太高和临时加价、乱收费方面意见最大。可采取如下措施：规定明确的收费项目清单和指导价，商家根据指导价在网站上公布具体报价，供双方在结账时签字使用，若有争议，双方可对交易提起仲裁。具体计价清单可以包括起步价、上下每一层楼梯的价格、停车位置到搬动起始点的距离、是否使用电梯、贵重物品清单和价格、高难度物品清单和价格、误餐费、超时费、特殊要求收费等，被仲裁交易的百分比可作为对商家考核和监管的重要指标。

4.2.2 制定服务规范，提高服务质量

在服务质量方面，用户的意见集中在操作流程、物品是否得到妥善保护、安放是否到位等方面。对此，建议网站和行业监管协会制定具体的服务规范，内容包括现场服务流程、沟通联络的态度、物品打包和保护措施、物品装运注意事项、物品安装和放置事项、售后服务事项等。

以上两条是对交易双方的承诺和约束，让双方在交易之前都明确各自的权利和义务，避免事后出现争议。在补齐这两个短板之后，相信用户的直观感受也会大幅提升，从而提高整个行业的服务质量。

5 结语

本文以58同城网站上用户对搬家服务的评论为切入点，采用预训练模型计算各个方面的用户满意度，并计算出搬家行业的总体满意度。本文处理的基本对象是短句，解决了句子中多个方面情感分值混杂的问题。进一步的研究工作将考虑更多的数据来源、更加合理的方面分类、更加精确的情感计算方法等。