在线产品评论中用户体验信息采集与分析方法

成方敏,余隋怀,初建杰,胡宇坤,赵杭

(西北工业大学 工业设计与人机工效工业和信息化部重点实验室,西安 710072)

随着社会经济的发展,人类已进入体验经济时代[1]。用户对于产品的要求不再局限于功能性满足,而更多地追求良好的用户体验。在此背景下,用户体验理论也逐渐成为现代企业进行产品开发的重要依据[2]。根据国际标准化组织的定义,用户体验是指人们因使用或期望使用的产品、系统或服务所产生的所有反应和结果[3]。随着研究的深入,用户体验的内涵不断扩展,其定义与构成尚未形成共识[4]。尽管如此,用户体验依然受到越来越多的关注。特别是在产品设计领域,关于用户体验信息采集分析的研究不断增长[5]。对于产品设计改进,分析现有产品用户体验是其中的关键环节[6]。已有许多研究采用问卷调查[7]、用户观察[8]、主观量表[9]和客观实验[10]等方法采集与分析用户体验信息。虽然这些方法是采集分析用户体验信息的重要手段,但也存在一定的缺陷。一方面,这些方法受到成本、时间与工作量等方面的限制,可采集到的数据量相对较少,得到的信息不够全面。另一方面,这些方法需要研究人员设定调查问题或构建实验环境,研究者的主观思维会对用户反馈产生较大影响,削弱数据的客观性[11]。如何准确客观地采集与分析产品用户体验信息,是本领域研究面临的一个挑战。

用户在电商平台上发布的在线产品评论因其大数据要素,可以提供更为全面客观的用户反馈意见[12]。近年来,我国电子商务发展迅猛,网络购物规模不断增长,网购用户在电商平台上对所购产品发布了数量庞大的在线评论。这些评论是用户在使用产品后对产品使用体验的自由描述,相较于实验环境得到的用户体验信息,在线评论提供的信息更为全面真实[13]。因此,以大规模在线产品评论为信息来源对产品用户体验信息进行采集与分析,是用户体验研究的一个有潜力的方向。

在线评论挖掘是文本挖掘领域的一个分支,目前的研究主要应用于为消费者推送个性化产品信息或辅助消费者进行购买决策[14-15],以产品用户体验信息采集与分析为应用目标的评论挖掘研究还比较少。在此背景下,面向产品设计改进,提出一种在线产品评论中用户体验信息的采集与分析方法:首先,基于现有研究和评论文本人工标注,定义在线产品评论中包含的用户体验信息要素并构建用户体验要素模型;然后,针对不同要素提出相应的文本要素自动提取方法,提取单一评论句中的用户体验信息;最后,对提取的信息进行集成整合,获取用户群体意见,分析识别对用户体验影响较大的因素。

1 在线产品评论用户体验要素模型

为了从在线产品评论中提取用户体验信息,首先需要明确在线评论中包含的用户体验信息要素。要素模型构建思路主要有两种:第一种将用户体验本身进行拆解分类。如Roto[16]将用户体验构成总结为愉悦性、功能性和象征性3个方面。第二种则关注用户体验的影响因素。如Hassenzahl和Tractinsky[17]将用户体验划分为3个要素:用户情感状态、产品设计特征和产品使用情境,后两者是用户体验即用户情感状态的影响因素。本文研究基于产品设计视角,产品设计是用户体验的影响因素,因此应采用后一种建模方式。除了产品特征和使用情境外,还有一些用户体验的影响因素得到研究者的关注,如产品品牌[18]、用户文化背景[19]、用户社交关系等[20],但这些因素与产品设计无关。因此,本文采用Hassenzahl构建的用户体验模型作为研究基础,将用户体验的要素定义为:用户情感、产品特征、使用情境。

为了验证在线评论中是否包含这3类要素,对在线产品评论进行人工标注实验。研究对象选取智能手机、投影仪、电饭煲等9种用户数量较多的产品,分别代表了数码产品、办公用品、生活家电等多种产品类型,保证分析结果具有一定的普适性。为保障模型在平台间的通用性,在3个电商平台(天猫、京东、苏宁易购)上各选择3款产品。所选产品在各电商平台上的评论数量均大于500条。对于每款产品,以4∶1的好评差评比例随机选取评论文本50条,共采集450条评论。在标注过程中删除不含有效信息的垃圾评论,重新选取评论进行补充。3名产品设计师根据自身对3类用户体验要素的理解,共同对评论文本中描述要素的词组进行标注。在线产品评论标注结果如图1所示。

图1 在线产品评论标注结果

根据标注结果,包含用户情感、产品特征和使用情境的评论的比例分别为94.1%、89.5%和72.0%。这表明3类要素普遍存在于评论文本中,保证了从评论文本中提取3类要素的可行性。图1展示了3条评论文本及标注出的用户体验要素,标注结果反映了要素具体包含的内容。产品特征包括产品部件(手机系统、内胆、内胆涂层)、性能(游戏震感、颜值、噪声)、功能(指纹识别)等;使用情境包括产品使用环境(日常使用、不拉窗帘情况下、做饭时)、用户操作(更新系统)等;用户情感是用户对产品使用情况的评价,可分为正向评价(流畅、厚重、nice、不错)、中性评价和负向评价(失效)等。标注结果为构建要素自动化提取方法提供了基础。

根据要素及其关系构建要素模型,如图2所示。根据定义的用户体验要素,确定了从评论中采集和分析用户体验信息的目标,即从评论文本中提取用户体验要素,并根据采集数据分析本产品的产品特征和使用情境两类要素对用户体验(即用户情感)的影响。

图2 用户体验要素模型

2 在线产品评论中用户体验要素提取

根据用户体验要素模型,提取评论中描述用户体验要素的词与词组,将自然语言形式的评论文本转换为<产品特征,使用情境,用户情感>的结构化三元组形式。

针对所要提取的3类要素信息,本文提出一种分步提取方法:首先对评论文本进行预处理;然后提取情感词,将不包含情感词的句子视为不包含用户体验信息并将其删除;最后提取产品特征和使用情境信息。方法的整体流程如图3所示。

图3 在线产品评论用户体验信息提取流程

2.1 评论文本预处理

对评论文本进行数据清洗、分词、词性标注、依存句法分析等预处理是文本要素提取的基础。在获取在线产品评论数据后,对评论数据进行清洗,过滤字数过少、含有无意义符号的句子,去除掉大量无效的评论数据。之后对评论文本进行分词、词性标注和依存句法分析等处理。其中,分词可以将句子拆分为词。词性标注可以标注词的词性,如名词、动词等。依存句法分析可以识别句子的语法成分和各成分之间的关系,如主谓结构、动补结构等。本文采用哈工大社会计算与信息检索研究中心开发中文语言处理系统LTP(Language technology platform)进行评论文本预处理。

2.2 用户情感信息提取

用户体验是用户对产品使用情况的主观反应,体现在评论中即是用户情感要素。因此,如果评论句不含描述用户情感的情感词,则可认为评论句不含用户体验信息。首先对用户情感要素进行提取,可以过滤掉不含用户体验信息的评论句,从而缩减评论数量提高后续要素的提取效率。

2.2.1 情感词集构建

情感词典是人为编制的情感极性词集。由于产品的领域特殊性,通用的情感词典不宜直接应用。本文从所分析的评论语料库中获取情感种子词,再对种子词进行扩展,构建适合于具体产品领域的情感词典。情感词典的构建流程如图4所示。

图4 情感词典构建流程

情感词典构建过程如下:

步骤1 已有研究表明,情感词大多为形容词和动词[22]。因此,根据预处理阶段词性标注结果提取评论文本中所有形容词与动词,形成初始词集S1。

步骤2 在S1中选择出现次数最多的前n个词,人工删除不代表情感的词,形成情感种子词集S2。根据网络评论所在领域,人工将种子词分为正向极性词与负向极性词。

步骤3 由于出现频次较低的情感词不能被提取出来,S2的覆盖面有限,因此利用中文近义词工具包Synonyms对S2进行同义词与近义词扩展,经扩展得到的词形成扩展词集S3。

步骤4S3中的词并非都有意义,只有在评论中出现过的词才可能是情感词。因此,取S3和S1的交集S4。

步骤5S4与S2一同构成了最终的情感词典C。

2.2.2 评论句情感极性判定

在获得正向与负向情感词集后,还需注意评论句中的否定词,如“不”、“无”、“没有”等,会使句子产生与情感词极性相反的情感极性。本文从语言知识库Hownet中下载否定词集进行应用。情感词典与否定词集构建完成后,根据情感词极性与否定词的存在与否,判断句子的情感极性。将没有情感词的句子视作不包含用户体验信息,从语料库中删除。将筛选后的评论句集合作为新的语料库进行下一阶段信息提取。

2.3 产品特征与使用情境信息提取

由于条件随机场模型(Conditional random field,CRF)能较好地考虑文本上下文信息,有效解决标注偏置问题,因此本文应用CRF模型对评论文本的产品特征和使用情境两类评论要素进行提取。

2.3.1 评论要素标注

首先对训练语料进行人工标注。根据BIO标注体系,将产品特征的第一个词标注为B-F,产品特征的其他词标注为I-F;将使用情境的第一个词标注为B-U,使用情境的其他词标注为I-U;语句中的其他词标注为O。

2.3.2 CRF特征选取

CRF模型中的特征选择关系到信息提取的准确性和运行效率。词、词性是两种常用的模型特征。由于描述使用情境的词组存在一些固定的语法关系,如“充电时”、“重启后”为定中关系,“打游戏”、“更新系统”为动宾关系,因此在两种基础特征以外,再选择可以表示语法关系的依存句法关系、父亲词、父亲词词性作为模型特征。5种特征的标记为:词特征记为tk;词性特征标记为pos;依存句法关系标记为pRel;与当前词存在依存关系的父亲词和父亲词词性分别标记为pWd和pPos。

3 用户体验信息集成与分析

为了获得产品用户体验的整体情况,对单个评论句中提取出的用户体验信息进行集成,并分析产品特征和使用情境两类要素对用户体验的影响。

3.1 产品特征与使用情境信息提取

信息集成是将相似信息进行整合形成多个组别,将零散信息集成为整体信息。集成可分为3个步骤:

步骤1 情感极性集成:根据句子情感极性将数据分为正向体验集与负向体验集。

步骤2 产品特征集成:产品特征之间存在等级关系,下级特征的用户体验信息应视为其上级特征用户体验的组成部分,因此构建产品特征结构明确其上下位关系。为了保证产品特征结构的准确性,由设计师利用提取出的产品特征词进行人工构建,依据“产品-部件-子部件-功能/性能”的划分层次对特征词进行组织。

步骤3 使用情境整合:将某一产品特征中的所有使用情境信息进行整合。表示使用情境的词组结构较为复杂,所含词的数量较多,可通过计算词组之间的语义相似度进行聚类。词组之间的语义相似度依据Hownet词典进行计算。Hownet词典中用“概念”对词语语义进行描述。一个词语可能有多个义项,即可表达为多个“概念”。“概念”则通过最小语义单位“义原”来描述。词组的相似度可通过计算词相似度、概念相似度和义原相似度逐步获得。词、概念与义原的语义相似度算法详见文献[21]。

本文将词组中词语相似度的平均值作为词组相似度。假设词组WG1与WG2的词集合分别为:WG1={W11,W12,…,W1a},WG2={W21,W22,…,W2b},则两词组的语义相似度为

(1)

依据使用情境词组相似度,采用文献[22]提出的方法对同一产品特征类别内包含的使用情境词组进行K均值聚类,完成对用户体验信息的整合。

3.2 产品特征与使用情境影响分析

根据要素整合后的用户评论数据,分析本产品的产品特征和使用情境对用户体验的影响,为产品设计改进提供指导。对于两个因素的影响分析,可具体化为两个分析维度:一是识别对用户体验产生较大正/负向影响的产品特征;二是识别产品特征对用户体验产生较大影响时所处于的使用情境。

在分析产品特征对用户体验的影响时,本文同时考虑产品特征获得正/负向情感评论句的数量和比例。这是因为,一些产品特征同时获得了大量的正向与负向体验,此时只统计正/负向体验的评论句数量不能反映用户体验的整体情况。对于产品特征C,假设其获得的正向情感评论数据量为PC,负向情感评论数据量为NC。同时,在全部数据中,获得最多正向情感的产品特征为X,对应数据量为PX,获得最多负向情感的产品特征为Y,对应数据量为NY。产品特征C的正向体验指数为

(2)

其负向体验指数为

(3)

式中:α,β均为权重值。获得较高正/负向体验指数的产品特征,即是对用户体验影响较大的产品特征。

对于使用情境的分析,可针对对用户体验影响较大的产品特征,统计与其相关的使用情境出现次数,次数越多即表示此产品特征在这一使用情境下对用户体验影响最大。

4 应用案例

4.1 实验数据

选取京东商城(https://www.jd.com/)平台上某款智能手机评论作为实验评论数据源。京东商城规定,只有购买商品的用户才能发表评论,这一规定保证了评论的真实性。同时,京东商城声称京东对评论内容进行审核,包括评论内容与产品的相关性、是否拷贝他人评论等,只有审核通过的评论才会予以展示,这在一定程度上保障了产品评论的质量。由于国内电商平台的产品评论形式基本相同,本文提出的方法在其他电商平台均可应用。

编写爬虫程序从京东商城爬取此款智能手机用户评论3 245条。对数据进行清洗,将少于6个字的评论视为无效评论将其去除。清洗后的评论共计2 978条,分句处理后得到的句子数为8 562句。使用LTP系统对评论数据进行分词、词性标注、依存句法分析处理。

4.2 用户体验信息提取

根据2.2.1中提出的方法构建情感词典,最终的情感词典共包含329个情感词,部分结果如表1所示。

表1 情感词典中部分情感词

提取评论句中的情感词,依据2.2.2节提出的方法判定句子的情感极性,将评论句分为正向评论与负向评论,得到正向评论6 391句,负向评论2 171句。为验证方法的有效性,3名产品设计专业学生对全部评论句进行情感词人工识别,提取出所有正向与负向的情感词。本文利用准确率(Precision)、召回率(Recall)和F值(F-measure)作为信息提取的检验标准,计算公式如下:

(4)

(5)

(6)

式中:A表示模型准确识别的词与词组数;B表示模型识别出的所有词与词组数;C表示人工标注出的词与短语数。

3名产品设计专业学生根据2.3.1节提出的方法对评论句产品特征与使用情境信息进行人工标注。人工标注后,采用5折交叉实验验证方法的有效性。将数据均分为5份,4份作为训练集,1份作为测试集,进行5次实验,取5组实验的平均值作为最终结果。实验过程采用CRF++0.58工具。特征模板选择Unigram模板,模板窗口定义为[-2,2]。共提取出285个产品特征和457个使用情境,提取出的部分词与词组如表2所示。同样利用召回率、准确率和F值分别对两类要素的提取效果进行检验。3类要素的提取效果如表3所示。

表2 产品特征与使用情境提取

表3 评论挖掘实验结果

从实验结果可以看出,本文所提出方法在三类要素的提取上均取得了较好的效果。对于用户情感和产品特征信息提取的准确率与召回率均比较高,而对于使用情境信息提取则偏低。这一结果可能是由两方面原因造成的:首先,与用户情感和产品特征相比,描述使用情境的词组结构更加复杂;其次,人机交互环境的丰富性使描述使用情境的词汇量相对较大。这两个因素都增加了使用情境信息提取的难度。

经过要素信息提取,在线评论文本转换为描述用户体验的三元组数据。如评论“手机简直太重了,躺着玩游戏非常累”,提取出的信息为<“手机”,“躺着玩游戏”,“重”>。一些评论中未提到使用情境,如评论“指纹解锁做的很差”,提取出的信息为<“指纹解锁”,NULL,“差”>。还有一些评论中未提到产品特征,如评论“开着热点很费电”,提取出的信息为,在这条评论中用户省略了产品特征“电池”,需要人工将产品特征信息补全。

4.3 信息集成与用户体验信息分析

根据句子情感极性将数据分为正向体验集和负向体验集。之后,由两名智能手机设计师整合提取出的产品特征词。首先将描述相同产品特征的词或词组合并为一个特征,如“手机” 与“机子”、“屏幕”与“显示屏”等。然后,按照3.1节提出的方法构建产品特征结构,其局部示意图如图5所示。然后,依据3.1节提出的方法将每个产品特征相关的使用情境信息进行聚类整合。

图5 产品特征结构示意图(局部)

经过信息集成后,分析产品的产品特征和使用情境对用户体验的影响。根据公式(2)和(3)计算产品特征的正/负体验指数,α,β分别设为0.6与0.4。将文献[23]提出的方法作为对照实验。该文献通过关键事件法得到了影响智能手机用户体验的19个因素,设计了调查问卷并利用李克特量表法获得用户对各个因素的量化评价分数。本文将此问卷发放给20个此款手机用户获取用户评分,与本文分析结果进行对比。表4分别展示了本文方法得到的最高正/负用户体验指数的产品特征,和问卷调查获得的最高与最低分数的5个产品特征,即两种方法分析得到的最佳与最差用户体验的产品特征。括号内为正/负向体验指数与归一化后的评分。

表4 对用户体验影响较大的产品特征

从表4中可以看出,两种方法的分析结果差异较大,主要原因可能是由于在文献[23]问卷中产品特征的设置受到设计人员的主观影响,不够客观合理。一方面,该问卷未将一些重要的产品特征(如“指纹解锁”)包含在分析目标中;另一方面,该问卷的分析目标包含了一些不受关注的产品特征。如“操作容错性”,虽然在本文的方法中其负向评论比例较高(85.7%),但只有7条评论句涉及了这一产品特征,因此该特征对用户体验影响不大。本文提出的正/负向体验指数计算方法避免了这一问题出现。

在设计改进时,应根据分析结果,着力改进负向体验指数较大的产品特征,保持与提升正向体验指数较大的产品特征。需要注意的是,一些产品特征(如相机像素)同时有较大的正向与负向体验指数,说明此产品特征对用户体验影响较大,且用户对于特征的评价出现两极化。在改进产品特征时可以考虑多个设计方案满足不同用户类型的需求偏好。

通过数据统计,进一步分析重要的产品特征在哪些使用情境下对用户体验产生较大影响。表5以系统速度为例,展示了其获得最多正/负用户体验时的使用情境。在产品设计改进中应着重考虑提升在重要的使用情境中产品特征的设计质量。

表5 关于系统速度的关键使用情境

在分析得出对用户体验影响较大的产品特征及相应的使用情境后,可采用质量功能展开、故事板、用户角色模型等用户体验设计方法对产品进行改进。整个实验以大规模的在线用户评论为信息来源,提取了评论中的用户体验要素,最终得到了可用于辅助设计改进工作的产品用户体验信息,指导产品设计改进的方向。

5 结论

本文面向设计改进,提出了一种的产品在线评论中产品用户体验信息采集与分析方法。该方法提出了一种新的产品用户体验研究思路,即以用户自由撰写的大规模产品在线评论为用户体验信息的来源,利用文本挖掘技术采集用户体验信息,以评论数量等评论特征为指标评估用户体验的影响因素。相比于问卷调查、主观量表等传统用户体验信息采集分析方法,采用本文方法获取的信息具有更广泛的代表性,分析结果具有更高的可信度。同时,本文对丰富评论挖掘的研究也具有一定意义。

今后的工作将围绕两方面展开:一是优化CRF模型中的特征选择,提升使用情境信息的提取性能;二是细化用户情感极性的分析维度。