基于在线评论的重要度绩效竞争对手分析的产品设计改进方法

王克勤，刘朝明

(西北工业大学 管理学院，陕西 西安 710072)

0 引言

产品设计改进是在现有产品基础上，对产品使用后出现的缺陷进行优化设计，从而开发出新一代产品的持续过程[1]。在该过程中，及时全面地获取顾客需求至关重要。通过分析顾客需求，设计人员可以了解顾客对产品的不满点，发现产品问题，从而指导新一代产品改进[2]。传统的顾客需求获取采用电话、email和调查问卷等方法，存在反馈周期长、人力物力消耗大等诸多弊端[3]，已无法满足企业及时获取信息的要求。与传统的需求获取方法相比，互联网用户针对购买和使用产品发表的在线评论数据，具有体量大、易获取、可靠性高等特点，迅速成为获取顾客需求的新来源[4-5]。

当前基于在线评论的顾客需求挖掘研究主要集中于产品特征提取和产品特征情感分析，这些研究通常将顾客关注的产品特征和相应的情感态度作为顾客需求的主要内容。特征提取是指从评论中提取用户关注的产品部件或功能，基于词性统计和语言规则是两种常见的特征提取方法。前者将评论语料中频繁出现的名词或名词组合作为产品特征[6]，后者根据评论语料中词语间的依存关系设置句法模板提取产品特征[7]。情感分析旨在识别顾客对产品特征的情感倾向和情感强度，帮助企业洞察产品的优缺点，情感词典和机器学习是情感分析常用的两种方法。情感词典方法以预先设定的情感词为依据，分析句法结构并设计情感判别规则，识别产品特征的情感极性和强度[8]。机器学习方法主要采用向量空间模型表示文本，并构建分类器判断情感类别，情感极性识别属于二元分类[9]，情感强度识别则属于多元分类[10]。此外，获取顾客需求还有其他方法，如，基于案例推理的方法[11]、基于图的需求获取方法[12]等。

然而，这些研究面临两方面问题：①大多仅考虑自身产品的在线评论，未与竞争产品比较，造成改进策略不够准确。同一市场内，某产品通常有多家产品与之竞争，消费者在购买产品时，往往会对比各产品的优劣，选择最满意的产品。设计人员在进行产品设计改进时，如果仅考虑本企业产品而忽略与竞争产品做比较，将会得到错误的产品改进方向，使得改进效果不佳而流失大量顾客[13]。因此，产品设计改进若同时考虑竞争产品将会更加精准有效。②目前在线评论数据挖掘抽取的顾客需求往往过于简单，丢失了原始评论背景信息，难以满足设计人员需求[14]。现有研究含蓄地假设顾客需求主要包含顾客关注的产品特征及情感词，因此这些研究的主要任务是从在线评论中提取产品特征及情感词，并确定特征情感分数。然而，这个假设存在问题，产品特征和情感词只是在线评论内容中的一部分，顾客在撰写评论时，不仅描述了对产品特征的情感态度，还描述了他们使用产品时的使用情景以及遇到的问题[15]。丢失使用情景以及产品问题等原始信息，将造成设计人员无法全面真实地了解顾客需求，因此有必要从在线评论中挖掘细粒度的顾客需求信息，从而更好地支持产品设计改进过程。

为解决上述问题，本文提出一种基于在线评论的重要度绩效竞争对手分析(Importarce Performance Competitor Analysis,IPCA)的产品设计改进方法。首先，应用隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)主题模型识别产品主题，基于文档—主题概率分布计算产品特征重要度。利用依存句法分析提取在线评论中的情感标签，对情感标签量化后得到产品特征绩效值。其次，对目标产品及其多个竞争产品进行IPCA，找到目标产品需要改进的特征。最后，通过待改进特征的情感标签筛选原始负面评论，并从中提取用例，使用用例图直观地展现顾客细粒度需求，发现潜在的产品问题，进而提出产品设计改进策略。

1 理论基础

1.1 IPA方法

在在线评论研究兴起之前，一些研究使用调查问卷等市场调查方法获取顾客需求，发现产品需要改进的地方，重要度绩效分析(Importance Performance Analysis，IPA)便是其中一种行之有效的方法。IPA方法由MARTILLA等[16]首次提出，是一种简单有效的客户满意度评价方法。在IPA方法实施过程中，顾客对产品的各个特征的绩效和重要度进行打分，并计算单个特征的所有顾客评分的平均值，将所得平均数表示在分别代表重要度和绩效的双轴坐标系中，从而形成IPA图，如图 1 所示。

图中：区域Q1表示对顾客重要的产品特征绩效值较高，落在该区域中的特征应继续保持优势，称为优势区；区域Q2表示重要的产品特征绩效表现不理想，企业应集中提供顾客期望并重视的因素，该区域为集中改善区；区域Q3表示不重要的产品特征绩效值低， 该区域属于对顾客重视度低的区域；区域Q4表示不重要的产品特征供给过度，属于过度重视区。

IPA方法操作简单、实用性强，目前已在学界广泛应用。但有学者对其简易性提出了批评[17-18]，例如，MIKULI等[17]认为，当不同产品进行比较时，IPA模型只能评估本企业的产品特征的表现，无法考虑竞争产品的表现，分析结果通常不准确。为解决该问题，现有研究考虑了竞争产品的信息，提出一种更为全面的方法——IPCA方法[18-19]。

1.2 IPCA方法

在IPCA模型中，X轴表示目标产品与竞争产品的特征绩效值之间的差异，即PD值；Y轴表示目标产品的特征绩效值和重要度的差异，即GAP值。以坐标原点为中心，构成二维矩阵，将目标产品特征划分为4个区域，如图2所示。

图中：位于区域Q1的产品特征，绩效值大于重要度，且绩效表现优于竞争产品，是目标产品的优势特征，应继续保持，该区域称为稳定的竞争优势区；位于区域Q2的产品特征，绩效值大于重要度，但绩效表现弱于竞争产品，需要投入资源改进，至少达到竞争产品的绩效水平，该区域称为正面竞争区；位于区域Q3的产品特征，绩效值小于重要度，且该特征绩效表现弱于竞争产品，是目标产品的主要竞争弱点特征，需要投入资源重点改进，该区域称为紧急行动区；位于区域Q4的产品特征，尽管绩效表现优于竞争产品，但是绩效值小于重要度，没有满足顾客期望，该区域称为无效优势区。

综上所述，IPCA方法解决了IPA方法忽略竞争产品分析的问题，评价结果更加准确。因此，将IPCA方法应用到本文研究中，并将其数据源从调查数据扩展到在线评论数据。

2 研究方法

本文提出一种基于在线评论IPCA的产品设计改进方法，该方法分为3个部分，流程如图3所示。

2.1 数据采集与预处理

使用大数据采集器爬取在线评论数据，采集的评论数据集包括目标产品评论数据与竞争产品评论数据两部分。竞争产品通常利用一些分析维度来确定，如价格、产品型号、市场范围等[20]。例如，以价格维度确定竞争产品时，可以以目标产品的价格为基准，设定价格范围，市场价格在此范围内的同类产品为竞争产品。

此外，直接从网上采集的数据中，不仅包含产品特征词，还包含许多与产品特征无关的噪音词语。为了得到对研究问题有价值的分析结果，需要对原始评论数据进行预处理，去除文本噪音。首先，对评论文本进行分词，使数据变为易于分析的形式；其次，删除一些与产品特征毫无关联的词语，例如：“啊”、“我们”、“…” 等停用词，“感觉”、“有点”、“关系” 等出现频率较高但与产品主题无关的词语；最后，根据经验，去掉文本长度小于3的短文本，这些评论包含信息少且影响分析结果。经过预处理后的评论文本数据以结构化形式存储，为后续研究工作做准备。

2.2 基于在线评论的IPCA模型构建

2.2.1 基于LDA的产品特征重要度计算

应用LDA主题模型对在线评论进行处理，基于主题—词概率分布识别在线评论中的产品主题；基于文档—主题概率分布计算产品主题的重要度，进而转化为产品特征的重要度。具体步骤如下：

步骤1最佳产品主题数确定。通过给定产品主题数K，计算不同产品主题间的一致性分数。当主题一致性分数最高时，各产品主题的可解释性最好，对应的K值最优[21]。

步骤2产品主题识别。基于LDA建模的结果可以输出主题—词概率分布和文档—主题概率分布[22]。主题—词概率分布表示用户关注的产品主题中相关词语的概率分布，基于该分布即可确定用户关注的产品主题，由此获得K个产品主题集合。

步骤3产品特征重要度计算。文档—主题概率分布表示单条评论中产品主题的概率分布，主题在单条评论中贡献概率越大，代表该主题越被频繁提及，这个主题就越重要。因此，本文使用主题对评论的贡献概率衡量产品主题的重要度[23]，每个产品主题对所有在线评论的贡献概率之和即为该产品主题的重要度。记产品主题k的重要度为TIk，

(1)

式中：r表示评论编号；N表示评论总数量；DTMatrixk,r表示产品主题k对评论r的贡献概率。每个产品主题代表对应的产品特征，多个产品主题可能代表相同的产品特征，为计算产品特征i的重要度Impi，对K个主题中属于同一产品特征的主题合并归纳，即

(2)

(3)

2.2.2 基于情感分析的产品特征绩效值计算

在线评论研究中，情感强度反映了顾客对产品的满意程度，情感强度越高，说明顾客对产品越满意。因此，本文将顾客对产品特征的情感强度作为产品特征的实际绩效值。通过依存句法分析提取在线评论中的情感标签，利用基于情感词典的情感分析方法量化情感标签，计算产品特征的情感强度，进而转化为产品特征的绩效值。具体步骤如下：

步骤1情感标签提取。情感标签指的是顾客对产品特征的直观评价，一般包含了产品特征词、程度副词或否定词，以及情感词三个部分，例如(外观，很，漂亮)。通过设定句法规则，使用哈工大语言技术平台上的依存句法分析工具进行依存句法分析[24]，获取特征词、程度副词或否定词以及情感词之间的语法关系，提取情感标签。若依存关系标注为主谓关系(SBV)、定中关系(ATT)、状中关系(ADV)或动宾关系(VOB)，则句子中的名词、名词词组或动词为产品特征词，产品特征词依赖的形容词为情感词，与情感词之间的依存关系为ADV(状中关系)的词语为程度副词或否定词。其中，情感词的识别依赖于特定的情感词典，可参考知网情感词典(Hownet)。对于某些特殊的产品，也可以构建专门的领域情感词典。

步骤2情感标签量化。采用文献[8]中的基于情感词典的情感分析方法，对情感标签内的情感词、程度副词或否定词进行量化。量化标准参考知网情感词典(Hownet)自带的分类标准，正向和负向情感极性词分别量化为1和-1；程度副词按照修饰情感词的强烈程度依次量化为2、1.5、0.5，若未识别到程度副词按1处理；若出现否定词，则取相反极性；若未识别到情感词，则情感极性为0。具体情感极性相关词的量化标准如表1所示。

表1 情感极性相关词的量化标准

续表1

步骤3产品特征绩效值计算。基于表1，对于每条情感标签j来说，其对应的情感强度

SentiValuej=EmoValue×AdValue×NegValue。

(4)

汇总每类特征的所有情感标签，计算产品特征i的情感强度

(5)

(6)

2.2.3 IPCA模型构建

(7)

目标产品与竞争产品m的各特征Fi的绩效差异值为：

(8)

2.3 产品改进策略分析

通过IPCA识别了目标产品的改进方向后，为了解产品特征的改进细节，进一步挖掘包含待改进产品特征的原始评论，提取更细粒度的顾客需求并发现主要的产品问题，进而提出产品改进策略。具体步骤如下：

步骤1提取待改进产品特征的原始评论。在获得目标产品待改进特征后，统计包含产品待改进特征的情感标签，筛选包含这些情感标签的原始在线评论。

步骤2筛选负面评论。在得到包含目标产品待改进特征的原始评论后，为了准确分析顾客不满意的原因，筛选出情感标签情感分数SentiValue<0对应的负面原始评论。

步骤3挖掘细粒度需求。在获取待改进特征相关的负面评论后，按照“产品特征、使用者、使用情景、遇到的问题”等4个要素对评论进行人工标记，统计频数及占比信息并绘制用例图，更直观形象地把握顾客需求。

下面以3条汽车评论数据为例说明标记过程：

(1)在市区跑的话油耗会稍微的多一点，在高速的话就会稍微的少一点。

(2)动力一般，冬天早上启动的时候声音有点大，2.0自吸的平常回老家上下班都够用。

(3)大部分时间一个人开，空间没有太多感受。后排凸起是唯一的槽点。

对以上3个句子进行标记，结果如表2所示。其中，如果用户没有明确提及使用者(如：我、朋友、老婆等)，则默认使用者为普通用户；如果用户有具体的描述，则记为其他。

表2 原始评论标记示例

步骤4提出产品改进策略。基于用例图找到产品的主要问题后，咨询专家意见，提出具体的产品改进策略。

3 案例研究

3.1 实验设计

3.1.1 汽车口碑数据采集与预处理

本文选择汽车之家(autohome.com.cn)口碑作为数据源，进行实验分析。以“迈锐宝XL 2019款”汽车作为目标产品，选择与其车型和价格相近的热门车型中的前6款作为竞争产品。利用八爪鱼采集器在汽车之家论坛上爬取7款汽车产品的所有口碑，共计8 243条，数据起止时间为2019年1月～2020年1月，各汽车产品的评论数量以及在2020年1月的口碑综合评分如表3所示。经预处理，依图3流程进行分析。

表3 汽车产品口碑采集结果及口碑综合评分(2020)

3.1.2 汽车产品特征重要度计算

应用LDA主题模型对预处理后的迈锐宝XL汽车的口碑数据进行处理。给定主题数K的值，计算主题一致性分数。通过计算发现，当K=27时，主题一致性分数最高，因此设定最佳主题数为27，同时保留每个主题的前15个关键词用于主题标记[23]。LDA主题模型输出的主题—词概率分布和文档—主题概率分布如表4和表5所示。

表4 迈锐宝XL汽车的主题—词概率分布(部分)

表5 迈锐宝XL汽车的文档—主题概率分布(部分)

LDA属于无监督主题模型，因此生成的主题依次用“Topic1”、“Topic2”、“Topic3”表示，这样的标记获取不到任何信息，需要结合主题下的关键词分布对各主题进行标记。通过咨询专业汽车设计人员的意见并结合汽车之家等知名汽车论坛对汽车特征的分类标准，最终选取操控、动力、空间、内饰、舒适性、外观、性价比、油耗等8类产品特征主题。例如，Topic1被命名为内饰，因为该主题下排序靠前的关键词为“内饰”、“好看”、“简单”、“材质”、“不错”等与内饰相关的词语，权重占比达64.95%，反映了迈锐宝XL汽车的内饰简约美观。

表6 迈锐宝XL汽车的产品特征重要度

3.1.3 汽车产品特征绩效值计算

使用2.2.2节的算法提取情感标签并量化，获得各汽车产品的特征绩效值如表7所示。其中，Perfi(i=1,2,…,8)分别表示操控、动力、空间、内饰、舒适性、外观、性价比、油耗等8类产品特征的绩效值。

表7 各汽车产品的特征绩效值

3.2 实验结果分析

3.2.1 汽车产品IPCA模型构建结果

3.2.2 汽车产品设计改进方向识别

根据图4特征在各象限落点的分布情况，将6个IPCA图分为两组：第一组(图4a～图4c)包括天籁、亚洲龙、凯美瑞汽车，该组的落点集中在Q1、Q2、Q3区域，而Q4区域没有落点。迈锐宝XL汽车的空间、动力、操控、外观、性价比的绩效均满足了顾客期望，但与竞争产品的绩效存在差异。位于Q2区域的特征处于竞争劣势，需要“稍微改进”，至少达到竞争产品的水平。此外，该组Q3区域落点情况完全一致，这表明与天籁、亚洲龙、凯美瑞汽车相比，迈锐宝XL汽车的内饰、油耗、性价比是主要的竞争弱点，需要投入大量资源“重点改进”。Q4区域没有落点表明迈锐宝XL汽车不存在资源浪费，没有无效的竞争优势。第二组(图4d～图4f)包括帕萨特、君威、迈腾汽车，该组4个象限内均有落点，其中Q3和Q4区域落点情况完全一致。以迈锐宝XL汽车与君威汽车为例，设计人员需要“重点改进”内饰，“稍微改进”外观、油耗和舒适性，提高迈锐宝XL汽车的市场竞争力。

3.2.3 汽车产品改进策略分析

以图4第一组IPCA图为例，与天籁、亚洲龙、凯美瑞3款汽车相比，迈锐宝XL汽车的“内饰”、“油耗”、“舒适性”等特征需要采取紧急行动改进。基于2.3节的方法，筛选与这些特征相关的原始负面评论。然后，进行人工标记，提取评论中的“产品特征、使用者、使用情景、产品问题”等元素并统计其频数及占比，绘制用例图。为节省空间，以“舒适性”特征为例展示分析结果，如图5和表8所示。油耗和内饰的分析过程与舒适性类似，此处不列举。

表8 迈锐宝XL汽车的负面评论标记信息统计表

如图5所示，在使用情景方面，用户抱怨迈锐宝XL汽车在“过减速带”、“过坑坎、碎石路面等较差路况”、“车速80以上等高速行驶”等情境下容易发生问题，设计人员在产品检测阶段，可模拟真实环境进行多情景测试，提升用户在过减速带、较差路况以及高速情境下的体验。在产生的问题中，用户描述最多的是迈锐宝XL汽车“底盘悬架偏硬，减震差，颠簸感明显”、“隔音差，发动机、胎噪等噪声大”以及“座椅偏硬”等问题。在确定迈锐宝XL汽车舒适性特征的主要问题后，基于专家的意见，提出具体的改进策略如下：

(1)提升底盘调校技术，应用液压缓冲系统，装配较软的轮胎，减少不同路况下对车身的冲击，改善避震性能，减少车身多余震动。

(2)在发动机引擎盖下增加吸声材料，吸收发动机噪音；改善减震板和吸音垫隔音性能，降低路噪和胎噪等噪声；加强密封阻力，使用车门密封条，减少风噪。

(3)设计座椅时，注重人体工程学设计，使用材质较软的材料，提升座椅柔软度、包裹性和支撑性。

3.3 验证实验

本文提出的产品设计改进方法主要是通过建立基于在线评论的IPCA模型，将目标产品与多个竞争产品比较，进而确定产品改进的方向。因此，该方法的有效性主要与基于在线评论的IPCA模型的准确性有关。

为了验证基于在线评论的IPCA模型的准确性，有必要将本文所提模型(以下记为Review-IPCA)与已有研究中基于调查问卷打分数据的IPCA模型(以下记为Rating-IPCA)进行对比，如果两者结果一致，则证明Review-IPCA是有效的。在汽车之家口碑数据中，除了用户评论内容，用户还对汽车的各个特征的满意度(当测量满意度时，绩效值等同于满意度)和总体满意度进行打分，这些打分数据可以作为Rating-IPCA的数据来源。另外，采用文献[25]的方法计算产品特征重要度，该方法考虑单个特征的满意度得分Si和总体顾客满意度评价OS两个要素。将各特征满意度得分Si取自然对数后，计算OS和ln(Si)之间的偏相关系数即可得到重要度得分，偏相关系数可在SPSS软件中使用相关矩阵求逆法计算。基于满意度打分和重要度得分数据，可构建Rating-IPCA模型。为了节省空间，本文仅针对迈锐宝XL与天籁汽车的IPCA模型进行验证，结果如图6所示。通过对比发现，Rating-IPCA模型和本文的Review-IPCA模型的结果保持一致，进而验证了本文方法的有效性。

4 结束语

本文提出一种基于在线评论IPCA的产品设计改进方法。首先，应用LDA主题模型和情感分析方法处理在线评论文本，识别产品特征的绩效值和重要度。其次，在此基础上，构建多个IPCA模型，将目标产品与多个竞争产品比较，识别目标产品的改进方向。最后，通过提取原始负面评论用例，找到产品问题，进而确定相应的产品改进策略。实验结果表明，本文提出的方法是有效的。但是，本文尚存在一些不足，本文使用人工标记的方法提取评论用例，当评论数量足够大时，人工标记的工作量将会大幅提升，因此未来需要在自动识别上做进一步研究；对情感标签的提取方法也应进一步改进，尽量从评论文本中抽取更多的情感标签；另外，本文主要研究如何从在线评论中提取细粒度顾客需求、发现产品问题并提出产品改进策略，尚未探索产品质量改进后的效果，未来研究可以利用在线评论从时间维度分析产品改进后的效果。