语义分析技术在满意度测评领域应用研究

谈立

摘要：人工智能领域中的语义分析技术近年来发展迅猛，已经在自动驾驶、影像识别等多个领域取得了突破性进展。我们开创性地将语义分析技术应用于满意度测评研究，以汽车4S店服务质量作为样品样本进行研究，经过数据采集与预处理、语义分析、分析和统计三个阶段，在水军过滤、主题发现、知识图谱搭建、文本细粒度分析等关键环节应用TML语义分析技术，快速地分析出汽车4S店服务行业中消费者关注的重点，验证了语义分析技术在满意度测评领域应用的可行性，为满意度测评的前期行业分析提供了一种新的思路。

关键词：语义分析技术 满意度测评 4S店 知识图谱

Abstract： Semantic analysis technology in the artificial intelligence field has developed rapidly in recent years， and has made breakthroughs in many fields such as autonomous driving and image recognition. We apply semantic analysis techniques in satisfaction measurement studies， using the 4S shop service quality as a sample.

Through three stages of data collection and pretreatment， semantic analysis， analysis and statistics， HTML semantic analysis technology is applied in the key links of hydraulic filtering， subject discovery， knowledge map construction and text fine granularity analysis， it analyzes the focus of consumers concerned in the service industry of 4s shop quickly， validates the feasibility of the application of semantic analysis in the field of satisfaction evaluation the measurement. It provides a new idea for the early industrial analysis of satisfaction evaluation.

Key words： semantic analysis technology， satisfaction evaluation， 4S shop， knowledge map

語义分析（Semantic Analysis）是人工智能的一个分支，是自然语言处理技术的几个核心任务，涉及语言学、计算语言学、机器学习，以及认知语言等多个学科。人工智能中的语义分析技术，特别是深度学习技术近年来发展迅猛，已经在围棋对弈、自动驾驶、影像识别、语音识别等多个领域取得了突破性进展。我们开创性地将语义分析技术应用于满意度测评研究，经过半年的探索，这一研究现在已经取得初步的成果。现将我们研究的思路和具体做法做一个分享，希望能对中国人工智能技术的应用场景拓展提供有益的经验，同时推动满意度测评技术的发展。

1 研究背景

2016年初，武汉市标准化研究院开始涉足满意度测评领域，前期主要涉及各级政府、职能部门的服务质量测评。从2017年开始，测评的领域逐步扩展到服务业领域。随着业务的拓展，我们面临一个重要挑战是：如何在有限的时间里面深入了解特定目标行业的痛点。毕竟服务业细分领域众多，不可能对每个领域都有深入的研究，而没有深入的研究，就不可能拿出高质量的满意度测评问卷，进而严重影响测评质量。直接通过互联网搜索相关信息，会发现有价值的信息散落在浩如烟海的大数据之中，收集整理的工作量十分巨大，同时还受到大量水军数据的干扰。因此，能不能通过人工智能技术来辅助满意度测评，是我们思考的重点问题。带着这个需求，我们接触了多家人工智能领域公司，最终选择南京网感至查科技公司作为合作单位，同时双方商定本次合作的研究样本为汽车4S店服务质量。在本次合作中，我们应用语义分析技术对网上汽车4S店服务质量口碑数据进行数据挖掘，并进行正负面情感、投诉问题类别等多维度分析归类。通过这样的一种手段，快速地了解在为汽车4S店服务行业中消费者关注的重点，为开展该行业的消费者满意度调查提供重要参考。

2 技术路径

2.1 数据采集与预处理

第一阶段是数据采集与预处理阶段。根据需求，运用爬虫技术从主流媒体、社交平台、汽车专业论坛等渠道全面深入地搜集4S店行业信息、用户评论。为避免大量的垃圾数据，严格控制采集的范围，聚焦关注主体，重点采集所有4S店相关的认证用户，认证用户的问题及回答，同时需要过滤宣传贴等无效数据。

下面以知乎为例，简要说明数据采集的过程（见图1）。

1）选定范围：知乎有专栏和话题，此类评论和主题具有可信度高、内容深入、真实性高的特点，是我们采集的重点。首先从所有有关“4S店”、4S店别称（汽车维修、代理店、四儿子店等）的知乎问题为入口，深度采集问题回答者，以及回答者信息。

2）采集元数据：从回答的评论进行二级采集，收集有关4S店关注用户的元数据，再以元数据为中心，广泛采集关注的问题及回答。

3）采集权重赋值：定制每个平台的采集信息来源的权重，以此作为信息预处理的一个基础，在知乎平台，专栏>话题>定制搜索，相同内容下以权重作为过滤条件，提升采集的质量和准确度。

4）数据过滤：收集完数据，过滤非关注主题的问题、评论、回答，去除重复评论、与主题无关的评论。

5）获取数据：采集策略和过滤策略搭建完成后，进行分布式爬虫获取数据，同时为避免触发社交平台的反爬策略，我们进行模拟用户爬虫策略，尽可能避免出现脏数据的可能。

前四个阶段，可以被称为预处理阶段，其中数据过滤的工作量最大，涉及的情况也最为复杂，其中高效地进行水军贴的过滤是后续工作的基石，也是整个工作的难点和亮点。

如图2所示，针对内容水军过滤我们主要采用了三个策略：

1）关键词过滤。定义好广告词库，通过水军关键词匹配，简单过滤低端水军、刷好评等的评论，将大量重复的水军贴、无用贴进行过滤。

2）文本规则过滤。深入分析水军文本所具备的特点，对此类特点进行特征化、规则化，如：重复使用大量无实义的形容词、语言多具有重复部分等，先对文本进行依存句法分析，再根据依存句法分析结果，用总结的水军规则进行识别、过滤。先对文本进行分词，再使用句法分析算法，最后使用规则引擎过滤水军文本。

3）机器学习过滤。这里应用到了网感至查公司的核心技术（TML），TML是拥有自主知识产权的编程语言，可以用来提升计算机系统对复杂的语言表述的理解能力。 由于中文表述的复杂性，只从句法和词性上的分析是不够的。TML充分发挥了其在自然语言处理上的技术优势，以及对来自不同来源内容的深入了解，结合规则和词性过滤，使用贝叶斯分类算法从信息特征、用户行为、多角度、多方式进行全面的信息过滤，数据清洗，保障最终分析结果的高精度。

经过两个多月的数据挖掘和预处理，获取了本次研究的基础数据，数据的基本情况如下：共采集评论50余万条，相关帖子22783篇，知乎用户54389名，微博认证4S店用户1000名。其中微博和知乎用户可信度高，回复内容丰富，内容信息量大。是本次采集的重点，所占的比例也最大。按数据量来统计：知乎占比40%、微博占比45%，汽车之家占比5%，其他新闻媒体占比10%。

2.2 基于TML的语义分析

在获取了大量的原始数据后，还需要对数据进行深入分析，从中提炼出消费者真正关注的重点。由于获取的数据都来自互联网上的帖子，是非结构化数据，如何了解发帖人的本意并对其进行分类，这就需要再次用到基于TML的语义分析技术。

2.2.1 基于人工智能下的主题发现

首先需要从海量的数据中智能分析出100个主题，使用机器学习主题发现模型，利用TML技术在自然语言领域的技术积累，智能发现用户评论的焦点，用户所关注的方面。

基于条件随机的实体发现，结合LDA主题模型和CRF算法，TML能够通过数据训练，迭代出用户发表的主要主题。同时可以解决冷启动问题，使用规则引擎大范围提升标注性能，使用标注后的词序列充分训练模型，让机器学会实体识别前后的文本规则，例如，当文本中出现了百家姓、机构名称时，模型能够提取出命名实体的精度达到90%以上。经过训练后，精度还能实现较大提升。

通过改进训练方法，来优化主题发现。具体步骤为：

1）选取初始训练主题数量值，得到初始模型，计算各主题之间的相似度。

2）减少设定主题数量的值，重新训练得到模型，再次计算主题之间的相似度。

3）重复第二步直至得到最优的主题数量。将主题初始值设置为30，通过主题模型训练出30个主题，使用文本相似度计算，合并相似的文本，将得到新的主题数量。重新更改算法模型主题数量，将训练得到的主题，进一步进行相似度计算、同义词计算，重复迭代，最后我们得到一组30个的文本主题名词，通过对名词进行初步校验，得到一个简单的词云图。文本主题包括：电话预约、试驾服务、接待服务、提车时间、维修保养价格等。

2.2.2 专家校验

主题与主题之间是具有关联关系的，使用主题发现可以基本确认用户所发表的主要对象，但实体对象之間的关系，与行业有着很高的联系，实际应用中不能直接根据技术所提取的主题，直接进行主题下的数据训练，文本挖掘。因此，我们邀请了汽车4S行业专家，利用专家对4S店的深入了解，使用专业词汇修正网络用户随意表达的主题，同时将主题进行类别划分。通过对机器自动识别的30个4S店主题进行校验，列出主题之间的关联关系，将生成的主题与实际领域信息进行合并与分离，建立具有层级关联的知识体系。最终将主题归纳成13个大类：售前服务、费用解释、售前配件、提车环节、新车核对、承诺兑现、新车挂牌、新车贷款、售后保养、霸王条款、售后维修、投诉处理、保险等。同时将各个主题细分至大类下，完善整个类别关系。

2.2.3 基于TML的4S店知识图谱搭建、文本细粒度分析

关于4S店服务，网络上的表达各式各样，既有正规语言，也有大量网络用语。网络用语日新月异，如果没有可迭代、可持续发展的知识图谱技术，就无法胜任当前大数据环境下的语义分析。4S店、四儿子店、汽车、奔驰、机动车辆等这些词汇都是人类可快速识别并进行归类分析的，但计算机处理需要进行实体识别、关系关联、文本分类等一系列处理，尤其是文本的逻辑推理是技术的关键。例如，人类一看到“SUV”这几个字母，即可推导出背后的汽车，甚至是汽车的厂商、产地、价格范围等。同样，如何让计算机也能拥有此等处理能力才是关键，所以TML知识图谱在此充当推理的逻辑基础，拥有完备的领域知识图谱才能让机器有更高的推理精度，更准确地实体识别，文本分类。

TML的诞生就是为了解决目前从海量数据中提炼、发掘信息存在的难题，同时深入企业、客户业务，将人类复杂语言表达成文字，解析成计算机可统计、可识别的语料。通过学习人类关联事物的思维模式，将文本中抽取的概念，用庞大的知识体系建立网络状联系，让枯燥的文本之间，搭建成相互依存的关联关系。

例如，用TML技术来分析“我喜欢这辆SUV”这句话，可以提炼出文本中的概念要素“我”“SUV”，同时利用网络状的知识图谱体系，可以让计算机理解和关联到SUV→汽车，我和SUV汽车之间提取情感倾向：“喜欢”。

知识图谱的搭建是整个文本处理的关键，有了知识图谱关系，将得到文本背后的关联，文本之间不再只是文字上的差异而是拥有了联系，让机器拥有了实际生活中人类的知识体系。4S店服务构成较为复杂，传统的文本匹配挖掘算法无法很好地解决关系实体发现，每一个主题之间都拥有复杂的内在关系，如何分析出用户的评论到底属于哪一个细分领域是技术关键。具体来说就是利用TML技术，提取出每一条评论的具体实际意义，再运用TML知识图谱，将分析提取出概念背后的关联关系，根据网络状的实体关系图，推理出网络用户随意性的文字下所代表的准确含义。

以13个服务分类为基础搭建4S店知识图谱，利用TML规则引擎快速训练和迭代出初步的知识体系，再利用机器学习算法深化知识图谱结构。4S店行业知识图谱搭建完成后，接着进行评论的文本结构化处理、文本细粒度分类处理。将抓取并处理后的评论，使用TML引擎进行处理，TML引擎会根据定义的13种大类、27小类进行评论的分类。同时，TML引擎会匹配出该类别下的关键实体，匹配分析出实体关系，并通过计算机存储技术，将分析后的结构化数据结果存储下来。

至此，整个数据处理流程结束。最后将结构化的数据进行统计运算，统计每个类别下评论所占的比例，由此推测出该主题在4S店服务中的热度。统计每个大类别中小类别的具体数据，由此推测出小类出现的热度。

2.3 数据统计和分析

2.3.1 4S店各服务环节用户关注占比分析

我们对用户在4S店的服务环节的关注度，共计13个服务类别进行了统计分析。这13个环节类别包括了4S店的整个服务流程，包括：售前服务、费用解释、售前配件、提车环节、新车核对、承诺兑现、新车挂牌、新车贷款、售后保养、霸王条款、售后维修、投诉处理和保险等。针对这13个类别选出最受关注服务前5类、较受关注的4类、关注度较低的4类。

4S店每環节服务所受关注占比分析结果，如图3所示。

图3 4S服务环节用户关注占比

最受消费者关注的服务前5类分别是：售前服务占33.67%、售后保养17.71%、新车核对占15.05%、提车环节占10.13%、售后维修占6.65% ；其次，比较受消费者关注的服务环节的4类分别是：投诉处理5.06%、车辆保险4.82%、费用解释3.26%、售前配件2.24%。

整体服务类别受关注的占比结果反映了从看车、选车、购车到售后保养、售后维修等整个与4S店往来过程中，消费者最在意的是哪些环节、最关注的是哪些服务或品质。

2.3.2 4S店最受关注服务的关注点分析

在所有的服务环节中一共设置分析了27个相关关注点。分别是：接待服务、预约咨询服务、产品介绍服务、试驾服务、讲价态度、售前服务费用解释说明、维修保养费用解释说明、配件价值、原厂配件供应、提车时间拖延、合同上提车日期缺失、提车加价、口头承诺兑现、新车质量及相关证件核对问题、上牌困难、强制保险、保险理赔、新车贷款及利息、保养里程提前、保养服务项目、维修保养价格、维修等待时间、维修一次修复率、维修质量预期、维修偷换零件、售后霸王条款、投诉处理态度等。

通过对每个服务环节进行热点分析，所有的关注热点占比排列结果如图4所示。

通过以上的数据，我们还可以对每个环节中消费者具体关注点的关注度进行数据分析。由于篇幅所限，仅选取一个关注点做示例。

售前服务环节在4S店服务流程中占比33.67%，位居最受关注第1名。此环节中，消费者比较关注的具体服务内容包括门店的接待服务、电话预约咨询、产品介绍服务、车辆试驾服务、讲价还价的态度这五个关注点。我们通过采集的数据做了分析统计，可以得出每一个关注点在售前服务这一环节所占的比重。

分析结果显示，在售前服务环节，门店的接待服务比例90.7%，所占比重最大，消费者买车或看车时进店的第一印象尤为重要；其次是试驾服务所占比例4.37%，试驾是对这辆车最直观的感受，消费者对试驾的良好体验也比较看重；然后是产品的介绍服务所占比例2.40%，大多数消费者都很在意是否得到销售员热情的服务，而较懂车的消费者不仅要求服务人员的态度，而且对产品介绍的专业度也很在意；最后是讲价的态度所占比例1.77%，部分消费者在意与销售员讲价或咨询买车优惠时其表现的态度，这让消费者感觉是否受到对方的尊重；也有极少数的消费者会在电话预约咨询时在意服务的质量问题，在售前服务环节中占0.72%。

3 总结与展望

通过对4S店消费者信息进行挖掘和处理，我们清楚地了解到消费者在接受4S店服务全流程中的主要关注点，可以对关注度实现量化分析。这是以往的技术手段无法达到的效果。给满意度调查问卷的编制提供了非常有价值的数据。

这类工作在大数据行业中属于典型的用户舆情发现，通过对海量的网上用户评论的深度分析，洞察用户对行业的不满和建议，通过语义分析技术对互联网信息的整合分析，消除行业与消费者之间的信息鸿沟。对于专业的满意度调查公司来说，也是快速了解行业的重要辅助手段。

TML技术在整个数据洞察过程中，充分体现了其优势。能够实现对消费者不同关注点的定量分析，对于准确把握消费者的实际关注点，具有极为重要的参考价值。

对本次人工智能进行的分类结果进行核查，准确性达到了95%左右，我们的结论是现有的人工智能技术在用户舆情发现方面，已经具备了实用的价值，其准确性已经达到了较高的水平，完全满足满意度调查工作的需要。

另外一方面，知识图谱的建立和数据的训练相对成本较高，整个工作的周期仍然较长，如果想要在满意度调查中大面积推广该项技术，下一步还应不断完善数据过滤及文本分析技术，对重要的行业提前建立行业的知识图谱，确保行业应用的效率。构建云服务平台，共享知识图谱，共享训练成果，其服务效率将大幅提高，成本也会逐步降低。在可以预见的将来，人工智能技术将成为满意度测评领域的重要技术手段，并应用于质量研究的更多领域。

参考文献

[1] 李佳静， 李晓明， 孟涛. TML：一种通用高效的文本挖掘语言[J]. 计算机研究与发展， 2015， 52（3）：553-560.

[2] 车海燕， 冯铁， 张家晨，等. 面向中文自然语言文档的自动知识抽取方法[J]. 计算机研究与发展， 2013， 50（4）：834-842.