一种基于自然语言处理技术的智能定责应用研究

［李芳 陈震原 肖军］

1 引言

中国电信集团有限公司是中国特大型通信运营企业，主要经营移动通信、互联网接入及应用、固定电话、卫星通信、ICT 集成等综合信息服务。目前，中国电信集团有限公司广州分公司（以下简称广州电信）的客户服务呼叫中心，主要以处理客户的抱怨和投诉为主，其与客户沟通的方式主要采用传统的电话模式，即电话→坐席受理→问题解答→坐席回访为主。客户抱怨投诉的问题涵盖了通信信息查询、通信费用争议、故障抱怨、投诉举报等业务类型。广州电信客服中心为了保证能够及时解决客户抱怨投诉，提供7×12 小时服务，投入了大量的人力资源。尽管如此，随着近年来电信业务的业务复杂度、网络类型、客户类型和数量的急剧增加，呼叫中心业务人员的知识储备和学习能力不一，人力成本不断增加。如何快速定位客户投诉问题，提高客户的投诉处理的及时性和投诉问题治理的有效性，为不同客户制定有效投诉解决方案，最终提升客户满意度，是摆在广州电信客户服务部门运营管理的难题之一。

人工智能是目前研究的热点和技术发展趋势，自然语言处理作为人工智能的一种重要领域，识别用户口语化表达中的真实意图，进而及时发现投诉热点，并为坐席人员提供基于知识图谱的知识推荐，具有较强的应用需求和研究价值。本文通过对自然语言技术的理解和研究，设计一套智能定责系统，实现两个目标：一是能更好地理解用户的语言上下文语境和语义，提升对投诉问题的理解能力；二是构建基于现有知识库的知识图谱，形成知识推荐能力，通过机器训练的方式对算法调优，形成投诉处理的专业知识图谱，不断提升知识库与投诉定责的匹配精准度。

2 自然语言处理方法研究

自然语言处理是一门交叉学科，涉及语言学、数学、计算机科学、信息学、电子科学、心理科学、认知科学、神经科学等，而作为专业领域内的研究，还需要加入该专业的领域知识[1]。本文所设计的智能定责系统关键模块主要包含 语义分析、知识图谱创建，涉及的技术主要包含语料清洗、中文分词、特征工程、模型训练。

2.1 语料清洗

就是把无用或者不感兴趣的，视为噪音的内容进行删除，如针对原始文本，只提取标题、摘要、正文等关键信息。对于通过网络爬虫爬取的网页内容，去除HTML、广告、标签、JS 等代码和注释。

2.2 中文分词

由于汉语和英语相比，它是以字为基本书写单位，词语之间没有明显的区分标记，因此分词技术是知识库搜索查询过程中的第一步，分词实现效果的好坏对应用功能结果的影响非常大。中文分词后，给每个词或者词语进行词性标注，如给词语打上形容词、动词、名词等标签；去停用词指对文本特征没有任何贡献作用的字词进行删除，比如标点符号、语气、人称等；命名实体识别指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等[2]。

2.3 模型训练

机器学习训练主要包括监督学习、半监督学习、无监督学习、强化学习、神经网络等。考虑到电信客服场景下海量数据的文本以及复杂的业务知识库，本次训练采用预训练的无监督的语言学习和有监督的机器学习模型相结合的方式进行。无监督机器学习模型用于自动地挖掘语义知识，通过构建预训练目标使得机器能够理解语义信息，提取投诉业务关键词，形成舆情监控应用；有监督的机器学习模型用于有效地进行知识的分类，完成知识图谱的搭建。

预训练语言模型具有两大优势，其一，它们可以显着提高许多NLP 任务的准确性；其二，它们是通用的语言处理工具。在传统的NLP 中进行基于机器学习的任务，必须标记大量数据来训练一个模型，相比之下，目前只需要标记少量数据来微调预训练的语言模型，因为它已经获得了语言处理所需的大量知识[3]。

3 客服智能定责系统设计

3.1 总体设计思路

根据现有客服中心工作流程，智能定责功能需要在对通话语音实现语音文本转写的基础上，增加语义分析和知识图谱查询两大功能模块，从而建立投诉业务定性与业务关联，即根据语音文本要识别出投诉关键字、投诉的业务标签，不同投诉对应的责任单位以及与投诉关键字对应的知识图谱节点、相似的解决方案、推荐方案等，具体示意图如图1 所示。

图1 客服智能定责模块功能示意图

为了实现以上功能，智能定责系统体系架构如图2 所示，最下层为数据获取层，往上分别为知识图谱构建、智能定责及应用模块。

图2 智能定责系统体系架构

3.2 数据获取

本方案的数据来源主要来自客户与客服代表的通话转写的语音文本，以及现有的10000 号知识库、通信行业语料库、公司网站、营业厅、网上APP 以及工信部论坛、通信论坛等网络数据。数据业务范围覆盖用户抱怨、用户投诉、用户越级投诉以及用户建议、意见、表扬等类型。对所获取的数据按一定的结构和规则，采用数据挖掘技术挖掘成有用的信息或结构化信息。

3.3 知识图谱构建

针对电信投诉智能领域，现有的10000 号知识库已不能满足需求，需要构建基于投诉处理最佳回答和处理方案等知识图谱，形成知识推荐能力。知识图谱模块主要分为词类管理、预处理和知识库管理。

3.3.1 词类管理

词类管理模块实现对业务关键词、近义词、敏感词、投诉领域专业词前后缀和拼音词的处理。对于投诉领域专业术语，由人工设置领域内关键词，通过人工手动添加的方式，增加词类信息。

3.3.2 预处理

预处理模块包含数据标注和细粒度文本分类两个任务。首先，结合知识图谱的构建，根据业务需要对客户投诉类型、专有名词、情感极性等特征进行标注，构建语义分析模块的数据集；其次，根据投诉业务场景选择适合的模型进行文本分类，识别客户投诉的主题与意图，并结合知识图谱进行内部业务的关联。

（1）数据标注

由于客户投诉语音文本具有口语化、不规范化的特点，这给语义分析带来了一定的难度，准确的数据标注有助于自然语言处理模型对转译文本的理解与分析[6]。

①投诉业务定性标签：以业务逻辑为基础，标注细粒度的投诉业务类型，如移动套餐升级违约金；

② 价值评判标签：客观评价客户投诉的内容是否合理，为推荐解决方案提供参考；

③情感极性：标注客户投诉时的情感，用于评判该投诉处理的紧急程度；

④ 命名实体识别：标注数据中的人名、地名以及机构名，用于实现相关业务部门的准确定位。

以上数据标注任务中，投诉业务定性标签、价值评判标签、情感极性标签的标注采用预训练无监督的机器模型进行模型的训练。

（2）细粒度文本分类

文本分类任务包含特征表示和分类模型两个模块。特征表示是将文本处理为一种计算机可读的形式，同时尽量减少信息的损失。常见的特征表示方法包括BoW 词袋模型、TF-IDF、N-gram、One-hot 编码、Word2Vec、Glove 词向量等。分类模型可按模型的复杂程度分为浅层学习模型与深度学习模型两类，一般浅层学习模型在小规模数据集上表现效果优于深度学习模型[4]。

3.3.3 知识库管理

知识库是智能定责系统的知识中枢，投诉和解决方案的专用知识库，这些内容最初从有经验的客服人员日常生产中总结产生。由于投诉和解决方案的普遍性，投诉和解决方案在较长一段时间内比较稳定，变化不大。因此基于知识库，对知识进行抽取，再进行知识融合，才能形成知识推理能力。具体来说，按照以下步骤进行构建：

（1）知识抽取：从半结构化、非结构化的数据中提取出实体、关系、属性等知识要素。知识抽取主要包括以下三个部分。

①实体抽取：在技术上更多称为NER（named entity recognition，命名实体识别），指的是从原始语料中自动识别出命名实体。由于实体是知识图谱中的最基本元素，其抽取的完整性、准确、召回率等将直接影响到知识库的质量[5]。因此，实体抽取是知识抽取中最为基础与关键的一步；

② 关系抽取：目标是解决实体间语义链接的问题，早期的关系抽取主要是通过人工构造语义规则以及模板的方法识别实体关系[5]。随后，实体间的关系模型逐渐替代了人工预定义的语法与规则。

③属性抽取：属性抽取主要是针对实体而言的，通过属性可形成对实体的完整勾画[5]。由于实体的属性可以看成是实体与属性值之间的一种名称性关系，因此可以将实体属性的抽取问题转换为关系抽取问题。

（2）知识融合：可消除实体、关系、属性等指称项与事实对象之间的歧义，形成高质量的知识库。

（3）知识推理：是在已有的知识库基础上进一步挖掘隐含的知识，从而丰富、扩展知识库。分布式的知识表示形成的综合向量对知识库的构建、推理、融合以及应用均具有重要的意义[6]。

3.4 智能定责应用

智能定责应用主要包括舆情监控、知识跟随2 个模块，舆情监控模块通过无监督机器学习模型进行文本的聚类，主题相似的模型将被聚集为同一类。聚类完成后，对每一类文本，统计词频并提取词频最高的五个单词作为该类的主题词，用以反映该类文本的主题信息。知识跟随模块则根据投诉分类提供历史最佳回答和解决方案推送给坐席人员，并对本次推荐的内容准确度进行记录的过程。

3.4.1 舆情监控

基于以上对文本细粒度分类，统计主题词出现的频率，就可以及时输出当天的投诉热点主题词，方便投诉治理人员根据投诉分类划分和责任单位的对应逻辑关系进行投诉治理。

3.4.2 知识跟随

智能投诉处理的关键是客户投诉问题的定界和定位。知识跟随算法构建是基于投诉分类的标签体系，结合历史投诉单的处理解决方案、应答话术的定位结果，利用机器学习分类算法，反复迭代得出可靠稳定的决策模型。

（1）在所有工作开始之前，需要梳理投诉问题产生的原因类别，例如显性问题、隐性问题、根源问题等。对每种原因类别，建立一个模型，模型的输出是对是否存在该原因类别的二元判断，即“是”或“否”[7]。最终将所有类型的判断综合起来，形成总体分析结论。自然语言机器学习的算法有多种，包括逻辑回归、线性判别分析、K近邻、分类和回归树、朴素贝叶斯、支持向量机等[8]。在这里，选取随机森林算法进行模型的建立。随机森林是通过集成学习的思想将多棵树集成的一种算法，它通过随机选取部分样本和特征构建多棵决策树，其中每棵树都是基于随机向量的一个独立集合的值产生的，最后再将多棵决策树产生的结果整合在一起。随机森林算法具有精确度高、不容易陷入过拟合、泛化能力等优点。针对每一种原因类别，建立一个模型，开展模型训练。例如，针对“用户停机”这一投诉类别，建立模型I，把数据按8∶2 分成训练集、测试集2 个部分，将指标1……指标n 作为输入，标签作为输出，代入随机森林模型。在完成模型训练后，开展精度评估，调整相关参数设置，提高样本数量，使得精度达到要求，即完成了模型的训练。具体训练方法示意如图3 所示。

图3 机器训练模型示意图

（2）模型的利用。在客服坐席收到一张新的用户投诉工单后，输入到智能定责系统中，系统将输出针对每种原因类别的二元判断，从根本上找到导致本次投诉的根本原因。然后根据投诉类别推荐最佳话术和解决方案给坐席代表，提高其投诉处理的效果和效率。

4 实际生产应用

图4 以一个客户对违约金产生投诉为例，展示了智能定责模块的工作场景。客户与客服代表的语音通话通过自动语音识别系统（ASR）转写之后形成文字输入舆情监测模型。“客户产生违约金”这一显性问题，在10000 号知识库中对应有“用户套餐月租升档造成违约”、“用户合同期未到却退租造成违约”，“费用没有及时缴纳造成违约”等不同十个类别的隐性问题。通过机器学习投诉语音文本后，形成本次的文本主题信息为“升档违约金”。该文本主题也作为本次投诉的分类的标签，产生预警并映射到该异动类别的责任部门。同时，根据该标签，检索知识图谱中的知识标签，得到相关的最佳应答口径和解决方案，推送给一线坐席人员，形成知识跟随功能。

图4 智能定责模块工作示例

经过实际生产测试，通过该应用，客服中心可以实现实时监控投诉的热点，而且原来一个投诉定责的时间从8分钟下降到1 分钟，日处理定责工单量从不到200 单上升到约500 单，投诉处理人员的平均处理时效由2.6 单上升为3.3，大大提升了客服中心的工作效率和生产效率。

5 结束语

本文提出的利用自然语言处理处理技术构建三层的电信智能定责系统，可以帮助电信运营商从每日海量的投诉处理语音信息中提取投诉的关键词和内容，形成舆情监控能力和知识推荐能力，从而大幅提高客服中心的投诉处理及时性和投诉问题治理有效性。当然，由于自然语言领域知识的复杂性，当前通信行业智能定责系统的实现在技术上还有很多难点需要解决，需要进一步研究自然语言和专业术语之间的映射关系、语境识别、指代消解、机器学习等技术，提升该系统的效率和准确率。