面向电信客服数字化改造的多源数据采集和大数据可视化技术研究与运用

［肖军 陈震原 李芳 陈茂强］

1 引言

由于电信运营商各大业务系统初期都以烟囱方式建设，各业务系统间数据关联出现了各种各样的问题，数据源多种多样、数据标准不统一、数据质量也参差不齐。在生产经营过程中，企业实时监控的数据往往来自于不同的业务系统，又必须在统一的对比环比等联动分析下才能指导企业生产，完成绩效指标，提高劳动效率。所以打破数据烟囱，建立数据关联分析是数字化改造的关键第一步，这就涉及到了多源数据采集处理的问题。

既然是数据烟囱，那么这些烟囱的建设者往往来自不同厂商，有的甚至年代久远，接口不统一或缺乏一些数据接口功能，有些数据还是非结构化数据，例如语音或文本段落，需要自动语音识别技术（ASR）进行语音转写和自然语言处理技术（NLP）进行语义识别后提取关键词。

以电信客服领域涉及到的业务为例，在本地网客服的处理过程中，座席人员处理投诉需要查看的关键信息系统有10000 号系统，BSS 系统、CRM 系统、综调系统、装机地址库等，座席人员的排班打卡数据可能又来自于钉钉等外部系统，客服投诉处理形成的各项满意度、重投率、及时率等数据又来自于其它信息系统。我们的目标就是对客服领域的投诉工单量和处理质量全程跟踪和对比分析；对座席人员的生产时效、质量实时地全程跟踪分析；对投诉工单开展根因分析。并且针对这些分析后的结果，通过大数据可视化技术，以图形界面形式呈现出来。

2 多源数据采集和数据可视化主要技术介绍

首先，在客服数字化转型过程中涉及到的多源数据采集技术有：RPA、ASR、NLP 等，本文重点介绍一下RPA 技术在多源数据采集中发挥的重要作用。其次，所有集中处理后的数据需要以图形化看板形式呈现出来，本文也会重点介绍一下数据可视化技术是如何打造数字化智能看板的。

2.1 RPA 技术介绍

机器人流程自动化[1]（Robotic process automation，简称RPA）是以软件机器人及人工智能（AI）为基础的业务过程自动化科技。机器人流程自动化（RPA）系统是一种应用程序，它通过模仿最终用户在电脑的手动操作方式，提供了另一种方式来使最终用户手动操作流程自动化。

在传统的工作流自动化技术工具中，会由程序员产生自动化任务的动作列表，并且会用内部的应用程序接口或是专用的脚本语言作为和后台系统之间的界面。机器人流程自动化会监视使用者在应用软件中图形用户界面（GUI）所进行的工作，并且直接在GUI 上自动重复这些工作。因此可以减少产品自动化的阻碍，因此有些软件可能没有这类用途的API。RPA 技术类似图形用户界面测试工具。这些工具也会自动的在图形用户界面上互动，而且会由使用者示范其流程，再用示范性编程来实现。机器人流程自动化工具的不同点是这类系统会允许资料在不同应用程序之间交换。用更通俗的解释，RPA 就是借助一些能够自动执行的脚本（这些脚本可能是某些工具生成的，这些工具也可能有着非常有好的用户化图形界面）完成一系列原来需要人工完成的工作，但凡具备一定脚本生成、编辑、执行能力的工具在此处都可以称之为机器人，具体逻辑流程如图1 所示。通过RPA 软件编写的“机器人”程序，可以捕捉并模拟我们日常的键盘、鼠标操作等人机交互行为，它们可以完成识别、触发、通信、文本生成等任务，自动执行重复性的业务流程。

图1 RPA 逻辑示意图

另一种常见网页信息抓取技术是爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。

RPA 和爬虫的区别。

（1）爬虫在处理网页内容时，直接操作HTML，可以非常灵活和精细（借助正则表达式几乎无所不能）。而RPA 操作的是可见的网页元素，模拟人的操作。相对来说，爬虫的功能更加强大，但RPA 程序的开发难度相对爬虫简单。

（2）爬虫则经常会被要求短时间内抓取大量数据，可能会对目标网站造成一定的流量压力。频繁和大量地爬取竞争对手网站数据，有可能会触发反爬虫机制。而RPA获取网页数据的数据量相对不多、而且频率相对较低的话，反爬虫机制大概率不会进行封锁。

2.2 大数据可视化与数字孪生技术介绍

2.2.1 什么是大数据可视化

大数据可视化[2]是关于数据视觉表现形式的科学技术研究。其主要目的是借助图形手段，清晰、有效地进行传达与沟通信息。广义说来，大数据可视化技术包含以下几个部分。

（1）数据处理：指利用一定的算法和工具对数据进行定量的推演和计算。

（2）数据分析：对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据。

（3）数据可视化：将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。

数据可视化是大数据发展的产物，它增强了普通用户对大数据的理解。常用的图表方式有：柱状图、K 线图、饼图、直方图、热力图、散点图、漏斗图等。

前端界面中几种常见的大数据可视化技术，例如Highcharts、Echarts、Charts、D3，使用JavaScript 结合HTML5 中的Canvas 和SvG 实现，能在PC 和移动设备上运行且支持大多数主流浏览器，兼容性很好，本项目实践采用的是ECharts 技术，ECharts 全新4、0 版本新特点有：千万级数据可视化渲染能力、SVG+Canvas 双引擎动力更佳、数据样式分离及扁平配置让开发更便捷、首创无障碍访问支持、适配微信小程序和ppt。

2.2.2 什么是数字孪生

根据国际定义，数字孪生[3]是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程，虚拟与现实的映射关系如图2 所示。

图2 数字孪生的双向映射

简单来说，就是针对现实世界中的实体对象，在数字化世界中构建完全一致的对应模型，通过数字化的手段对实体对象进行动态仿真、监测、分析和控制。

数字孪生是源自工业界的概念，随着5G通讯、物联网、云计算、大数据、人工智能等新一代信息技术的发展和广泛应用，数字孪生在理论层面和应用层面均取得了快速发展，逐渐延伸到数字城市、数字园区、数字交通等应用领域。

3 实践：电信客服智能座席看板技术路线

基于以上技术，以下以广州电信客服部智能座席看板为实践应用案例。

3.1 智能座席看板项目背景介绍

传统电信客服座席管理工作中，由于座席团队数量大，管理层级多，晨会、周例会、经营分析会、培训会等应接不暇。班组长日常查询、统计、整理各项经营数据工作强度很大，整理出来的数据还缺乏实时性和客观性。此外，针对各类投诉工单的共性问题整理工作，也大量依靠人工白描，工作量大，成本高，时间上也滞后于生产，缺乏预警能力。因此，客服工作的数字化转型迫在眉睫，广州电信率先引入大数据和AI 技术，进行智能座席看板的项目实施，把生产中的投诉工单、座席人员产能和时效进度、关键客服质量指标、工单定责定性等数据实时、客观地呈现在一个统一的可视化大屏里，每小时更新一次数据，全面监控座席的工作情况、投诉工单的走势、工单根因分析等。

3.2 智能座席看板技术路线

如图3 所示，为实现智能座席看板，关键第一步就是数据的采集；然后针对采集后的数据进行清晰、加工处理后进行数据分析；最后对分析后的结果进行可视化的展示。

图3 智能座席看板结构图

具体技术实施上，本智能座席看板项目是基于经典的技术组合（Spring Boot、Spring Cloud &Alibaba、Vue、Element）来搭建的一个Java EE 分布式微服务架构平台。如图4 所示，平台是前后端分离的，将界面、业务逻辑和数据分离，实现系统内部之间的松耦合，以灵活、快速地响应业务变化对系统的需求。系统层次划分为控制层、业务层、服务层和持久层，所有的服务都是采用目前先进的微服务的架构思想来实现，其中服务之间统一使用HTTP来通讯，通过各层次系统构件间服务的承载关系，实现系统功能。总体技术结构如图4 所示。

图4 智能座席看板技术架构图

（1）后端微服务相关组件

微服务框架组件[4：]Spring Boot2+Spring Cloud Hoxton.SR8+SpringCloud Alibaba

Spring Boot Admin：管理和监控SpringBoot应用程序的微服务健康状态

数据持久化组件：MySql+Druid+MyBatis+MyBatis-Plus

Seata：分布式事务管理，跨服务的业务操作保持数据一致性

高性能的key-value 缓存数据库：Redis+Redisson-Client+RedisTemplate

API 接口文档：Swagger2+knife4j

接口参数校验：spring-boot-starter-validation

Nacos：一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台

Sentinel：把流量作为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性

OpenFeign：微服务架构下服务之间的调用的解决方案+Ribbon 实现负载均衡/高可用重试机制

Gateway：微服务路由转发+聚合knife4j微服务文档 +【Gateway+OAuth2+JWT 微服务统一认证授权】

Oauth2：SpringSecurity单点登录功能支持多终端认证授权+RBAC 权限框架

（2）前端视图相关组件

ES6：Javascript 的新版本，ECMAScript6 的简称。利用ES6 我们可以简化我们的JS 代码，同时利用其提供的强大功能来快速实现JS 逻辑

vue-cli：Vue 的脚手架工具，用于自动生成Vue 项目的目录及文件

vue-router：Vue提供的前端路由工具，利用其我们实现页面的路由控制，局部刷新及按需加载，构建单页应用，实现前后端分离

vuex：Vue提供的状态管理工具，用于统一管理我们项目中各种数据的交互和重用，存储我们需要用到数据对象

element-ui：基于MVVM 框架Vue 开源出来的一套前端ui 组件

Echarts[5]：是一款基于JavaScript 的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表，它提供了常规的折线图、柱状图、散点图、饼图、K 线图，用于统计的盒形图，用于地理数据可视化的地图、热力图、线图，用于关系数据可视化的关系图、treemap、旭日图，多维数据可视化的平行坐标，还有用于BI 的漏斗图，仪表盘，并且支持图与图之间的混搭。

4 实践成果总结和未来展望

4.1 成果总结

从实践结果来看，如图5 所示，智能数字看板上线后，主要呈现了四大板块的数据实时展现，首先是客服的主关键指标：包括满意率、重投率和及时率；其次是工单实时流入的情况统计：包括工单的流入分析、超时分析和重复投诉情况分析；第三是座席状态的实时监控，包括每天各班组和座席的时效分析、进度分析（产能分析）、排班率出勤率分析等等；最后是对工单的定责定性分析，分析后的结果反馈到前端市场营销部门和后端网运部门用于工作改进参考。所有数据都是通过RPA 数据实时从各个分散的子系统中采集分析得到的，客观性和实时性强，每小时更新一次，极大地促进了客服工作效率。

图5 广州电信客服部智能座席看板

采用了实时数据采集的可视化数据看板后，客服数字化改造带来了3 个亮点。

亮点一：打通了企业信息化数据烟囱，奠定了生产数字化基础。

亮点二：实时、客观的数据监控分析，随时开展经营分析，大幅度提高了管理效率。

亮点三：多维度切片的根因分析，助力企业以客户为中心的多部门联动变革。

4.2 未来展望

RPA 本质上替代了人的重复劳动，对各种生产信息系统的数据可以进行仿真人的操作进行数据采集，接下来的难点是不同数据类型，特别是非结构化数据的采集处理是未来的重中之重，如何对语音、图像、手势等多媒体交互的数据进行结构化存储是未来的发展方向。当前ASR 和NLP 技术在公众应用领域比较成熟，识别精准度在80%左右，但在方言环境下精度还普遍不高，在细分行业领域语义识别需要结合行业场景开展一些有监督的小样本机器学习，这些是未来数据采集加工处理的重点方向。

在大数据可视化技术方面，数字孪生技术发展前景广阔，未来仿真真实客服场景的虚拟数字世界，例如数字客服、数字人等技术将会得到更加广泛的应用。实时数字看板目前带来了管理效率的极大提升，提高了对座席工作人员的管理强度和幅度。未来数字孪生技术的进步，将会逐步把座席人员从具体的业务操作中逐步解放出来，更多关注和客户的情绪互动，座席人员的工作重心将从一个个具体的工单处理转变成为数字化工具的训练师、调度师。数字客服或者未来元宇宙客服也会逐步变成现实。要到达这一步，需要在AI 领域开展更多数字化技术升级改造，会涉及到认知智能领域例如行业知识图谱等技术的深入普及。这也是当前技术热点和未来的发展方向。