基于人脸表情识别的呼叫中心座席服务质量监控应用研究

杨晓艺，谢俊武，张 峰

（广东电网有限责任公司江门供电局 广东 江门529000）

基于人脸表情识别的呼叫中心座席服务质量监控应用研究

杨晓艺，谢俊武，张 峰

（广东电网有限责任公司江门供电局 广东 江门529000）

针对江门供电局对于座席服务过程中的表情信息、情绪信息等管理的空白处境和难以对坐席服务过程对客户的体验进行全面有效的评估问题，本研究采用了屏幕图像监控技术以及人脸表情识别技术的方法，搭建座席客户服务质量智能监控应用。通过使用电脑的界面操作信息、座席的表情信息、座席的情绪信息、交互录音信息可视化的管理界面的实际试验，进行统一管控及综合分析，为管理者进行座席服务监控、质检、提升座席服务技能提供全面的信息支持，满足实际要求。

表情信息；监控技术；面部表情；管理

视频监控系统大致经历了3个发展阶段，第一阶段是百分之百的模拟视频监控系统（VCR）；第二阶段是部分数字化的视频监控系统（DVR/NVR）；第三阶段是完全数字化的视频监控系统。近年来，随着网络带宽、计算机处理能力和存储容量的迅速提高，以及各种视频信息处理技术的出现，全程数字化、网络化的视频监控系统优势愈发明显[1-2]，其高度的开放性、集成性和灵活性为智能视频监控系统的发展创造了必要的条件。目前，95598热线作为用电客户服务的重要渠道，全面的座席服务过程监控是逐步提升客户服务体验的重要环节。所谓基于人脸识别的智能视频监控系统是以数字化、网络化视频监控为基础，但又有别于一般的网络化视频监控，他是一种更高端的视频监控应用[3]。智能视频监控系统能够识别不同的物体，发现监控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息，从而能够更加有效地协助安全人员处理危机[4]，并最大限度地降低误报和漏报现象。

1 系统主要功能

1.1 座席表情智能分析

人的面部表情，作为一种信息传递工具，在人与人之间的沟通和交流方面起着重要的作用，心理学家J.A.Russell曾研究指出，在人们交流中，只有7%的信息是通过语言来传递，而通过面部表情传递的信息量却达到了55%，正因为有了面部表情这样一种信息传递途径，人与人之间的关系才更紧密。

脸识别技术亦称面像识别是人类视觉系统的基本功能[5-6]，也是人类互相辨识的最直接手段，因此他是生物特征识别中的重要研究内容。人脸识别技术作为一种新兴的生物特征识别技术，简单说，它是一种基于人的面部特征的自动身份鉴别技术。人脸识别综合运用了数字图像/视频处理、模式识别、计算机视觉等多种技术[7]。人脸识别原理如图1所示。

图1 人脸识别原理图

下面以眼部区域粗定位为例分析。

1）人脸左右边界的确定

设原始图像为 I（x，y），其大小为 M×N，则该图像的垂直灰度投影函数为：

上式中，PV即为垂直灰度投影曲线。依据先验知识，人脸所在区域将使垂直灰度投影曲线形成一个具有一定宽度的凸峰；相对背景来说，人脸区域往往具有较高的亮度；在人脸左右边界处，垂直方向上亮度值的总和迅速减小，从而形成一个明显的凸峰。因此，只需确定垂直灰度投影曲线中主要凸峰的左右边界，即可得到人脸的左右边界。

为了去除噪声的影响，采用中值滤波对垂直灰度投影曲线进行平滑处理，平滑处理函数如下：

上式中K是滤波窗口的宽度，取值跟人脸在图像中的大小有关，经过多次反复实验，当K取值为16时效果最佳。

通常沿凸峰上升梯度值最大的点即为人脸的左边界，沿凸峰下降梯度值最小的点即为人脸的右边界。 设人脸的左边界点不超出 [O，aN]（a＜1），取a=0.55，求出曲线在x∈[O，aN]段上具有最大梯度值的点，记为 xl，即人脸的左边界；再求曲线 x∈[xl，N]段的最小梯度值点，记为x2，即人脸的右边界。人脸的左右边界定位算法至此结束。

2）水平眉眼区域预估

当人脸的左右边界确定之后，设左右边界之大小为m，则此时的图像大小为m×N，同理对该图像区域的水平灰度投影函数是：

上式中，PH即为水平灰度投影曲线。同样对PH进行平滑，即：

L的取值跟人脸在图像中的大小有关，反复实验后取L=12。平滑前后的水平灰度投影曲线和垂直灰度投影如图2所示。由平滑后的水平灰度投影曲线可知，此曲线的第一个极小值点对应人的头顶，因为头发的低灰度产生了水平投影曲线的低谷；而曲线的最大值点和次最大值点分别对应人的额头部位和人的鼻中部。通过分析该曲线的极大和极小值，易求得人眼所处的水平区域。

图2 平滑前后的水平灰度投影曲线

1.2 异常表情截取

当前，对坐席通话记录的考核仅限于抽检，不仅费时费力，且不容易暴露问题，通过表情面部智能分析系统，可对异常表情发生时的通话记录进行重点截取，并以坐席为单位进行储存，考核时可重点对此类录音重点抽调听取，可极大的提高检查效率和效果。特定情感的七种基本面部表情如图3所示。

图3 7种基本面部表情

特定情感的7种基本面部表情：从左向右依次为厌恶、恐惧、生气、高兴、悲伤、惊奇、平静。

1.3 座席同屏监控

可针对某个座席进行屏幕监控，从而可以实时了解和监督座席的工作状态、工作内容和工作过程，查找薄弱环节，在需要时可以干预其操作，发送提示或告警信息。

该坐席同屏监控功能如下：

可针对某个座席发起实时屏幕监控[9-10]，实时了解座席的工作内容；对监控的座席可发送提示、评价或告警信息，并可对座席发起干预操作；可随时中断监控和对监控端的干预操作，并且对座席端的监控或干预操作不影响座席端；具备严格的权限控制，具有同屏监控权限的人员可监控其监控权限范围内的座席，座席端不可拒绝同屏监控端的控制和干预；系统必须具有稳定性，对座席端的监控或干预操作不会造成座席端故障。

1.4 监控客户端

监控客户端相当于整体系统的“眼睛”，用户可通过电脑终端随时随地对座席人员进行监控[11]，并可在终端上进行如下操作：

提供座席人员实时行为及表情监控；提供座席人员录音抽检功能；可回放指定时刻的监控视频；座席情绪监控预警；座席情绪监控统计报表；对报警事件存档；支持用户数据备份、检索、修复；能同时预览和监控多路座席。

2 平台搭建原理

2.1 表情分析原理

本文采用日本某公司研发的HVC-C2W多功能摄像头，可在自然光线环境下，对人体面部表情进行识别，其识别原理如下：

原始图像预处理定位人眼，利用直方图均衡化对表情图像进行光照补偿，继而根据双眼坐标点的连线和水平轴的夹角，进行几何归一化处理。

2.2 提取表情特征

对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取，由于人脸图像具有信息量大和模式复杂等性质，需要进行图像降维和去相关变换（如PCA、ICA、小波分析、对称变换、光流分析等方法）。

2.3 表情分类

基于SVM的表情分类，支持向量机是目前主流的算法，因此我们也将其引入面部表情识别中来解决这一非线性模式下的小样本问题，提出一种改进的决策树多分类器模型实现了SVM分类器良好的核泛化性能优势，可以顺利实现高识别率的表情分类。

2.4 表情数据库比对

采用数据库为2010面发布的The Extended Cohn-Kanade Dataset（CK+），其中包含 123个subjects，593 个 image sequence，每个 image sequence的最后一张Frame都有action units的label，而在这593个image sequence中，有327个sequence有emotion的label。 这个数据库是人脸表情识别中比较流行的一个数据库。我们将之前获得的表情特征与该数据库进行比对，返回一个对应喜怒哀乐的数据。

2.5 深度处理

我们没有止步于识别表情，而是对其进行深度处理。在获得数据后，我们为每种表情（喜悦、惊讶、愤怒、悲伤、严肃）划分一个0～100的分数域，尽可能减少误判，同时可以设定分数警戒线，当某种情绪到达一定分数时，输出警报信号。

3 系统技术方案

3.1 总体技术要求

1）便捷性要求：以B/S架构设计应用系统，使操作人员可直接在浏览器中访问应用系统，方便用户操作，简化系统发布过程，做到系统操作简单易懂，发布快捷简易。

2）可扩展性要求：本项目产生的应用系统将来需要扩展或与其它应用时，不影响已有系统的应用和性能；

3）标准化要求：功能开发（修改）符合我国国家标准、信息产业部部颁标准、电力行业相关技术规范和要求；

4）可靠性要求：系统建设完成后，应能够满足客服中心7×24小时的运作模式，系统故障重启的时间不超过30分钟；

5）业务连续性要求：当系统上线运行时，不影响江门供电局现有系统及业务的运作；

6）项目建设的应用系统必须考虑江门供电局的网络环境和安全防护体系[12]，确保系统的正常运行；

3.2 系统设计原则

1）系统性原则

呼叫中心各支撑平台之间关系密切，数据信息相互交错、共享，它们是一个整体，因此，本项目的实施是一个系统工程。技术人员在系统实施过程中[13]，应进行全局的系统化考虑，从整体上进行可行性分析、规划和设计。

2）发展性原则

随着客服中心规模的扩大和座席模式的更加合理化，座席接入功能和管理功能等也会随着客户服务改革的发展、技术的进步以及网络基础设施的逐步完善而不断丰富，因此要求在设计系统时，需要充分考虑系统的灵活性和可扩展性。

3）实用性原则

为保证系统的高度实用性和可用性，系统应支持通用的操作系统，如Windows、Linux和Unix等。软件版本应能向下兼容，软件版本易于升级，且升级的过程中不影响网路的性能与运行。在实施的整个过程中，应本着技术为客户服务的指导思想，尽量满足客户服务及管理的要求，避免技术实现与客户服务需求脱节等情况的发生。

实用性原则的另一个方面是注意系统功能的操作方便性。为了使系统更趋实用，还必须注意对操作细节的设计应符合操作人员的操作习惯。

4）稳定性原则

由于系统应用于95598客服中心，因此必须保证7*24不间断的稳定的运行，必须避免因软件的故障而造成客服系统的运行瘫痪和客户服务的中断。软件必须是模块化设计，并且保证任何功能模块的维护和更新都不影响其他功能模块，系统具有一定的容错能力。

3.3 系统总体架构

为了系统设计符合系统性、发展性、实用性和稳定性等技术原则，要采用先进的技术对系统进行构建，如图4所示。

图4 系统总体架构

值得一提的是：与CTI服务器进行对接是用于控制监控在座席接听电话时启动监控录像；与录音服务器对接是用于客户端进行录音调用抽检。

3.4 表情识别流程

自动人脸表情识别包括人脸检测，人脸特征定位与提取人脸表情的情感分类3个关键环节。

3.5 表情特征提取方法

本研究的人脸面部表情特征提取方法所用到的识别特征主要有：灰度特征、运动特征和频率特征3种[14]。

1）灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。

2）运动特征，是利用不同表情情况下人脸的主要表情点的运动信息来进行识别。

3）频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。

在具体的表情识别方法上，分类方向主要有3个：整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法[15]。整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。本项目计划运用特征脸的主成分分析法（PCA原理）作为算法支撑实现表情分析。

4 结 论

通过监控分析人脸表情特征的提取，进行分类，将所得到的信号传递给计算机进行分析，然后在界面上显示得到信号，最终完成呼叫中心座席服务监控。该系统填补了江门供电局对于座席服务过程中的表情信息、情绪信息等管理的空白，实现了对于坐席服务过程对客户的体验全面有效的评估，大大提高了服务质量，具有很强的现实意义。

[1]刘帅师，田彦涛，万川.基于Gabor多方向特征融合与分块直方图的人脸表情识别方法[J].自动化学报，2011，37（12）:1455-1463.

[2]王大伟，周军，梅红，等.岩人脸表情识别综述[J].计算机工程与应用，2014，50（20）:149-157.

[3]蒋斌，贾克斌，杨国胜，等.人脸表情识别的研究进展[J].计算机科学，2011，38（4）:25-31.

[4]Zou Bin，Li Luoqing，Xu Zongbin，et al.Generalization performance of Fisher linear discriminantbased on Markov sampling[J].IEEE Transactions on Neural Networks and Learning Systems，2013，24（2）:288-300.

[5]刘伟锋，李树娟，王延江.人脸表情的LBP特征分析[J].计算机工程与应用，2011，47（2）:149-152.

[6]万贤美，金小刚.真实感3D人脸表情合成技术研究进展[J].计算机辅助设计与图形学学报，2014，26（2）:167-178.

[7]Wan X M，Jin X G.Data-driven facial expressions synthesis via Laplacian deformation[J].Multimedia a Tools and Applications，2012，58（1）:109-203.

[8]Qiao L S，Chen S C，Tan X Y.Sparsity preserving projections with applications to face recognition[J].PatternRecognition，2010，43（1）:331-341．

[9]崔静安，黄莹，谢双泽.电力呼叫中心的建设与使用[J].电力信息化，2006，4（3）:52-55.

[10]李明东.省级集中的95598客户服务系统建设思路与实现方式[J].电力信息化，2011，9（7）:45-49.

[11]马小虎，谭延琪.基于鉴别稀疏保持嵌入的人脸识别算法[J].自动化学报，2014，40（1）:73-82.

[12]王勇，卢桂馥.基于最大间距MFA的鉴别分析[J].光电工程，2011，38（2）:102-107.

[13]唐哲红，李青，汪少敏.云呼叫中心体系架构研究与设计[J].电信科学，2013，（6）:57-63.

[14]LiH，Jiang T，Zhang K.Efficientand robust feature extraction by maximum margin criterion[J].IEEE Trans.Neural Networks，2006，17（1）:157-165.

[15]杨利平，龚卫国，辜小花，等.完备鉴别保局投影人脸识别算法[J].软件学报，2010，21（6）:1277-1286.

Research of call center seat service quality monitoring application based on facial expression recognition

YANG Xiao-yi，XIE Jun-wu，ZHANG Feng
（Guangdong Power Supply Bureau of Jiangmen Power Grid Co.，Ltd.Jiangmen 529000，China）

For Power Supply Bureau of Jiangmen，for the blank position of seat in the process of expression information，emotional information management，it is difficult to for seating service process of customer experience of effective and comprehensive evaluation.Therefore，this paper is through introducing the screen image monitoring technology and facial expression analysis technology，build seat quality customer service in intelligent surveillance applications.Through the use of computer interface operation information，the expression of position information，the position of emotional information，interactive recording information visualization management interface of the practical test，make unified control and comprehensive analysis，as a manager for seating service monitoring，quality control，improve position provides the comprehensive information support service skills，meet the actual requirements.

facial expression information； monitoring technology；facial expression； management

TN85

：A

：1674－6236（2017）14-0127-04

2016-07-14稿件编号：201607105

杨晓艺（1973—），女，江西瑞金人，硕士，高级工程师。研究方向：电力营销。