基于稀疏表示的人脸表情识别系统研究

汪慧兰，杨卫中++毛晓辉++杨晶晶++朱强军

摘要：最近这几年，由于计算机以及信息技术的不断发展，人脸表情的识别相关技术也开始更加受到人们的重视。怎样才能更加准确的将表情的特征加以提取出来，再对其进行分类现在已经成为研究的热点。稀疏表示可以说是一种比较高效的图像表示法，而且稀疏的系数其稀疏性能以及可扩展的性能都比较突出，这种基于稀疏表示的一种人脸识别能够使识别率增加。下面本文主要对人脸的表情特征加以提取，对这种表情加以分类并在其中发生的一些关键性问题进行了研究，进而针对这些问题提出了相应的改进方法，设计出了人脸识别的系统。

关键词：稀疏表示；人脸识别系统；人脸识别算法

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2015）25-0137-03

人脸的表情包含了人体行为的情感信息和心理信息，这是人们在进行非语言的交流时所采取最有效的手段。人们可以根据表情来充分地将自己的思想以及情感表达出来，同时根据人脸表情来对对方内心世界和对方的态度来加以了解，所以说人脸的表情在日常生活当中扮演着极为重要的角色。表情能够将很多的语言以及声音不能够表达出来的信息给表达出来，其在医疗和语言学以及相关的服务行业中都在发挥着极为重要的作用。

1 人脸表情识别的技术现状

1.1 提取人脸表情特征

由于提取人脸表情特征采取的图像类型不一样，对此我们可以将其分成静态表情的图像特征进行提取以及序列表情的图像特征进行提取这两种。第一种提取的是表情静止时的特征，第二种提取的是表情在运动过程中的特征，对于第一种的提取方法一般为Gabor小波，主成份分析（PCA）以及线性的判断分析（LDA）等的方法；而针对与第二种的提取方法有特征点跟踪，查分图像法以及光流法等。

1）提取静态的表情特征的常用方法

PCA主要是用在抽取原始特征以及降维，这种方法运算的中心思想是把二维的图像转为一维向量，根据从大到小的排列顺序对特征值以及特征向量加以调整，并且通过K-L的变换投影获得正交基，对其加以取舍进而得到人脸的表情特征其子空间。其实际上识别表情的过程就是把测试的样本进行比较投影进表情特征的子空间里，之后再将其跟测试的样本加以比较判定出它的表情类别。Gabor小波这种方法是现在我们比较常用的一种表示特征的方法，它能够有效地将环境噪音加以清除，使提取的图像特征有效加强，主要是通过图像在不同方向不同尺度上的频率信息对图像的特征加以表明。

2）提取变动的表情特征常用的方法

对于序列图像特征加以提取的代表性方法就是光流法。这种方法在1981年被第一次提出，主要是根据对视频图像里的表情特征光流加以计算进而得到每一个特征点的运动情况，这就是表情特征。

第一种提取特征的方法它采集较方便，计算更快捷，但是不能够对更大时间和空间信息加以探知。而第二种提取特征的方法虽可以对运动的表情信息加以提取，进而使得到的识别效果较好，但这种方法其计算的数据量较庞大，且具有很高的重复率，实际的操作当中比较困难。因此从目前来看，提取表情特征应该朝着将各种提取方法相互融合来对信息加以特征提取。

1.2传统的人脸表情识别系统中存在的问题

对于人类表情识别的研究中可以依据人类对不同的表情加以区别上获得启发，但运用计算机的视觉技术准确地对人脸表情进行识别的系统，实际运用中还有很多难题。

1） 不容易建立起理想的人脸表情相关模型

因为人脸是比较柔的，所以把人的表情和情感进行分类，在此基础上再建立一个模型，把人类的表情特征以及情感信息再相对应这就显得十分的困难。

2）表情数据库不完善

现在很多研究的实验结果都是在各自研究团队里研发出来的表情数据库的基础上得到的，我们知道每一个表情库由于噪音或者是光照等环境方面的影响都各不相同，再加上每个表情库里的人脸图像在文化，种族当中都存在着比较大的区别，所以实验的结果应该多次加以重复验证，增加推广能力。

3）学科方法和技术有自身的局限性

尽管我们在对人脸识别的系统中研究工作正在逐步加深，得到了很大的进步，但因为很多的研究者都是自己展开工作，在新技术和新方法将优点充分发挥出来的同时也不可避免地有着自身的局限性，多种技术相互融合上面的工作开展得还比较慢。

2 提取改进LBP的人脸表情特征

局部二元模式（LBP）指的是一个能描述算子的有效图像纹理特征，根据存在于图像中的任意一点和它相邻那点的灰度值中发生的大小关系来判定图像中部分纹理空间构造，从这方面上来看，它有旋转和抗亮度变化的能力。

2.1 原始的LBP算子

LBP一开始先将图像中各个像素点之间的灰度值加以计算，将在各个像素点和跟她相邻的点存在于灰度值上的二值关系加以计算，根据计算后得出的二指关系根据相应规则来形成局部二值的模式，同时将多区域的直方图序列当做这个图像的一个二值模式。

图1 基本的LBP算子计算的过程

一个基本的LBP算子应该是上图1所示那样，将其定义成3*3的窗口，有8个邻域的像素点，把窗口中心点的灰度值对窗口内的像素点其灰度值执行二值化，再依据不同的像素点位置来加权求和，进而得到这个窗口LBP编码值。

2.2 改进的LBP算子

从上面我们可以知道原始的算法自身纹理描述力是很强的，但在特定的局域内，原始LBP算子只考虑到了存在于中心像素点跟邻域的像素点之间灰度值的差异，把中心像素点作用以及邻域像素点其灰度值之间的互相关系忽略掉了，因而造成在某些情况下把局部的结构特点信息有所忽略。如下图2就是某种特定的情况。

图2 原始的LBP算子在特定情形中的编码

图2中所产生的11111111主要是对暗点以及会读平坦的区域进行检测，可以说是特征检测器。我们在此基础上，对原始的LBP算子进行改进，根据使一位二值编码增加的方式来加以扩展，提出了多重心化的二值模式也就是MLBP，具体的改进过程如图3所示。

图3 改进的LBP算子计算的过程（P=8、R=1）

由图3中获得的两个8位子编码将其当做独立的两 个MLBP的自编码，继而对所有模式直方图加以计算，根据这个直方图来加以分类或者是识别。LBP具体的算法公式如下：

在这当中，N，R分别表示的是临域点的个数和半径，gc表示的是像素点，gn表示的是它的临域点。根据这个改进的MLBP算子我们可以看出，它根据使一位二值的编码增加的形式，在将原始LBP算子的优势得到保持前提下，将中心像素点作用和邻域像素点二者间灰度值的关系又加以利用。跟原始的相比，改进的算子并没有时特征模式有所增加，而且还可以将原始的算子中没有考虑到的中心像素点和邻域像素点灰度值间关系产生的结构特点提取出来，让其鉴别能力得到提高。

3 人脸识别系统的设计

3.1 系统构成

该系统主要是被硬件平台以及软件开发的平台这两部分构成。硬件平台指的就是那些采集图像的设备和计算机系统，而软件开发的平台就是本文中所描述到的在上述所说的算法中改进开发出来的一种人脸识别的系统。

3.2 系统软件

系统软件的构造。系统软件可以划分成以下两个部分。首先是获取图像，当进入到主界面中时，点击打开图像或者是打开视频，系统初始化的硬件设备能够根据直接打开的静态表情图像或者是视频等，来对人脸表情图像进行获取并将图像显示出来，之后再对人脸开始进行检测和定位。其次，就是提取相应的表情特征并对其进行识别。

下面为了对该系统在进行识别表情时的效果进行验证，本文进行了几组对比实验。先将Gabor跟采样降维相结合的特征提取方式下得出的不同分类器效果加以比较，再将该系统下的分类跟其他的分类器效果进行比较。具体如下图4所示。

图4 不同的分类器下表情识别比较图

在图4中，横坐标1-7分别表示的是生气、厌恶、恐惧、高兴和瓶颈、伤心以及惊奇，数字8表示的是所有的表情。

结论：

根据图4我们可看出，在特征提取条件相同情况下，整体实验数据中稀疏表示明显比另两种分类型的性能要好，而且BP神经网络分类效果也非常良好，但是最近邻之间的分类器的精准度没有前两种表现得好。

该文中运用的这种提取特征方法的效果明显比Gabor跟采样降维相结合的方法效果要好。

上面进行的对比实验，充分验证了本文中的分类系统的优越感。下面跟文献中已经有的方案进行对比，具体如下图5所示。

[不同人脸表情识别方法＼&识别率＼&Gabor+弹性模板匹配[5]＼&80%＼&特征块PCA+最近邻分析器[8]＼&75.45%＼&本文方法＼&85.71%＼&]

图5 跟文献中含有的方案进行比较效果

根据图5所示，我们可以看出，跟其他文献中采用的方法来看，本文采用的方法在表情识别上有着明显的优势。具体的我们还可以从下图6的人脸表情识别界面中看到本文中设计的人脸识别系统具体应用情况。

图6 人脸表情识别的界面

3.3简析人脸识别算法

1）优点

这种算法将以前在迭代过程中的迭矩阵计算大大简化，而且在识别的速度上也得到了有效的提升，能跟随光照的变化进行有效的识别，对人脸进行识别的主要困难就是遮挡、单样本等这些问题，而稀疏表示在这些问题的前提下仍然能具备潜在的发展力，我们可以进一步对其加以研究，这也是现在研究的一个重点方向。

2） 缺点

在上面实验中我们发现其分类器表现出了良好的使用效果，但这种算法也存在着一些不足之处，由于数据量不断地增加，稀疏表示分类需要的时间也会随之而增加。此外，这种表示方法虽然在速度上明显优于其他，但是其产生的识别率并不是很高，也就是说不能准确地对表情进行有效识别。

4 展望人脸表情识别的系统

这种新型的对人脸表情加以识别的系统利于将人们的生活品质提高。当人们一旦从比较寒冷的地方或者是比较炎热的地方回到室内时，可以根据这个表情识别的系统快速地把人们面部表情与最佳温度中人脸表情相对比，进而让空调自动把室内的温度调转至最佳。此外，在医疗行业中，可以将表情识别运用到电子护士护理中来。尤其是对于那些重症病人，在对其进行治疗的过程中可以根据这个具有表情分析能力的机器人护士对病人实行实时的看管护理。除以上几点外，在对儿童实行教育时也可以将其应用其中，可以根据儿童在某种情形下所产生的表情以及行为进行具体分析和观察，有效挖掘他们潜在的气质和能力，引导我们更好地对儿童实行教育，促进儿童的健康成长。

5 结语

综上所述，对人脸表情加以识别是具有很大挑战的新兴课题，笔者主要对存在于人脸表情识别算法中的问题进行了简要的分析，并在此基础上提出了改进的算法进而提出了对人脸表情加以识别的系统。但从目前来看，我国关于人脸识别的系统研究当中还存在着一些问题，因此，对于我们来说将更加智能化的关于人脸表情识别的系统加以实现还是一个十分艰巨的任务，还需要我们不断的努力。

参考文献：

[1] 赵晓龙. 安防系统中的基于稀疏表示的人脸识别研究[D].西北大学，2014.

[2] 朱可. 基于稀疏表示的人脸表情识别[D].西北大学，2013.

[3] 万川. 基于动态序列图像的人脸表情识别系统理论与方法研究[D].吉林大学，2013.

[4] 欧阳琰. 面部表情识别方法的研究[D].华中科技大学，2013.

[5] 王哲伟. 基于稀疏表示残差融合的人脸表情识别[D].五邑大学，2011.

[6] 张慕凡. 基于稀疏表示的人脸识别的应用研究[D].南京邮电大学，2014.

[7] 赵晓. 基于稀疏表示的人脸识别方法研究[D].北京工业大学，2013.

[8] 何玲丽. 基于核稀疏表示的人脸识别方法研究[D].湖南大学，2014.