基于卷积神经网络结合SVM的人脸识别研究

黄 超，薄 华

(上海海事大学 信息工程学院，上海 201306)

基于卷积神经网络结合SVM的人脸识别研究

黄 超，薄 华

(上海海事大学 信息工程学院，上海 201306)

提出了卷积神经网络与支持向量机结合的方法运用于遮挡人脸识别。通过卷积神经网络的卷积、下采样和Softmax的特征提取处理，由支持向量机完成后续的训练和识别。利用AR人脸库进行实验，并和传统的人脸识别方法进行比较分析，实验结果表明本文的方法有更高的识别率。

卷积神经网络；支持向量机；人脸识别

0 引言

随着科学技术的发展，机器人的应用越来越广泛，人机交互也变得十分重要。人脸识别作为生物特征识别(虹膜识别、指纹识别、掌纹识别等)技术之一，由于具有成本低、用户易接受、可靠性高等优点，在身份认证、安防监控、人机交互等领域具有广泛的应用前景。目前对于人脸识别的技术已经展开了很多研究工作[1]。

过去许多年来，研究者们提出了很多人脸识别的算法，主要是提取人脸特征，特征提取在人脸识别中起到了关键的作用，影响着系统识别人脸的识别率。人脸识别方法有几何特征的方法、相关匹配的方法、子空间方法和统计识别的方法等[2]。近几年来应用神经网络进行人脸识别非常流行，尤其是卷积神经网络。卷积神经网络对图像识别有很强的优势，支持向量机有很好的分类效果，在人脸识别中也被广泛的运用[3]。

本文方法结合卷积神经网络和支持向量机对人脸进行识别。首先，对人脸图像进行卷积和下采样处理，处理后由支持向量机分类识别，最后使用AR人脸数据库进行验证，识别出200张有遮挡的人脸图片。

1 卷积神经网络(CNN)

卷积神经网络是一类特殊的多层神经网络，与其他的神经网络一样是用BP神经网络算法进行训练，只是用在卷积神经网络的结构有点不同。卷积神经网络可以直接识别视觉图像，它进行像素图像的预处理，并具有鲁棒性和简单的几何变换。卷积网络识别图像的传统步骤如图1所示。通过将图像输入CNN网络，训练后，再分类识别得出结果。

图1 CNN识别图像的传统步骤

卷积神经网络经典结构是LeNet-5。如图2所示。LeNet-5是LeCun提出的一个应用在手写数字识别的神经网络。如图，其中处理层包含卷积层C1和C3，中间靠两个下采样层S2和S4连接，最后是输出层。

图2 LeNet-5经典结构卷积神经网络

卷积层的每一个特征图是之前的特征图通过卷积核与滤波卷积和的结果，再增加偏置项应用于非线性函数。输入的特征图的值如式(1)所示，通过训练调整k和b的值，找到最好的，再用已经训练好的特征图来识别其他的图片[4]。

(1)

其中，f(·)为激活函数，一般为sigmoid或者tanh；b为偏置项。上一层图的大小为m×m，卷积核为n×n，卷积后的图大小为(m-n+1)×(m-n+1)。

下采样是为了达到空间不变性，通过采用减少特征图的方法来对上一层特征图降维，下采样的形式如式(2)[5]：

(2)

其中down(·)为下采样函数，类似于卷积；β为乘性偏置；b为加性偏置。特征图像在维度上进行了缩小，用n×n大小的窗口进行采样，最后缩小的图像为(m/n)×(m/n)。

2 支持向量机(SVM)

支持向量机是AT&TBell 实验室的V.Vapnik等人在1995年提出的算法。支持向量机用于二分类寻找特征空间上的间隔最大的线性分类器。其原理示意如图3所示[6]。

图3 SVM原理示意图

本文使用的SVM是台湾林智仁(Lin Chih-Jen)教授开发设计的MATLAB版LIBSVM 3.22。LibSVM[7]大规模线性分类器，包含了单类支持向量机和用支持向量机实现多类分类的功能，还包含交叉验证、用网格试算方法选择核函数参数的功能[8]。

3 本文算法(CNN+SVM)

图5 卷积神经网络加LibSVM工作流程

本文使用卷积神经网络和SVM结合的算法，如图4所示。这样的算法相比传统的遮挡人脸识别算法在识别率上有所提高，在后面的实验中将会验证。本文算法其中包含有卷积神经网络的卷积层、池化层、全连接层和Softmax。本文使用的卷积神经网络结构类似于LeNet-5结构，其中分别有2个卷积层、2个下采样层和1个全连接层，整个网络中的卷积层和下采样层交替运行，最后一个下采样层与全连接层相连，全连接层再通过Softmax分类器到LibSVM，最后进行训练和测试并输出结果，具体结构如图5所示。

图4 CNN结合LibSVM

本文的工作流程如下：

(1)样本输入卷积后生成卷积层1；

(2)卷积层1的图片下采样生成池化层1；

(3)重复上述过程生成卷积层2和池化层2；

(4)把池化层2的二维数据转变为一维，这一维为全连接层；

(5)全连接层数据传给Softmax；

(6)最后由LibSVM训练以及分类识别测试图像。

4 仿真实验

4.1 实验设定

实验使用的是AR人脸数据库，如图6所示为数据库中的1个人的26张不同状态的人脸。人脸库中有100个不同的人脸，有分男和女，有遮挡眼睛和嘴巴，有不同光照角度等不同状态。每个人脸有26张不同状态的图，总共2 600张，本文把每个人脸中的24张为训练图和2张为测试图，总共有2 400张训练图和200张测试图，其中2张测试图为随机1张眼睛遮挡和1张嘴巴遮挡。本文主要测试人脸遮挡情况下的人脸识别率。

图6 AR人脸数据库

实验操作步骤：

(1)每张图原图为165×120，用MATLAB命令imresize设置图片大小为28×28，然后归一化处理。

(2)卷积神经网络的卷积核设置为5×5，采样大小为2×2(平均值下采样)，经过2次卷积和2次下采样，最后输出4×4的特征图。然后使其为16×1的全连接输入给Softmax。Softmax输出结果输入给LibSVM。

(3)LibSVM算法分类识别测试图像，直接识别出200张人脸遮挡图片分别为某人。

(4)进行十折交叉验证，6张眼睛遮挡和6张嘴巴遮挡每个挑选一个做测试样本，剩下的都作为训练样本，一共是6次。在无遮挡中挑选4次，总共进行10次上述步骤，最后求出平均识别率。

卷积时使用的卷积核是卷积神经网络训练好k值和b值后的卷积核，其中不同的迭代次数有不同的k和b值，识别率也不同，本文用0.12的学习率，分别迭代80次、100次、200次、500次、1 000次和2 000次。

4.2 实验结果

实验结果如表1、表2所示。

表1 算法识别率比较

表2 CNN+SVM算法与其他算法识别率比较

4.3 实验结论

本文提出用卷积神经网络结合LibSVM来分类识别AR人脸数据库的人脸，由表1结果可知，当迭代数增加，识别率也相应地提高，当迭代次数增加到一定数值时，识别率提高效果不明显。由表2比较其他算法卷积神经网络结合支持向量机在AR人脸识别率上也有一定的优势。对测试结果进行分析可知，CNN结合LibSVM的算法对分类识别遮挡人脸有良好的效果，提高了一定的识别率，为遮挡人脸识别提供了一种新的方法。

5 结束语

人脸识别一直被广泛的关注，主要在于它有着广泛的应用。从原来的特征提取结合SVM到现在的卷积神经网络，其识别率一直在不断地提高。后续可以通过对网络的算法和训练的算法进行改进，进而增强人脸的识别。

[1] 陈海霞，崔茜.基于Gabor小波和PCA的人脸识别[J].东北师范大学报(自然科学版),2014,46(4):77-80.

[2] 祝秀萍,吴学毅,刘文峰. 人脸识别综述与展望[J]. 计算机与信息技术,2008(4):53-56.

[3] 舒双宝,罗家融,徐从东,等. 一种基于支持向量机的人脸识别新方法[J]. 计算机仿真,2011,28(2):280-283.

[4] SYAFEEZA A R, KHALIL-HANI M, LIEW S S, et al. Convolutional neural network for face recognition with pose and illumination variation[J]. International Journal of Engineering & Technology,2014,6(1):44-57.

[5] LECUN Y, KAVUKCUOGLU K, FARABET C. Convolutional networks and applications in vision[C]. In Proceedings of the IEEE International Symposium on Circuits and Systems, Paris, France, 2010: 253-256.

[6] 王书舟,伞冶. 支持向量机的训练算法综述[J]. 智能系统学报,2008,3(6):467-475.

[7] FAN R E, CHEN P H, LIN C J. Working set selection using second order information for training SVM[J]. Journal of Machine Learning Research, 2005,6(4):1889-1918.

[8] 张学工. 模式识别(第三版)[M]. 北京：清华大学出版社，2010.

[9] 张建明,周威,吴宏林. 基于Gabor特征和支持向量引导字典学习的人脸识别[J]. 计算机工程与应用,2016,52(13): 177-182.

[10] YANG J, ZHANG D,FRANGI A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004,26(1):131-137.

Study on face recognition based on CNN and SVM

Huang Chao, Bo Hua

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

In this paper, a method combining convolution neural network and support vector machine is proposed for occluded face recognition. Through the convolution, deconvolution and Softmax feature extraction of convolution neural network, the training and recognition are completed by support vector machine. Experiments are carried out using AR face database and compared with traditional face recognition methods. Experimental results show that the proposed method has higher recognition rate.

convolution neural network; support vector machine; face recognition

TP391

A

10.19358/j.issn.1674- 7720.2017.15.016

黄超，薄华.基于卷积神经网络结合SVM的人脸识别研究[J].微型机与应用，2017,36(15)：56-58,72.

2017-02-07)

黄超(1987-) ，男，硕士研究生，主要研究方向: 图像处理与机器学习。

薄华(1971-) ，女，博士，硕士生导师，主要研究方向：遥感图像处理、模式识别、人工智能。