基于深度学习特征的多模态人脸快速识别研究

雷燕，李 杰，董 博，孙 艳，袁敬

（中共国网甘肃省电力公司党校（培训中心），甘肃兰州 730070）

三维数据采集技术飞速发展，已经被广泛应用在人脸识别领域，三维数据的质量和精确度要求越来越高。多模态人脸识别过程中会受到不同因素影响，导致人脸识别速度缓慢，因此对于人脸快速识别的研究成为了人脸识别领域的研究方向之一。

文献[1]提出基于Hadoop 平台的多模态人脸识别方法。该方法将改进后的开源人脸识别库与Hadoop 平台结合，在确保识别准确率的前提下提升人脸检测速度，实现大规模多模态人脸图像识别。但该方法只能识别存在于人脸识别库中的人脸，局限性高。文献[2]提出基于彩色和深度信息的多模态人脸识别方法。采集人脸彩色和深度图像，采用三维点云实现彩色图片人脸特征提取和逐点卷积操作，实现人脸识别。但是该方法的识别效率较低。

为了弥补传统方式的不足，提出基于深度学习特征的多模态人脸快速识别方法。

1 基于深度学习的多模态人脸特征提取

利用3D 结构光三维扫描管理系统获取人脸样本图像[3-4]，使用基于深度学习的卷积神经网络提取浅层人脸数据的物理与视觉特征。为保证网络结构清晰，几何、模型、统计三个通道都使用同样的结构。

卷积神经深度学习网络包括卷积运算、非线性变换和池化操作三部分，各个步骤的输入与输出为特征矢量，下一阶段的输入特性可以看作上一步骤输出。多模态人脸的深层特性是由人脸特征信息提取网络中第五个池化操作层提供的几何、模型和统计信号所构成的。假设Cj(i∈{1,…,5})、Pj(j∈{1,…,5})分别表示在卷积层和池化层上的特征映射，在第五个池化操作层的特征图可利用下列公式得到：

式中，P5为池的操作层函数；W5为卷积内核；C4表示模型可训练参数；b5表示偏置参数。

文中将分别通过几何、建模和统计的数据得到三条特征曲线Ft、Fe和Fs[7-8]，得到的特征曲线如图1所示。

图1 特征曲线

根据特征曲线[5-6]和式（1）可以得到非线性函数，具体描述如下：

式中，x为函数自变量。在特征池化方法中，文中应用的是pooling 方法，该函数可以保持小区域内的特征不变。

2 多模态人脸提取特征深度分析

在提取多模态人脸特征后，结合三个特征曲线进行深度分析，定位人脸特征点，如图2 所示。

图2 多模态人脸提取特征深度分析

具体步骤为：

第一步：进行三维人脸建模，其Z轴与人脸平面相同，可以将三维点云数据中在Z轴位置值较大的顶点作为鼻尖节点[9-10]。根据鼻尖点的定位结果，可得到在水平和垂直方向上的两条等值线和九个重要特征点，用Q1-Q9表示。

第二步：分析点Q1的水平等值线变化规律，将梯度值按等值线的深度变化分为四个点，记为双眼特征点，将这四个点标记为Q10-Q13。

第三步：水平方向的分析中，鼻子的特征点位于鼻子两侧，记为Q8和Q9，其相对位置距离相同，鼻子上方和下方的边界点为Q1和Q3[11-12]。

第四步：眼内角点和Q8与Q9的水平线交点记为Q5，该点为嘴部区域的最高点，控制着嘴部的水平高度，其连线交叉的其他点依次标记为Q14-Q15。在垂直方向的分析中，Q4与Q7为嘴部区域的平均高度[13-14]。

3 基于深度特征分析的多模态人脸快速识别

得到人脸特征点后，从一张人脸图片中提取多模态的人脸并对其进行表示。这些表示包括完整人脸图片、人脸特征点及3D 基准模型得到的正面人脸、人脸特征点周围的局部图像块。一方面利用完整人脸图片确定人脸的全局特征；另一方面根据人脸特征点及3D 基准模型得到的正面人脸表示结果确定具有姿态不变性的特征，通过人脸特征点周围的局部图像块确定局部特征。

文中通过深度特征分析方法得到姿态不变性的人脸表示结果，将贝塞尔人脸模型的平均形状作为通用3D 模型。根据3D 模型得到2D 人脸图像。其中深度特征分析模型包括两种结构：第一种为卷积神经网络，可对全局特征进行提取；第二种为局部特征提取网络，该网络只能对局部特征进行提取，并且卷积神经网络对于高度非线性的人脸姿态变化更具鲁棒性。与局部特征提取网络相比，卷积神经网络有着数量更多的参数，因此更容易过拟合，因此文中使用数据增强和早停止策略来减少过拟合现象。

将卷积神经网络提取到的特征表示为{x1,x2,xK},其中，xi∈Rd，1≤i≤K，K=8，d=512，用于人…,脸识别的多模态信息。文中通过融合这些特征，得到一个更长的特征向量，表示为：

由于X的维度太高，识别速度过于缓慢，因此文中采用自动编码器对X进行降维，以此极大提升人脸识别速度[15-16]。

使用一个三层自动编码器进行编码，各层自动编码器的神经元数分别为2 048、1 024、512，自动编码器最后的输出即为人脸图像的紧密特征。将sigmoid函数作为激活函数，每一个连接层可以表示为：

其中，，bf和xi分别为全连接模式下输入的数值、权重值、偏置值。在决策阶段，使用联合贝叶斯模型作为分类器，减去均值后的脸部特征是由两个独立的高斯变量组成的，具体如下：

其中，μ表示人脸的身份信息，ε代表人脸表情变化参数。

假设类内变化概率为P(x1,x2∣H1)，而类间变化概率为P(x1,x2∣HE)，优化目标为“使类内变化尽可能小而类间变化尽可能大”。由上述计算得出，这两种概率仍然服从高斯分布，采用EM 算法对两种高斯变量进行数据学习，得到似然率，有效地对人脸特征进行快速识别，以此完成基于深度学习特征分析的多模态人脸快速识别方法设计。

4 实验研究

为了验证文中提出的基于深度学习特征的多模态人脸快速识别方法的实际应用效果，设定实验，选用传统的基于Hadoop 平台的多模态人脸识别方法和基于彩色和深度信息的多模态人脸识别方法进行实验对比。

选用的数据库为三维人脸数据库，数据库共包含10 组人脸。其中，男性人数为4 人，女性人数为6 人。通过扫描仪对人脸进行识别，在识别过程中需要注意被选择的对象不能佩戴任何饰品，也不能戴眼镜。

在进行实验时，根据五个人脸特征点将2D 人脸图像映射到3D 模型上，根据人脸特征点及3D 基准模型得到正面人脸表示，将3D 模型上预先标好的15个特征点映射回2D 图像。在每个映射后的2D 特征点周围截取100×100 的像素块，并选择其中六块作为人脸特征点周围的局部图像块。得到人脸表示后，将这些图片作为输入，分别送入多个深度特征分析模型中进行训练，得到多个深度特征向量。将这些特征向量连接，并作为深度特征分析模型的输入进行降维处理，分析实验结果。

设定验收时间为24 h，得到的识别率实验结果如图3-4 所示。

图3 男性识别率实验结果

图4 女性识别率实验结果

根据图3-4 可知，三种识别方法对于男性和女性所表现出的识别效果不同。基于Hadoop 平台的多模态人脸识别方法在识别男性人脸时，识别率更高，而基于彩色和深度信息的多模态人脸识别方法在识别女性人脸时，具有较强的识别能力，但是这两种方法在识别另一种性别的人脸时，都显现出较高的局限性。而文中提出的基于深度学习特征的多模态人脸快速识别方法通过同时采集数据特征完成信息分析，因此针对男性和女性都具有较强的识别能力。

多模态人脸快速识别错误率实验结果如表1所示。

表1 识别错误率实验结果

由表1 可知，传统的识别方法在识别过程中容易受到光线和其他外界环境因素的影响，识别错误率较高，识别能力较差，无法进行精准识别。文中方法具有很强的识别能力，能够在短时间内完成人脸精准识别。

识别速度实验结果如表2 所示。

表2 识别速度实验结果

观察表2 可知，文中方法通过深度学习缩短三维数据的获取时间，在分析特征后迅速生成图像，完成人脸识别。文中的三维图像资料是由3D 结构光三维扫描管理系统获得，该系统对于人脸特征的定位是对人脸特征进行多个角度的拍照，并在短时间内完成拼接，得到三维彩色人脸特征样本，同时针对得到的三维图像资料进行一定的剪切、校对、补漏以及噪音消除等处理。经过该系统获得的三维人脸数据位置具有很强的稳定性，通过分析人脸数据的结构信息便可得到人脸关键特征点的定位，因此识别时间更短，更适合于实际应用。

5 结束语

文中根据深度学习理论提出了一种新颖的多模态人脸快速识别方法，利用三条不同的特征曲线，对信息进行深度分析，通过深度学习特征提取实现快速识别。实验结果表明，文中提出的人脸快速识别方法相比于传统方法，能够更加快速地实现多模态人脸识别，并提高识别精度，在人脸识别领域具有很好的应用效果。