特征融合在人脸识别中的应用研究

姜文秀

（扬州市职业大学 信息工程学院，江苏 扬州 225009）

0 引 言

目前，人脸识别和分析已经在多个领域有了广泛的应用。例如，医疗领域中能够应用人脸表情的变化判断临床中各种疾病引发的病痛；教育应用领域可以借助人脸识别完成各种考试考场的监控，根据考生的表情变化判断是否存在舞弊行为；生活娱乐领域和虚拟现实等体验类游戏可以根据玩家的表情增强游戏的反馈性。此外，人脸识别还被广泛应用于安全支付、管理监控以及教育软件等领域。

随着移动终端和图像处理技术的迅速发展，人脸识别方面的研究也越来越常见，基于几何特征、人脸局部特征以及统计特征的二维人脸识别技术越来越成熟[1]。然而，传统的人脸识别技术大多是根据单一的人脸特征进行识别，很容易受到光照、表情、所处背景以及姿态等因素的影响。

多特征融合技术可以从特征提取的原始数据中得到多种特征向量，并根据特定的融合方法将这多个低维度的特征向量融合为高维度的联合特征向量。将特征融合应用到人脸识别中能够有效克服光照和姿态变化等因素的影响，具有光照不变性和姿态无关性，且不易受饰品、衣物以及毛发等的影响。

人脸识别中应用多特征融合时，首先需要进行人脸特征的提取，并进行初步的建模与处理，其次将提取的多种特征用一定的方式表示出来，最后对多种特征进行融合。

1 人脸特征提取及模型预处理

人脸特征指的是和其他人脸进行区别的本质。人脸特征提取就是提取出能够和其他人脸进行区别的信息，同时还需要剔除人脸特征中存在的不必要信息和干扰信息等。在进行特征提取前需要先进行人脸模型预处理。常见的人脸模型预处理方式包括人脸区域裁切、人脸姿态校正以及三维曲面重建等[2]。

人脸表情多种多样，因此可用于特征提取的方法也很多。目前常见的人脸特征提取的方法包括基于特征降维提取、原始特征提取以及局部特征提取等。

基于特征降维提取的目的是有效降低原始人脸特征的数据量，从所有人脸数据中抓取主要的人脸特征。最常用的特征降维方法是主成分分析法（Principal Component Analysis，PCA）。PCA会对人脸统计特征进行正交运算，以此降低不同分量间的相关性，并从降维后的所有特征向量中提取相关性最大的几个特征，从而在实现降维的同时保留人脸的绝大部分特征信息。和特征降维方法不同的是，局部特征提取方法并不是基于人脸的全局特征提取。因为全局特征容易受到光照和姿态变化等因素的影响，不能区分人脸本身的特征和人脸图像噪声。使用局部特征提取方法对人脸特征进行归一化处理，能够有效降低外界干扰，提高识别效果。

人脸识别时最关注的是人脸中心区域，包括眼睛、眉毛、嘴巴以及鼻子等。其他区域的数据对人脸识别作用不大，而且会增加识别过程中的计算量，所以人脸模型预处理的首要步骤就是对人脸进行区域裁切，只保留人脸中心区域。人脸的姿态除了正面外，还有可能是侧面或背面，此时就需要进行人脸模型姿态校正，目的是将侧面和背面的人脸变换到一个仅仅依赖人脸曲面分布的姿态坐标系中。经过裁切后的人脸可以近似看作是一个上下方向长、左右方向短的椭球，以分析人脸主成分，并提取人脸纵向、横向以及深度方向的3个主要特征，然后利用提取出的特征向量构建姿态坐标系。

2 多特征表示算法

根据人脸不同区域对识别的贡献度不同，将人脸区域划分成5个感兴趣区域（Region of Interest，ROI）[3]。先手工将五官区域的中心点作为区域特征点，然后确定感兴趣区域的大小，再将子区域进行双线性插值操作以完成归一化处理。子区域的划分不是任意的，其个数和分快数对特征维数和人脸识别的性能都有影响。子区域数目越多能够得到越好的人脸特征表示，但同时也会降低人脸识别的性能。

将人脸图像划分成左眼、右眼、眉心、嘴以及鼻子5个子区域后，再将每个子区域分成不同大小的分块，分块的个数及大小如表1所示。

表1 人脸子区域大小及块数

局部二值模式（Local Binary Pattern，LBP）能够有效表达人脸图像局部特征，具有旋转不变性和灰度不变性等特点，不会受到光照等因素的影响。其人脸图像处理算法是定义一个3×3的窗口，将窗口内部像素点的灰度值作为阈值，并将每个像素点相邻的8个像素点的灰度值和当前像素点进行比较，如果相邻像素点的像素值比当前像素值大，则设置为1，否则设置为0。窗口内的像素点按照顺序生成一个8位的二进制数，即为LBP码。

LBP描述算法仅仅比较了中心像素点和其相邻区域的灰度值，忽略了像素间的差异，因此无法表示对比度不变时非线性变换前后的差异，会导致部分人脸信息丢失。针对中心像素值信息丢失的问题，对LBP描述算法的改进如下[4]。增加一个阈值T，人脸像素点的值不再只是0或1。三值模式的阈值采用基于中心像素的动态调节方式，从而降低人脸像素值变化对人脸识别的影响，提高了人脸识别的抗光照变化和噪声干扰的能力。此外，局部三值模式使用正负二值模式进行表示。如果直接使用局部三值模式会导致人脸特征维度由原来的256维（28）增加到6 561维（38），会大大增加识别复杂度。此时，可以将局部三值模式表示为正负二值模式，即正256维（28）和负256维（28），使得特征维度只有512维，既保留了加入阈值T后的人脸细节信息，又降低了特征维数。

预处理最后需要对人脸图像进行灰度值均衡化。由于在人脸采集过程中光照、背景以及肤色等差异会导致人脸图像存在不同程度的明暗现象，如果不对其进行灰度均衡化处理，则会使人脸的灰度等级分布范围较广，无形中增加了计算量。

3 多特征稀疏表示人脸识别

利用上面的多特征表示算法提取到人脸的特征后，可以将所有的特征向量表示为系数矩阵，在进行稀疏重构后将人脸识别问题转化为多个线性回归模型的分类问题。

多特征稀疏表示方法首先通过人脸关键点定位和特征提取得到人脸的局部纹理特征和人脸全局信息，其次借助人脸局部纹理特征和全局信息构建训练字典进行字典学习，再次将人脸识别问题表示为多特征稀疏表示的目标函数，并用加速梯度算法（Accelerated Proximal Gradient，APG）进行求解，最后将目标函数的稀疏系数矩阵传给SVM进行人脸识别[5]。主要过程如图1所示。

对于不同类别的人脸表情，可以将每类表情的样本特征表示为稀疏表示字典及稀疏向量乘积。假设D={d1,d2,…,dn}为稀疏表示字典，并定义w为稀疏向量，则可以将第k类表情的第i个样本的特征yki表示为：

基于多特征稀疏表示方法进行人脸识别系统在实现上可以分成预处理模块、特征提取模块、特征训练模块以及表情识别模块4大模块，用例图表示如图2所示。

在实际进行人脸识别时，采用Holdout策略将人脸样本分成一个训练学习组和一个识别测试组，并从这两个组中随机选择每人每类表情的2～3张图片作为训练样本，每人每类表情中的1张图片作为测试样本，随机进行4次识别试验，得到人脸识别结果如表2所示。

图1 多特征稀疏表示人脸识别示意图

图2 多特征稀疏表示人脸识别系统用例图

表2 4次人脸识别结果的识别率

从试验结果可以看出，应用多特征稀疏表示进行人脸识别的平均识别率接近90%。另外，识别率最高的人脸表情为“惊讶”，这是因为此时人脸的眉毛抬高并弯曲、眼睛睁大，而且可能会出现嘴巴张开和唇齿分离等现象。这种明显的特征变化使得多特征稀疏矩阵更加丰富，从而得到优秀的识别效果。

4 结 论

研究特征融合在人脸识别中的应用，首先介绍了人脸识别的基础人脸特征提取和模型预处理，其次分析了改进的多特征融合算法，增加阈值和正负二值模式两种方式在保留人脸细节信息的情况下降低了特征维数，提高了人脸识别的抗光照变化和噪声干扰的能力，最后使用多特征稀疏表示方法进行人脸识别，并给出了人脸识别结果。