基于广义对称变换的多模态人脸面部特征识别方法

周天绮，徐胜超

(1.浙江医药高等专科学校 医疗器械学院，浙江 宁波 315100；2.广州华商学院 数据科学学院，广东 广州 511300)

0 引 言

现阶段，人脸识别技术已经广泛应用于各个领域中，其主要通过计算机设备对人脸面部进行扫描，从扫描结果中获取有效信息，从而完成身份识别。随着人脸识别与其它科学的交叉发展，人脸面部特征分析逐渐受到关注，针对面部特征的研究也有很多。

文献[1]将改进单层神经网络与C-Canny算法进行结合，设计一种面部特征点定位方法。实验结果表明，该方法可以有效降低面部特征识别中的损失函数值，并且能够有效克服由于光照和角度等问题导致的定位误差，但是在人脸表情变化时，定位的准确率较低。文献[2]设计基于面部特征激光光点定位的人脸识别方法。实验结果表明，该方法对人脸特征识别的准确率较高，但是在光照等客观因素的影响下，该方法的识别效率不高。

为了解决传统方法存在的人脸特征识别准确率不高于特征识别时间较长的问题，将广义对称变换方法应用至多模态人脸特征识别中，旨在提升识别方法的识别效果。对称性作为物体的一项基本特征，其能够对物体形状进行准确描述，而人的面部结构中，眼、鼻、嘴等均具有对称性质。广义对称变换主要以人脸的生理几何分布特征为理论依据，该方法具有受客观因素影响较小的优势，因此，本文先提取出面部的主要对称成分信息，然后通过广义对称变换法实现面部特征的识别。

1 多模态人脸面部特征提取

通过积分投影[3]获取人脸的最低点C(xc,yc)、 鼻子和嘴唇的MBR，即人脸含有特征点的最小边界矩形[4]。通过点C(xc,yc) 将人脸面部轮廓分为左右两个部分，左脸与右脸存在一定的对称性，但不完全对称。自下而上搜寻面部轮廓点，直至搜索部位的水平方向与鼻尖部位相齐时停止搜索，具体操作如下：

(1)首先通过能量函数获得下巴最低点。作一条以C(xc,yc) 为中心的水平直线段LR，令LC=CR=δ。 假设L的坐标记作 (xl,y)， R坐标记作 (xr,y)， 则定义能量函数可以表示为

Etotal=Eupper+Eedge

(1)

其中，Eedge(x,y)表示像素 (x,y) 的Sobel算子[5]在不同方向上的最大值；Eupper表示像素灰度值。图1为不同方向上Sobel算子的分布。

图1 不同方向上的Sobel算子

令y在 (yc-α,yc+α) 范围内变化，α为一个固定值，则当Etotal最小时，完成校验，并且将此时的y值赋予给yc。

(2)提取面部轮廓。根据面部轮廓[6,7]，定义3种先验模板，图2为面部左轮廓。

图2 面部左轮廓

先验模板中所含有的数字主要用来描述像素优先级的高低，根据不同面部区域的实际情况，应该选择不同类型的先验模板，图2中粗线条部分即为需要提取的左脸特征，左脸先验模板与相应区域的描述如下：

步骤1 若xL_mMBR

上述yT_mMBR，yB_nMBR，xL_mMBR，y_mMBR分别代表嘴部上界、嘴部下界、嘴部左边界、鼻子下边界，以上参数通过积分投影获得。

面向脸部的不同区域，首先设定标志量ImagineDot=FALSE。 在面部的二值边界图[8]中，以点C为起点，在区域1中通过模板1对边界点进行依次选取。假设Ci-1(xi-1,yi-1) 为目标点，如果优先级是1，2，3的点内含有至少一个边界点，那么下一点Ci(xi,yi) 的顺序即为模板LPT-1。 令ImaginDot=FALSE， 如果模板中出现断点，证明优先级是1，2，3的面部轮廓点为非边界点，则选用如下补偿机制进行处理：如果ImaginDot=FALSE， 将优先级为1的点定义为Ci， 此时LPT-1有：xi=xi-1-1，yi=yi-1， 同时使ImaginDot=FALSE。

如果ImaginDot=FALSE， 则将优先级是1，2，3的点定义为Ci， 所采用的判据如下

E=-w1Eedge(x,y)-w2g(xin,yin)+w3g(xout,yout)

(2)

式中：g(xin,yin) 表示像素 (x,y) 在面部轮廓的法线正方向上指向唇部部分的相邻像素；g(xout,yout) 表示像素 (x,y) 法线正方向上背离唇部部分的相邻像素。这里以区域1的先验模板举例，xin=xout=x，yin=y-1，yout=y+1。 计算出优先级是1，2，3点的E值，并且将E值最小的点视为Ci， 同时令ImaginDot=FALSE。 在区域2、区域3中分别使用先验模板LPT-2、 LPT-3， 发现断点时使用与LPT-1相似的补偿机制[9]。不同之处在于，区域2中，xin=x+1，xout=x-1，yin=y-1，yout=y+1； 区域3中，xin=x+1，xout=x-1，yin=yout=y。

同理，右脸的面部特征提取方法和左侧基本相似，只有以下参数的取值略有不同，对于区域2，xin=x-1，xout=x+1，yin=y-1，yout=y+1。 对于区域3，xin=x-1，xout=x+1，yin=yout=y。

2 基于广义对称变换的面部特征识别

广义对称变换方法主要描述图像中各个点的对称性，面向的具体对象是图像中的局部算子[10]，因此以上文特征提取获得的人脸左右部分特征结果为基础，运用广义对称变换方法对面部特征进行识别。

vk=(ηk,θk)

(3)

设置aij为pi和pj两点之间连线与水平线形成的逆时针夹角，由于两点之间存在无序性，因此，将aij的值域设定为 [0,π]。 定义以点p为中心的点对集合为Γ(p)， 距离权重函数为Dσ(i,j)， 那么相位权重函数p(i,j) 可以表示为

p(i,j)=(1-s(θi+θj-2aij))×(1-cos(θi-θj))

(4)

式中：θi表示与各点梯度值成反比的权函数；θj表示与各点梯度值成正比的权函数；s表示特征向量。定义点pi与点pj的对称性贡献如下

一辆2014款上汽通用别克君威，搭载排量为2.4L的LE5发动机，行驶里程为145 800km，据车主反映：该车发动机能正常启动，但怠速运行一段时间后，发动机会发出“哗啦、哗啦”异响，同时发动机抖动严重，踩下加速踏板，发动机转速不上升，发动机故障灯点亮。该车进4S店检修，被维修人员告知应更换正时链条，因为正时链条可能出现拉长的问题，考虑到更换正时链条需要8 000多元，所以车主将车送到我店维修。

C(i,j)=Dσ(i,j)P(i,j)rirj

(5)

式中：Dσ(i,j) 表示左右脸对称系数；ri和rj均表示对称面。则点p的对称系数可以表示为

(6)

式中：n表示对称点个数。对人脸的对称主成分进行分析，利用人脸镜像对称性结合广义对称变换对人脸特征进行识别。将所得特征样本带入到人脸特征识别中，对人脸图像进行分解，不仅考虑不同面部特征在人脸图像中所占比例各异的问题，同时，充分考虑视角、光照等因素对特征选择的影响，对特征项进行奇偶正交重构，并借助镜像样本提升样本容量，增强识别性能。对称主成分原理如下：

对任意函数进行分解如式(7)所示

f(x)=fe(x)+fo(x)

(7)

式中：fo(x)、fe(x) 分别表示奇偶对称函数。对fo(x)、fe(x) 进行进一步分解，并将其表示成一组偶对称函数和一组奇对称函数，这就表明任意函数均可由偶对称函数和奇对称函数组成。将以上理论应用于面部图像特征识别中，定义各特征量是以图像中心垂直线为对称轴的镜像对称。则可将面部图像分解为

Γ=Γo+Γe

(8)

(9)

(10)

其中，Γe和Γo分别表示镜像的偶对称和奇对称；Γm表示镜像图像。

设Γe、Γo及Γm的样本集合分别表示为ΓE、ΓO及ΓM，其样本均值分别表示为me，mo，mm， 样本的总体协方差矩阵为E、O及M，E、O矩阵中的非零本征值为λei(i=1,2,…re)、λoj(j=1,2,…,ro)， 其本征向量分别可以表示为uei、uoj。re与ro分别表示E、O的秩，即re=rank(E)、ro=rank(O)。 令

Φe=[Uel,…,Uen]∧e=diag(λel,…,λen)

(11)

Φo=[Uol,…,Uon]∧e=diag(λol,…,λon)

(12)

其中， Φe， Φo分别表示面部镜像奇偶对称的KL特征分量。

随后通过对称性分析和广义对称变换完成人脸识别，具体步骤如下：

步骤2 以Φ*=[Φe,Φo] 为特征变换矩阵，提取图像的镜像奇偶对称特征分量。

步骤3 按照方差将提取所得特征分量降序排序，并且将方差相对较大的分量作为特征[11]。在对人脸特征识别的过程中，根据各特征向量间的对称关系，对广义对称向量进行加权处理，随后对人脸图像进行重构，重构后的奇、偶面部图像与待识别的人脸图像作欧氏距离[12]处理，将所得的两个距离相加获得最后距离，识别过程中根据实际情况对该距离设置一个阈值T，当距离大于该阈值时，则采用奇矫正方法进行识别，反之则使用偶矫正方法完成识别。

3 仿真实验

为了验证所提基于广义对称变换的多模态人脸面部特征识别方法的有效性，将特征识别准确率与识别时间作为实验指标，进行仿真实验验证。

3.1 实验样本选取

在实验过程中，通过手工标定的方法对人脸图像的眼睛位置进行对齐，在特征提取的过程中，人脸图像大小为64×80，人脸的两眼间距为28 mm。考虑到图像的对称性质，将变换的频谱宽度设置为64。

实验所用图像均来自于FRGC v2.0数据库，该数据库具有较大规模的人脸数据，用于测评面部特征识别的性能。因此本文在该数据库中对不同方法进行人脸特征识别效果的验证。具体选取40人作为实验对象，分别对40人每人采集10幅图像，其中包括不同的表情和尺度变化图像。为测试各特征的泛化能力，在实验过程中将每人的第1、第3、第5幅图像作为训练样本，剩下图像为测试样本。

3.2 实验结果分析

采用上述实验数据，分别利用本文方法与文献[1]、文献[2]方法同时进行识别测试，对比不同方法的识别准确率，结果见表1。

表1 不同方法识别准确率对比结果

根据表1中的数据可以看出，传统方法的识别准确率明显较低，而本文方法针对不同的训练样本均能保持较高的识别准确率，识别准确率明显高于传统方法，这表明本文方法提取的特征更具有鉴别性，能够更好地克服表情变化、角度变化、光照等不同因素影响。这是由于通过广义对称变换处理面部特征后，在一定程度上消除了面部各特征点的变化误差，使本文方法能够在不依赖训练样本数据的情况下，可以获得较高的识别准确率。

以特征识别时间为指标，对比不同方法的识别效果，结果如图3所示。

图3 不同方法识别时间对比

分析图3可知，随着迭代次数的增加，不同方法的人脸面部特征识别时间均呈现出持续增加的趋势，但是相比较之下，本文方法的识别时间明显低于文献[1]方法和文献[2]方法，其识别时间最长仅为0.6 s，而文献[1]方法和文献[2]方法的识别时间最大值达到了3.0 s以上，通过对比可知，本文方法的识别时间更短，即该方法的识别效率更高。

为了进一步验证本文方法的有效性，以识别结果的全面性为实验指标，对不同方法进行对比分析，识别结果的全面性用数值进行表示，具体区间为0.1～1.0，数值越大，说明识别结果越全面，反之，识别结果不够全面。对比结果如图4所示。

图4 不同方法识别全面性对比

分析图4可知，随着迭代次数的增加，不同方法的识别结果全面性均呈现出不断增加的趋势，但是相比较之下，本文方法的全面性系数更高，其最高值达到了9.2，说明本文方法的多模态人脸面部特征识别结果更加全面。

4 结束语

为降低外界各相关因素对识别准确率的影响，本文提出一种基于广义对称变换的多模态人脸面部特征识别方法。实验结果表明本文方法能够在不依赖训练样本数据的前提下，依然保持较高的准确率，且在不同训练样本数量下的识别准确率均优于传统方法，且识别结果的全面性更好，这是由于广义对称变换识别法主要以人脸的生理几何分布的对称性为理论基础，使识别结果受表情变化、角度和光照情况等因素的影响较低。虽然本文研究在一定程度上对传统方法的人脸特征识别效果进行了改进，但是本文研究的场景不够广泛，接下来将针对不同场景下的人脸特征识别问题进行深入研究，以提升方法的应用范围。