基于位移特征与个性化学习的动态序列人脸表情识别方法

耿 涛

(亳州学院 电子与信息工程系，安徽 亳州 236800)

人工智能识别技术在近几年的新兴技术中脱颖而出，得到了越来越多专家学者的关注，并被广泛应用在相关领域中.人脸识别与表情分析是智能识别技术的主要内容，在生活中也发挥着重要作用，是应用范围最广泛的技术之一.例如在身份识别与身份鉴定中，人脸识别可有效避免鉴定结果异常，降低用户信息的识别误差[1-2].为了更好地进行人脸智能化识别，将人脸表情融入到识别过程成为智能识别技术在未来主要的发展方向.面部表情是人类沟通过程中除去语言后最重要的载体，不仅可以表达当事人的情绪，也可以确定当事人的人格特征，可作为人体行为信息对人的精神状态进行表达.与此同时，智能家居、辅助医疗器械等智能技术不断渗透到日常生活中，大量的新兴技术与设备均需要根据人的情感作出设置，这与表情识别技术具有直接的联系，使得人脸表情识别技术具有非常广阔的发展前景[3].

由于个体的差异性，表情的表达形式多种多样，如何应用计算机技术对动态序列中的人脸表情作为当前人脸识别领域的研究重点.在研究中提出了多种动态序列人脸表情识别方法.文献[4]中提出了一种在现有的人脸数据集上人为增设破损样本集，修复图像采集结果，提高人脸表情识别效果的方法.此方法对人脸数据采集量的要求较大，应用过程复杂，无法在短时间内完成识别过程.文献[5]提出了一种通过情感标签完成人脸表情识别过程的方法，此方法识别精度较高，但具有一定的应用局限.针对以上动态序列人脸表情识别方法存在的问题，本次研究使用位移特征以及个性化学习对当前方法进行优化，设计基于位移特征与个性化学习的动态序列人脸表情识别方法，以期对当前方法的不足进行完善.

1 基于位移特征与个性化学习的动 态序列人脸表情识别方法

在本次研究展开前，对当前动态序列人脸表情识别方法的不足展开分析.同时，对位移特征与个性化学习技术的应用过程进行了全面了解，根据文献研究结果可知，个性化学习方法是一种基于机器学习与深度学习算法的新型人工智能识别技术.在其使用过程中需要大量的数据运算，以此确保识别结果精度.

1.1 人脸表情检测与预处理

在对大量的文献进行分析后，选择积分图法获取动态序列人脸表情图像[6-7].在当前识别方法中多使用Haar-like方法获取人脸表情图像[8]，此方法计算过程较为复杂，计算难度较大，积分图法可以简化其使用过程.在动态序列图像中，获取点Z(x,y)的积分值也就是此点上方范围内的像素值c(x,y)之和，将其设定为call(x,y)，点Z(x,y)为目标图像区域内的任意一点.其中，q(x,y)为点Z(x,y)对应列中的像素点之和，则call(x,y)可表示为：

call(x,y)=∑x≤xall,y≤yall(xall,yall).

(1)

式中:xall表示横坐标像素点之和;yall表示纵坐标像素点之和.此公式推导后可得到人脸表情积分图像，具体推导过程如下所示：

(2)

当前方法需要对图像中的像素点展开频繁计算，降低人脸识别速度[9-10].使用上述公式后，可有效减少计算量，通过计算获取动态序列中的原始人脸图像，具体人脸图像检测过程设定如图1所示.

图1 人脸检测过程

根据图1流程，构建人脸特征弱分类器，具体公式如下：

(3)

式中:gi(x)表示经过公式(1)和公式(2)整合得到的弱分类器，fi(x)表示人脸表情识别过程中的特征值；αi表示分类器阈值；di表示分类器方向.gi(x)=1说明人脸表情检测成功，gi(x)=0说明人脸表情检测失败.使用此分类器获取人脸图像，并对人脸表情图像展开权值初始化计算，具体公式如下：

(4)

使用上述公式，对获取的人脸表情图像赋值，赋值结果应符合后续处理过程的使用要求.通过归一化计算控制赋值结果的合理性，则有：

(5)

式中:rij表示人脸表情图像赋值权重.由上述公式确定权重赋值的合理性，完成人脸图像的预处理过程,将处理后的人脸图像作为后续人脸表情识别的数据来源.

1.2 构建动态序列人脸表情位移特征提取模型

应用公式(3)可得到动态序列中原始人脸图像，由于动态序列受到时间序列的影响，人脸中的表情特征点会发生相应的位移.在本次研究中构建动态序列人脸表情位移特征提取模型，提高人脸表情特征提取精度.

设定β表示模型激活函数，rs表示原始图像输入时的权值，li表示当前输入动态序列，li-1为动态序列中第i-1帧的人脸表情信息，将其作为动态序列人脸表情位移特征提取模型中t时刻的输入值，rt表示特征输入时对应的权值，gi表示i时刻的输入值，则模型原始输入值可表示为：

w=β(rsli+rtli-1+rtpi-1+gi).

(6)

式中:pi-1表示特征提取模型在上一时刻的输入值.为获取位移数据，对历史数据展开计算，则有：

wl=β(rlsli+rltli-1+rltpi+1+gl).

(7)

式中:rls表示表示原始图像输出时的权值;rlt表示特征输出时对应的权值;pi+1表示特征提取模型在上一时刻的输出值;gl表示i时刻的输出值.根据此公式得到对应的位移数据，从而得到人脸面部表情的特征信息，特征提取过程如下：

gl=wl×tang.

(8)

由上述公式可得到人脸表情图像中的位移特征数据，并对位移特征数据进行保存、读取与重置.如果位移特征数据不符合使用要求时，可以通过更新长距离的方式获取新的特征数据[11-12].特征数据处理过程不是每个时刻的位移数据都具有同等的重要性，因此，使用公式(7)对动态序列人脸图像进行多次计算，设定相应的损失函数[13-15]，剔除数据中的差异性信息，得到最终的表情特征数据，并将其设定为表情标签，为后续的表情识别提供帮助.

1.3 动态序列人脸表情识别

本部分中将使用采集到的表情特征，通过对位移特征点跟踪的方式，完成人脸表情识别过程[16-17].由于研究中的图像具有动态性，因此在位移特征的原始输入位置计算光流，将采集到的表情动态位移作为后续位置特征输出的初始值，不断重复计算过程，得到一个不断精确的光流估计数值.

在研究中，根据个性化学习算法中的相关原理作为指导思想，获取光流估计值[18].采用下列表达形式，确定光流向量的取值范围，使得

R=Q+m.

(9)

式中:Q表示动态序列中未识别的人脸表情图像的位移特征点，m表示在预设表情图像中对应的特征点，然后在待检测图像中确定表情定位点k的位置，即

(10)

式中:kx表示图像中确定表情定位点横坐标，表示ky图像中确定表情定位点纵坐标，T表示转置，q表示系数.根据获取到的表情定位点信息，利用L-K迭代算法进行多次运算得到人脸表情图像的梯度矩阵E，确定动态序列人脸图像中的光流[19-20]，其计算公式为

G=E-1×θ.

(11)

式中:θ表示图像中的不匹配向量.同时使用公式(9)与公式(10)进行反复运算，得到最终的光流估算值.使用上述计算过程对采集到的位移特征点展开计算，确定人脸表情的动态特征，完成人脸表情识别工作.

2 实验结果及分析

2.1 实验准备

为验证本文方法的识别效果，选择两种识别方法作为对照组，使用人脸表情数据库，完成应用实验分析过程.此次使用的实验人脸表情库通过视频采集获取，图像通过两组相应设定的相机同时拍摄，共获取600组实验样本，其中标签样本共计350组，包含生气、恐惧、喜悦、伤心、厌恶以及好奇六种表情.此实验表情库在使用的过程中不计入光线条件，仅对人脸表情进行分析.

本实验过程中涉及图像识别以及计算部分较多，为此对实验平台设定，具体参数如表1所列.

2.2 实验过程

在完成实验准备工作后，对本实验的实施过程进行设定.将文中提出的个性化学习识别方法与文献[4]方法、文献[5]方法所需软件安装到实验平台中，对预先设定的人脸表情实验集进行表情识别.在实验中将精细人脸表情划分、指定表情检索以及表情细节关键点识别作为实验的主要内容.每一组实验将进行20次，每4次取一次平均值作为实验结果输出.根据此实验数据，确定个性化学习识别方法的识别能力，完成个性化学习识别方法与当前识别方法的对比.

表1 实验参数表

2.3 实验结果分析

2.3.1 人脸表情划分精度实验结果分析

在本实验中，将人脸表情划分精度作为实验的第一组指标，确定实验方法的图像类别划分能力.人脸表情化划分精度结果如表2所列.

表2 人脸表情划分精度

根据表2可知，个性化学习识别方法的类别划分性能明显优于当前识别方法.每次实验中都会对预设的6种表情进行划分，个性化学习识别方法在使用后可对每一种表情展开高精度划分，确保后续表情识别结果的可靠性.文献[4]方法和文献[5]方法对预设的部分表情无法完成高精度划分，时常出现部分表情图像无法归类的问题，对后续的处理会造成不良影响.综合上述分析结果可知，本文个性化学习识别方法的表情类别划分能力更强.

2.3.2 指定表情检索实验结果分析

在进行表情检索时不同的识别方法会得到不同的结果，具体结果如表3所列.

表3 指定表情检索结果

在本实验中，个性化学习识别方法对于指定表情的检索能力较强，可获取大部分表情图像，其图像检索结果与表情图像实际数量大致相同.与个性化学习识别方法相比，文献方法虽然可以完成指定表情的识别工作，但是其检索出的数量与实际数量相差较大，可见其检索精度较差.通过上述分析结果可以确定，个性化学习识别方法的使用效果优于当前方法.

2.3.3 表情细节关键点识别实验结果分析

在此实验过程中，主要将实验目标设定为随机筛选的5张人脸表情图像，同时对此部分图像中的主要表情识别点进行了分析，使用本文个性化学习识别方法与当前识别方法对其进行识别，具体结果如表4所列.

表4 表情细节关键点识别数量

通过表4可知，个性化学习识别方法对于表情关键点的识别能力明显优于文献方法.通过文献研究可知，面部表情关键点的识别效果对人脸表情识别效果有一定影响.

综上所述，在本实验过程中共进行了3组实验，从多个角度对个性化学习识别方法的识别精度与识别能力进行分析，证实本文方法的使用效果优于当前方法.

3 结论

随着人工智能技术的不断发展，用户确定增加情感分析部分已经成为云计算发展的重要方向.人脸表情识别作为用户情感信息交流中的重要手段，其识别结果精度对用户分析具有重要意义.人脸表情识别是人脸识别技术应用的重要环节，也是人工智能交互领域中的重要研究课题.本次研究将当前动态序列中的表情识别方法作为设计蓝本，使用位移特征及个性化学习方法对其进行优化设计，在现有基础上提升识别精度与使用效果.在今后的研究中，将会增加信息融合技术对所提方法进行完善，在表情的基础上增加语音等信息的识别过程，使用更加准确的用户信息，捕捉用户的表情类型，进一步提升识别精度.