基于稀疏模型的人脸姿态估计

邱丽梅， 吴 龙， 晋芳伟， 熊昌炯

（三明学院物理与机电工程学院，福建 三明 365004）

基于稀疏模型的人脸姿态估计

邱丽梅， 吴 龙， 晋芳伟， 熊昌炯

（三明学院物理与机电工程学院，福建 三明 365004）

针对现有的人脸姿态估计方法易受“自遮挡”影响，采用改进的ASM算法提取人脸特征点，并利用人脸形态的几何统计知识来估计人脸特征点的深度值。以人脸主要特征点建立人脸稀疏模型，在利用相关人脸特征点近似估计人脸姿态后，通过最小二乘法精确估计三维人脸空间姿态。实验结果表明，对于“自遮挡”情况，该方法仍有较好的估计结果，与同类方法比较具有良好的姿态估计精度。

人脸姿态估计；稀疏模型；特征点；最小二乘

人脸姿态估计即从输入的单幅图像或图像序列中确定人脸在三维空间中的姿态的过程。它在人脸识别、智能环境、普适计算、智能屋等新技术及计算机游戏、虚拟现实、智能人机界面、机器人应用、人脸动画合成、意识估计判别、低比特率视频编码、智能视觉监控和司机疲劳检测系统等方面都有着广泛的应用。现有的人脸姿态估计方法大体上可以分为两类[1]：

基于人脸外观的学习方法，即假设三维人脸姿态与人脸图像的某些特性（图像密度、颜色、图像梯度值等）存在唯一的对应关系，用大量已知三维人脸姿态的训练样本，通过统计方法来建立这种关系[2]。

基于模型的方法，即利用某种几何模型或结构来表示人脸的结构和形状，建立模型和图像之间的对应关系，然后通过几何或者其它方法实现人脸空间姿态估计。与上述方法相比，基于模型的方法具有实施简单、精度高等优点，但是它对特征点提取的精度要求较高[3-5]。

在不考虑“自遮挡”情况时，文献[6]已得到了较精确的估计结果，针对“自遮挡”情况和文献[7]中无法准确获得人脸特征点的深度值，本文提出了一种基于稀疏模型和最小二乘法的三维人脸姿态估计方法。实验结果表明，本文提出的方法不仅可以获得稳定和唯一的三维人脸空间姿态，而且与同类方法比较具有良好的稳定性和姿态估计精度，并能适应一定的“自遮挡”情况。

1 人脸模型的建立

1.1 获取特征点3D空间信息

通过改进的活动形状模型（Active Shape Model，简称 ASM）方法提取人脸特征点[8-9]，该算法不仅速度快、精度高，且能适应一定的“自遮挡”情况（如，眼镜及头发小面积的局部遮挡等）和表情变化。准确地提取到所需要的特征点（如两眼、嘴和鼻子等），但对于单张照片在不知道人脸特征点深度及其它信息的前提下进行姿态估计，只采用基于几何模型的方法是不可能实现的。对此，利用人脸形态的几何统计知识来估计人脸特征点的深度值[10]，从而丰富人脸预知信息，实现对单张照片中人脸的姿态估计。

已知人脸n个特征点，则人脸结构可用特征点进行线性组合构造一个稀疏形状向量sL来表示，

式中，上标‘L’表示向量sL是由特征点组合而成的。由人脸特征形态学可知，人脸属于线性结构，因此，人脸特征点向量的估计值可由训练库中所有人脸的稀疏形状向量线性组合而成：

由输入二维人脸图像上的特征点信息，可以求出组合系数η：

通过优化求解得出使)(ηE取最小值的0η。则根据式(3)所有特征点的坐标组成的稀疏形状向量的估计值为：

1.2 建立人脸稀疏模型

选用左右眼内外角点和左右嘴角点，鼻尖，下巴顶点等共 8个主要特征点来构成人脸的模型。模型坐标系的原点选在鼻尖处，这样，人脸的稀疏模型实际由7个点的坐标构成，如下：

其中pi为模型点在自身坐标系中的坐标，xe1、xe2分别表示外、内眼角间距的一半，xm为嘴角间距的一半，yc为下巴定点到鼻尖的距离，z表示相应的深度距离，不同的人脸的这3个值是不同的，其差异部分反映了模型与真实人脸的结构的差异。

假设模型点pi(xi,yi,zi)对应的像点为qi(μi,vi)，R为姿态旋转矩阵，t为平移矩阵，f为像机焦距。根据透视成像可得：

相应的透视成像模型可以表示如下：

姿态估计问题可表述为：已知像机参数C，模型点｛pi,i=1,2,…,n｝和其在像机C中的像点｛qi,i=1,2,…,n｝，求姿态参数(α,β,γ)。

2 人脸姿态估计

2.1 人脸姿态描述

人脸姿态有6个自由度的变化，即沿X、Y、Z轴的平移和绕X、Y、Z轴的旋转。对沿X、Y的平移，在图像上表现为人脸的位置变化，可以通过统一坐标系实现；对沿Z轴的平移，在图像上表现为比例的变化，可以通过比例归一化实现。所以本文重点在于研究人脸绕X、Y、Z三轴的旋转问题，旋转角分别为α、β 和γ。

2.2 基于最小二乘法的姿态精确求解

首先，利用相关特征点进行姿态近似估计，得到人脸姿态近似值α0, β0, γ0。

然后，对式（10），求其最小二乘优化解。通过线性化调整最小二乘[7]，过程如下：在检测图像坐标时总是存在误差的，则，

其中，000,,γβα是近似值，γβαΔΔΔ,,是它们相应的误差。

假设：

在此，不考虑平移量t，通过牛顿第一定律进行线性化得：

其中，“0”上标表示(α0,β0,γ0)所对应的函数值，当Fi1=Fi2=0，线性化方程可被表示成矩阵形式：

3 实 验

本次实验采用CMU PIE人脸数据库，该数据库包含了 68个人的人脸，均为彩色图像，以PPM格式存储，分辨率为640×486，人脸图像大小不一，背景多样，13种不同表情，43种不同光照，5种不同姿态，共41368幅人脸图像。

实验前，对图像进行了去噪和标准化处理，图像大小统一处理为 64×64。对其中的β＝0°，±22.5°，±45° 5个姿态共170幅人脸图像进行了测试，其中也包含了部分“自遮挡”（眼镜和少量头发遮挡）。实验基于Matlab6.5平台，结果表示形式为(γβα,,)，单位为度(°)，随机选取部分结果，如图1所示：

图1 部分估计结果

在一般应用系统中，对绕Y轴旋转的斜视图像应用较多，所以通过测试β来检测算法的精确程度。下面列出β=0°、22.5°、45°时的绝对平均误差表，如表1所示：

表1 β绝对平均误差

实验结果显示，虽然图像的姿态角越小或不存在“自遮挡”时，估计结果越精确，但β的总体绝对平均误差为2.24°，仍然比较理想。

特征点定位往往是存在误差的，特别是在“自遮挡”情况下，图2显示了当特征点定位有误差时姿态估计的性能：

图2 当特征点定位有误差时姿态估计误差的变化

曲线表明，虽然随着特征点的定位误差的增加，3个角度的误差都有增大的趋势，α和β的误差增长比较明显，但仍低于4°。

表 2给出了用本文方法与文献[4]和文献[7]方法测得的β估计结果比较。

表2 估计结果对比

可见，本文算法即使在“自遮挡”情况下，仍然具有较高的姿态估计精度。

4 结 束 语

对于本文提出的基于稀疏模型的人脸姿态估计方法，利用CMU PIE人脸数据库进行实验，结果表明：该算法不仅可以获得稳定和唯一的姿态解，而且在有“自遮挡”的情况下，得到的β绝对平均误差仍保持在 2.24°左右，与同类方法比较具有较好的姿态估计精度。

如果资金允许，能利用相关设备直接采集人脸三维数据，将使算法更能适应“自遮挡”、光照变化和多表情、多姿态变化情况。

[1]Eric M C, Mohan M T. Head pose estimation in computer：A Survey [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(4)：607-626.

[2]Li S Z, Lu Xiaogang, Hou Xinwen , et al. Learning multiview face subspaces and facial pose estimation using independent component analysis [J]. IEEE Transactions on Image Processing, 2005, 14(6)：705-712.

[3]Shafi M, Chung P W H. Face pose estimation from eyes and mouth [J]. Advanced Mechatronics Systems,2010, 11(2)：132-138.

[4]Mazumda D R, Dutta S, Mitra S. Automatic feature detection of a face and recovery of its pose [C]//Communicated to Journal of IETE, Washington, USA,2003：505-511.

[5]曾 慧，穆志纯，袁 立.基于三维模型的人脸姿态估计方法[J]. 计算机工程, 2011, 37(9)：1-3.

[6]邱丽梅, 李青虹. 基于多点模型和改进BFGS的人脸姿态估计[J]. 计算机应用与软件, 2011, 28(9)：126-129.

[7]胡步发, 邱丽梅. 基于多点模型的3D人脸姿态估计方法[J]. 中国图象图形学报, 2008, 13(7)：1353-1358.

[8]Wan K W, Lam K M , Chong K. An accurate active shape model for facial feature extraction [J]. Pattern Recognition Letters, 2005, 26(12)：2409-2423.

[9]邱丽梅. 基于改进的ASM人脸特征点定位[J]. 三明学院学报, 2010, 27(2)：124-127.

[10]王国胤, 龚 勋, 邹建法, 等. 基于认知机理的三维人脸建模及应用研究[J]. 重庆邮电大学学报,2009, 21(4)：555-560.

Face Pose Estimation Based on Sparse Model

Qiu Limei, Wu Long, Jin Fangwei, Xiong Changjiong
( Department of Physics, Mechanical and Electric Engineering, Sanming University, Sanming Fujian 365004, China )

The method of face pose estimation is vulnerable to ‘self-occlusion’ at present. To solve this problem, an improved ASM algorithm is used to extract facial feature points, and the geometric statistical knowledge of the face shape is used to estimate the depth of the facial feature points. Then the sparse face model is established based on the main features of human face. After estimating the face pose approximately with relevant face feature points, 3D space face pose is estimated accurately via the algorithm of least-squares method. The experiment results show that the method has better estimated results for the case of ‘self-occlusion’, and has better estimation accuracy compared with the same kind of method.

face pose estimation; sparse model; feature points; least-squares

TP 391

A

2095-302X (2013)04-0094-04

2012-09-26；定稿日期：2013-01-28

福建省高校服务海西建设重点工程资助项目（HX200804）；福建省质量工程项目（ZL1002/RM(sj)）

邱丽梅（1981-），女，福建三明人，讲师，硕士，主要研究方向为模式识别、机电一体化。E-mail：qiulimei1981@163.com