自动特征点监测和三维脸部数据提取的新方法

李 骞 史岳鹏 彭 勃

（河南牧业经济学院能源与智能工程学院,河南 郑州 450008）

人脸特征定位可以分为二维（2D）和三维（3D）两种类型，面部特征点指在人体测量数据中用于确定面部特征的一些关键点[1]。二维人脸的生物特征数据包括宽度和高度，是人脸识别研究的基础。但是二维人脸识别在不同的表情识别、姿势识别和识别光照等方面受到许多限制。与二维面部识别不同，三维的数据具有来自多个维度深度值的视角[2]，包括鼻尖、嘴角、下巴、眼角。面部特征定位的准确性是由方位、纹理图和姿态决定的。在特征定位和配准[3]之前需要将三维面部网格合成表面[4]，而三维人脸图像处理和分析的精度很大程度取决于输入图像分割时的精度。因此，三维图像的表面分割至关重要。

自动面部检测系统是结合了二维和三维两种方法的生物特征性能创建出的一种多维检测系统，可以最大限度地减少在不同面部表情下测量生物特征数据带来的系统限制。本文的主要目标是提出一种新的三维人脸特征自动检测方法。该方法包括三个阶段：第一，重建丢失的三维图像信息；第二，分割若干面部图像；第三，定位面部特征，为三维系统模型中的自动正面面部检测提供足够的生物特征信息。

1 三维人脸分割技术

1.1 三维面部缺失数据填充方法

本文以FRGC（Face Recognition Grand Challenge，人脸识别大赛）为训练数据库，对点分布模型（Point Distribution Model，PDM）中的关键点与点云的关系进行建模[5]。技术难点在于丢失数据、错误数据和噪声。因此，有必要通过将记录的最佳匹配特征的三维数据与FRGC中的最佳匹配实际数据进行比较，从而改进特征关键点定位。所提出的方法是首先提取输入三维图像中包含单个主题的面部区域，如图1所示。

图1 缺少数据的三维模块示例

1.2 空隙填充法

本文提出基于三维离散余弦变换（three-dimensional discrete cosine transform，3D DCT）和惩罚最小二乘回归（penalized least square，PLS）[6]的 方 法（简 称“3D DCTPLS”），进行三维图像数据空白的填补，可以有效提高面部特征点定位的准确性。

假设为一个有间隙的时空三维数据集，而是一个具有类似大小的二进制数组，用于表示任何缺失的值。3D DCT-PLS方法的目的是找到最小化：

1.3 人脸分割模型

输入范围图像中人脸提取的图像分割方法遵循了韩玉峰等[7]（2012）的研究中设置的约束条件，算法包括3个主要阶段。

（1）定位出与鼻子相对应的面部最高部分。

（2）人脸分割：绘制中心位于鼻尖的三维椭圆，此三维椭圆半径为r，是鼻子长度l的既定函数（见图8）。（3）人脸提取：剔除所有占三维图像大小0.5%以下区域。本文生成了面部分割图像如图3所示。人脸区域识别范围参照Liang等（2013）在分割模型指出正面分割时的方法。面部可划分为4个分区：四分之一达到发际线；从发际线向下到眼睛之间的头部中心；鼻子、耳朵和颧骨；鼻子末端、嘴和下巴延伸。

图2 3D DCT-PLS方法填补举例

图3 面部分割模型

1.4 人脸检测方法

在定位面部特征点时，可以在三维矢量表示中建立一个形状空间（Shape Space）[DM98,SG02,CT01]，删除图像中不需要的数据点。本文提取到局部平面距离（distance to local plane，DLP）的最大点值作为FRGC v2.0数据库中的鼻尖。图4为带噪声的面部示意图。

图4 噪声点图像举例

首.先，假设分辨率为rG（=0.6），图像的自动阈值

三维图像中的所有点坐标定位可以用k=n×d矢量来确定。三维形状的矢量（d=3）表示为其中表示n个特征点，是作为最优选择的最佳点，中心为

利用普氏分析法（procrustes analysis）对所有三维面输入形状对齐的公共坐标进行检测，需要将输入形状的旋转和位移过滤掉，可以将普氏距离最小化其中xi表示输入的每个形状，xm表示平均形状。这一阶段，可以构建出三维图像数据的重心建模，将转换三维面形状的质心。

最后，寻找均匀点。要从输入图像的深度集中均匀点，必须对区域和边缘检测信息进行聚类。为了降低噪声，对深度信息进行了两次5×5中值滤波。并使用k-均值聚类算法，将深度数据分为两个焦点区域（k=2），用于图像深度的处理。

1.5 人脸提取方法

本文提出确定属于三维面的均匀区域，忽略低于图像大小0.5%的区域。此百分比阈值是由Liang等[9]（2013）根据经验定义的。随后根据三维图像的重心点调整椭圆。将椭圆方程的长轴和短轴与笛卡尔轴重合，目的是将该椭圆转换回其原点，由此从x和y轴减去偏移量，从而得出椭圆方程：

椭[圆的调节公式如下：]

式中，θ为一个独立参数，从0到2π。可定义：a作为沿x轴的半径，a=Max[diff(Xzmax)]；b作为沿y轴的半径，b=Max[diff(Yzmax) ]。h、k是椭圆中心的x、y轴坐标。用（X）表示的差分计算x的相邻元素在第一个数组维度上的差异。图5、图6、图7分别给出标准化和最终分割后的二进制图像表示示例。

图5 三维关键点定位

图6 关键点拉伸图

图7 椭圆二值图像

所提出模型通过探测椭圆形状区域来定位输入范围图像中的面部区域，椭圆形状区域被认为类似于几何形状到面部边缘边界。这是通过沿标记面区域的边界执行距离变换来完成的，如图8所示。

图8 人脸定位的检测椭圆区域（a、b、c）和使用胡须边缘的面部分割（d）

1.6 自动特征点检测

利用分割模型对人脸标志点的自动识别进行了研究，并将距离-局部平面法应用于曲线数据中提取最佳点。因此，本文执行面部配准[8]、面部姿势估计[9]和面部区域的标志性位置[10]。这些标志点能够精确地定位鼻子和前额等面部区域的标志物，并且具有很高的准确性。为了定位面部区域，结合面部浮雕曲线的分段模型，并通过二维表面曲率分析获得最终图像的深度数据轮廓。图9是二维特征点探测方法示意图。

1.7 人脸分割模型

用于定位鼻尖的基本方法集中于检测轮廓曲线中的最高点。本文采用二维分段轮廓来构成一种新的三维技术来识别鼻尖和鼻角[11]。利用鼻尖的x、y坐标，然后将两个坐标结果插入到图9所示的剖面曲线中，也称作中间曲线。在进行眼睛角定位的过程中，对于输入图像范围内的目标对象因姿态变化而变化的情况，采用x坐标法获得眼角的x坐标。首先计算图像曲率的x投影，以及沿眼睛的y坐标为中心的一组相邻行中每列的凹点曲率百分比。沿x坐标的左眼角表示沿x投影的第一个峰值的起点，而沿x坐标的右眼角表示沿相同投影的第二个峰值的终点。图10所示为鼻角投影。

图9 鼻尖Y坐标示例

图10 鼻角检测示例

1.8 基于曲率的面部曲面分类

面部自动检测的信息来自三维成像的表面曲率分析，且输入图像对象的表面曲率不受面部表情的影响。也就是说，为了计算输入图像中沿点区域的曲率类型，可以隔离出一个n×n（n=7）的小区域中的局部曲面。然后，使用最小二乘拟合技术来计算用于进行二次曲面近似的系数，以及高斯曲率（gaussian curvature，K）和平均曲率（mean curvature，H）。根据变量的偏导数[1]，使用K和H值按照表1对表面曲率进行分类。深坑表示眼角和鼻子底部的表面类型，而鼻尖是峰值类型，见图11。

图11中，图像（a）（b）和（c）显示面部分割不受表情影响；（d）（e）和（f）显示深坑（白色）和峰值（浅灰色）。

2 实验结果与分析

利用所提出的方法对FRGC v1.0和FRGC v2.0数据库中的图像进行实验。共使用了两个数据库中来自557名受试者的4 950个图像样本，所有图像样本都以不同的面部表情、大小、形状和其他随个人而异的集体特征进行采集，测量尺寸为640×480像素。图像样本中只有大约1.2%是不可识别或与实验不相关的，说明该方法具有较高的可靠性。通过分析发现，三维人脸扫描中不需要的部分不会影响识别过程。该方法性能优越，准确性高于99%，错误接受率（FAR）为0%。

表1 表面类型分类

图11 同一个人的表面曲率分类

图12

所提出的面部分割方法可以较好地提取三维图像的整个面域，对于来自FRGC v1.0数据库的图像样本，提取比例为99.3%（943个中的936个）；而对于来自FRGC v2.0数据库的图像样本，提取比例为99.7%（4 007个中的3 993个）。图12是检测到的椭圆人脸区域，去除掉不需要的背景后的人脸分割强度图像示例。从表2分析结果中可发现，在样本的两张图像中错误地检测到了鼻尖，主要因为这两张图像都缺少鼻部附近的信息。总体来说，鼻尖检测的准确率仍然达到99.95%。如图12所示，虽然面部发生姿势变化（y轴和z轴倾斜＞15°，但是鼻子角和左/右眼角的检测分别达到99.79%和99.83%。其中，若没有记录峰值的表面曲率信息，会影响曲线的识别。此外，在所用数据库中存在一幅图像鼻侧两端数据有误，事实证明，所使用方法仍可以检测鼻部深坑的曲率。

表2 每个面部特征的正确检测率

3 结论

本文提出了一种改进三维人脸识别的新方法3D DLSPLS，能够从正面图像中检测到面部三维数据。实验结果显示，新方法对于FRGC v1.0和FRGC v2.0数据库中的图像检测具有显著的成功率。三维人脸匹配方法在人脸检测、人脸提取和迭代最近点特征定位中得到了成功的应用。该混合方法成功地将多维分割方法融合到了所研究的三维人脸分割中，并正确识别了99%的已验证图像中的人脸特征。