基于扩展对称局部三值模式的三维人脸识别

张新波， 朱姿娜， 张伟伟

（上海工程技术大学机械与汽车工程学院， 上海 201620）

0 引 言

传统的人脸识别主要局限在二维图像分析中。虽然基于二维图像的人脸识别算法已经取得了卓越的成就，但二维图像模式分析下的人脸识别研究在姿态，表情和光照等诸多因素下越来越乏力，基于三维数据的人脸识别模式分析已然成为一种备受瞩目的方法，得益于三维数据本身的优势，对外界环境的变化具有鲁棒性，比如：光照，化妆等因素。 不仅如此，三维数据在信息量方面更能提供比二维图像更多有用的信息。 M.Daoudi 介绍了三维人脸建模、处理和应用，并提出了一种新的几何框架，用于分析三维人脸［1］。

研究表明，三维人脸识别包含更多有利于检测识别的条件，正在逐渐成为新的研究重点。 同样，基于三维数据的人脸分析，数据量的增长是成几何指数的，提供更多有用信息的同时如何对数据进行分类，并用有效的特征表示成为研究的重点。 近年来3D 扫描技术和移动式设备的快速发展，对于三维技术的需求越发强烈，考虑到人脸表情变化会引起人脸识别精度的大幅度降低，本文并没有直接提取人脸的全局特征，而是考虑从受表情变化影响较小的刚性区域提取局部特征。 三维人脸识别的算法分为三大类：基于空间匹配的方法，基于局部特征的方法和基于整体特征的方法。

基于空间匹配的三维人脸识别方法不需要进行人脸特征提取，而是直接匹配识别。 迭代最近点（ICP）方法被广泛应用于三维点云对齐［2］。 Tan等［3］开发利用Hausdorff 距离及其变体，通过直接计算两个三维点云之间的相似度，可以进行三维人脸识别。 基于整体特征的方法直接提取整个三维人脸的特征，通常的方案是利用从鼻尖发出的面部表面的径向曲线和这些曲线的弹性形状分析，用于整个面部表面形状分析的黎曼框架利用几何不变性下曲线的特征进行形状分析［4］。 比较常见的造成三维人脸识别失败的因素是人的表情变化。 郭蓓［5］等人利用三维人脸的局部特征来克服表情变化的影响成为了一种切实可行的方案。 基于局部特征的方法可以克服人脸表情变化的影响，但会丢失人脸的某些特征。

大多数三维人脸配准方案都是基于整个人脸面部的区域，不考虑人脸内部各个特殊区域是否满足刚性条件，一种配准方案并不能正确的描述人脸数据，计算代价很大，精度不够。 因此在人脸识别实验中，首先将人脸模型分割，重点利用鼻子区域进行检测，因为在鼻翼区域包含有更多稳健的有用信息，同时产生的计算代价更小。

特征提取作为人脸识别的关键步骤，特征的质量与最终的结果息息相关。 上世纪九十年代以来，Ojala 等［6］于2002 提出原始的局部二值模式LBP后，已经在二维图像中得到了广泛的应用，并取得了显著的效果，然而因为其本身的构造缺陷，导致在一些问题的处理显得乏力，由此产生了基于LBP 的众多变体；Neto 等［7］把LBP 扩展到3D 方面，并表现出具有竞争力的品质，特别是在纹理分析和人脸识别方面；Tan 等［8］于2007 年提出了局部三值模式（LTP），由于加入了负数的概念，使得中心像素可以作为阈值存在，具有了更高的分辨能力以及更好的光照鲁棒性，但在多尺度图像中依然存在一定的局限；Marko Heikkila［9］提出了中心对称二值模式（CS－LBP）描述子，综合考量了LBP 算子以及SIFT（Scale Invariant Feature Transform）描述子的优点，对呈中心对称点的四方向的像素亮度差值进行编码，相比于传统的LBP 算子能够更好的利用梯度信息，有效的缩短了编码的长度，从而降低了维度灾难；胡等［10］于2013 年提出了一种完整的局部二值模式（CLBP），此描述子包括了3 部分：全局对比度CLBP＿C、正负二值模式CLBP＿S 和幅度二值模式CLBP＿M，获得了相对于传统LBP 更好的旋转不变结果，对于光照、噪声也更加忍受。

1 人脸数据分割检测

本文的方法包括以下几个步骤：

（1）依据鼻尖点检测并进行人脸分割；

（2）利用三维人脸网格的内在顺序在表面上提取标量函数，并使用XCS－SILTP 描述子来描述特征；

（3）在得分级上进行特征融合。

由于特征点检测及其纹理描述直接在3D 网格上进行，所提出的方法不受姿势的影响，同时也避免了基于面部范围图像的方法需要大量计算的缺点。此外，局部匹配的使用也赋予所提出的方法对遮挡的一些容忍度。 在FRGC 和Bosphorus 数据集上证明了所提方法的有效性。

1.1 LBP 描述子

LBP（ Local Binary Pattern，局部二值模式）是由T. Ojala 等人在1994 年最先提出的用于描述二维图像局部纹理特征的强大算子，自提出以来凭借自身具有的旋转不变性以及灰度不变性等卓越的特点，相应的LBP 变体也迅速被提出，极大的扩展了LBP的适应性。 LBP 纹理特征因其维度低，计算速度快，能很好地刻画图像的纹理信息而被广泛应用，LBP在3∗3 的窗口内对中心像素点周围8 邻域像素的灰度比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，LBP 计算示例如图1 所示。

由此可得该窗口中心像素点的LBP值，同时会反映出该区域的纹理数据信息。 计算公式（1）：

其中，P和R表示一个半径为R的圆上的P个采样点（xc，yc） 是中心像素；gc为中心像素的灰度等级；gp为8 个邻域点的像素灰度等级；

通过改变P、R就可以形成多尺度LBP的表示，为确定中心像素与邻域像素的取值需要将gc和gp进行比较，若周围邻域像素大于中心像素则把对应邻域位置设定为1，反之设定为0，最后按一定顺序（通常是顺时针）进行二进制编码。 对于没有完全落在像素中心的邻域点，可以通过线性插值的方法估算其灰度值。 最后通过遍历所有LBP像素值，建立直方图来表示该区域的纹理特征。

LBP 算法还可使用圆形邻域在任意可量化的角度值与空间分辨率，定义一个圆形对称邻域，公式（2）：

其中，P指邻域的数量，用于控制量化的角度值；R指圆形半径，决定算子的空间分辨率；中上标riu2 代表U值不超过2 的均匀模式的旋转不变量；gc指局部邻域的中心像素；gp指以中心像素为圆心，半径为R的圆周上的像素值。

考虑旋转不变性纹理分析，算子对于局部的空间结构具有很好的表达能力。

1.2 XCS－SILTP 描述子

先选定一个三角中心面，并以中心面为核心建立包含邻域面的三维网格区域，三维表面区域如图2 所示。 每个中心面都包含3 个顶点，遍历每个顶点关联的所有三角形的法向量，并将法向量单位化后，求所有单位法向量的均值作为此顶点的法向量。对于试验中的法线，在一些很小的多边形网格面共顶点时，单纯使用所有法向量的均值效果很不理想，因此采用加权的方式进行处理。

图2 三维表面权重图Fig. 2 3D surface weight

对于三维网格面，基于三维人脸拓扑结构单元网格的无规则性，需要进行预处理，提取单元格法线、曲率等几何元素时，需要综合考虑顶点法矢对于提高网格曲面曲率的重要作用。 本文采用三角形形状因子作为法矢的估计权重，并具体使用三角网格顶点一阶邻域网格的形状因子与顶点到三角形质心距的比值进行综合加权估计，最后验证这样得到的顶点法矢相较于其他的方法对于提取三维人脸网格具有更好的稳定性、更高的精度。

对于任意的拓扑结构三角网格模型，采用公式（4）计算顶点法矢：

其中，v代表模型M 所有顶点的集合；βi表示T（k） 中第i个三角形在顶点k处的内角；Ai，NTi分别代表T（k） 中第i个三角形的面积和法矢。

三维表面区域及法线图如图3 所示，提取局部规则化后的细胞单元，建立局部坐标系，把中心面周围（按照面角线所有相邻的原则划分）邻域内的所有法线统一移动到中心平面的单位法矢量起始点，分别计算图3（b）中所示的12 条单位法矢量和中心面单位法矢量之间差的角度，范围在0°－360°之间，（当然普遍的角度会在很小的范围内），把各个角度差值分别放入各自对应的三角网格中，依照传统LBP 的定义规则，需要知道中心面的值，本文应用的是邻域周围法线与中心法线之间的角度差值，并设定一个阈值，当差值大于阈值时，对应位置的阈值设定为1，反之则为0；进一步对灰度差值进行阈值化处理，获得了对平面图像区域的鲁棒性，在三维空间中对法线之间的差值进行阈值处理，进一步得到平面之间局部不平度的优化。

图3 三维表面区域及法线图Fig. 3 3D surface area and surface normal

研究发现单纯的法线与中心线之间的差值并不能完全反应局部的特征，中心面周围的邻域对其影响还反应在面积方面。 因此将中心面的面积与周围邻域的面积比值作为对应邻域的权值，具体计算过程如图4 所示。

图4 三维表面三角面邻域权值计算过程Fig. 4 Weight calculation process of triangular surface neighborhood on 3D surface

XCS － SILTP计算公式（5）如下：

其中，τ为阈值；P为邻域的数量；R为圆形半径；gc为中心面的法线矢量；gi为邻域的法线矢量；为对称领域的法线矢量。

2 实 验

为了验证所提出描述子在人脸识别方面的有效性，在FRGC v2.0 数据集上进行了试验。

2.1 FRGC v2.0 数据集

FRGC v2.0 由美国圣母大学（University of Notre Dame）建造，由Minolta Vivid 900／910 系列传感器以密集点云的形式获取。 FRGC v2.0 数据集由466 个个体的4 007条记录组成，这些记录具有中性表情或非中性表情。

2.2 描述子测试

为了验证XCS－SILTP 描述子在不同噪声水平下的性能，分别在标准偏差为0.1mr 和0.5mr 的高斯噪声下，将Random points、keypoint、MeshDoG、ISS、DoG 和本文提出的描述子进行召回率对比，实验结果如图5 和图6 所示。 从图5 中可见在0.1mr高斯噪声下本文提出的描述子算法的召回率一直处于较高的水平；从图6 可见在0.5 mr 高斯噪声下，随着x轴准确率的增加，召回率也是迅速增加。

图5 0.1 mr 高斯噪声下的召回率Fig. 5 Recall rate under 0.1 mr Gaussian noise

图6 0.5 mr 高斯噪声下的召回率Fig. 6 Recall rate under 0.5 mr Gaussian noise

为了进一步说明提出的描述子算法的性能，将本文的方法与目前最先进的方法做了比较.在FRGC数据集中挑选了100 个样本，将这些样本分为a、b、c、d 和e 5 个类别，并在这5 个类别下分别进行LBP等描述子的人脸识别准确率测试，结果见表1，可见XCS－SILTP 能够提取出更多的信息特征，识别率高于传统的LBP 及其变种。

表1 在FRGC 数据集上的识别准确率Tab. 1 Recognition accuracy on FRGC dataset

3 结束语

本文提出了一种新的描述子，能够捕获三维关键点之间的几何关系。 该方法不依赖于提取关键点周围的局部信息，从而省略大量的计算步骤。 在FRGC 数据集上的实验结果表明，本文提出的描述子对噪声水平和网格分辨率的变化也是稳健的，取得了良好的三维物体识别效果，与其他人脸识别算法进行比较，采用本文提出的描述子算法的识别精度有很大的提高。