纹理一致的多视角三维人脸点云配准与融合

黄宏博

摘要摘 要：在三维人脸建模和识别中，为获取信息更为完整的人脸数据，常常需要对多个视角下采集到的三维人脸点云进行配准和融合。传统的点云配准多使用ICP方法求取刚体变换，但由于人脸属于非刚体，容易因表情变化等引起形变，而且多视角人脸点云间的重合度较低，使用ICP方法效果较差。使用改进的BANICP方法进行人脸点云的配准，并提出一种多通道迭代光线补偿算法，可实现纹理一致的多视角三维人脸点云融合。

关键词关键词：点云配准；点云融合；三维人脸识别；光线补偿

DOIDOI：10.11907/rjdk.1511000

中图分类号：TP312

文献标识码：A 文章编号文章编号：16727800（2015）009004903

0 引言

在人脸识别系统中，三维人脸识别由于便于克服人脸姿态、遮挡等因素带来的影响，近年来吸引了众多研究者关注[ 1 ]。但传统的三维人脸识别仅仅扫描和采集人脸的深度信息，而舍弃了对人脸表征能力很强的纹理信息，因而难以进一步提升人脸识别系统的性能。随着三维数据采集技术的发展，RGBD摄像机等同时可以采集颜色纹理信息和深度信息的三维采集设备越来越普及，为在三维人脸识别中同时利用结构信息和纹理信息提供了便利[ 2 ]。

在三维人脸识别的实际应用场景中，往往由于姿态变化、遮挡和自遮挡等带来的影响，使得采集的三维人脸数据仅是部分数据，存在数据缺失及形变。尤其是在匹配识别阶段，测试数据往往只能获取识别对象的部分信息，因此实际应用场景下的识别通常是利用部分数据进行的识别[ 3 ]。如何更加充分地利用非受控场景下获取的部分数据进行人脸识别，是这类识别要解决的核心问题之一。

考虑到在人脸识别实际应用系统中，可以分为注册阶段和识别阶段两大步骤。通常注册可以在受控情况下进行，而在识别阶段，测试数据往往是在非受控情况下获取。如图1所示，注册阶段采用受控模式，采集人脸的3组数据，识别阶段在非受控情形下进行，采集人脸任意姿态的1组数据作为测试数据。测试数据在一般情况下只包含某一视角下的部分人脸数据。这就无法保证一些关键的生理标志点（如嘴角、眼角）都存在于所获取的数据中，给使用常规方法对准三维人脸数据造成困难，也对使用基于全局特征的方法进行识别带来了不便。从本质上说，这是由于测试数据（Probe）和原型库（Gallery）数据对识别对象的描述不一致引起的。如果注册的原型库能够包含更为完整的人脸信息，例如：包含各种姿态的信息，以及待识别个体多角度的信息等，将有助于更充分地利用非受控情形下获取的部分数据进行匹配识别。因此，本文希望通过用多视角采集的三维人脸注册数据进行配准与融合，以得到对于人脸描述更为完整全面的三维数据来构造原型库。

图1 注册阶段和识别阶段人脸数据采集

1 多视角三维人脸点云配准

从多个不同角度采集的人脸三维点云数据，分别包含识别对象在某一角度下的信息，如果要完整描述识别对象特征，则需要把多个角度获取的数据融合在一起，形成一个相对统一完整的数据集。因为人的头部近似一个球体，采用多角度数据采集时，每次采集只能获取某一视角下的部分数据。多视角人脸点云数据配准即依赖多组部分数据求取不同视角下数据间的刚体变换，以实现把多视角三维人脸点云数据统一到同一坐标系下。

人脸人耳多视角三维数据的融合，从方法上分为两类：基于特征的方法、散乱点云配准的方法。基于特征的方法容易受到光照、表情和遮挡等因素影响，稳定性和准确性不高，因而在应用中受到限制较多；散乱点云配准方法主要是以ICP及其各种变体为代表的迭代匹配方法[ 4，5 ]，在多种场景下都具有良好的适用性以及很高的匹配精度。

ICP算法是基于迭代寻优的刚体配准算法，当两个待配准点云有较高重合度，或一个点云是另一个点云的子集时，配准效果最好。其基本思想是以一个点云为参考点云，为配准点云中的每一点在参考点云中寻找对应点，确定对应点对集，然后寻找最优的刚体变换，即旋转与平移变换，使变换后的目标点云与参考点云间的对应点对平均距离最小。

虽然ICP方法在很多场景下都非常有效，但是在多视角三维人脸点云数据配准的应用中却存在以下不足：ICP方法要求配准的点云中，一个点云必须是另一个点云的子集，或两个点云有较高重合度。但是多视角三维数据由于视角、遮挡等原因，只有部分数据重合，因此直接使用ICP进行配准，往往无法获得准确的融合数据。 ICP在解决刚体点云的配准时有很高的精度，但是由于人脸属于非刚性物体，在不同时刻采集时很容易因为表情变化引起采集数据的变化。直接应用ICP时，配准的稳定性和精度往往难以达到要求。 ICP是一种迭代算法，在规模较大的点云数据集上运算非常耗时。因此，算法的运算速度也需要进一步提升。

考虑到ICP算法在多视角三维人脸点云配准中的诸多不足，本文在先前的工作中，提出一种针对这一场景的ICP改进方法：基于法向量的双向仿射迭代最近点算法（Bi-directional Affine Normal-based Iterative Closest Point），简称BANICP算法[ 6 ]。BANICP算法通过引入点云间的双向对应，解决重合度不高时的对应点匹配问题，并利用仿射变换解决人脸表情等引起的非刚体变换问题。同时，用对应点的法向量匹配原则和对应点的邻域匹配原则增加约束，对不合理的对应点对进行剔除，以提高运算速度。实验表明，BANICP算法在多视角三维人脸点云数据配准中具有很高的配准精度和鲁棒性，速度也较原始ICP有所提高，能够高效完成低重合度点云的精准匹配。

2 基于多通道迭代光线补偿算法的纹理一致融合

对于分别从人脸正面、左右侧面采集的人脸三维点云数据，分别以正面人脸三维点云为参考点云，把左、右两个侧面的人脸三维点云坐标用上述配准方法变换到正面人脸三维点云的坐标系下。经过配准后的3个点云已经统一到一个坐标系中，可以用直接串联的方式合并为一个点云。

由于3个三维人脸点云是在不同视角下采集的，可能在采集时存在光线变化。光线变化对于结构信息影响较小，但是不同光线下采集的人脸数据在颜色和纹理上却容易有较大差异[ 7 ]。不加处理地直接串联容易造成融合后重合部分的点云数据在颜色和纹理上不一致，对后续识别带来不利影响。为实现不同视角采集的三维人脸点云颜色纹理一致的融合，本文提出一种三维点云数据的多通道迭代光线补偿算法。

理论上看，不同视角下获取的三维人脸数据中的重合部分，相同位置上的点在不同点云中颜色应该一致。而实际上不同视角下的纹理差异是由于亮度偏差照成的。因此，可以通过统计不同点云的重合部分数据点在亮度上的偏差，进行光线的补偿来消除这种差异。一次光线补偿通常效果比较生硬，难以达到真正纹理一致的效果。因此，本文利用迭代的方法，不断进行光线补偿，直到偏差达到指定阈值为止。

在实现时，本文分别在R、G、B 3个颜色通道内进行迭代光线补偿。设参考点云在R、G、B 3个颜色通道内的亮度为Rf（i）、Gf（i）、Bf（i），待补偿的点云在R、G、B 3个颜色通道内的亮度为Rs（j）、Gs（j）、Bs（j），其中i、j分别为两个点云中每个点的下标。首先寻找两个点云的重合部分数据点，并分别计算两个点云中重合部分在3个颜色通道内的均值和方差，均值分别记为mRf、mGf、mBf和mRs、mGs、mBs，方差分别记为δRf、δGf、δBf和δRs、δGs、δBs。然后对待补偿点云中的所有数据点，以公式（1）在R、G、B 3个颜色通道内分别进行迭代光线补偿，直到重合部分的点云在该颜色通道内的亮度均值小于给定阈值θ为止。

R（i）=R（i）+（mRf-mRs）δRfδRsG（i）=G（i）+（mGf-mGs）δGfδGsB（i）=B（i）+（mBf-mBs）δBfδBs（1）

3 实验与分析

为验证本文方法，在CASIA 3D Face数据库中进行了实验[ 8 ]。CASIA 3D Face数据库是中科院自动化所采集的三维人脸数据库，包含多种姿态变化和表情变化。库内共包含123人的4 624组人脸三维扫描数据，每组扫描数据同时带有三维点云信息和颜色信息。实验中，本文分别选取每个个体中编号为001、019、022的3组扫描数据进行配准和融合，3组数据分别对应正面、左侧面和右侧面人脸的点云数据。实验过程详述如下：

首先对多视角人脸人耳点云数据进行配准。配准过程分为粗配准和精配准。在粗配准中使用基于特征的方式进行，用手工标定的方法在两个不同点云中找出鼻线位置，在鼻线上标记出5个点：鼻线和眼睛连线的交点、鼻尖点、鼻线和上下两个嘴唇的交点、鼻线和下颚的交点。分别记录5个点的三维坐标，然后用基于最小二乘的方法求取粗配准的旋转矩阵和平移向量。在精配准阶段，本文使用BANICP的方法进行，配准结果如图2所示。

图2 BANICP精配准效果

图2（b）为带有纹理的BANICP配准效果，图3为BANICP算法在配准时的用时和精度。从图中可以看出，BANICP很快就能收敛到一个很高的精度（平均误差在1.2mm以下），经过2～3次迭代，两个点云即可达到基本重合。相对原始ICP而言，达到稳定的时间与原始ICP相比并未大幅增加，这主要是由于只考虑重合部分点云，消除了很多不必要的计算，从而提高了配准速度。从精度而言，BANICP比ICP精度高很多，这主要是由于取消了误匹配，误差计算更加合理。实际配准误差与点云的采样间隔也有关，若要进一步降低误差，可以适当增加采样间隔。

图3 BANICP配准的用时和误差精度

图4中（a）和（b）分别显示了利用多通道迭代光线补偿算法之前和之后的三维人脸纹理效果图。可以看出，光线补偿前融合的三维点云存在较为明显的纹理不一致情

形，脸部颜色差异明显，斑块非常突出。而经过光线补偿之后的人脸纹理则相对均匀，消除了不规则斑块，统一了颜色和亮度。

图4 多通道迭代光线补偿前后效果对比

4 结语

多视角三维人脸点云数据的融合中，最关键的问题即是多个视角采集的点云数据的配准。与刚性物体的配准不同，人脸属于非刚性物体，具有较丰富的表情变化，另外多角度获取的三维点云重合度较低，所以直接应用ICP方法进行配准难以满足融合要求。本文分析了多视角三维人脸点云数据融合的问题，提出了可用于低重合度非刚性物体配准的BANICP算法。在此基础上，利用多通道迭代光线补偿实现了纹理一致的多视角三维人脸点云融合，为三维人脸的建模和识别提供了数据基础。

参考文献参考文献：

[ 1 ] 王跃明，潘纲，吴朝晖.三维人脸识别研究综述[ J ].计算机辅助设计与图形学学报，2008，20（7）：819829.

[ 2 ] SEGUNDO M P，SARKAR S，GOLDGOF D，et al.Continuous 3D face authentication using RGBD cameras[ C ].2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW），IEEE Computer Society，2013：6469.

[ 3 ] 王志鹏.不完整信息下的人脸识别技术研究[ J ].科技通报，2013，（10）：121123.

[ 4 ] P BESL，N MCKAY.A method for registration of 3D shapes[ J ].IEEE Transactions on Pattern Analysis & Machine Intelligence，1992，14（2）：239256.

[ 5 ] RUSINKIEWICZ S，LEVOY M.Efficient variants of the ICP algorithm[ C ].IEEE Computer Society，2001：145.

[ 6 ] HONGBO HUANG，ZHICHUN MU，MINGMING HUANG，et al.Multiview 3D face integration using bidirectional affine iterative closest point[ J ].Journal of Computational Information Systems.2015，11（8）：28052813.

[ 7 ] 贾灵芝，李岚，钱坤喜.基于自适应光线补偿的人脸检测算法[ J ].计算机技术与发展，2008，18（12）：120122.

[ 8 ] CASIA 3D face V1[ EB/OL ].http：//biometrics.idealtest.org/.

责任编辑（责任编辑：黄 健）