三维人脸图像 的数据采集与预处理

王俊娟，许 磊，黎智辉，谢兰迟，张 宁，郭晶晶

（1.蚌埠市公安局，安徽 蚌埠 233040；2.公安部物证鉴定中心，北京 100038）

三维人脸图像 的数据采集与预处理

王俊娟1，许 磊2，黎智辉2，谢兰迟2，张 宁2，郭晶晶2

（1.蚌埠市公安局，安徽 蚌埠 233040；2.公安部物证鉴定中心，北京 100038）

在对 人脸图像的研究中，三维图像可以弥补二维图像不能解决的多姿态多角度等问题，因此越来越受到重视。如何高效地大规模采集高清三维人脸图像仍是目前面临的一个值得深入研究的课题，包括设备选用、质量控制以及获取图像后的处理方法等。本文介绍了1100多份高清三维人像采集和处理过程中的方法、技巧以及需要注意的问题。一是设备的选择。在对扫描设备做了大量的资料查阅和性能比较后，选用了Artec Spider手持式3D扫描仪，它不仅使用方便且可以较好地获取被扫描物体的深度信息和彩色纹理，测量精度可达微米级别，适合用于获取高分辨的三维人脸图像。其次是在获取大量的三维脸像样本中如何做好图像质量的控制。由于手持式扫描仪在采集过程中易受到人为操作的不稳定因素影响，本研究摸索出适用的操作流程以提高采集质量和效率。三是采集后的数据处理。获取的原始数据是经过计算机 实时配准的几百至上 千个曲面的集合，采用了人工干预的方法来进一步提高曲面配准的精度。在大规模样本采集效率的分析方面，通过对预处理前后的图像质量、平均处理时间和单个样本的曲面采集数之间的关系进行分析，得出采集的曲面数在500～700帧之间的样本质量为最佳。

三维人脸图像；3D扫描仪；模型预处理；人工干预

DOΙ: 10.16467/j.1008-3650.2015.02.003

随着光学三维传感技术的快速发展，3D扫描被越来越广泛的应用于逆向工程、工业设计、地貌测绘、医学影像、生物信息以及社会文化活动等诸多领域。同时，以安防应用为目的的三维人脸特征分析与识别也越来越受到重视。对人脸进行三维图像重构和研究可弥补二维人脸图像不能解决的多姿态多角度等问题，而建立大规模的三维人脸图像库对三维人脸数据的分析研究、模型训练、算法性能比较测试是必不可少的基础数据资源［1］。因此，建立高精度的三维人脸图像库对于安防视频图像中的人脸特征分析研究以及在法庭科学中的应用有着非常重要的意义［2-4］。经过比较，选用Artec Spider 3D扫描仪用于采集人脸三维图像，之后通过计算机软件对采集数据进行预处理，历时三个月时间获取了1100多份高分辨率的彩色三维人脸图像以供进一步研究。本文就此次三维人脸采集及预处理过程 中的操作经验进行归纳，总结出采集流程、集合帧数、人工干预配准等因素对处理前后图像质量差异的影响，并对其中遇到的问题提出解决办法。

1 3D扫描仪工作原理

使用的Artec Spider是一款手持使用的拍照式3D扫描仪，其采用的是结构光技术，依据光学传感测量原理，投影模块先将一系列编码光栅投影到物体表面，再由采集模块捕获相应被调制的光栅图像，然后通过特有的算法获取高密度点云数据的三维坐标［5］。在获得物体表面的空间坐标后，通过计算 机来进行图像配准、光顺合成以及细节编辑，重建出人脸的三维模型，最后以三角面片网格为单元贴上扫描时同步获得的纹理图像［6］，从而得到处理后的三维人脸图像（见图1）。

图1 三维扫描数据。从左到右：原始三维数据、预处理后结果、加上纹理结果。Fig.1 3D Data.From left to right: original 3D scanning data，pre-processed image， and textured image.

这种照相式3D扫描设备的特点是：（1）光学传感。使用白色和蓝色的发光二极管（LED）作为光源，非接触式测量和捕获图像，对物体表面不会造成伤害；（2）测量精度高，深度信息可达微米级别。每个采集样本约包含3000～5000万个网格，可捕获到人脸部细小特征的三维数据，即使简化网格后加上同步捕获的高分辨彩色图像，仍可清晰的再现人脸皮肤的皱纹及毛孔；（3）对复杂曲面可以分区域连续测量。手持式3D扫描仪可灵活的多角度移动，更适合采集人脸各结构各部位表面的深度数据和纹理数据；（4）捕获的同时利用参考点拼接技术可进行曲面自动配准，也方便操作者实时观察采集效果，及时调整扫描范围；（5）对环境要求较低，采集现场只要具备交流电源，明视环境下即可进行操作；（6）对黑色及透明材料有限制，不能捕获被采集者的黑色头发及面部较浓密的黑色毛发。

2 三维人脸图像数据的采集

采集设备进行三维扫描的过程是一个实时曲面配准的过程。尽管这一过程有一定的鲁棒性，但是扫描对象的姿态变化很容易干扰配准的准确度［7］。因此在采集三维人脸图像前应和被采集人进行必要的沟通，防止采集过程中因被采集人说话或移动导致配准失效而中断操作。

为了在保证数据质量的同时减少重复数据量，使用手持式3D扫描仪时，需要按照一定的移动顺序对人脸图像进行撷取［8，9］。采取的扫描顺序（见图2）是从被采集人的一侧耳部开始，上下S型经鼻面部向另一侧耳部移动，然后向下采集下巴被遮挡部位的图像，最后回到开始的部位完成扫描（单帧曲面范围90mm×70mm～180mm×140mm）。这样做的好处，一是不会遗漏采集部位；二是符合人脸面部结构特点，如果采用横向S型扫描则要多次经过鼻翼两侧，这就增加了扫描难度；三是固定了采集顺序，在预处理时可以快速找到需要修改或删除的某一帧或几帧图像。

图2 面部扫描顺序Fig.2 Scanning path

对耳朵、鼻翼两侧、下唇至下巴中间结构比较复杂的曲面，在采集时，可以采取小角度变换扫描仪打光角度。对下巴的采集，可以将扫描仪从下方尽量接近被采集人身体并向上打光，以减少由 于遮挡形成的空洞。

因手持式3D扫描仪的便携特点（≤1kg），采集现场只要具备交流电，在明视照度下即可进行操作，所以非常方便在非实验室环境进行采集。

3 对采集数据的预处理

采集到的原始数据是一个曲面帧集合，根据采集时间、帧速率的不同包含400～1500个曲面帧数据。将这些数据合成一个完整的三维人脸图像之前需要一系列的模型处理。主要包括：整体配准、光顺合成、补洞、小型对象过滤、简化网格以及纹理映射等步骤［7，10］。对于大部分一次性采集完成且自动配准较好的数据，使用上述自动处理都能够取得良好效果。但由于光照条件的细微变化、脸部皮肤的光滑程度不同，或者曲面结构相互遮挡等因素，一些模型自动处理的结果并不理想，如图3左所示，自动配准造成了明显的裂纹。这不但会影响视觉效果，还对后期的深入应用造成干扰［11］。这就需要经过人工干预配准获得理想的效果（见图3右）。

图3 原始数据处理结果。左：自动预处理出现裂纹；右：人工干预后消除裂纹。Fig.3 Processed Data.Left: cracks appeared in auto-processing；right: repaired by manual intervention.

人工干预配准主要包括三个步骤：

第一步要先找出自动配准不理想的帧或帧集合，将其选取移出成为新的帧集合。如图4所示，计算机在自动配准扫描图像时出现了较大的偏离（见图4左），这就要对偏离的曲面进行人工筛选，生成新的帧集合（见图4右）。有的采集图像可能包含多个曲面的图像，分离出不止一个帧集合，可根据具体的采集结果分离出二个或二个以上的帧集合，每个帧集合应保持在一个连续的曲面内且互相包含重合区域。

第二步是在分离出的帧集合之间进行特征对齐，即在需要拼合的两部分帧集合上标记多个特征比较明显的相同部位（同名点），例如眼角、嘴角、耳廓、鼻尖、鼻翼等部位（见图5）。如果分离图像没有共同的明显的特征，也可以通过人工交互移动待配准的帧集合与参考帧集合尽量对齐重合，其重合精度主要依赖人眼。

第三步是自动拼接网格。如果把“特征对齐”理解为对分离图像的“粗拼”，那么“拼接网格”即是对分离图像的“细拼”。在自动拼接网格的基础上再“允许图像纹理拼接”，这样就得出人工拟合后的三维图像，后续可以重复整体配准和光顺合成的过程，达到更好的处理效果。

图4 自动配准和人工筛选Fig.4 Auto-registration and manual selection

图5 同名点标注。左：取3个以上的同名点；右：特征对齐。Fig.5 Marked homonymous points.Left: over 3 homonymous points selected；right: align markers

另外，人工干预也可以通过删除个别帧图像以获取较好的图像质量。例如图6就是通过删除单帧，来修补眨眼造成的闭眼图像。

图6 通过删除单帧修补Fig.6 Ιnpainting image by remove single frame

由于光照条件的变化或者扫描过程中偶然出现的不稳定移动，可能会对采集的三维人脸图像质量造成影响，自动配准和人工干预后仍由此可见会出现裂纹或者其他不理想的质量问题（约占5.3%）。这种情况下可以通过2D/3D擦除、修补和光滑处理来改善，但是应尽量减少图像插值的处理，以免改变或消除人脸面部皮肤的原始细节特征。

除此之外，对三维图像的编辑还包括坐标变换、数据擦除、网格简化等，对纹理图像 的编辑包括亮度/对比度调整、色调、色饱和度以及图像灰度校正等。

使用的3D扫描仪的帧速率为7.5fps，采集一个样本的平均耗时在80～110s之间。为了说明采集帧数与图像质量的关系，记录预处理过程中的部分数据。按照“优质、良好、一般”将处理前后的图像质量评价为三个等级，并按照采集帧数分类得出以下数据关系（见表1）。

表1 采集帧数对图像质量的影响Table1 Effect in image quality arising from frame number

由此可 见，采集图像在500～700帧范围内的三维人脸图像的质量最好，需要人工干预处理的样本数较少，平均处理的时间也较短。700～900帧的图像需要较多的人工干预，但是预处理后也可以得到较高的图像质量。900帧以上的图像采集质量较一般，但是经预处理后图像质量有较大幅度提高，只是处理耗时较长。而500帧以下的图像质量在预处理前后都很难获 得高质量的图像效果。

［1］ 王跃明，潘纲，吴朝晖.三维人脸识别研究综述［J］.计算机辅助设计与图形学学报，2008， 20（7）: 819-829.

［2］ 段锦，周春光，刘小华.三维人脸识别研究进展［J］.小型微型计算机系统，2004， 25（5）: 886-890.

［3］ 张继宗，徐磊.人像资料鉴定存在问题及对策［J］.刑事技术 2013（1）: 56-58.

［4］ Jain， A K， Klare B， Unsang P.Face matching and retrieval in forensics applications［J］.IEEE multimedia 2012， 19（1）: 20-28.

［5］ 石磊，杨新，潘海朗.基于网格光的三维人脸曲面测量［J］.电子测量与仪器学报，2007， 21（3）: 14-19.

［6］ 黄炎辉，樊养余，董卫军.一种基于三维扫描数据的人脸建模方法［J］.现代电子技术，2011， 34（21）: 87-90.

［7］ 徐成华，王蕴红，谭铁牛.三维人脸建模与应用［J］.中国图象图形学报，2004， 9（8）: 1-11.

［8］ 徐长苗，梁荣华.计算机辅助技术的三维颅面复原研究现状与进展［J］.刑事技术，2008（2）: 27-29.

［9］ 张继宗，闵建雄.根据相片面部特征进行个体识别的方法［J］.刑事技术，2001（5）: 43-44.

［10］ 胡永利，尹宝才，程世铨，等.创建中国人三维人脸图像库关键技术研究［J］.计算机研究与发展，2005，42 （4）: 622-628.

［11］ Chang M H， Chung Y C.Efficiency of grid representation and its algorithms for areal 3D scan data ［J］.J Mechanical Science and Technology， 2009， 23（5）: 1234-1243.

引用本文格式：王俊娟，许磊，黎智辉，等.三维人脸图像的数据采集与预处理［J］.刑事技术，2015，40（2）：98-101.

Acquisition and Pre-processing of 3D Facial Image

WANG Jun-juan1， XU Lei2， LΙ Zh i-hui2， XΙE Lan- chi2， ZHANG Ning2， GUO Jing-jing2
（ 1.Bengbu Public Security Bureau，Anhui Bengbu 233040， China； 2.Ιnstitute of Forensic Science， Ministry of Public Security， Beijing 100038， China）

Three-dimensional （3D） facial image provides diversifi ed information and be comes more and more important.However， acquiring 3D facial images is a challenge especially when we need to get a large number of high-resolution images.Ιt includes device selecting， quality controlling， data pre-processing and so on.Ιn the past three months， over 1100 3D facial images had been captured for our project.This paper proposed some technique improvements when capturing 3D facial images.The fi rst one was device selecting.Artec Spider portable3 D scanner was selected based on an extensive performance comparison.The scanner could capture depth informat ion and color texture.We could get high-resolution 3D image with scan resolution of 0.1mm.The second one was to control the image quality when we captured a large number of samples.Due to the portability of the scanner， the capturing results could be affected by the operator.To avoid this problem， we designed a fi xed scanning path to get more stable and reliable results.The third one was data pre-processing.The original scanning result was a combination of curved surfaces， which were aligned by auto-registration.We proposed some manual interve ntion methods to enhance the c omposed precision.The fi nal one was the effi ciency.Ιt was important to sample a large scale region with reliable data and relatively short time.We analyzed the relation of pre-processing time， image quality and the number （fra me） of curved surfaces， and concluded that the optimum number of sample frame was 500～700.

3D facial image； 3D scanner； pre-processing； manual intervention

DF793.2

A

1008-3650（2015）02-0098-04

“863”计划课题（No.2013AA014602）；中央级公益性科研院所基本科研业务费项目（No.2013JB017）

王俊娟（1979—），女，安徽蚌埠人，工程师，学士，研究方向为刑事影像技术。 E-mail：13805526357@139.com

黎智辉，男，副研究员，博士，研究方向为图像处理与分析。 E-mail：lzhuil@sina.com

2014-12-12