高精度三维人脸图像数据库

许 磊，黎智辉，王俊娟，谢兰迟，张 宁，王永强，郭晶晶

（1.公安部物证鉴定中心，北京 100038；2.蚌埠市公安局，安徽 蚌埠233040）

高精度三维人脸图像数据库

许 磊1，黎智辉1，王俊娟2，谢兰迟1，张 宁1，王永强1，郭晶晶1

（1.公安部物证鉴定中心，北京 100038；2.蚌埠市公安局，安徽 蚌埠233040）

3D人脸图像数据库广泛应用于计算机视觉、动画绘图设计、医学等很多领域。在法庭科学领域，采集三维人脸图像并建立数据库，可进行人像特征分类、统计人像特征的分布以及训练人像模型，这些分析是人像比对和识别的基础。与传统的二维数据库相比，三维（3D）人脸图像库能够提供更多信息，例如，三维人脸图像的空间结构和形状包含多视角轮廓。3D人脸图像采集方法包含多视角几何信息的方法、结构光的方法和3D扫描仪的方法，这些方法有不同的采集设备和环境。国内外已经建立了几个有代表性的3D人脸图像数据库，例如MPI实验室的MPI和BJUT的BJUT-3D，但这些库在分辨率和精度方面尚有不足。本文首先回顾了MPI、BJUT-3D数据库和它们的采集环境，然后对建立中国人的高精度3D人脸图像数据库进行探索研究。用彩色手持三维扫描仪（Artec Spider）采集了1100个3D人脸图像，这些图像包含彩色纹理和深度信息（几何形状和点云），每个人脸图像的几何形状的采样点数目超过2000万，三角面片数目超过4000万。与BJUT-3D人脸数据库在人脸形状、分辨率和纹理等方面的比较结果显示，本研究采集的人脸图像有更高的精度，在嘴巴、鼻子、眼睛等方面比其他数据库中的人脸图像显示了更多的细节。建立的数据库将会支持在3D人像识别和算法评估方面的进一步工作。

三维人脸图像库；人脸数据采集；人脸数据处理

DOΙ: 10.16467/j.1008-3650.2015.02.002

在当前公安刑事侦查工作中，人脸图像作为最直观的线索，在各类案件中起到非常重要的作用。在实际办案中，监控视频中犯罪嫌疑人图像常常存在着分辨率低和模糊变形的问题，目前的低质量人脸图像重建技术由于缺乏比较成熟的三维人脸模型，重建效果往往与真实情况有较大差异。

近年来，三维人脸识别、建模和检测等技术成为研究热点。三维人脸数据比二维人脸数据有优势，主要是前者包含人脸的空间信息，而且对姿态、光照条件的变化具有鲁棒性。人脸数据库对三维人脸数据的分析研究［1，2］、模型训练、算法性能比较测试是必不可少的基础数据资源，因此，建立高精度的三维人脸库是人脸研究的重要前提。

1 采集三维人脸数据的常用设备和方法

目前常用的采集三维人脸数据的方法有三种，即基于多视角几何信息的方法、基于结构光的方法和基于三维扫描仪的方法。其中CMU的FIA数据库是基于多视角几何信息的方法建立的［3］，具体是用6个摄像机从3个不同角度获取20s的视频信息，对于人脸数据的三维信息用计算机视觉的方法进行恢复。这类方法有较明显的不足，即没有对视频中的人脸进行标定，而是用复杂的人脸跟踪算法重构人脸的形状信息，所以对人脸跟踪效果的好坏对最终效果有重要影响。基于结构光的方法是用一个照相机和放映机获取人的3D坐标信息，这类方法的优势是获取的样本坐标信息精度高，不足是某些部分的三维信息无法获得，如面部的眼睛、阴影部分等，会造成面部曲面形状的不完整，3D-RAM是基于结构光的方法建立的三维人脸数据库［4］。随着三维人脸数据采集技术的发展，三维扫描仪成为主流的采集设备，使用它获取的人脸部的形状和纹理信息更为精确。北京工业大学采用Cyberware 3030RGB/PS激光扫描仪获得BJUT-3D数据库中的三维人脸数据［5］。

2 国内外比较典型的三维人脸库

由于对三维人脸相关技术的研究需要三维人脸数据库做支撑，所以建立高质量的三维人脸数据库非常有意义，特别是高质量的彩色三维人脸数据库。

国外在这方面探索较早，已经出现了规模不大的三维人脸数据库，比较典型的是Vetter等人建立的MPI人脸数据库［6，7］。MPI人脸库是使用激光扫描器（Cyberware TM）创建的。目前该数据库只用来提供科学研究用途，西安交通大学的付昀等人通过签署授权协议获得了这个人脸库的使用权。授权得到的MPI人脸库包含200个中青年人脸图像，其中男女各100人，每个人有7张视图呈不同角度，共有1400张人脸图［8］。库中人脸图像去除任何装饰物，如眼镜等，并消除了与研究无关区域，如颈部以下两耳以外的区域。

MPI人脸数据库在计算三维人脸的稠密对应方面使用了光流方法，建立了三维人脸Morphable模型，实现了针对人脸图像的三维人脸自动重建方法。但是该方法也存在不足，比如人脸对应效果不理想、人脸模型复杂导致运算量非常大等，距实际应用还有相当距离。图1显示了MPI人脸库中一女一男在5个不同视点下的灰度图像。

图1 MPI人像库中不同视点下的人脸图像［8］Fig.1 Face image of different view in MPΙ［8］

国内在创建三维人脸数据库方面，北京工业大学的BJUT-3D最具代表性。他们采用激光扫描仪（Cyberware 3030RGB/PS）获取三维人脸原始数据，是真正意义上的三维人脸库。其数据库数据量较大，包含1200个中国人的三维人脸数据［9］，表情均为中性，对外公开发布的有500人，其中男女各250人，年龄在16～49岁之间，扫描后的数据包括空间几何信息和彩色纹理信息。图2是扫描后的三维人脸及其对应的几何、纹理信息。

图2 三维扫描数据［5］。A：三维人脸；B：几何数据；C：纹理图像。Fig.2 3D data［5］.A: 3D image； B: geometry data； C: texture image.

3 高精度三维人脸数据的扫描

使用彩色手持三维扫描仪（Artec Spider）获取三维人脸原始数据（见图3）。选择使用该设备采集数据有以下几个考虑：一是该设备体积小、重量轻，携带方便，适合外出采集数据；二是操作简便，可以实时连续扫描，不用拼接，同时获取表面颜色，效率高；三是精确度高，点分辨率为0.1mm，可以扫描细节特征，误差精度为0.03mm，适合扫描小型物体。

图3 Artec SpiderFig.3 Artec Spider

由于是手持设备人工扫描，对采集者操作扫描仪要求较高，在大规模数据采集前，采集者需要通过一定的练习才能够熟练使用该扫描仪。总结采集过程的注意事项和经验如下：一是扫描仪工作距离范围小，为0.17～0.35m，实际采集时对距离的控制至关重要，扫描仪与被扫描者的脸部距离过大或者过小都会影响正常采集。扫描仪离人脸太近，数据捕捉不到；离人脸太远，人脸表面噪点太多，会使三维模型处理复杂化而影响最终结果，最优的距离是当扫描仪在不经过剖切面时，在距离范围内与人脸尽可能的近些。在扫描过程中，当自动实时拼接不可能，即无法使当前帧与先前帧拼接，就会发生声音提醒，直到扫描仪及时回到原来位置且计算机软件在三维中找到这个位置为止。二是在扫描过程中，采集者眼睛应该盯着连接扫描仪的电脑屏幕而不是被扫描者的脸部，通过屏幕上的显示距离和扫描部位的变化能更好地控制扫描距离，并且及时观察扫描的效果而做出相应调整。三是数据采集主要是人的面部区域，因此采集前，要求被扫描者不能化妆、不戴眼镜等饰物，露出面部五官等脸部特征。在一个合适的光强度环境下，要求被采集者坐在高度适中的椅子上，身体坐正，保持中性表情，眼睛平视前方，在整个扫描过程中要求被扫描者保持头部不动，表情不发生变化，扫描脸部正面时眼睛尽量不眨。四是扫描时使扫描仪正对（90º）人脸采集面，通过预览调整好扫描仪与被扫描者的距离后，脚步随着采集区域的移动而缓慢移动，从耳朵一侧起始呈S型顺序扫描到另一只耳朵，最后扫描下巴回到起始处，这个路径既可以包含整个人脸信息又相对节省时间。整个过程保持动作相对平稳，不要发生大的抖动。为了保证扫描人脸数据质量，对于某些光不易扫描到的部位如结构复杂的耳朵，对于光反射较差的部位如眉毛，要在扫描时适当多停留一些时间并稍微变换些角度。图4分别是扫描后的三维人脸及其预处理后几何图像、加纹理后的图像。

图4 三维扫描数据。从左到右：原始三维数据、预处理后结果、加上纹理结果。Fig.4 3D Data.From left to right: original 3D scanning data，pre-processed image， and textured image.

4 与其他三维人脸图像数据的比较

由于国际上公开的三维人脸库较少，能够同时提供深度信息和纹理信息的更少。这里只与北京工业大学的BJUT-3D比较（见表1）。

BJUT-3D是目前国际上最大的中国人三维人脸数据库，采用的Cyberware 3030RGB/PS在记录几何信息方面使用柱面坐标［10］，扫描精度为360º圆周方向的489个采样点，在轴方向上为0～300mm 的478个采样点，它的扫描范围在260～340mm之间。每一个几何采样点都有一个纹理像素点与其对应，纹理图像大小为489×478像素。Cyberware扫描仪获得的数据精度相对较高，一个人的原始数据大约由200 000点和400 000个三角面组成。

数据库使用Artec Spider采集人脸的几何信息和纹理信息。扫描仪是人工操作，所以采样点不是固定设置参数，人脸大小、脸型等因素影响采集的时间和最后的数据量，但是采集点数一般有2000多万。把头部近似看成一个圆柱，扫描圆周方向从耳朵一侧到另一侧，轴方向额头顶部至脖子范围，扫描仪与被采集者距离在170～350mm之间。人脸纹理信息以bmp格式存储，大小为4096×4096像素。人脸数据精度主要体现在扫描点和三角面片数目上，采集的人脸数据点和三角面可以达到千万级，一般点在2000多万，三角面4000多万，精度比BJUT-3D更高。在后期预处理过程中，为了加快处理速度，在保证人脸精度的情况下可适当简化网格。图5是Artec Spider和BJUT的设备采集的两个三维人脸图像比较。可以看出，本研究的扫描数据分辨率更高，纹理、细节等信息更明显，更真实地反映被采集者的人脸信息。

图5 三维数据比较。左：本研究采集结果；右：Cyberware 3030RGB/PS采集结果。Fig.5 Comparison of 3D data.Left: our result； right: captured by Cyberware 3030RGB/PS.

表1 BJUT-3D数据和本研究数据比较Table1 BJUT-3D data and data from our research

5 对采集的三维人脸数据的后处理

扫描人脸时，有些部位不容易完整采集，如耳朵、下巴、鼻翼两侧等，捕捉不到的三维人脸信息以空洞形式存在，人脸局部不光滑会产生毛刺，需要使用整体配准、光顺形式合成、小型对象过滤、补洞和简化网格等预处理方法弥补三维人脸上的空洞并去掉毛刺。对于绝大部分一次性扫描完成的采集较好的数据，使用上述方法能够取得良好效果，对于少数因为采集时距离控制不好或者被采集者发生较大抖动造成人脸错位和闭眼等情况的数据，需要先对形成人脸数据的面片进行人工筛选，将某些不理想的面片去除，然后再对数据进行整体配准、光顺形式合成、小型对象过滤、补洞和简化网格等预处理，最后进行加彩色纹理信息操作。

使用彩色手持三维扫描仪完成了1100份高精度三维人脸图像数据的采集，并用配套的软件进行了后处理，得到的数据能够比较精确的反映出人脸细节特征如眼、鼻、嘴唇等的细节结构。这些信息有助于下一步对人脸五官特征进行精确定位、测量和分类等，加上后续的统计分析，将为解决人脸概率分布、量化特征抽取、三维人脸建模等问题提供坚实的数据基础，从而推动人脸识别、比对等技术从二维向三维的发展。

［1］ 徐长苗，梁荣华.计算机辅助技术的三维颅面复原研究现状与进展［J］.刑事技术，2008（2）: 26-28.

［2］ 张继宗，闵建雄.根据相片面部特征进行个体识别的方法［J］.刑事技术，2001（5）: 42-43.

［3］ Goh R， Liu L， Liu X， et al.The CM U face in action （FIA）database［C］//Proc of IEEE ICCV 2005 Workshop on Analysis and Modeling of Face and Gestures.Los Alamitos: IEEE Computer Society， 2005: 255-263.

［4］ Charles B.3D_RM A: 3D database ［DB/OL］.［2008-04-30］.http://www.sic.rm a.ac.be/ ～ beumier /DB/3d_ rma.html# 1.

［5］ Yin B C.BJUT-3D face database ［OL］.［2008-04-22］.http: //www.bjpu.edu.cn/sci/multimedia/mul-l ab /3dface/ face database.Htm.

［6］ Blanz V， Vetter T.A morphable model for the synthesis of 3D faces［C］// Proc.SIGGRAPH' 99.Los Angeles: ACM Press，1999: 187-194.

［7］ Romdhani S， Blanz V， Vetter T.Face identification by fitting a 3D morphable model using linear shape and texture error functions［C］//Proc.the 7th European Conf.Computer Vision.London: Springer-Verlag， 2002: 3-19.

［8］ 付昀，郑南宁，张婷.人脸的表情与年龄变换和非完整信息的重构技术（下） ［J］.电子学报，2003， 31（12A）: 1963-1970.

［9］ 尹宝才，孙艳丰，王成章，等.BJUT-3D三维人脸数据库及其处理技术［J］.计算机研究与发展，2009， 46（6）: 1009-1018.

［10］ 胡永利，尹宝才，程世栓， 等.创建中国人三维人脸库关键技术研究［J］.计算机研究与发展，2009， 42（4）: 622-628.

引用本文格式：许磊，黎智辉，王俊娟，等.高精度三维人脸图像数据库［J］.刑事技术，2015，40（2）：94-97.

High Precision 3D Facial Image Database

XU Lei1， LΙ Zhi-hui1， WANG Jun-juan2， XΙE Lan-chi1， ZHANG Ning1， WANG Yong-qiang1， GUO Jing-jing1
（1.Ιnstitute of Forensic Science， Ministry of Public Security， Beijing 100038， China； 2.Bengbu Public Security Bureau， Anhui Bengbu 233040， China）

Three-dimensional （3D） facial database can be wildly used in computer vision， animated drawing designing，medicine and etc.Ιn forensic science， facial image database is used to classify face features， calculate the distribution of face features， and train the model.These analyses are the base for face identifi cation and recognition.3D facial image database can provide more information than traditional 2D database.For example， the special structure and shape in 3D facial image include multi-view profi le.The 3D facial image capturing methods include multi-view geometry information， structured light and 3D scanning.These methods have different capturing devices and environments.There are several typical 3D facial image databases such as the MPΙ from MPΙ lab and the BJUT-3D from BJUT， which have some disadvantages in resolution and precision.Ιn this paper， we fi rst reviewed MPΙ and BJUT-3D databases and their capturing environments.Then we established our high precision 3D facial image database of Chinese people.1100 3D facial images had been captured， including their color texture and depth （geometry shape or point cloud） information with Artec Spider， a portable3 D scanner.The number of sampling points of the geometry shape was more than 20 million.The number of triangle surfaces of 3D image was more than 40 million.The results showed that the images in our database exhibited higher precision than those in BJUT-3D database when considering face shape， resolution and texture.Meanwhile， these images presented more details in mouth， nose， eyes etc.than the images in the other databases.The established database would support our further work in 3D facial identifi cation and algorithm evaluation.

3D face database； facial data acquisition； facial data processing

DF793.2

A

1008-3650（2015）02-0094-04

“863”计划课题（No.2013AA014602）；中央级公益性科研院所基本科研业务费项目（No.2013JB017）

许 磊（1985—），男，山东日照人，研究实习员，硕士，研究方向为图像检验。 E-mail：xulei20081688@163.com

黎智辉，男，副研究员，博士，研究方向为图像处理与分析。 E-mail：lzhuil@sina.com

2014-12-23