基于计算机视觉的未识别民族面部特征研究

李泽东，曹　丹，陆　敏，段晓东2a,，王存睿

(1.东北大学 系统科学研究所，辽宁 沈阳 110819；2. 大连民族大学 a.计算机科学与工程学院；b.大连市民族文化数字技术重点实验室，辽宁 大连 116605；3. 北方民族大学 计算机科学与工程学院，宁夏 银川 750021)



基于计算机视觉的未识别民族面部特征研究

李泽东1,2a，曹丹2b，陆敏3，段晓东2a,2b，王存睿1,2a

(1.东北大学 系统科学研究所，辽宁 沈阳 110819；2. 大连民族大学 a.计算机科学与工程学院；b.大连市民族文化数字技术重点实验室，辽宁 大连 116605；3. 北方民族大学 计算机科学与工程学院，宁夏 银川 750021)

摘要：基于计算机视觉通过特征点定位方法提取图像中的人脸特征点，利用其构建了眉间距、瞳孔间距、眼睛宽度等多项指标来刻画民族人脸特征，并分析了穿青人、南京人、蔡家人和革家人等未识别民族的特征，且与汉族、朝鲜族、藏族、蒙古族、壮族和维族等民族进行了相似性度量。实验表明未识别民族的面部特征分布存在一定规律，但受性别影响，不同民族面部之间的相似性也不尽相同。研究结果不仅证实了利用计算机视觉技术对多民族人脸特征进行分析的可行性，也为民族学人类学的相关研究提供了一种新途径。

关键词：计算机视觉，面部特征，未识别民族，相似性度量

人脸面部特征包含有民族、性别和年龄等基本属性，其中民族属性在人脸认知过程中先于性别和年龄特征，是人脸判别的重要依据[1]。人类学研究已证实，受文化、遗传、地域等诸多客观因素影响，不同民族面部特征之间差异的客观存在性[2-5]。因此，利用计算机视觉技术深入分析和挖掘多民族面部特征及其规律，对于深化人类学相关研究具有重要意义。

人脸特征描述主要分为全局特征和局部特征[6]。全局特征是指特征向量的每一维都包含了人脸图像中所有部分的信息，反映的是人脸整体属性。而局部特征中，每一维向量只对应人脸图像中的一个局部区域，侧重于提取人脸的细节特征。在人脸识别的研究中，两种类型特征被广泛使用。近年来，利用计算机视觉技术对人脸的民族特征研究在国际上逐渐开展起来，其中包括Shakhnarovich利用boosting算法对亚洲人以及非亚洲人进行了民族特征研究[7]；Lu和Jain利用线性判别分析(Linear Discriminant Analysis，LDA)对亚洲人以及非亚洲人种提取多维度面部特征进行研究[8]；Hosoi和Takikawa等对蒙古人种、高加索人以及黑种人等进行了面部特征提取和模式分析[9]。但国际上主要集中于全球几个主要人种之间的面部特征分析，对属于同一人种的不同民族或族群的研究相对较少。直到20世纪90年代初，有学者开始对中国人外貌特征进行了初期研究[10]，但针对民族人脸特征的相关研究尚处于起步阶段[11-12]。本课题组从2005年开始对中国多民族人脸特征进行研究，通过田野调查重点采集了我国西南、西北等地区的民族人脸图像，初步构建了具有6 000余样本的多民族人脸数据库[11-12]。并利用主成分分析(Principal Component Analysis，PCA)、线性判别分析和Gabor等方法对部分民族的人脸特征进行了前期研究，并验证了不同民族面部特征的多样性。

未识别民族占我国人口的极少部分，约64万人[13]，主要分布在贵州、云南、四川和西藏等地，探索尝试研究未识别民族的面部特征对于丰富和完善现有民族面部特征研究工作具有一定意义。为此，本文在国家民委项目支持下，将人脸民族特征分析与体质人类学的相关工作作为结合点，研究革家人、蔡家人、穿青人和南京人等未识别民族的人脸特征分布规律以及民族面部特征信息之间的内在规律。文中利用计算机视觉技术取人脸部件的几何形态特征点，并构建长度、高度和角度等18个指标刻画前述未识别民族的人脸特征，进而探索其面部特征的分布规律；同时与汉族、朝鲜族、藏族、蒙古族、维吾尔族、壮族[14]等民族之间进行相关性分析，探求不同民族面部特征之间的相关规律。

1人脸面部特征构建

1.1面部特征定位

个体人脸的形态差异会导致图像不同人脸的形变，因此检测算法模型应对人脸的形状变变化具有一定的鲁棒性。主动形状模型方法 (Active Shape Models, ASM)[15]是一种较为流行的方法，通过建立每个特征点的局部灰度模型，在形状搜索时作为启发式信息更新特征点位置，从而达到对目标轮廓的精确定位。其过程如下

首先对每一幅训练图像标记特征点为中心，沿着其法线方向分别在特征点两边取k个像素的灰度值，然后以法线段上某个点为中心，截取k*k的窗口,该窗口内像素的平均值就作为该中心点的灰度值，每一个点对应的灰度模板就是关于这2k+1个灰度值(包括特征点的灰度)的均值和方差模型。

对于i幅图像的第j个特征点，其向量表示为

(1)

(2)

对ΔGij进行标准化，有

类似地，都可得到每个特征点的局部特征。之后目标图像中的某候选点的标准化灰度导数向量y’与其训练好的局部特征之间的相似性度量为

(3)

反映了目标图像中候选点与第j个特征点之间的相似度，d值越小相似度越大。相似度最大的候选点作为目标图像中与特征点j最匹配的目标点。根据ASM方法原理，文中对民族人脸图像进行定位，并提取其中76个特征点，如图1。

图1　人脸部件定位特征点

1.2面部特征构建

本文借鉴人体测量学[16-17]以及人脸几何特征形态，构建了与民族人脸面部特点关系密切的眉内间距、瞳孔间距、眼睛宽度、鼻宽和眉眼长轴夹角等18个人脸特征。特征点及其计算方法见表1、表2。

表1　人脸面部几何特征

表2　人脸特征计算方式

表2中，li(xi,yi)表示图像中人脸部件特征点的x轴和y轴坐标，d(li,lj)表示li和lj两点之间的距离，arc表示角度特征。

2未识别民族人脸特征分析

2.1未识别民族人脸特征统计

根据表1中构建的18个人脸面部特征，文中对穿青人、南京人、蔡家人和革家人等4个未识别民族的男性和女性面部特征分别进行统计，其部分结果见表3。

表3　未识别民族人脸面部几何特征统计(节选)

从表3可知，在眉内间距、瞳孔间距以及眼睛宽度等距离特征中，穿青人、南京人和蔡家人之间相似性较高，而革家人的度量值较小且与其相差较大；而下颌下巴夹角、颧点眉心点夹角和鼻孔眉心夹角等角度特征的分布相对集中，且变化范围相对低于距离特征，更有利于表达未识别民族人脸之间的差异。

由于未识别民族的人数导致样本的不均衡亦是形成以上差异的可能因素之一。但其结果仍具有代表性，可作为不同民族之间人脸特征分析的重要依据。

2.2面部特征相似性分析方法

本文使用层次聚类方法度量不同民族面部特征之间的相似性。聚类是将物理或抽象对象的集合分成由不同对象组成的多个类的过程，要求同类中各个对象之间的模式比非同类中的模式具有更多的相似性。常用的聚类方法有层次聚类、K-means以及模糊C均值(Fuzzy C-means, FCM)等方法[18]。其中层次聚是根据给定的簇间距离度量准则，构造和维护一棵由簇和子簇形成的聚类树，直至满足某个终结条件为止，且能够以树模式展示不同民族之间的相似关系。

本文采用基于AGNES算法的层次聚类分析多民族之间的相似性。层次聚类方法可分为凝聚、分裂的两种方案，代表方法分别为AGNES和DIANA方法。AGNES算法是一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有的对象都在一个簇中，或者某个终结条件被满足，绝大多数层次聚类方法属于这一类，只是在簇间相似度的定义上有所不同。DIANA算法采用自顶向下的策略，与AGNES算法相反，首先将所有对象置于同一个簇中，然后逐渐细分为越来越小的簇，直到每个对象自成一簇，或者达到了某个终止条件。

而各个簇之间的距离通常采用最小距离、最大距离、平均值距离和平均距离等方式度量。假设Ci和Cj为两个簇，其中p∈Ci为簇Ci中的一个特征样本，p’∈Cj为簇Cj中的一个特征样本，其度量方式如下所示：

(4)

(5)

平均值距离：是指用两个簇各自中心之间的距离代表两个类的距离。

(6)

式中，mi是簇Ci的平均值，mj是簇Cj的平均值。

(7)

式中，ni是簇Ci中的样本数量；nj是簇Cj中的样本数量。

2.3多民族面部特征相似性分析

利用层次聚类方法，本文对穿青人、南京人、蔡家人、革家人以及汉族、朝鲜族、藏族、蒙古族、壮族、维族[14]等民族的男性和女性人脸面部特征分别进行了相似度分析，见表4、表5。

表4　多民族男性面部特征相似度矩阵

表5　多民族女性面部特征相似度矩阵

由表4和表5中各民族的相似度可知：① 未识别民族群落面部特征之间的分布存在一定的规律。男性中，南京人、穿青人、蔡家人和革家人之间的相似系数分别为0.871 7、0.805 4和0.792 9；女性中南京人、穿青人、蔡家人和革家人之间的相似系数分别为0.899 3、0,814 7和0.736 7；之后未识别民族与其他民族面部特征较为相似。② 多民族间的面部特征相似规律体现在两个层面：一方面体现在民族之间的相似性；另一方面是依据相似度形成了不同的相似群落。例如女性中朝鲜族、蒙古族、汉族形成的群落与维族之间的相似度为0.904 3，男性中，汉族、蒙古族和朝鲜族群落和壮族、维族形成的群落之间的相似度为0.932 9。③ 多民族面部特征间具有相似性，但男性和女性所属民族的相似程度不同。男性中汉族和蒙古族最为接近(相似度为0.969 8，下同)，其次是汉族和朝鲜族(0.957 2)、蒙古族和朝鲜族族(0.957 2)；女性中朝鲜族和蒙古族最接近(0.974 8)，其次是汉族和朝鲜族(0.954 9)、汉族和蒙古族(0.954 9)。

3结论

本文以计算机视觉技术为手段，通过对民族人脸图像特征点进行定位，构建眉内间距、瞳孔间距、眼宽度、嘴宽度、颧骨-眉心角和眉眼长轴夹角等18个指标，对南京人、蔡家人、穿青人和革家人等部分未识别民族的面部特征进行刻画；同时与汉族、朝鲜族、藏族、蒙古族、壮族、维族等民族的人脸面部特征进行了相似性度量，并且初步分析了部分未识别民族面部特征相似性规律。但受样本量限制，在后续研究中仍需继续丰富多民族人脸样本数据，以便进一步揭示不同民族面部特征之间内在的关联关系，为多民族融合发展提供依据。

此外，本文的研究证实了利用计算机技术对人脸特征进行分析的可行性，不仅可以代替传统的人工测量，节省了大量工作时间，也可根据多民族人脸特征之间的分布规律对不同民族的特征进行定量分析和挖掘，是人脸特征分析的重要手段，为民族学和人类学研究提供了可借鉴的途径，也为多民族人脸形态数字化留存提供了新手段。

参考文献：

[1] FU S, HE H, HOU Z G. Learning Race from Face: A Survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(12):2483-2509.

[2] 张振标, 张建军. 广西壮族体质特征[J]. 人类学学报, 1983(3):260-271.

[2] 张振标. 藏族的体质特征[J]. 人类学学报, 1985(3):250-258.

[4] 艾琼华, 肖辉. 维吾尔族的体质特征研究[J]. 人类学学报, 1993(4):357-365.

[5] 崔静, 郑连彬, 沈新生. 新疆塔塔尔族体质特征调查[J]. 人类学学报, 2004, 23(1):47-54.

[6] 苏煜, 山世光, 陈熙霖, 等. 基于全局和局部特征集成的人脸识别[J]. 软件学报, 2010, 21(8):1849-1862.

[7] SHAKHNAROVICH G, VIOLA P A, MOGHADDAM B. A unified learning framework for real time face detection and classification[C]∥ IEEE International Conference on Automatic Face and Gesture Recognition. IEEE Computer Society, 2002:14-21.

[8] LU X, JAIN A K. Ethnicity identification from face images[C]∥ Proceedings of SPIE-The International Society for Optical Engineering, 2004, 5404:114-123.

[9] HOSOI S, TAKIKAWA E, KAWADE M. Ethnicity estimation with facial images[C]∥ IEEE International Conference on Automatic Face and Gesture Recognition, 2004:195-200.

[10] GAO W, CAO B, SHAN S, et al. The CAS-PEAL Large-Scale Chinese Face Database and Baseline Evaluations[J]. IEEE Transactions on Systems Man and Cybernetics-Part A：Systems and Humans, 2008, 38(1):149-161.

[11] 段晓东, 李泽东, 王存睿, 等 . 基于AFS的多民族人脸语义描述与挖掘方法研究[J/OL]. 计算机学报, [2015-11-17].http:∥ www.cnki,net/kcms/detail/11.1826.TP.2015117.1315.006.html

[12] 段晓东，王存睿，刘向东，等. 人脸的民族特征抽取及其识别.计算机科学[J]. 2010, 37(8): 276-279, 301.

[13] 国务院人口普查办公室. 中国2010年人口普查资料[Z]. 北京：中国统计出版社, 2012.

[14] 李志洁, 段晓东, 王存睿. 中国6个民族的面部几何特征聚类分析[J]. 大连民族学院学报, 2015(1):73-76.

[15] COOTES T F， TAYLOR C J， COOPER D H，et al. Active shape models-their training and application[J]. Computer vision and image understanding, 1995, (61): 38-59.

[16] 张继宗. 中国体质人类学研究[M]. 北京:科学出版社, 2010.

[17] 席焕久. 体质人类学[M]. 北京：知识产权出版社, 2011.

[18] 高新波. 模糊聚类分析及其应用[M]. 西安：西安电子科技大学出版社, 2004.

(责任编辑王楠楠)

The Study for Facial Features of Unrecognized Ethnic Groups Based on Computer Vision

LI Ze-dong1,2a, CAO Dan2b, LU Min3, DUAN Xiao-dong2a,2b, WANG Cun-rui1,2a

(1.Institute of System Science, Northeastern University, Shenyang Liaoning 110819, China;2a.School of Computer Science and Engineering; 2b.Dalian Key Lab of Digital Technology for National Culture, Dalian Minzu University, Dalian Liaoning 116605, China; 3.College of Computer Science and Engineering,Beifang University of Nationalities, Yinchuan Ningxia 750021, China)

Abstract:The facial feature points are first extracted from images using landmark method in this paper. Then, the facial features, such as brow distance, pupil distance, eye wide, ect. are constructed for describing facial characteristics. Last, unrecognized ethnic groups such as Chuanqing, Nanjing, Caijia and Gejia are analyzed, and the similarity measurement is also conducted by clustering method among multi-ethnic groups including Chuanqing, Nanjing, Caijia, Gejia, Han, Korean, Tibetan, Mongolian, Zhuang and Uygur. The experiments show that there are regularities in the distribution of unrecognized ethnic groups. Due to the effect of gender, the similarities are also different among multi-ethnic groups. The results not only confirm the effectiveness for facial feature analysis using computer technology, but also provide a new approach for anthropology research.

Key words:computer vision; facial features; unrecognized ethnic groups; similarity measurement

收稿日期：2016-03-21；最后修回日期：2016-04-29

基金项目：国家民委科研项目(GM-2009-66);辽宁省科学计划项目(2013405003)。

作者简介：李泽东(1985-)，男，辽宁盖州人，东北大学博士研究生，主要从事模糊知识挖掘、模式识别及数据挖掘研究。

文章编号：2096-1383(2016)03-0260-06

中图分类号：TP391.4

文献标志码：A