颅面相似性度量与评价

赵俊莉，周明全，王 曦，张念凯，耿国华，税午阳，张 娟

(1.青岛大学 计算机科学技术学院,山东 青岛 266071;2.西北大学 文化遗产数字化国家地方联合工程研究中心，陕西 西安 710127；3.西北大学 信息科学与技术学院,陕西 西安 710127；4.北京师范大学 教育部虚拟现实应用工程研究中心，北京 100875；5.青岛市急救中心 通讯调度科,山东 青岛 266035；6.陕西师范大学 新闻与传播学院，陕西 西安 710119)

近年来,随着颅面形态学和生物计算的不断发展,三维颅面的研究引起了研究者的关注。颅骨和面貌是人的重要生物特征,也是法医人类学的重要研究内容。通过颅骨估计个体面貌的颅面复原技术以及将颅骨与照片进行比对的颅相重合技术是目前广泛研究的颅骨身源鉴定的两大技术[1],对刑侦辅助破案、公共安全调查、烈士遗骸的身份确认等起到重要作用,已被广泛用于法医学、考古、医学整容和公安刑侦等领域。在上述研究中,复原结果的好坏以及颅骨与照片的相似性度量关系到颅骨身份认证结果的准确性，因而，对于颅面复原结果的评价以及颅骨与面貌相似性度量的研究是上述颅面研究的关键技术之一,对于改进颅面复原方法、提高颅骨身份认证的准确性都具有重要的作用。

由于颅骨和面貌是自然界最复杂的几何物体之一,具有复杂的拓扑结构和相似的几何结构，因而，颅面相似性度量以及复原结果评价仍然是一个极具挑战性的难题。本文梳理了近年来颅面相似性度量与复原结果评价方面的研究,将现有的颅面相似性度量与评价方法分为主观定性和客观定量的方法，从两方面进行总结归纳,以期为今后在该领域的深入研究提供帮助。

1 主观定性的评价方法

早期一些学者对颅面相似度的主观定性评价方法进行了研究与探索。

1.1 预先设定标准

该类方法通过使用预先设定的标准进行颅面的相似性度量与评价。如Patterson和Baddeley对专业演员组和年轻的海军士兵组进行面部相似性研究,发现年轻的海军士兵组具有较高的相似性[2]；Fessler等要求参与者从一组面貌中识别出待辨认的面貌,并将错误比例定义为相似度[3]；Snow等邀请200多名受访者,比较他们手工复原的一个颅面和7张照片,有68%的受访男性和26%的女性选择出了正确的结果[4]，Stephan和Henneberg邀请37位受访者验证16个颅面的复原结果,实验结果也表明男性的识别率要高于女性[5]。

1.2 等级评定(Rating)

等级评定的方法通过判断颅面相似性的等级来进行评价。Bruce和Milord分别要求评价者使用4点量规和7点量规评价比较的脸和目标脸的相似度等级[6-7]；Harmon采用了人脸识别系统来评价人脸相似的等级[8]；Quatrehomme等人邀请25名被试进行评价,在25个案例中有9个得到优秀、良好至中等的相似性[9]；Helmer等人邀请两位专家对12个颅骨进行传统手工复原,请受访者将24个复原结果和真人照片进行比较,结果表明38%的复原结果很相像,17%的相像,仅有一个复原结果被认为是与原始照片毫无关系[10]。

主观定性的方法主要从人的感知角度进行颅面相似性度量与评价,尽管度量结果符合人的认知理论,但评价过程需要大量的人力和时间,评价结果的精确性也受主观评价因素的影响,与评价者密切相关[11]。

2 客观定量的评价方法

由于主观评价方法的局限性,越来越多的学者开始探索使用客观方法进行颅面相似性度量与复原结果评价。客观的颅面相似性度量与复原结果评价方法一般先对待比较的面貌进行特征提取,然后计算所提取特征的距离或相关程度,依此进行相似度或复原结果的评价,具体步骤如图1所示。

依据在进行相似性度量与评价时所用特征进行分类,可分为几何方法、视觉方法与统计方法,基于几何的方法又可以分为基于特征点的方法、基于曲线的方法和基于曲面或区域的方法,下面分别进行阐述。

2.1 基于几何的方法

基于几何的颅面相似性度量与评价方法主要依据颅骨和面貌的几何特征进行测量和计算,其中特征点、特征曲线以及曲面/区域是常用的三类几何特征。

2.1.1 基于特征点的方法 基于特征点的颅面相似性度量与评价方法以颅面特征点表示颅面,并对特征点之间的距离等特征进行度量,以此来度量颅面的相似性。

Marks等[12]、Moorthy等[13]以及袁姮等[14]在二维人脸图像上提取面部特征点进行相似性度量。吴秋瑾等通过测量并分析新疆哈萨克族女性13项常用侧貌组织的角度和距离,比较不同种族的女性侧貌之间存在相似且可测量的面部美学特征,为口腔正畸、正颌、整形外科及口腔美容修复相关治疗提供临床参考数据[15]。许敏等提出一种基于特征点位置坐标的定量描述颅面X光片图像的相似性的方法,该方法采用提取两幅X线头影测量图像中的特征点的位置坐标,构成两组二维向量,用典型相关分析这两组向量的相关性，表征两幅图像间的相似度,并应用到研究颅面X光片图像正常值的确定中[16]。该方法能够定量地描述图像的相似度,对研究颌面正常值具有一定的意义。

图1 颅面相似性度量与评价步骤图Fig.1 Step diagram of craniofacial similarity measurement and evaluation

Weinberg等比较了使用3D立体摄影测量收集的3D面部标准数据集(3DFN,n=2 454),和使用直接人体测量法收集的Farkas颅面标准数据集(n=2 326)的差异，通过24个清晰定义的3D软组织面部标记点(见图2，从左上到右下包括颅底宽度、面部上部深度(右)、面部中部深度(右)、面部下部深度(右)、面部形态高度、面部上部高度、面部下部高度、腕间宽度、外眼角宽度、眼睑裂长度(右)、鼻宽、鼻下宽、鼻突出、鼻翼长(右)、鼻高、鼻桥长、唇裂宽、中宽、中长、上唇高、下唇高、上唇红高、下唇红高、皮肤下唇高[17]),计算颅面标记点之间的线性距离,对这些距离进行汇总,得出特定年龄和性别的平均值和标准差,以描述两个数据集整体之间差异的大小。最后，得出3DFN和Farkas标准之间存在相当大的差异,并分析了除测量方法外,导致差异的其他因素可能包括颅面形态的长期趋势或种族组成的差异[17]。王志红等通过测量17 个特征点的距离量,比较复原模型和原始面貌[18]。

图2 24个3D软组织面部标记点[17]Fig.2 24 3D soft tissue facial marker points[17]

翟桂英和任甫提出基于欧几里德几何距离矩阵分析的三维颅面复原评价方法[19],通过对能较好反映颅面解剖学形状特征的中轴线及右半侧面部的19个特征点(见图3，蓝色代表男性，绿色代表女性[19])之间的欧氏几何距离进行测量,建立一个形状矩阵(form matrix,FM),计算两类物体的平均形状矩阵的比即形状差异矩阵(form difference matrix,FDM),通过FDM比值(小于0.95或大于1.05表示两类物体的平均形状存在5%或更大的差异)进行颅面复原评价。通过实验发现，现有复原方法在对五官复原方面尤其是眼部还有待改进。欧几里德几何距离矩阵分析法(Euclidean distance matrix analysis,EDMA)可以对任意不规则物体的二维或三维结构特征进行量化分析,不但能实现两个物体形态差异的检验,更能准确分析差异区域,找出复原结果中误差较大的位置,为颅面复原提供一个便捷有效的评价平台。

朱新懿等人针对目前颅面相似度评估主要依靠主观验证、缺乏衡量相似度的物理量等问题,提出了基于颅面特征点计算Procrustes距离及利用Principal warps计算两个面貌模型对应特征点(见图4)之间弯曲形变矩阵等方法来衡量颅面的相似性[20-21]。在Procrustes距离的方法中,颅面特征点被分为形状特征点(第一类特征点，见图5)和一般特征点,针对不同特征点分别计算欧氏距离和Procrustes距离来衡量颅面相似度；Principal warps方法通过薄板样条函数计算颅面间的弯曲变形矩阵,通过衡量变形程度来定义颅面相似性。

图3 面部特征点分布图(A)及欧氏几何距离线段分布图(B)Fig.3 The distribution of facial feature points(A)and the distribution of Euclidean geometric distance segments(B)

图4 34个传统特征点[21]Fig.4 34 traditional feature points [21]

图5 第一类特征点[20]Fig.5 Feature points of the first kind [20]

上述方法中的特征点主要采用手工标定的方法实现,费时费力而且受主观因素影响较大。Zhao 等在颅面上自动提取测地网格点,然后,分别计算颅面模型网格点邻域的曲率和形状索引等几何特征[22-23],将其加权平均值作为该网格点的特征。最后,将两个模型上所有对应网格点特征的相关系数的绝对值定义为它们的全局相似度。在文献[23]中,还将每个模型的测地网格点分为6个子区域(前额、眼睛、鼻子、嘴、脸颊和下巴)进行局部相似度评价，如图6所示，前额用粉色表示，眼睛部分用青色表示，鼻子区域用白色表示，脸颊部分用黑色表示，嘴区域用蓝色表示，下巴部分用酒红色表示[23]。

图6 测地网格点的6个子区域[23]Fig.6 Six subareas of geodesic grid points[23]

从上述研究可以看出,基于特征点的颅面相似性度量方法中,特征点标定的精确性直接影响度量结果,因而，研究准确标定颅面特征点的方法是关键。颅面特征点标定方法[24]已从手工标定向自动标定发展,新的深度学习方法也为自动标定特征点提供了思路[25]。

2.1.2 基于曲线的方法 基于曲线的颅面相似性度量与评价方法是利用颅面曲线表示颅面模型。目前所采用的曲线主要分为两类,一类是颅面轮廓线,另一类是具有几何特征的曲线,如测地线等。

1)基于轮廓曲线的方法

Wu等和Haar等提取通过中心、鼻子、前额等的多条侧轮廓曲线进行人脸相似度计算[26-27]。张志刚等[28]针对颅像重合问题,提出一种通过颅像的轮廓曲线进行相似性鉴别的方法,从轮廓曲线上对应离散点之间的距离和尺度空间中曲率函数的相关性计算相似度，如式(1)所示，

(1)

其中,(x(t),y(t))表示曲线。

刘雄乐等提出一种夹角信息和距离信息融合的颅骨轮廓特征提取算法用于检索相似颅骨[29]。首先，通过三维颅骨的正交投影和深度投影获取轮廓的角度和距离特征,并通过深度投影获得具有空域信息的剖面特征;然后，对多个特征进行加权融合搜索到最相似颅骨;最后，通过ICP+TPS对检索到的颅骨进行误差评估。实验表明,本算法在保证检索效率的同时,可以准确地应用在颅面复原前期对最相似颅骨的选择上。

2)基于特征曲线的方法

Nagamine等人观察到通过面部中心的垂直交线包含鼻子、嘴特征,在人脸识别中具有重要的区分性[30]；Jahanbin等人采用面部等深度曲线和等测地线进行身份认证[31]；Bronstein等人假设三维人脸不同面部表情的模型之间可以看成是等距变换,在等距变换下测地距离是不变的,因此，使用基于测地距离的各种方法进行三维人脸的形状分析与识别[32]；Daoudi的研究小组通过各种面部曲线的形状分析提出了一系列三维人脸识别方法,包括等深度曲线[32]、圆形曲线(等水平线)[33-34]和径向曲线[35](见图7)，这样可以实现曲线层次和点层次的一一对应，基于面部径向曲线的方法在整个FRGCv2.0数据集上Rank-one的识别率达到97%[36]。

图7 面部特征曲线Fig.7 Facial feature curve

针对具有表情变化的三维人脸,Berretti团队将面部曲面分成宽度和数值相等的等测地带和子带进行人脸识别[37-39]。如图8所示,他们对每对等测地带(或子带)之间或内部的距离通过3D权向量(3DWW)来计算，两个面部曲面的匹配通过两个面部曲面表示的图的匹配来实现,该方法对表情具有较好的鲁棒性。

李红艳等改进了基于等测地带的方法并将其应用于颅面复原结果评价中[40-41]；项聪颖等提取等测地环带并利用图模型构建三维人脸的相似性度量[42]；赵俊莉等使用测地线近似表示面貌模型,使用弹性度量计算两条测地线的相似度,将形状空间下三维人脸模型上一组对应测地线之间的平均测地距离作为两个三维人脸模型相似性比较的依据,计算复原面貌与原始面貌的相似度[43]，该方法将测地线的内蕴属性与弹性形状分析适用于大的面部表情变化的优点相结合,可以将同一个人不同表情的面貌模型与不同人的模型区分开,能够很好地反应三维人脸模型的相似程度。

图8 基于等测地带的方法[39]Fig.8 Method based on isogeodesic zone[39]

基于曲线的方法不需要手工标定特征点,可以实现全自动的评价,但评价的准确性依赖于所提取的曲线是否可以全面反映颅面特征，曲线提取的精度也会影响最终的度量结果。另外，大部分基于特征曲线的方法对于张嘴的情况难以很好地处理。

2.1.3 基于曲面/区域的方法 基于曲面/区域的颅面相似性度量与评价是以三维颅面的曲面或区域的几何特征进行度量。Duan等分析颅骨和面貌形状的相关性,并通过复原颅面和原始面貌对应点的距离来度量复原误差[44-46]；Lee等人尝试用几何曲面比较法测量3个韩国活体成人受试者由计算机生成的面貌和实际面貌之间的相似程度，结果表明,适当的平均组织深度数据对于提高颅面重建精度非常重要[47]；Delfino等使用原始形状分析形态测量(SAM)软件包匹配头骨和面部照片[48]。梁荣华等采用颅面对应点平均距离的整体特征与鼻子和眼睛区域的局部特征共同作为颅面复原结果评价的依据,起到了指导复原结果的作用[49]。

Zhang针对3D头骨是具有多个孔和复杂拓扑形状的几何模型,三维人脸上的面部表情会发生变化,而一般的三维形状相似性度量对边界敏感,很难正确计算三维颅面之间的相似性的难题,通过计算三维颅面谐波核特征(HWKS)值之间的余弦距离,提供了一个有效的三维颅面相似性度量方法[50-51](见图9)。HWKS是一种基于Wave核特征的形状描述符,它采用了Laplace-Beltrami算子,能够有效地从三维颅骨和面貌中提取几何和拓扑信息，与波核特征相比较,HWKS同时描述形状的局部和全局属性。通过使用相同的3D颅骨相似性和面部相似性测量方法,观察到统一度量下的有效颅面关系:颅骨相似性的变化率一般与对应的面部相似性一致,表明三维颅骨的形状与其对应的三维面部形状之间的相关性。

相比基于特征点和曲线的方法,基于曲面/区域的方法以整个或部分颅面曲面作为评价依据,可以从全局的角度进行度量,更全面地反映颅面的相似程度,但所需的计算量较大。

2.2 基于视觉的方法

基于视觉的方法主要指颅面CT图像或将三维颅面模型投影到二维后从计算机视觉的角度进行的颅面相似性度量与评价。早在20世纪初,北美就对来自1 913名个体的15 407张侧位头颅图测量点进行分析，比较北美6个地区的颅面生长模式[52],结果表明，6项生长研究在颅面生长里程碑估计值和生长曲线的总体形状方面有很大的相似性。Suzuki等使用后前位和侧位头颅摄影来评估150名正常儿童和100名正畸儿童颅面形态与他们父母颅面的相似性[53]。结果表明，儿童的颅面形态与其父母的颅面形态高度相关,父亲决定后代颅面形态的遗传效应与母亲相同,但女儿比儿子更易受父母的影响。

图9 三维颅骨和人脸相似性度量[50]Fig.9 Three-dimensional skull and face similarity measurement [50]

基于视觉的面貌相似性度量在图像处理领域已有很多成熟的描述子可以直接应用,例如,Gabor特征、Log-Gabor特征、Haar小波和离散余弦变换、傅里叶变换、local binary patterns(LBP)和eLBP等。Dehshibi等人提出使用局部Gabor二元模式直方图(local gabor binary pattern histogram)进行面部家族相似性的识别,用直方图交集度量不同LGBPHSes的相似性,用最近邻方法进行聚类[54]。Moorthy等利用自动提取的Gabor特征进行相似度评价[55]。

Shapiro[56]分别使用基于傅里叶的颅频谱(CS)形状表示描述符、基于头颅所有顶点的成对标准化平方距离的头颅图像(CI)描述符、以及具有不同颅骨融合特征形态学变化的头骨形状描述符(SSD)等开发了检索系统,从正常和异常颅面结构患者的CT图像数据库中检索颅骨图像；黄丽雯等应用不变矩对颅颌面X片图像进行分析,检索颅颌面医学图像[57]；晋武侠等通过对颅面轮廓进行重采样和Fourier变换进行相似性度量(见图10),可以避免曲线拟合带来的误差和手工介入等问题[58]。

图10 颅骨轮廓的多尺度距离矩阵[58]Fig.10 Multi-scale distance matrix of skull profile[58]

2.3 基于统计的方法

为了进行3D颅面相似性度量,一些工作使用了统计模型方法。Berar等人首先将统计形状模型(SSM)应用于颅面研究,使用特征点表示形状模型,并使用统计模型表示形状模型的转换[59]；Claes等人利用主成分分析(PCA)改进了SSM[60]。Duan等提出了一种利用PCA对未知颅骨与数据库中的3D人脸进行匹配的颅骨识别方法,其中，3D颅骨与人脸的关系通过典型相关分析(CCA)得到[61]。Shui等人分析了主成分(PC)的选择如何影响颅面关系和性别二型性的分析，通过主成分分析可以对颅面数据进行降维后,从全局的角度进行颅面相似性度量,但使用PCA难以确定每个主成分的贡献[62]；Zhao等和Zheng等分别使用稀疏主成分分析(SPCA)方法评估两组颅骨和面貌模型之间的相似性,可以确定出相似与不相似的区域[63-64]。

Feng等通过使用相对角直方图(relative angle-context distribution,RACD)统计不同区间的相对角分布，定义概率密度函数，比较两个颅面的相似性[65]；Zhu等人将其扩展为半径相对角直方图(bending-relative angle-context distribution,BRACD),用于提高计算的稳定性和降低RACD的时间复杂度[66]；Pei等人通过基于随机森林的度量研究了无监督的3D颅骨相似性分析[67]；郭德成等用聚类分析法研究颅面X光片图像的相似度[68]。

基于统计的方法通过对大量样本的训练,学习到颅面的本质特征，可以较好地反映颅面的相似度。但该类方法需要有大量颅面数据,在数据量少时难以达到较好的效果。

3 总结

将上述颅面相似性度量与评价方法按类别总结归类如表1所示。

综合分析各种评价方法,可以看出影响颅面相似性度量与评价的因素主要有:

1)评价主体:在主观方法中，受访者对评价结果的影响较大,受访者的人数、经验、受教育程度等都会对评价结果产生影响。

2)提取的特征:在客观方法中,依据哪种特征进行相似性度量是评价的关键,直接会影响评价的结果。

3)采用的度量:在客观方法中从颅面上提取特征之后,采用哪种距离、角度、或曲率等度量进行也会影响相似性评价的结果。

表1 颅面相似性度量与评价方法Tab.1 Craniofacial similarity measurement and evaluation method

4 研究展望

通过本文分析可以看出,早期主要采用主观定性的评价方法,但由于其受主观因素影响较大,而且费时费力,因而，目前的研究方法主要集中在采用客观的方法对颅面相似性进行度量,主观的方法作为辅助。在客观方法中,基于特征点、曲线、曲面/区域的方法对颅面曲面模型的几何特征进行相似性度量,可以从全局到局部全面的进行度量,但由于其实质从两个三维曲面的几何特征角度进行度量,难以实现类似人脑的宏观把握的评判标准。基于视觉和统计的方法可以从宏观方面度量颅面的相似性,但是很难确定影响相似的部分,基于统计的方法还需要大量数据的支撑才能得到准确的结果。从整体研究发展来看,颅面相似性度量与评价方法已从早期简单的、单一的度量依据向复杂的、多个度量依据的方向发展。新的深度学习的方法[69]将提取特征与度量方法统一在神经网络中,自动学习相似性度量所需特征，可以达到比手工提取特征更好的效果,因而成为新的研究热点。但深度学习需要大量数据作为支撑,颅面数据又相对较少，如何将深度学习与颅面自身的几何特征和视觉特征相结合，进行颅面相似性度量将会成为发展的方向。