人脸识别技术在人像鉴定中的应用研究

曾锦华，施少培，卞新伟，邱秀莲

（司法鉴定科学研究院 上海市司法鉴定专业技术服务平台，上海200063）

关键字：人脸识别；人像鉴定；量化分析；定性分析；深度学习网络

1 引言

随着声像资料及鉴定意见成为我国《刑事诉讼法》和《民事诉讼法》等法律法规规定的法定证据形式，其司法鉴定关键技术的研究具有重要意义。在声像资料鉴定中，相关司法体系改革要求确立重证据、轻口供的原则，大量民事、刑事案件的侦查办理是以监控拍摄的作案人图像与抓获的犯罪嫌疑人能否确定同一人为基础，由此引出了人像同一性鉴定问题。现有的人像同一性鉴定理论和技术研究均围绕专家经验评断这一核心理念开展，检验技术更多的局限于人像形态特征检验的定性分析方法，鉴定实施过程中缺乏客观量化的数据支撑，导致不同经验背景的鉴定人员之间对特征价值的认识和评断往往出现分歧。就人像同一性鉴定而言，必须解决检材人像和样本人像间的相似性判别问题，同时，给出具体的相似性分析结果的支撑信息，即解决人像间“有多像”问题的同时，必须回答“哪里像”问题。现有的人像同一性鉴定理论体系和技术研究中，“有多像”问题通过定性方式予以解答，即人像鉴定意见的“无法判断”、“倾向肯定同一”、“倾向否定同一”、“肯定同一”和“否定同一”五种[1]。在“哪里像”问题解答方面，主要通过由鉴定专家制作的人像特征比对表方式予以实现。现有的鉴定理论和方法研究均偏重于定性分析方法，基于定量分析技术的人像同一性鉴定理论体系和方法研究尚处于起步阶段。

模式识别自动化技术在客观量化分析方面具有独特的优势，但受限于司法鉴定行业的特殊性需求，人像自动化识别技术在人像司法鉴定中的应用仍有待于进一步探索研究。自动化识别技术研究均重点关注人像的识别效率和精度，即解决“有多像”的问题，对所使用的特征更多的追求具有更高的表达能力和可辨识性，对特征的物理意义是否可溯源问题缺乏关注。此外，司法鉴定领域内的鉴定技术必须进行技术理论体系研究，并经专家同行评议，形成鉴定新技术新方法和司法鉴定技术规范，方可应用于司法鉴定实践。自动化识别技术理论必须结合司法鉴定领域的特殊性需求和专家经验知识，构建司法鉴定领域适用的理论体系和鉴定新技术新方法，方可有效地应用于司法鉴定领域，解决紧迫需求的人像同一性鉴定量化分析问题。

本文提出构建基于人像形态特征定性分析和基于自动化识别量化分析的人像同一性鉴定综合研究方法。本文首先对人像自动化识别技术中的人脸识别技术进行简要综述；分析人像专家鉴定技术和自动化识别技术的优点和缺点；在此基础上，进一步研究人脸识别技术在人像司法鉴定中的不同应用模式。

2 人脸识别技术

人像自动化识别领域的研究技术包括虹膜识别、步态识别、人脸识别技术等[2-3]，本文在此仅对人脸自动化识别技术的关键内容进行阐述。人脸识别技术研究方面，其技术流程主要采用人脸检测和特征定位对人脸进行对齐，然后裁剪出眉眼鼻嘴形成的核心人脸区域，之后从中提取人脸特征进行存储或与已知人脸的特征进行相似度计算。具有代表性的人脸识别方法可以大致划分为五大类，包含基于几何特征的人脸识别方法、基于子空间分析的人脸识别方法、基于模型的人脸识别方法、基于局部特征的人脸识别方法以及基于机器学习的人脸识别方法。

基于几何特征的人脸识别方法中，顾名思义，就是利用人脸组件间的几何拓扑关系特征实现人脸的相似性计算，常使用的人脸几何特征信息包括眉毛弧度和长度、瞳孔距离、鼻翼大小、嘴角距离等，通过这些信息中蕴含的人脸五官位置、大小和角度关系等信息来进行人脸编码和表示。基于几何特征的人脸识别方法的前提假设是组成人脸面部组件的拓扑结构几何关系保持不变，但人脸具有非刚体运动特性，该假设在面对人脸表情、姿态变化等情况下不具有可行性，因此，该方法适用范围较窄，性能具有较大缺陷。

基于子空间分析的人脸识别方法中，其核心思想是通过计算映射关系，将高维人脸图像空间投影到较低维度的子空间，所变换的子空间保留了大部分原高维空间中的有用信息，且数据具有更加紧密性和判别性。根据映射的线性关系，进一步把基于子空间分析的方法划分为线性子空间分析方法和非线性子空间分析方法。

基于模型的人脸识别方法研究中，其基本思想是通过建立人脸图像的数学模型，通过求解人脸图像在该模型中的构建参数实现人脸特征表示，相关的代表性人脸数学模型包括三维形变模型和隐马尔可夫模型等。

基于局部特征的人脸识别方法研究中，相对于基于全局特征的人脸识别方法，比如基于子空间分析的方法以及基于模型的方法等，基于局部特征的识别方法可以提供更加细致的相似性比对，更加贴合于非刚体特性的人脸识别应用。基于局部特征的人脸识别方法通常是利用局部特征的表达能力以及其他机器学习方法的优越性能实现人脸识别应用。基于局部特征的方法所设计的特征描述子必须能适应人脸图像的姿态、光照、表情等变化因素。

基于机器学习的方法，其本质是一种数学归纳方法，通过模型构建，实现样本训练集在模型上最大限度的逼近自然真实模型的一种最优化方法。传统的机器学习方法，比如支持向量机、AdaBoost、逻辑回归等，通常是作为其他人脸识别方法的后期分类识别技术。然而，近年来的深度学习方法研究进展，极大的拓展了基于机器学习的人脸识别方法性能，深度学习方法结合海量有标记的人脸数据集成为人脸识别领域的主流技术，其性能屡次刷新目前主流的人脸图像测试数据集。香港中文大学的汤晓鸥和孙玮带领的团队设计实现了DeepID（Deep hidden IDentity features）系列方法[4-6]，DeepID 系列方法通过多尺度、多图像块、多网络深度学习相互结合方式实现人脸的识别，通过多尺度下的以人脸关键特征点为中心裁剪的多个图像块进行特征提取，并将特征组合进行降维处理，最后，通过训练联合贝叶斯模型（Joint Bayesian）[7]进行人脸图像分类。除了DeepID系列追求的多尺度、多图像块、多网络组合方式的深度学习人脸识别解决方案，海量的样本学习数据集和庞大的网络架构设计同样是基于深度学习的人脸识别应用研究中的重要方向[8-10]。

3 人像专家鉴定方法和人脸识别技术方法

3.1 人像专家鉴定方法

人像同一性鉴定的定性分析方法存在的问题是过度依赖于专家经验判断，导致不同背景的鉴定人员之间对特征价值的认识和评断可能出现分歧。传统的人像鉴定方法主要是基于人像形态特征归类的定性分析。在基于人像形态特征归类的定性分析方法中，人脸图像特征的类别主要根据人脸面部组件进行划分，具体包括前额、眼睛、眉毛、鼻子、嘴唇、耳朵、下颌、脸型、头发等。在对人脸组件特征的形态分类方法研究方面，目前主要有公安部、整容及模拟画像学派等的分类方式，比如，对人脸脸型的形态分类，根据公安部脸型分类法可以划分为椭圆、圆、长方、方、倒大、三角脸、狭长脸、菱形和畸形等；在模拟画像分类法中对眉毛形态特征的分类类别为平眉、一字眉、柳叶眉、新月眉、八字眉、扫帚眉、半截眉、上扬眉、三角眉、剑眉、立眉、浓眉、畸形等。

然而，人像鉴定的定性分析方法具有悠久的历史，期间形成了诸多宝贵的先验领域知识，其中，对人像特征价值的评估原则和评估方法尤其值得重视，本文在此分析如下：

（1）稀有形态特征价值权重高于常见形态特征价值权重，比如眼型形态特征中畸形眼特征价值要高于常见的三角眼特征等。

（2）稳定特征价值权重高于易变不稳定特征的价值权重，比如人的头发特征，包括头发长短、发型等，这些特征就属于易变不稳定特征，会随理发技术和个人爱好而改变，然而，像耳朵轮廓等形态特征就属于不易变化的稳定特征，在形态特征赋值方面，其价值将高于发型等不稳定的头发特征。

（3）细节形态特征价值权重高于轮廓形态特征价值权重，比如脸部的斑痕或痣之类的细节形态特征价值应高于脸型等轮廓类形态特征的价值。

除此之外还有整体形态特征和局部形态特征的价值权重关系、组合形态特征和个体形态特征之间的权重关系等等。

3.2 人脸识别技术方法

在自动化识别技术研究中，近年来的深度学习方法掀起了机器学习的研究浪潮。目前，深度卷积神经网络已成功应用于人脸的特征表示和人脸识别应用中，且性能屡次刷新当下权威的人脸数据集的测试性能记录，突破自然人的人脸识别能力界限。基于机器学习的人脸识别方法可以学习到难以显式描述的人脸深层次特征且适应性较强，因此在人脸图像的相似性量化计算中具有重要研究价值。

在传统的基于定性分析方法的人像鉴定中，两人脸图像间的相似性通常通过鉴定人制作人像特征比对表方式予以呈现，如图1所示。

图1 人像特征比对表，示例中红色箭头表示相似特征，蓝色箭头表示差异特征

基于人脸识别技术的人脸验证系统可以快速的计算两张人脸图像的相似性并给出相似性量化评分，如图2所示。

然而，在人像鉴定应用中，现有人脸识别技术亦有其众多的缺陷：

（1）仅能处理正面人脸图像，现有大多数商业化人脸识别系统均只能处理正面人脸图像，对其他角度人脸图像无能为力。

（2）对人脸图像质量有一定要求，针对模糊人脸图像，现有的人脸识别系统的准确性和性能将受到极大的影响，此外，系统可能还对人脸图像大小有一定的要求。

（3）仅涉及正面人脸图像的相似性比对，人像鉴定中，人像特征可以分为头部形态特征、五官形态特征、五官配置关系特征、胡须特征、皱纹特征、颜面动态特征、体态特征、人体特殊标记特征、人体着装特征、人体佩饰特征等。人脸识别技术仅对人像特征中的涉及人脸图像的区域进行有效检验，比如图2中显示出的小人脸区域。

图2 基于人脸识别技术的人脸相似性量化计算，本示例中两人脸图像相似性量化结果值为90.09，100视为同一个人

（4）无特征价值权重概念，现有的大部分人脸识别系统算法设计中，未考虑人像特征价值的评估原则和评估方法，也无人像特征价值权重的概念，然而，人像特征价值的评估原则和评估方法在人像鉴定实践中却是极其重要。

4 人脸识别技术在人像鉴定中的应用模式研究

自动化识别技术必须结合司法鉴定领域的特殊性需求和专家经验知识，方可有效的应用于司法鉴定实践。本文在此对人脸识别技术在人像鉴定中的高效应用模式进行研究和阐述，包括人脸识别技术辅助人像专家鉴定模式、人像专家鉴定验证人脸识别技术模式、人脸识别技术和人像专家鉴定协同合作模式等。不同的应用模式研究必须考虑人脸识别技术特点和人像鉴定实践特征，以及两者相互间的协作应用。

4.1 应用模式一：人脸识别技术辅助人像专家鉴定

具体案例应用阐述如下：在一起网吧内的手机盗窃案件中，警方调取了网吧内的监控录像，监控录像记录了嫌疑人的整个作案过程，并拍摄到作案人的脸部图像，通过查询人脸比对系统，系统计算并排序出了若干候选人身份信息。警方通过进一步筛查确定其中一名候选人作为该案件嫌疑人，并对该嫌疑人进行问讯。警方要求鉴定机构对监控录像中的作案人图像与人脸识别系统比对的嫌疑人人像进行人像鉴定。其中，监控录像的画面分辨率为1 920×1 080像素，作案人的正面人脸图像在最好条件画面中所占图像大小为60×75像素。警方所用的人脸比对系统中的样本训练照片为身份证照片，国内二代身份证卡内照片大小为102×126像素。本案中，警方提供的样本照片包括嫌疑人身份证照片和嫌疑人三面照片。经过人像鉴定专家检验，鉴定中心出具了认定的鉴定意见，即检材录像中的需检人像与样本人像是同一人人像。本案中，案件的嫌疑人身份是通过人脸识别系统提供了重要线索，而后经过人像专家鉴定进行身份确认，实现声像资料线索到证据的转换。监控录像中，嫌疑人人脸图像质量一般。通过人脸验证方法对作案人人脸图像和嫌疑人人脸图像进行人脸验证计算，其相似性程度最高为67.99，其中人脸验证方法的相似性分值分布为0～100。可见，人脸识别系统计算出的嫌疑人和作案人人脸图像具有一定的相似性，但相似性评分并不是很高。在人像专家鉴定过程中，鉴定人除了对作案人和嫌疑人的正面人脸所包含的五官形态和配置关系的检验外，还对左侧人脸和右侧人脸特征，以及体型、发型和发际线等人像特征进行了综合检验，最终做出了认定同一人的鉴定意见。

4.2 应用模式二：人像专家鉴定验证人脸识别技术

具体案例应用阐述如下：在一起入室盗窃案件中，警方调取了案发现场和周边的监控录像。案发现场监控录像质量较差，作案人人像特征未得到充分反映，但在周边的监控录像中记录了作案人较正面的人脸图像。警方通过人脸识别系统排序出若干候选人身份信息，并通过进一步筛查候选人类似前科信息等最终确定其中一名候选人作为该案件嫌疑人，并对该嫌疑人进行问讯。警方要求鉴定机构对监控录像中的作案人图像与人脸识别系统比对的嫌疑人人像进行人像鉴定。其中，监控录像的画面分辨率为704×576像素，作案人的准正面人脸图像在最好条件画面中所占图像大小为74×85像素。本案中，警方提供的样本材料包括嫌疑人三面照片和嫌疑人录像。通过人脸验证方法对作案人人脸图像和嫌疑人人脸图像进行人脸验证计算，其相似性分值评估最高为60.16。在人像专家鉴定过程中，作案人和嫌疑人的脸部五官轮廓和配置关系存在一定符合，头部侧面轮廓特征上也存在符合，上述检验结果也与人脸验证系统计算结果相互印证，即作案人和嫌疑人的人脸图像存在一定相似性，但相关的人像特征还不足以判断作案人和嫌疑人人像是否为同一人。通过进一步检验，鉴定人发现作案人的发旋位于头部后脑勺居中位置，而嫌疑人的发旋位于头部后脑勺右侧位置，如图3所示。最终，鉴定中心出具了否定的鉴定意见，即监控录像中的检材人像和嫌疑人人像不是同一人人像。该案件中，人脸识别技术为公安等机关的案件侦查提供了重要的线索，人像专家鉴定复核了人脸识别技术的计算结果，并对人像的同一性问题进行了最终判定。

图3 发旋特征差异示例

4.3 应用模式三：人脸识别技术和人像专家鉴定协同合作

具体案例应用阐述如下：在一起财物盗窃案件中，警方查阅了案发现场的监控录像，并通过人脸比对系统确定了案件嫌疑人身份，并委托鉴定机构对监控录像中的作案人图像与人脸识别系统比对的嫌疑人人像进行人像鉴定。其中，监控录像的画面分辨率为1 920×1 080像素，画面为灰度图像。由于摄像头角度原因，作案人在录像中未显示完全正面的人脸图像，大部分只显示出右侧面人脸图像，人脸图像大小为101×114像素。该案件中，警方提供了嫌疑人的人像三面照片。经过人像鉴定专家检验，我鉴定中心出具了认定的鉴定意见。通过人脸验证方法，作案人人脸图像和嫌疑人人脸图像的相似性分值为79.84，达到较高的相似水平。在人像专家鉴定过程中，由于录像画面质量较高，且人像在录像画面中占比较大，检材人像和样本人像在右侧面人脸图像的特征存在较好符合，且在人像右侧头部的太阳穴位置附近的头发特征中均存在比较稳定的头发疏密分布特征，该人像的特殊标记特征价值较高，如图4所示。通过综合评断，鉴定人出具了认定的鉴定意见。该案件中，人脸识别系统对作案人和嫌疑人的人脸相似性评估做出了较高的认定，同时，人像鉴定中，鉴定人发现了人像中的头发疏密分布这一价值较高的特殊标记特征，人脸识别技术为人像鉴定提供了很好的量化检验数据支持，人脸识别技术和人像专家鉴定有机协同合作。

图4 头发疏密分布特征示例

5 结语

模式识别和机器学习技术在人脸识别应用中取得了极大的成功，并广泛应用于人机交互和安防监控等商业化应用场景。人脸自动化识别技术在商业化应用领域中取得了不菲的成绩，但相关技术在司法鉴定领域中的应用研究尚处于起步阶段，究其原因，部分可以归结为司法鉴定领域的特殊性要求。合理的解决方案必然是结合司法鉴定领域的成熟专家经验知识和鉴定思路以及自动化识别技术的优势。结合人像鉴定专家经验知识和自动化识别技术优势，通过人像鉴定量化模式研究和基于自动化识别技术的量化分析技术研究，本文研究基于人像形态特征定性分析和基于自动化识别量化分析的人像同一性鉴定理论体系，以期突破现有的人像鉴定的专家定性分析方法局限，规范和指导司法鉴定行业人像鉴定领域的理论和技术方法，为人像鉴定提供高效可行的定量分析技术，为客观准确的司法鉴定提供理论和技术保障。