大姿态人像转正技术在视频人像比对中的应用

陈景洲，林继煌，张 宁,,*，谢兰迟，黎智辉，李志刚

（1. 江西省兴国县公安局，江西 兴国 342400；2. 公安部物证鉴定中心，北京100038）

在当前侦查破案工作中，监控视频已经成为继现场勘查信息、手机信息之后的第三大信息来源，也是继刑事科学技术、行动技术、网络侦查技术之后的第四大侦查技术领域[1]。视频中人脸图像作为最直观的线索，在各类案件中发挥着非常重要的作用。犯罪嫌疑人的人脸图像，相比其它生物特征如指纹、DNA、足迹、虹膜等更为直观，更容易让普通人辨别，被广泛应用于嫌疑人识别、排查、身份辨认等过程，逐渐成为案件侦查诉讼中最常见的线索和证据，为追逃、破案、寻人等应用提供了强大技术支撑[2-4]。

随着人脸识别技术的不断进步，公安实际工作中已经开始广泛应用人像自动识别比对系统，将视频截图或特定人员人像照片在海量数据库中快速查找、检索、比对以确认其身份。例如，缉拿在逃罪犯时，可通过人脸识别比对系统，加快确认嫌疑人身份，避免“人海战术”的低效率；对群众或其它部门提供的照片进行比对、检索、筛选，帮助寻人寻亲；对于一些无名尸体的照片入库进行比对，确认其身份等。但是，在实战应用过程中，由于监控设备经常安装于高点，所拍摄到的人像往往是俯视姿态而非正面姿态，同时还存在人像本身的偏转，在直接利用人像比对系统进行检索比对时，识别效果往往较差，比对准确率不高，依然需要进行大量人工干预和排查，大大降低了侦查效率。人像姿态转正技术是最近几年新发展起来的一种技术，可以通过单张非正面人脸图像恢复出该人像三维模型下正脸的模拟图像，从而提高导入人像比对系统的比对准确率，将原先不可检索运用的人像落地运用。实际案件中常常遇到需要对偏转角度大于15°的大姿态人像进行比对，本文报道一则应用大姿态人像转正技术侦破的成功案例。

1 案件简介

2017年1月以来，某县城区贸易广场、凤凰大道某小区等区域陆续发生多起盗窃五羊本田等高档摩托车案件，涉案金额27万余元，且案发地在人流密集区域，社会影响较大。犯罪分子白天连续作案，气焰嚣张，严重影响人民群众安全感和满意度。

2 材料和方法

2.1 检材

案件发生后，办案民警第一时间赶赴现场采集涉案视频。经认真查看分析视频，捕捉到嫌疑男子的人像信息。该嫌疑男子人脸图像较清晰，但视频拍摄角度较高、人像姿态存在倾斜，如图1所示。

图1 嫌疑男子人像（左：视频截图；右：放大后人像截图）Fig.1 The image of the suspect (Left: the screens hot video frame of the suspect; Right: the enlarged face image of the suspect)

将该嫌疑男子图像截取后直接导入某省视频图像综合应用平台人像比对系统进行检索，检索出的结果相似度均不高，且相似度从高到低排名前二十位的目标经核查均排除嫌疑。

2.2 方法

2.2.1 抠图

将人像（包含脖子）从图中提取出来，其余部分背景置为黑色，如图2所示。抠图步骤的作用在于去除非人像部分（背景）对三维人像重建的影响。

图2 抠图操作（左：原始图像；右：抠图后结果）Fig.2 Face extraction (Left: original face image; Right: the resulted image after face extracting)

2.2.2 关键点调整

调整右侧画面中三维人像模型（该模型由采集得到的一定规模三维人像数据统计建模而成）的姿态与左侧视频人像截图姿态一致，右侧画面中只保留人像模型中所显示的关键点，把左侧人像中的关键点移动到人像对应的位置，保存铺点，如图3所示。这一步骤的目的是手动标记关键点位置，定位姿态并优化主成分分析（principal components analysis，PCA）系数，最后基于3D人像模型进行拟合并转正。

2.2.3 边缘调整

在关键点标记图像中，调整边缘上下阈值参数，获取人像边缘，得到的边缘结果尽可能地保留住人像的轮廓，如图4所示。这一步骤的目的在于控制脸型和优化PCA系数，对重建结果进行约束，防止人像重建失败。

图3 关键点调整（左：关键点标记图像；右：三维人像模型）Fig.3 Key-point alignment (Left: the resulted image of key-point alignment; Right: 3D face-image model)

图4 边缘调整（左：关键点标记图像；右：边缘调整后结果）Fig.4 Edge adjustment (Left: the resulted image after key-point alignment; Right: the resulted image after edge adjustment)

2.2.4 姿态转正

基于3D人像模型以及标准人像关键点位置信息，可以计算和拟合出人像关键点对应的正面姿态时的位置，从而模拟出该人像三维旋转至正面时的图像。进行了抠图、关键点调整和边缘调整这三步预处理后，进行姿态转正处理也即正面人像重建，重建结果如图5所示。从图中可以看到，单张二维半侧面人脸图像被旋转成为一张完全正面的人脸图像。

图5 转正结果（左：抠图后图像；右：姿态转正后结果）Fig.5 The result after pose adjustment (Left: the result after face extracting; Right: the resulted face after pose turning to the obverse)

3 结果

采用大姿态人像转正技术处理后，导入某省视频图像综合应用平台再次进行检索比对，比中一名相似度较高的前科人员曾某（排名第2，相似度88.37%）。后经信息研判，确定嫌疑人为曾某。办案民警立即对嫌疑人的行踪及其关系人开展深度研判和外围调查，同时实施抓捕。办案民警在某县县城先后抓获曾某及其同伙谢某、王某等人，破获这起跨三省的系列盗窃高档摩托车案件。大姿态人像转正技术为锁定该系列案嫌疑人发挥了关键技术支撑作用。

4 讨论

在过去几年里，人像识别的研究和应用都取得了巨大进步，特别是在公安领域的应用越来越深入。面向真实场景非配合、非受控环境下的人像识别成为了研究的热点和难点。特别是受监控设备安装位置、人像偏转等因素影响，获得的人脸图像经常存在姿态变化的干扰，非正面姿态会造成面部信息的部分缺失，对系统的识别检索造成了不利影响，极大制约了人脸图像线索的应用，也一直是人像识别的一个技术难题。

基于三维人像重建的人像姿态转正技术可以解决多场景视频下人像姿态偏转、信息缺失等问题，实现多角度人像姿态转正、人像校正和人像修复合成功能。在三维模型的帮助下，可以使待识别图像和库中图像处于同一姿态。采用多姿态人像检测与比对相关技术，通过人像关键点定位和三维人像拟合，对人像进行三维重建，估算偏转角度，最终恢复出该人像三维模型下正脸的模拟图像，从而有效提升了人像识别性能。基于姿态转正技术，还可以进一步实现变形人像的校正、污损人像修复重建功能。虽然有研究者尝试通过3D人像校正等关键技术提高人像识别的准确率，但是目前这些研究大多仍然基于实验数据库进行测试，并未与实战使用的人像识别系统关联对接，适用场景较为单一和固定，方法的综合性、集成性、实用性还不够强，尚未在公安实战中应用[5]。而本文所使用的是基于三维形变模型（3D morphable model，3DMM）的三维人像重建方法，三维形变模型是从单张图像中恢复三维人像的有效工具[6-7]。本文通过实战案例证明了该方法的实用性和可行性。

除了本案例，我们还选取了3例实际视频监控场景下的非正面图像开展实验研究，对已知身份人员的非正面图像进行姿态转正处理，比较处理前后比对结果的提升情况，结果如表1所示。从表中我们可以看到，经过大姿态人像转正处理后再输入人像比对系统，并在同一人像库中进行检索，其相似度和排名相比直接导入系统检索均得到了不同程度提升。当然，对于分辨率较低或五官模糊的图像，其三维重建后的正面图像也难以实现较好的比对结果。

表1 非正面图像转正处理效果比较Table 1 The comparison of face retrieval results before and after large pose 3D face reconstruction

本文所介绍的方法，可以更好地发挥人像检索比对系统的效能，省去了以往大量人工干预和排查的过程，大大提升视频人像线索利用率，提高了工作效率，节约了办案资源，真正提升了视频侦查工作水平。同时，这一方法紧密结合实战使用的人像比对系统，转变了以往将原始视频截图直接入库比对的“粗放型”工作模式，进一步提高了人像检索的效率和准确率，这种新的工作模式更符合实战一线需求。