VR人脸识别技术

邓释天

摘要：通过对人脸识别以及3D重建技术的研究，实现虚拟角色的人脸识别和表情识别等AI特质，并根据识别的特征信息连接3D毛发和身体形体、配饰等，即完成真正的人脸识别与3D重建，同时具有实时交互功能。

关键词：VR；人脸识别；3D重建

中图分类号：TP391.4 文献标识码：A 文章编号：1007-9416（2018）07-0122-02

1 引言

虽然近年来，人脸识别取得了长足的进步，但是仍受到一些因素的制约，通过对人脸识别以及3D重建技术的研究可知，人脸识别算法是模式识别和计算机视觉领域一个重要的研究内容[1-2]。2014年Kzaemi[3]等人提出了一个用于学习整体回归树的通用框架，这个框架优化了平方误差损失的和，并且自然的处理丢失或部分标记的数据。可以直接从像素强度的稀疏子集估计得人脸的标记点位置。采用标准数据即可训练参数，并且计算速度非常快。2010年Beeler[4]提出了一种用于捕获毛孔尺度几何图形的标准立体重建方法（modinement），它使用一种定性的方法来产生视觉逼真的结果。同时提出了一种适合于面部捕捉系统的校准方法。

本文使用手机前置镜头拍摄正脸和侧脸照片，根据陀螺仪角度和面部形体解剖特点测算3维立体空间的顶点信息，并把顶点信息通过智能判定转为多边形模型信息，最后根据多边形模型特征推算出人脸结构特征，并赋予人工智能信息，实现虚拟角色的人脸识别和表情识别等AI特质。

2 算法的预处理和初始化

通过对人脸识别以及3D重建技术的研究，提出了动态提取特征的方法[5-6]用于提取不同角度下的人脸特征。算法流程图如图1所示。

3 人脸3D重建

记为一个向量为3D人脸的位置信息：

4 动态特征提取

本文将人脸区域在垂直方向切为个塊，对于每个块，分别有一个相应地特征权值（）。对于偏航角（yaw angle）的人脸，我们这样设置权值：

动态特征提取参数的选取，当偏航角yaw angle 分别为-30°和30°下的动态特征选取示例如图2所示，对于俯仰角（pitch angle）与上类似。

5 结语

本文提出了一种高效自动的基于不同角度的人脸识别系统，通过对人脸识别以及3D重建技术的研究，实现虚拟角色的人脸识别和表情识别等AI特质。最后根据识别的特征信息连接3D毛发和身体形体、配饰等，即完成真正的人脸识别与3D重建，与此同时，具有实时交互功能。

参考文献

[1]T. Berg and P. N. Belhumeur， "Tom-vs-Pete Classifiers and Identity-Preserving Alignment for Face Verification，" In Proceedings of the British Machine Vision Conference （BMVC）， 2012.

[2]A. Asthana， T. K. Marks， M. J. Jones， K. H. Tieu， and M. Rohith， "Fully automatic pose-invariant face recognition via 3D pose normalization，" In Proceedings of International Conference on Computer Vision （ICCV）， pp. 937-944， 2011.