基于近红外结构光与可见光的三维人脸识别算法

史秋阳　李浩　石凤蕊　杨凯凡

摘 要：文章综合传统的人脸识别方法，提出新的人脸识别算法。首先，建立近红外三维模型，采用傅里叶变换获取人脸三维信息。同时，建立可见光三维模型，采用3DMM技术获取三维人脸图像，然后将两种模型分别与参考系进行对比，最后进行融合，以此进行人脸识别。

关键词：人脸识别；红外结构光；可见光

随着信息时代的发展，自人脸识别研究开始，很多都对此进行了一系列的探索。最开始提出的三维人脸识别，随后又开始在可见光人脸识别中进行探索，但人脸识别技术到现在尚不成熟，存在的漏洞还很多[1-2]，目前的研究方向更倾向于指纹、虹膜、静脉这种更具个人特性的生物识别技术，但相比于指纹、虹膜这种需要人主动配合加上专业器材才能辨析身份的识别方法，人脸具有其独特的优势—方便、直观，它不需要人主动配合就能采集信息，然后进行辨认，人脸就是一项识别身份的天然特征，但存在两大风险：一是不稳定性，二是人脸具有可复制性，如果不法分子用伪造的信息攻破系统，这会给数据安全带来严峻挑战。因此，有必要对人脸识别研究进行优化。

1 模型的原理及建立

我们知道周围环境光照的变化对人脸识别性能以及可见光人脸成像有很大的影响，为了减弱或消去这种影响，采用直方图[2]、对数变换[3]、gab变换[4]、拉普拉斯变换[4]等一系列方法对人脸图像进行处理，并且发现了环境光照变化对于人脸热红外图像的影响细小甚微。用可见光模型进行识别是人脸识别的常见方法，其最大好处在于取材方便且不受温度影响。本文将红外线与可见光相融合，优点互补，希望能使识别更准确。

1.1 红外光建立三维模型

黑白CCD相机有接受近红外的功能，采用近红外光源，在相机上增加适合的近红外滤光片来调节可见光图像同红外图像的相对强度。Takeda和K.Muloh提出的三维传感技术，简称FTP[5-7]，此技术是通过投影光束将罗琦光栅或正弦光栅投到待测物体上，这种变化会被CCD相机采集到，将得到的一帧或两帧条纹图形经过一系列程序，即傅里叶分析、滤波等，就可以得到相应的物体三维信息。

傅里叶变换法能有效地将拍摄下的条纹图从空间域转换到频率域进行计算。其原理是：首先通过CCD相机采集到一张条纹图，再对这张条纹图进行傅里叶变换，得到一张带有噪声的相位谱图，接着对这张带有噪声的相位谱图加入合适的滤波进行处理，再对其进行傅里叶反变换可得到解包裹相位图，最后利用相位与高度得到被测物体的三维点坐标。

1.2 可见光构建三维模型

为了更准确体现人脸特征以及后期模型的融合，本文选择建立三维模型。首先寻找一个固定的参考系人脸，应用普通的CCD相机获取几张二维的可见光人脸图像，接着利用3DMM技术获取三维人脸的图像[5]。3DMM技术最突出的特点是可以根据单张图片或照片生成三维人脸重建。其思想是：将人脸空间看作一个线性空间，利用某个人脸库建立该空间的基底，然后对于给定的人脸，求出这幅人脸关于这组基底的系数，就可以得到这幅人脸的三维模型。

形变过程如下：首先，利用人脸数据库构建一个空间基底，这样对于所得的图像就有了一个标准，人脸三维模型上的每一个点都有了可以相互對应的点；其次，建立拍到的二维照片与标准三维模型间的代价方程式。利用平均脸与得到的二维照片之间的代价方程来得到三维人脸的基底的系数，代价方程由人脸的几何信息与各标志点间的距离来建立。

1.3 将红外光与可见光三维模型进行融合

建立好的红外光三维模型与可见光三维模型因受人为因素或环境因素的影响，各有其优缺点，为了更准确地进行模型的识别，本文提出将红外光三维模型与可见光三维模型取其更匹配参考系的部分相融合，这里使用了基于得分的融合算法[6]。在进行融合之前先得出两种三维模型与其对应参考系的匹配得分，本文使用了特征脸算法来解决这个问题。

特征脸算法是通过主成分分析法求出的。主成分分析法是一种基于人脸全局特征的经典的子空间变换方法，它将所有学习训练的图像对应的协方差矩阵计算出来，实际上是将人脸看作一个向量，为了消除原有向量的各个分量之间的相关特性，根据图像的统计特征进行正交变换，变换得到对应的特征值依次进行递减的特征向量，得到的较大的特征值具有与人脸相似的形状，即为特征脸。而进行匹配得分就是原始人脸图像通过对应的特征向量的线性组合进行重构后，将该线性组合系数作为特征值进行下次重构，构成人脸子空间。

算法主要步骤如下所示：

（1）设有N个人脸模型参与训练，人脸模型的模型大小为m×n，将每个人脸图像转换为一个D（D=m×n）维的列向量，去平均化后得到一个D×N的矩阵A：

（1）

（2）得到所有人脸样本转化来的列向量的方差矩阵C：

（3）计算矩阵C的本征值λi和特征向量Vi，按照从大到小的顺序重新排列λi和特征向量Vi。根据特征值的大小，选择前d个特征向量，非零特征值的个数有r个，δ一般大于等于0.85。具体公式如下所示：

（4）将人脸模型向量xi转换到ω定义的子空间中，Ω在子空间中xi所对应的人脸图像的特征向量为yi。这样使得其从D维空间降到d维空间后的方差最小，且在变换后的低维空间具有很好的人脸表达能力。当得到相应的特征脸后，将特征脸与已知的多个人脸模型进行相似性匹配得分，得分越高，则能说明两个图像更相近。设图像xi的特征向量为yi，xj的特征向量为yj，图像匹配得分使用余弦距离计算，公式如下：

在普遍的生物特征识别系统中，数据的融合分为4步，分别为传感器层或像素层融合、特征层融合、得分层融合和决策层融合。得分层融合就是将单个特征分别输入分类器，得到各个特征的匹配得分，各个匹配得分进行综合用融合算法，得到一个综合的得分用于最终的判别。本文基于简单组合策略，即使用加权求和的方法来进行融合。

本文在前文已经描述了得到可见光三维模型与红外光三维模型的方法，根据模型我们可以得到相应的人脸子空间与特征向量。再分别与可见光参照系和红外光参照系模板进行匹配，获得匹配得分SVij和SNij。基于简单组合策略，设SFij为融合后的得分：

其中α+β=1，α≥0，β≥0，α和β取值范围为0.0～1.0 ，，，SVij和SNij采用最大值—最小值进行归一化处理。通过SFij大小即可得到当SFij最大时所对应的SVij和SNij，且其所对应的可接受率为α和β，由此作出最后决策进行人脸识别。

2 结语

本文基于傅里叶变换的三维传感技术利用CCD相机可接收近红外结构光的特性，建立了红外结构光的三维模型和可见光的三维模型，将得到的两种三维模型所得到的特征向量与需要判断的图像进行匹配得分，最后得到对应的判断图像，以此进行人脸识别。利用三维图更容易识别且不容易被复制，替换可见光识别不稳定性以及近红外光对人脸遮盖所产生的影响，将三者的优势所融合在一起，进而使人脸识别更加完善。

[参考文献]

[1]谢志华，伍世虔，方志军.LBP与鉴别模式结合的热红外人脸识别[J].中国图象图形学报，2012（6）：707-711.

[2]曹林，李猛，张华.结合改進Surf特征的素描人脸识别[J].计算机工程与应用，2018（21）：66-68.

[3]周先春，孙文荣，张纯伟.基于自适应对数变换和PCA算法的人脸识别研究[J].电子技术应用，2014（6）：126-129.

[4]孙海江，王延杰，刘伟宁.基于自适应平台阈值和拉普拉斯变换的红外图像增强[J].中国光学，2011（5）：474-479.

[5]CHEN X，FLYNN P J，BOWYER K W.Visible-light and infrared face recognition[J].In Proceedings IEEE Workshop on Multimodal User Authentication，2003（12）：48-55.

[6]李杰.可见光/近红外人脸识别方法研究与实现[D].北京：北京交通大学，2016.

[7]潘磊，尹义龙，李徐周.基于得分的近红外线与可见光图像融合算法[J].计算机工程，2013（4）：226-230.