一种红外图像和宽光谱融合的人脸识别算法

郭 婷，张天序，郭诗嘉

1.武汉工程大学电气信息学院，湖北 武汉 430205；

2.华中科技大学图像识别与人工智能研究所，湖北 武汉 430074

基于可见光图像的人脸识别技术已经趋于成熟［1-3］，但是在光照条件较差、面部进行了妆容修饰等条件下，可见光人脸识别系统的识别性能会大幅度下降甚至失效。由于成像机理的不同，热红外成像对光照条件不敏感，即使在弱光甚至无光的夜晚环境中，热红外成像仪依旧能捕获人的面部热辐射信息［4-5］。图1（a）为自然光下的可见光图像，图1（b）为弱光下的可见光图像，图1（c）为自然光下的热红外图像，图1（d）为弱光下的热红外图像。由图1（c，d）可发现，热红外成像时基本不受外部环境光照的影响，在弱光条件下，热红外成像仪仍然可以拍摄出清晰的人脸热红外图像。光谱信息是另外一种具有辨识度的信息［6］，是因为每个人面部的组织、血液和结构等具有个体差异性，使得不同个体面部辐射的光谱具有差异性，如图2 所示。目前对于红外人脸识别和光谱人脸识别的研究相对较少。Singh 等［7］利用残差网络提取微小人脸目标域的特征，实现了热红外图像中微小人脸的识别；栗科峰等［8］提出了基于热红外光谱的人脸特征提取算法，人脸平均识别率达95%；马娜［9］提出的基于Gabor 特征融合的高光谱人脸识别算法，采用了波段范围为0.4～1.0 μm 的可见光和近红外光谱进行人脸识别；谢志华等［10］提出了一种分块谱带选择和VGG 网络的高光谱人脸识别算法，实现了不同谱带的深度特征的融合。

图1 自然光（a）和弱光（b）下的可见光图像，自然光（c）和弱光（d）下的热红外图像Fig.1 Visible light images in nature irradiation（a）and low light irradiation（b），thermal infrared images in nature irradiation（c）and low light irradiation（d）

图2 不同个体嘴唇区域光谱差异Fig.2 Spectra differences in lip region of different individuals

然而，当人面部的温度受汗液、环境条件而发生改变时，基于热红外图像的人脸识别系统的识别率会明显降低。而光谱信息具有相对稳定性，能够为热红外图像提供必要的辅助信息。现有的光谱人脸识别算法在光谱范围的选择上局限于可见光光谱范围和近红外光谱范围，均无法在夜间使用。因此，提出了一种热红外图像和宽光谱信息融合的人脸识别算法，该算法能够有效地利用热红外和宽光谱的互补优势，提升人脸识别的稳定性和识别准确率。

1 数据库构建

目前，基于热红外或基于宽光谱的人脸识别研究较少，其相关的数据集一般不公开，适合热红外和宽光谱融合的人脸数据集更是匮乏。鉴于此情况，本文利用实验室的设备自建了红外宽光谱人脸融合数据集。

1.1 热红外人脸图像数据集

利用中波红外热像仪构建了华中科技大学中波热红外人脸数据集，部分数据链接：https：//pan.baidu.com/s/1yhB60ZJnAIsFwkbaoI4trA 提取码：HMFD。该数据集共包含200 位志愿者（样本）的脸部热红外数据，共计22 万张图片。人脸数据示例如图3 所示。

图3 HMFD 部分示例Fig.3 Some examples of HMFD

1.2 红外宽光谱数据集

利用SR-5000N 光谱仪对热红外人脸数据集中志愿者的面部宽光谱数据进行采集，光谱仪如图4 所示。宽光谱人脸数据集中主要包含左眼、右眼、鼻子以及嘴唇4 个关键区域的宽光谱数据，每个区域各采集500 个宽光谱样本。该数据集所测宽光谱范围为1.3～14.4 μm。

图4 SR-5000N 光谱仪Fig.4 SR-5000N spectrograph

2 热红外图像和宽光谱融合的人脸识别算法

算法流程如图5 所示，首先热红外和宽光谱数据分上下两层特征提取流进行输入，热红外特征提取模块负责热红外特征的提取，宽光谱特征提取模块负责宽光谱特征的提取；然后将获得的热红外特征和宽光谱特征输入模态特征融合模块，并根据设计的自适应权重融合策略实现两种模态特征的融合；最后基于融合后的特征进行人脸识别。

图5 算法流程图Fig.5 Algorithm flowchart

2.1 热红外特征提取模块

借鉴可见光人脸识别技术，选用DenseNet 模块提取人脸的热红外特征。相比于其他特征提取模块，DenseNet 具有以下优势：（1）能有效缓解神经网络训练中梯度消失的问题；（2）能减少网络参数的数量，提高网络运行的效率；（3）模块中的密集块结构能实现网络层的多重连接，加强特征的表达。

2.2 宽光谱特征提取模块

宽光谱特征提取模块如图6 所示，其中1 为面部各区域原始红外宽光谱特征向量；2 为各区域宽光谱特征提取层；3 为各区域经过宽光谱特征提取层处理后的宽光谱特征向量。

图6 宽光谱特征提取模块Fig.6 Wide spectra feature extraction module

红外宽光谱人脸数据库中，每位志愿者的每个样本均包含4 个关键区域的原始宽光谱特征数据，针对4 个关键特征区域Sparts 提取4 组特征向量，分别表示为：左眼特征向量SLE、右眼特征向量SRE、鼻子特征向量SN、嘴唇特征向量SM。

利用二维卷积实现对关键区域的特征向量进行压缩重组。对每个关键区域进行特征压缩可获得 子 特 征 向 量Sparts_1∈R1×200，Sparts_2∈R1×100，Sparts_3∈R1×66。将子特征向量进行维度拼接重组得到关键区域的局部特征向量Sparts_New∈R1×366。

分别对人脸的左眼、右眼、鼻子以及嘴唇4 个区域同时进行上述处理，获得左眼特征向量SLE_New、右眼特征向量SRE_New、鼻子特征向量SN_New、嘴唇特征向量SM_New，于是可得此样本的面部宽光谱特征向量SNew=SLENew+SRE_New+SN_New+SM_New。

2.3 基于自适应权重的特征融合模块

对于热红外图像和宽光谱的协同识别，不同特征对识别任务的判别程度不尽相同。由此提出的基于自适应权重的融合策略，能够自动学习各个特征组的注意权重，增强人脸的特征表达，提升人脸的识别性能。

如图7 所示，此模块的输入为2 个组特征：热红外图像特征、宽光谱特征，表示为[g1,g2]。

图7 特征融合模块Fig.7 Feature fusion module

组压缩：将整个组特征编码为1 个全局特征，并采用组全局平均池化实现。如对于维度为(wg,hg,cg)的组特征gi，通过组全局平均池化得到当前组的全局特征zi：

因此，对于2 个组特征可得向量Z=[z1,z2]。

组激励：采用sigmoid 形式的门机制实现，可以得到各个组之间的非线性关系，图7 中，第1 个全连接层起降维作用，采用ReLU 激活函数加入非线性因素，然后采用全连接层恢复原始的维度，最后通过sigmoid 门机制得到0～1 之间的归一化权重向量S=[s1,s2]。

组特征重标定：将学习到的各组权重系数乘上原始组特征。归一化权重向量S可表示各组特征的重要程度，通过对各组特征gi利用权重系数si进行重标定，可得到重新关注后的各组特征，重标定为：

其 中，si为一个 实数，函 数Fscale表示si与gi元素逐个相乘，最后可得重标定后的特征向量M=[m1,m2]，从而获得人脸的热红外图像宽光谱融合特征。

2.4 损失函数

式中，Fi是由输入样本获得的特征，Gi为输入样本所属类别的类心特征，Pi为输入样本预测类别的类心特征。

3 实验部分

3.1 实验平台及实验参数

实验在版本号为2020.2 的PyCharm 软件平台上进行，基于Ubuntu 16.04 操作系统，采用Pytorch 深度学习框架，选用RTX2080TiGPU。

训练批次为200；批量大小为2；采用随机梯度下降算法（SGD）训练模型，设置Lr（学习率）=0.001。

3.2 评价指标

用热红外图像与宽光谱数据集中的测试集评估训练模型的精度。测试样本中，准备同一人的不同样本对作为正样本，不同人的样本对作为负样本，以欧氏距离D(xi,xj)来评判正样本中的正样本对和负样本中的样本对是否为同一类别。正样本对(i,j)集合记为Dsame，而负样本对集合记为Ddiff。

在正样本集合中，正确接受的集合部分：

其中，d表示阈值，Y(d)表示在以阈值d进行人脸验证的过程中，两个样本被认为是同一个人的集合部分。同样，错误接受的集合部分：

正样本集合中正确接受的集合部分占据的比例为正确接受率（TAR，T）：

负样本集合中错误接受的集合部分占据的比例为错误接受率（FAR，F）：

数据集中共采用40 人，同一人的正样本共500 组样本对，随机选择不同人的负样本共1 000组样本对，正、负样本集共60 000 组样本对。

3.3 消融实验

为了验证本文提出的基于自适应权重融合策略的识别算法（实验1）的有效性，突出自适应权重的图像光谱特征融合策略的优势，在人脸数据集上进行了如下实验：

实验1：首先利用热红外特征提取模块和宽光谱特征提取模块分别获取人脸的热红外特征向量和宽光谱特征向量。然后通过基于自适应权重的特征融合模块实现两种特征向量的有效融合，最后基于融合后的特征向量完成精准的人脸识别。

特征拼接融合策略是目前比较常用且有效的一种融合策略［11］，基于图像光谱特征拼接融合策略识别算法（实验2）［12-14］：将实验1 的融合策略替换为人脸的热红外图像特征向量和宽光谱特征向量直接在维度方向进行拼接的融合策略。

以正确接受率和错误接受率来综合评估实验模型的性能，消融实验结果如表1 所示。

由表1 可知，各组实验的结果随着阈值的改变而改变，当阈值为0.5 时，每组实验的T和F指标基本达到最佳平衡。结果显示在阈值为0.5 时，实验1 获得了96%的正确接受率，3%的错误接受率。而实验2 仅实现了95%的正确接受率，5%的错误接受率。相比之下，实验1 通过自适应分配模态特征权重，能够在实现较高正确接受率的同时，保持较低的错误接受率，其识别性能略优于实验2，从而证明了本文采用的基于自适权重融合策略有效性。

表1 消融实验结果Tab.1 Ablation experiment results

3.4 对比实验

为了验证本文提出的基于自适权重融合策略的识别算法的有效性。在人脸数据集上，将本文算法和基于主成分分析的红外识别算法（实验3）［15］进行对比。对比实验结果如表2 所示。

表2 对比实验结果Tab.2 Comparison of experimental results

由表2 可知，当阈值为0.5 时，两组实验的T和F指标基本达到最佳平衡。结果显示在阈值为0.5时，实验1 获得了96%的正确接受率，3%的错误接受率。而实验3 仅实现了95%的正确接受率，9%的错误接受率，从而证明了人脸的热红外特征在融合了宽光谱特征后，识别性能得到有效提升。

4 结 论

本文提出的一种热红外图像和宽光谱融合的人脸识别算法，一方面，与现有的单模态人脸识别算法相比，该算法将人脸热红外特征和宽光谱数据信息进行融合，克服了可见光光谱和近红外光谱信息的局限性，具备可在夜间使用的优势。另一方面，与期望通过不同模态信息的转化生成，再进行识别的多模态识别算法相比，本文提出的融合算法使用了两种模态特征共同作为识别依据，在识别精度和实现的便捷性方面具有优势。

因此，图谱融合人脸识别算法利用热红外和宽光谱的互补特性，提升了人脸识别算法在复杂场景下的识别准确率和识别系统的稳定性，拓宽了人脸识别的应用场景。然而，本文是将人面部4个关键区域的宽光谱特征单独处理，未对不同区域特征之间的联系进行建模，如果加以区域特征联系建模，在未来有潜力进一步提升识别性能，这也是未来研究的重点。