基于VGGNet和多谱带循环网络的高光谱人脸识别系统

谢志华 江鹏 余新河 张帅

摘 要：为了提高光谱人脸数据表征人脸特征的有效性，提出一种基于VGGNet和多谱带循环训练的高光谱人脸识别方法。首先，在光谱人脸图像的预处理阶段，采用多任务卷积神经网络（MTCNN）进行高光谱人脸图像的精确定位，并利用混合通道的方式对高光谱人脸数据进行增强;然后，基于卷积神经网络（CNN）结构建立一个面向高光谱人脸识别的VGG12深度网络;最后，基于高光谱人脸数据的特点，引入多谱带循环训练方法训练建立的VGG12网络，完成最后的训练和识别。在公开的UWA-HSFD和PolyU-HSFD高光谱人脸数据集的实验结果表明，所提方法取得了比其他深度网络（如DeepID、DeepFace、VGGNet）更好的识别性能。

关键词：高光谱人脸识别;卷积神经网络;VGGNet，;多谱带循环训练;深度神经网络

中图分类号： TP183; TP391.4

文献标志码：A

Abstract： To improve the effectiveness of facial feature represented by hyperspectral face data， a VGGNet and multi-band recurrent training based method for hyperspectral face recognition was proposed. Firstly， a Multi-Task Convolutional Neural Network （MTCNN） was used to locate the hyperspectral face image accurately in preprocessing phase， and the hyperspectral face data was enhanced by mixed channel. Then， a Convolutional Neural Network （CNN） structure based VGG12 deep network was built for hyperspectral face recognition. Finally， multi-band recurrent training was introduced to train the VGG12 network and realize the recognition based on the characteristics of hyperspectral face data. The experimental results of UWA-HSFD and PolyU-HSFD databases reveal that the proposed method is superior to other deep networks such as DeepID， DeepFace and VGGNet.

Key words： hyperspectral face recognition; Convolutional Neural Network （CNN）; VGGNet; multi-band recurrent training; Deep Neural Network （DNN）

0 引言

隨着遥感技术的发展，光谱成像已经在农业、生物医学等方面得到了广泛的应用，其中研究人员已经表明[1]：人脸的不同部位具有巨大光谱变异性。而高光谱成像能够捕获这种变异性特征，使得高光谱图像具有更多的判别信息，因此可以将高光谱成像技术用于人脸识别。

同传统的RGB图像相比，高光谱成像具有显著优势：1）对于图像中的每个像素，高光谱相机能获取大量连续的光强度，即图像中的每一个像素都包含一个连续的光谱，可以非常精确地描述场景中物体的细节;2）高光谱影像能感知多种被探测物的大小、形状、缺陷等外部品质特征，大大提高了成像的精度和可靠性;3）高光谱数据能够探测具有诊断性光谱吸收特征的物质，能准确地区分人脸的各个部分，对于人脸的检测和识别能力有极大提高。此外，对于人脸图像，高光谱图像与RGB图像相比具有更多的谱带信息[1]。

文献[2]首次将高光谱人脸图像应用到人脸识别中，证明了不同光谱对人脸组织的差异性;在文献[3]中，Chang等经过测试表明，在不同的光源强度下，如卤素灯、荧光灯、白天光照，高光谱人脸比可见光下的人脸更具鲁棒性;Di等[4]也做了类似工作，他们的研究表明，在光谱测量中，光谱的谱带与血红蛋白有着密切的关系，特别是高光谱谱带比其他谱带更具鉴别力，并挑选了高光谱中33个谱带进行研究，证明了高光谱的多个波段比单个波段和可见光RGB波段在人脸识别上的效果好;文献[5]通过滑动窗口的方式将多维的高光谱人脸图像融合成二维的灰度图像，然后利用偏最小二乘回归进行识别，验证了高光谱人脸识别的有效性;魏冬梅等[6]将波段选择与Gabor特征融合，通过分析不同波段的光学特性，减少了冗余光谱对识别的影响;Ghasemzadeh等[7]将三维小波变换同时应用于时空域提取高光谱人脸的谱间和空间特征。

目前，高光谱的人脸识别研究主要集中在手工特征提取及其改善[5]，较少关注深度学习特征的提取。鉴于高光谱成像的低信噪比和数据复杂性，研究有利于高光谱人脸识别的深度特征十分必要。本文借鉴深度卷积神经网络（Convolutional Neural Network， CNN）在传统可见光人脸识别的研究，基于高光谱成像数据的特点，提出了基于 VGGNet和多谱带循环的高光谱人脸识别方法，建立并训练了一个适合高光谱人脸识别的VGG12深度网络。

1 高光谱人脸识别方法

1.1 高光谱人脸预处理

在深度学习人脸识别研究中，人脸的精确定位是不可缺少的一部分，本文采用级联网络来整合多任务卷积神经网络（Multi-Task Convolutional Neural Network， MTCNN）人脸检测[8]。该方法由三个阶段组成[8]：第一阶段由浅层的全卷积网络快速产生候选窗体;第二阶段使用增强的CNN在候选窗体中选出更精准的窗体，丢弃大量的重叠窗体;第三阶段使用输出CNN实现候选窗体去留，同时显示五个面部关键点定位。具体实现方法为：

1）采用四层的全卷积神经网络，即Propose-Net（P-Net），去获得候选窗体和边界回归向量，其中前三个卷积核的大小为3×3，最后一个大小为1×1;同时，候选窗体根据边界框进行校准。然后，利用非极大值抑制方法去除重叠窗体。

2）将经过P-Net确定的、包含候选窗体的图片送入Refine-Net（R-Net），网络最后选用全连接的方式进行训练。利用边界框向量微调候选窗体，再利用非极大值抑制的方法再次去除重叠窗体。

1.2 网络模型

为了进行高光谱人脸识别，搭建了如图1所示的12层网络模型，包含11個卷积层和1个全连接层。由于和VGGNet网络类似[11]，每个卷积核的大小都是3×3，因此将此模型命名为VGG12。在VGG12中，前两层（conv1，conv2）是两个64通道的卷积层，所有卷积层的步长（stride）都为1，周围填充（padding）也为1，因此conv1和conv1不会降低维度，会提取更多的特征。conv2后面是最大池化层，由于池化之后特征图缩小为原来的1/4，为了最大限度地保留特征，在进行conv3时又将卷积核的数量增加一倍，因此conv3的特征图形是conv2的两倍，此时特征图的大小变成了输入的四分之一。从con1到conv8都采用类似的方法，即每两个连续的卷积层后都加上一个最大池化层。conv9、conv10、conv11是三个连续的卷积层，都由相同数量和大小的卷积核卷积运算而来。conv11包含了一个最大池化层，用来减少特征数量。最后的第12层是全连接层用来特征提取，网络的损失函数为softmax。

1.3 多谱带循环训练

已有深度神经网络VGGNet处理的图片都是三通道的[12]，因此已有的深度学习模型对三通道的数据更有效，本文提出的模型和VGGNet一样都采用3×3的卷积核，具有一定的共性。为了利用已有网络的这种共性，提出了一种多谱带循环训练的方法，如图2所示。

2 实验和分析

实验数据集为两个常用的高光谱人脸数据库UWA-HSFD和PolyU-HSFD[5]。PolyU-HSFD数据库的波段范围为400～720nm，每个样本共有33个谱带的二维图像，实验数据集采用24个人构成的161幅图像为原始训练样本，141幅图像作为测试样本;UWA-HSFD数据库的波段范围与PolyU-HSFD相同，每个样本共33个谱带，数据集选取48个人构成的158幅图像作为训练样本，96幅图像作为测试样本。为了验证本文方法的有效性，在上述两个数据集上分别做了以下

3 结语

本文提出了一种基于深度学习特征的高光谱人脸识别方法。基于高光谱人脸成像的特点和数据规模限制，结合预处理和多谱带循环训练方法，构建了一个有效的VGG12深度网络。实验结果表明，提出的深度学习高光谱人脸识别方法优于已有的人脸识别深度网络。

参考文献：

[1] OSIA N， BOURLAI T. A spectral independent approach for physiological and geometric based face recognition in the visible， middle-wave and long-wave infrared bands[J]. Image and Vision Computing， 2014， 32（11）： 847-859.

[2] PAN Z， HEALEY G E， PRASCAD M， et al. Face recognition in hyperspectral images [C]// CVPR03Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2003： 334-339.

[3] CHANG H， KOSCHAN A， ABIDI B， et al. Fusing continuous spectral images for face recognition under indoor and outdoor illuminants[J]. Machine Vision and Applications， 2010， 21（2）： 201-215.

[4] DI W， ZHANG L， ZHANG D. Studies on hyperspectral face recognition in visible spectrum with feature band selection[J]. IEEE Transactions on Systems， Man and Cybernetics — Part A： Systems and Humans， 2010， 40（6）： 1354-1361.

[5] UZAIR M， MAHMOOD A， MIAN A. Hyperspectral face recognition with spatiospectral information fusion and PLS regression[J]. IEEE Transactions on Image Processing， 2015， 24（3）： 1127-1137.

[6] 魏冬梅， 张立人， 胡楠楠，等. 联合空谱信息和Gabor特征的高光谱人脸识别算法[J]. 北京理工大学学报，2017，37（10）：1077-1083. （WEI D M， ZHANG L R， HU N N， et al. Hyperspectral face recognition with spatial-spectral fusion information and Gabor feature[J]. Transactions of Beijing Institute of Technology， 2017， 37（10）：1077-1083.）

[7] GHASEMZADEH A， DEMIREL H. 3D discrete wavelet transform-based feature extraction for hyperspectral face recognition [J]. IET Biometrics， 2018， 7（1）： 49-55

[8] ZHANG K， ZHANG Z， LI Z， et al. Joint face detection and alignment using multi-task cascaded convolution networks [J]. IEEE Signal Processing Letters， 2016， 23（10）： 1499-1503.https：//arxiv.org/ftp/arxiv/papers/1604/1604.02878.pdf網上只找到PDF

[9] 杨楠， 南琳， 张丁一， 等. 基于深度学习的图像描述研究[J]. 红外与激光工程，2018，47（2）： 203002. （YANG N， NAN L， ZHANG D Y， et al. Research on image interpretation based on deep learning[J]. Infrared and Laser Engineering， 2018， 47（2）： 203002.）

[10] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015： 1-9.

[11] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2018-03-22]. https：//arxiv.org/pdf/1409.1556.pdf.

[12] 张国山， 张培崇， 王欣博. 基于多层次特征差异图的视觉场景识[J]. 红外与激光工程， 2018， 47（2）： 203004. （ZHANG G S， ZHANG P C， WANG X B， Visual place recognition based on multi-level feature difference map[J]. Infrared and Laser Engineering， 2018， 47（2）： 203004.）

[13] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// NIPS12Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe， Nevada： Curran Associates Inc.， 2012， 1： 1097-1105.

[14] MOLLAHOSSEINI A， CHAN D， MAHOOR M H. Going deeper in facial expression recognition using deep neural networks [C]// Proceedings of the 2016 IEEE Winter Conference on Applications of Computer Vision. Piscataway， NJ： IEEE， 2016： 1-10.

[15] SUN Y， WANG X， TANG X O. Deep learning face representation from predicting 10000 classes [C]// CVPR 14Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1891-1898.

[16] TAIGMAN Y， YANG M， RANZATO M， et al. DeepFace： closing the gap to human-level performance in face verification [C]// CVPR 14Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1701-1708.

[17] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on Machine Learning. [S.l.]： ICML， 2015： 448-456.http：//proceedings.mlr.press/v37/ioffe15.htmlhttps：//arxiv.org/pdf/1502.03167.pdf