基于深度神经网络的眼周识别方法研究

秦涛

【摘 要】近年来，少限制环境下的生物特征识别技术成为研究热点，眼周识别作为新兴的生物特征识别技术越来越受人们关注。基于深度神经网络的眼周识别方法相较于传统方法能更好地提高眼周识别性能。通过提出一个基于ResNet20和softmax的眼周识别方法，在两个公开的眼周数据集上实验验证得到在UBIPr数据集上的EER值为8.19%，在UBIRIS.V2数据集上的EER值为13.18%。与传统的眼周识别方法相比，文章提出的眼周识别方法取得了较好的眼周识别效果，为深度神经网络的眼周识别方法发展提供持续动力。

【关键词】生物特征识别;眼周识别;深度学习;卷积神经网络;残差学习网络

【中图分类号】TP391.41 【文献标识码】A 【文章编号】1674-0688（2021）03-0043-03

0 引言

生物特征识别是指依靠人体固有的生理或者行为特征，通过计算机识别人的身份的一种技术，具有操作简单、安全可靠、唯一的身份特性等特点。近年来，少限制情况下的生物特征识别技术已经成为研究热点。之前的生物特征身份识别技术都是在受控的场景中使用，这样会极大地限制使用范围和使用条件。在此情况下，少限制环境中的眼周识别技术可以发挥更好的识别性能，得到越来越多的关注。

在常用的生物特征识别技术中，虹膜识别[1]具有可靠性、准确性特征，人脸识别[2]也在各个场景得到广泛应用，但是在少限制情况下，人脸识别和虹膜识别技术均存在许多问题，如图1所示的适用场景。虹膜图像需要靠近红外相机获得，在长距离、低分辨的情况下，虹膜图像模糊且无法精确识别身份。受新冠肺炎疫情影响，人们出行需要佩戴口罩，人脸大部分区域被覆盖，对人脸识别造成影响。眼周区域通常指眼睛周围包括皮肤和眉毛的区域。在少限制情况下，虹膜识别和人脸识别不可用时，眼周识别可以发挥更好的作用。此外，眼周生物特征也可以与人脸或虹膜融合，提高身份识别性能。研究表明，眼周区域受年龄[3]和表情变化[4]影响较小。但是匹配眼周图像仍然是一个具有挑战性的问题，尤其是在约束较少的环境下，因为该区域本身包含的信息比整个面部更少，并经常伴随着高类内变化，以及来自眼镜、头发等遮挡。

最近几年，在计算机视觉任务中，CNN已经成为一种鲁棒性、准确性的提取特征工具，在生物特征识别中得到广泛应用。CNN相较于传统的手工提取特征或者其他基于学习的方法表现出更好的识别性能。因此，希望使用CNN眼周识别方法，以取得更好的性能，解决具有挑战性的眼周识别问题。

1 相关工作

不同环境下的眼周识别算法研究持续进行，2009年，Park等[5]研究了在各种条件下利用眼周区域进行人类身份识别的可行性。Bharadwaj等[6]研究发现在虹膜识别失败时眼周识别可使用，他们还有一些交叉光谱的眼周识别工作。这些探索性的工作激发了研究人员深入研究的动力，以不断提高眼周识别的准确性。2013年，研究人员提出了一种先进的方法，使用眼周图像的DSIFT特征，利用K-means聚类进行字典学习和表示。这项工作还探索了虹膜和眼周识别的评分级融合，并得到较好的识别结果。然而，这种方法没有研究特定于眼周的特征表示，并且使用DSIFT特征对计算资源消耗很大。2015年，Smereka等[4]提出了眼周概率变形模型（PPDM），这个方法提供一个存在于眼周图像之间潜在形变的噪声模型。利用相关滤波器对捕获的变形进行推断来匹配眼周对。之后，同一组研究人员改进了他们的基本模型，通过选择有区别的分块区域来进行更可靠的匹配。这两种方法在多数据集上取得了良好性能。然而，这两种方法都依赖于基于补丁的匹配方案，因此经常违反补丁对应关系，但在实际部署中可能发生规模变化或不对齐的抵抗力较低。2017年，Zhao等[7]提出了一个语义辅助的眼周识别框架，这一方法通过增加一个训练语义标签数据的网络分支，提高眼周识别性能。2018年，这一团队又提出了对眼周关键区域赋予更多权重，提高眼周识别性能的方法[8]。

深度学习技术和CNN在计算机视觉和模式识别任务中的应用越来越多。基于CNN的方法在目标检测、图像分类、人脸识别、分割等任务中得到成功应用。但是调查发现，在眼周识别任务中只有少量的眼周识别方法采用深度学习技术提高眼周识别准确度。眼周识别性能需要一直不断提升，只有这样，才能满足真实应用的需要。本文设计了一个基于深度神经网络的眼周识别方法，在两个公开的眼周數据集上验证取得较好的眼周识别效果。

2 基于ResNet的眼周识别方法

2.1 眼周识别方法框架

在此介绍基于ResNet20和softmax损失函数的眼周识别框架。通过研究可知，在深度神经网络中，随着网络深度的增加可以获得更多鲁棒性、有辨别力的特征，提高网络性能。但是随着网络层数的增加会带来梯度爆炸或者消失，为了解决这个问题提出了残差学习网络。在残差学习网络中，复制一个浅层网络的输出加给深层的输出，当网络特征达到最优时，更深层恒等映射任务就从原来堆叠的层中释放到新建的恒等映射关系中，而原来层中的任务就从恒等映射转为全0。在残差网络中，残差模块会在前向过程中帮助网络中的特征进行恒等映射，在反向过程中帮助传导梯度，让更深的模型能够成功训练。

为了得到鲁棒性、有辨别力的眼周特征，本网络框架中使用了基于ResNet20的深度神经网络提取眼周特征。网络中最后FC层得到的特征向量选择合适的损失函数对特征向量匹配得到度量匹配分数，选择合适的损失函数能够提高眼周识别性能。考虑到眼周区域是人脸的重要部分，提取到的向量特征有很大的相似性，选择在人脸识别任务中广泛使用的softmax loss作为本文中眼周识别方法的损失函数，通过实验验证取得了较优的眼周识别性能。

2.2 训练和测试数据增强方法

為了提高网络的通用性和特征有效性，我们在训练过程中采用了以下常用的数据增强技术。

（1）训练数据增强。全部训练图像的大小都被调整为224像素×224像素，使用PyTorch中的图像处理方法随机调整图像亮度、对比度、色调、饱和度，使用OpenCV中的图像处理方法把眼周BGR图像转换成HSV图像等，从而增加训练时的眼周数据量。

（2）测试数据增强。本文网络框架中可以接受的输入图像的大小为224像素×224像素，所以全部的测试图像被调整为224像素×224像素。

3 实验配置和结果分析

3.1 实验训练和测试配置

本文的眼周实验我们使用UBIPr[9]、UBIRIS.V2[10]两个公开的眼周数据集。为了得到更好的眼周识别性能，在这两个数据集中把数据集按照3∶7的比例分为训练集和测试集，在训练集和测试集中人的性别与年龄信息分布合理，这样可以达到最接近真实场景的眼周识别性能。实验使用PyTorch开源框架实现本文中的眼周识别网络框架，本文中网络的超参数有权重0.000 5，学习率为0.01，动量为0.5，训练时的批次大小为128，整个训练有500个epochs。整个实验在单块12 GB的TITAN Xp GPU上进行。

3.2 性能度量和实验结果分析

为了验证本文提出的基于深度神经网络的眼周识别方法，我们在实验中使用TensorBoard工具对得到的眼周性能指标进行可视化实验，对定量和定性的眼周识别性能进行分析。本文使用EER、ROC曲线、F   1值对在本网络框架中使用的两个眼周数据集得到的实验结果度量眼周识别性能。实验中，眼周识别错误率指标用EER表示，EER值可以定量评价眼周识别性能，EER数值越小，则眼周识别的准确率就越高，代表眼周识别性能越好。

在UBIPr、UBIRIS.V2眼周数据集上实验得到的EER（如图2所示）。从图2可知，UBIPr经过实验训练的EER值为8.19%，UBIRIS.V2的EER值为13.18%。在眼周识别实验中，F1值越大代表眼周识别性能越好，通过实验得到UBIPr、UBIRIS.V2眼周数据集的F1值如图3所示。ROC曲线指受试者工作特征曲线、接收器操作特性曲线（Receiver Operating Characteristic Curve），是反映敏感性和特异性连续变量的综合指标，是用构图法揭示敏感性和特异性的相互关系。实验中，ROC曲线下的面积AUC越大则识别的准确性就越高。在实验的ROC曲线图中，FPR值为图中X坐标，TPR值为图中Y坐标，绘制出ROC曲线。其中，FPR值为代表将负样本错误分为正样本的概率，TPR值是将正样本正确分为正样本的概率。

FPR越大，预测正样本中实际负样本越多;TPR越大，预测正样本中实际正样本越多，理想情况是TPR=1，FPR=0。通过实验得到UBIPr、UBIRIS.V2眼周数据集的ROC曲线如图4所示。

通过实验结果评价眼周识别性能的EER、F  1-SCORE和ROC曲线图可知，相较于传统的提取特征的眼周识别方法，本文基于ResNet20和softmax损失函数的眼周识别框架这一深度神经网络的眼周识别方法取得较好的眼周识别效果。

4 结语

本文提出了一个基于深度神经网络ResNet20和softmax的眼周识别框架，通过在两个公开的眼周数据集UBIPr、UBIRIS.V2，实验得到较好的眼周识别性能，在以后的研究中致力于通过研究深度神经网络，不断提高眼周识别性能。

参 考 文 献

[1]Ma L，Tan T，Wang Y，et al.Efficient iris recognition by characterizing key local variations[J].Tra-nsactions on Image processing，2004，13（6）：739-750.

[2]Taigman Y，Yang M，Ranzato M A，et al.Deepface：Closing the gap to human-level performance in face verification[C]//Proceedings of the conference on computer vision and pattern recognition，2014：1701-1708.

[3]Juefei-Xu F，Luu K，Savvides M，et al.Investigating age invariant face recognition based on periocular biometrics[C]//2011 International Joint Conference on Biometrics（IJCB），2011：1-7.

[4]Smereka J M，Boddeti V N，Kumar B V K V.Probabilistic deformation models for challenging periocular image verification[J].Transactions on Information Forensics and Security，2015，10（9）：1875-1890.

[5]Park U，Ross A，Jain A K.Periocular biometrics in the visible spectrum：A feasibility study[C]//2009 IEEE 3rd international conference on biometrics：theory，applications，and systems，2009：1-6.

[6]Bharadwaj S，Bhatt H S，Vatsa M，et al.Periocular biometrics：When iris recognition fails[C]//2010 fourth IEEE international conference on Biometrics：Theory，Applications and Systems（BTAS），2010：1-6.

[7]Zhao Z，Kumar A.Accurate periocular recognition under less constrained environment using semantics-assisted convolutional neural network[J].Tran-sactions on Information Forensics and Security，2016，12（5）：1017-1030.

[8]Zhao Z，Kumar A.Improving periocular recognition by explicit attention to critical regions in deep neural network[J].Transactions on Information Forensics and Security，2018，13（12）：2937-2952.

[9]Padole C N，Proenca H.Periocular recognition：An-alysis of performance degradation factors[C]//2012 5th IAPR international conference on biometrics（ICB），2012：439-445.

[10]Proenca H，Filipe S，Santos R，et al.The UBIRIS.v2：A database of visible wavelength iris images captured on-the-move and at-a-distance[J].Tra-nsactions on Pattern Analysis and Machine Intelligence，2009，32（8）：1529-1535.