EEID与人脸识别的关联方法

段俊杰 文勇军 唐立军

(长沙理工大学物理与电子科学学院 湖南 长沙 410114)

(近地空间电磁场环境监测与建模湖南高校重点实验室 湖南 长沙 410114)

0 引 言

教育电子身份号(EEID)具有与公民身份证号码一一对应的特性，利用EEID实现统一身份认证，既可对用户实行实名管理，又可以保护用户个人信息隐私[1-3]。目前国内已有教育电子身份号一千余万个用户，在实名制网络空间的应用上发挥了重要作用，但由于EEID是固定不变的身份标识码，若不采取有效的监控方法，仅凭用户EEID登录网络不能保证是用户本人的行为。因此，实现有效、安全的网络实名制管理，需要研究一个既方便有效又安全可靠的网络实名制登录方法，确保每个用户使用本人的身份标识码上网。人脸识别技术是通过视频扫描来确认使用者的身份，用户在进入登录界面时，能对人脸特征进行分析鉴定和更新，但直接用于网络管理容易泄露用户信息，且不便建立实名制网络空间[4]。本文在采用EEID管理系统的基础上，探索一种EEID与人脸特征识别的关联方法，研究一种EEID+人脸识别的实名制登录与管理系统，为网络管理提供一种有效的实名制管理方法。

1 原理介绍

1.1 EEID实名制网络空间的建立

图1为EEID实名制实现原理，身份信息经过加密后生成EEID，管理员可以通过EEID反向查看用户身份保密信息，其他用户不可见，保证了用户实名制安全。在EEID基础上设置的其他非保密信息对所有人都是可见的，方便用户之间的交流。EEID实名制管理是通过EEID与网络结合生成EEID标识的网络空间，利用EEID与用户一一对应的关系，实现实名制管理，这种方法具有保护用户个人隐私的优势。

图1 EEID实名制实现

1.2 活体检测方法

活体检测方法主要通过人机动作配合来检测真人与照片的差别[5]。首先使用局部约束模型(Constrained Local Model,CLM)检测人脸关键点，整个过程包括形状模型构建和Patch模型构建，如图2所示。形状模型构建就是对人脸模型形状进行建模，描述了形状变化遵循的准则。而Patch模型则是对每个特征点周围邻域进行建模，建立一个特征点匹配准则，判断最佳特征点[6]。

图2 形状模型和Patch模型

为确保活体检测快速有效，设定椭圆约束区域A，假设活体的关键点(xi，yi)，则(xi，yi)处于摄像头内的条件满足：

(1)

图3为人脸各关键点位置坐标，检测感兴趣的区域(ROI)，如嘴唇、眼睛或脸颊关键点位置变化，从而实现动作的追踪与判断。

图3 人脸关键点位置

眨眼、张嘴动作检测公式如下：

(2)

式中：将眼部和嘴部区域近似看成椭圆，Sk表示第k帧的椭圆面积；α为面积变化值。

摄像头检测人脸照片可以近似看成二维物体的投影，无论旋转和平移，摄像头采集到的图片都不具有三维变化特征。如摄像头前的人脸照片平移或者以鼻子为对称轴转动时，两脸颊的关键点到鼻子的距离与初始距离是成比例的，两脸颊的面积比不变；而真人人脸是三维的，摇头或点头时两边脸颊不会成比例变化，面积比会有明显变化。

在整个检测过程中，随机动作配合可以在一定程度上防止视频欺骗，而随机图片传输增加了人脸识别的安全性。

1.3 人脸识别方法

(1) 人脸对齐：使用级联回归树(ensemble of regression trees,ERT)方法定位人脸68个关键点，获取68个关键点中的左右眼、鼻子和上嘴唇位置的关键点矩阵，对照模板的基准关键点矩阵，计算两矩阵的相似变换矩阵：

(3)

式中：s为伸缩量；t为位移量；θ为旋转角度。用相似变换矩阵对整个图做相似变换，图像保持形状不变，大小位置变化。

(2) 归一化：尺度归一化将图像尺度统一调整到224×224，为卷积神经网络提取特征提供同一尺寸。幅度归一化将输入图像的像素归一到同样的范围，即将分布于[0,255]的原始图像像素归一化到[0,1]，有利于提升算法的运行效率和学习表现。

(3) 特征提取：卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一[7]。深度结构表示拥有层次结构，分为卷积层、池化层和全连接层。卷积层用于提取输入数据的特征，池化层是对卷积层输出的特征信息进行选择与过滤，全连接层位于卷积网络的最后部分，将得到的特征信息进行分类。

(4) 卷积层之间的稀疏连接模拟人的视觉神经系统结构：视觉皮层细胞从视网膜上的光感受器接收信号，但单个视觉皮层细胞不会接收光感受器的所有信号，而是只接受其所支配的刺激区域，即感受野内的信号。只有感受野内的刺激才能够激活该神经元。大量视觉皮层细胞通过系统地将感受野叠加，完整接收视网膜传递的信号并建立视觉空间[8]。

图4为牛津大学计算机视觉组(Visual Geometry Group)研发的一种深度卷积神经网络VGG16[9]。VGG16卷积神经网络包含13个卷积层和3个全连接层。它的卷积层采用3×3的卷积核，卷积核小，卷积输出的特征数据更多更强有力，而且多个卷积层与非线性激活函数交替的结构，比单一卷积层的结构更能提取出深层的更好的特征。最后的全连接层FC8层输出的值可以作为人脸的特征值。一幅人脸图应用VGG16卷积神经网络在FC8层得到2 622个特征值，考虑到特征值太多，数据存取压力大，识别效率低，因此在不影响识别效果的情况下，可以将特征值数量适当裁剪。

图4 VGG-16网络结构图

(5) 特征值数目选取：为选择合适的特征值数目，通过VGG-16卷积神经网络提取同人、不同光照和不同人、同光照的特征值，比较余弦相似度，结果见表1。可以看出，在特征值数目大于500时，同人不同特征值的相似度变化量是0.001～0.04，而小于500时，同人相似度变化量大于0.01，不同人相似度变化量大于0.03。选取500个特征值就基本能满足人脸识别的要求。

表1 不同特征值数目的相似度测试

(6) 相似度计算：计算数据库中已登记的人脸特征值与现捕获的特征值的余弦相似度，对比预设定的阈值进行身份识别。两人脸特征空间A=(A1,A2,…,An)、B=(B1,B2,…,Bn)，它们的余弦相似度为：

(4)

(7) 阈值设定：为了选定合适的相似度阈值，需要测试同环境条件下不同人的最大相似度和不同环境条件下同人的最小相似度。对9组人在两种条件下的相似度进行测试，结果如表2所示，随机9组不同人同光照条件下的相似度均在0.70以下，而且同人不同光照条件下的相似度均在0.88以上。将阈值设在两者之间并且偏向于高相似度，才能保证高识别率，本文设为0.85。

表2 不同人组的相似度测试

2 EEID与人脸识别的关联方法

2.1 关联方法介绍

EEID+人脸识别的网络实名制管理系统即在EEID实名制管理系统基础上，将EEID与人脸识别关联，实现人、名一致且保护用户隐私。EEID与人脸识别的关联方法分为EEID与人脸建模关联和EEID与人脸识别比对关联两部分。

(1) EEID与人脸建模关联：将EEID与身份证信息一致的人脸数据进行建模，提取人脸特征，并将生成的人脸模板(人脸特征值)保存到数据库中。

(2) EEID与人脸识别比对关联：将捕获到的人脸特征与数据库中已登记的EEID所绑定的人脸特征作比对进行认证。

2.2 设计与实现

EEID+人脸识别的网络实名制管理系统采用Struts+Spring+Hibernate框架设计实现，主要包括注册登记与认证登录两个部分。图5为系统功能，图6为系统结构。

图5 功能模块

图6 系统结构

2.3 活体检测流程

如图7所示，活体检测从第0帧(K=0)开始，前50帧(K<50)是用户调整摄像头中人脸位置的缓冲时间，第50帧至190帧是眨眼、张嘴等动作随机检测的时间，超过190帧提示检测失败。随机动作和时间限制可以增加安全性，提高系统效率。

图7 活体检测流程

2.4 注册流程

注册的流程如图8所示。首先用户EEID已经实名信息验证，对已注册的用户验证身份，对未注册的用户实名注册；其次用户特征信息验证，用人脸识别的方法建立用户的人脸图像特征，添加活体检测防止用照片来干扰对人脸信息获取；最后，提取用户人脸特征值，保存到数据库。

图8 注册流程

2.5 认证登录流程

认证登录阶段是将EEID与人脸认证登录中的1∶1人脸核实进行融合，避免1∶N人脸识别的效率问题，并保证了操作用户为本人，增强实名制登录的安全性。流程如图9所示。

图9 认证登录流程

首先验证用户EEID，查找用户特征值信息；然后进行活体检测，区分真假人脸，保证人脸识别的安全性；最后，更新数据库特征值，保存用户特征值信息变化。

3 性能测试

本系统测试用户是实验室的14人，测试环境为：Windows 10 x64版本，CPU：AMD Ryzen 5 1600 六核，GPU: Nvidia GeForce GTX 1050,RAM：8 GB，摄像头：Logitech c270。测试内容包括注册、认证登录功能和系统响应。

3.1 注册功能测试

分别在未实名认证的用户真人、已实名认证的用户真人和已实名认证的用户照片三种情况下对14个用户的注册操作进行测试，结果如表3所示。未实名认证的用户真人注册成功率为0，而已实名认证的用户真人注册功率为100%，说明未实名认证的用户不能进行注册；已实名认证的用户照片的注册成功率为0，说明活体检测能够区分真人和照片。因此，注册模块实现了EEID与人脸建模的关联。

表3 注册功能测试

3.2 认证登录功能测试

从14个已注册用户中随机选取9个，分别测试EEID与符合用户照片、EEID与符合用户和EEID与其他不符合用户的三种登录情况。测试结果汇总如表4所示，EEID与符合用户的登录成功率为100%，而EEID与其他不符合用户真人的登录成功率为0，说明EEID与用户人脸特征一一对应；EEID与符合用户照片的登录成功率为0，进一步证明活体检测方法的有效性。因此，认证登录模块实现了EEID与人脸识别比对的关联。

表4 登录功能测试

3.3 系统响应测试

需要测试系统各个模块的响应时间以保证系统实时有效。系统注册和认证登录模块的响应时间如表5所示。活体检测、特征提取与数据传输与存储等的耗时是固定的，其中活体检测占据主要耗时，人机配合动作的活体检测虽然减少了系统效率，但是增强了安全性；认证登录需要查询EEID和计算相似度，所以时间相比于注册增加了，并且随着注册用户数的增加而增加。除活体检测以外，人脸识别的单独用时为250 ms左右，少于1 s，响应灵敏。

表5 系统响应时间测试 ms

4 结 语

将EEID与人脸识别结合，设计并实现了EEID+人脸识别的实名制登录与管理系统实现网络实名制管理。系统采用EEID与人脸识别比对关联实现了单次比对识别身份，避免了N次比对，大大节约了比对时间。前端活体检测与后端识别的分离充分减少数据传输压力，合理相似度阈值的设定能够准确地辨明人脸。该系统可实现人脸的活体检测、实时更新人脸特征，既可保证网络用户实名的不可替代性，又可保护用户信息安全。系统注册登录的高成功率和秒级的响应时间证实了EEID与人脸识别的关联方法的可行性。