◆赵若禺 宋家松 周鹏 彭滔
基于人脸识别的智能门禁管理系统
◆赵若禺 宋家松 周鹏 彭滔
(重庆理工大学两江人工智能学院 重庆 401135)
为提高门禁管理系统的效率和智能化程度,本文利用人脸识别技术作为门禁系统的身份验证依据,开发了一种基于人脸识别的智能门禁管理系统。系统主要包含上位机和下位机两大部分,其中上位机具有完成人脸识别、控制下位机和数据的管理与存储功能,而下位机则具有完成人脸信息的采集、门锁开关控制和休眠等功能。当长时间无人脸检测时,系统进入休眠状态来降低系统的损耗和设备的磨损。通过开发系统网站进行对系统的管理与数据的可视化,以提高系统的实用性。最后,设计了方便用户管理的智能门禁系统,验证了所提系统设计方法的有效性。
人脸识别;门禁;低功耗;智能;休眠模式
传统的门禁系统主要以使用ID卡或密码作为身份验证的手段,当卡片遗失、卡片盗用、密码泄露时会造成安全隐患,甚至威胁到用户的人身和财产安全[1-5]。而随着生物识别技术的进步,人脸识别、指纹识别、虹膜识别也逐渐被使用在门禁系统中[5]。
虽然,ID卡、密码和指纹以及虹膜识别都能完成人的身份验证,但存在使用不便的情况,尤其像疫情等情况下不宜用接触式测量,因为接触的话有一定的传播病毒的风险,其能够为病毒的传播提供一个良好的载体。利用人脸识别技术实现的这类非接触身份验证方式则能很好避免这些问题。同时在现在的门禁系统中,人脸识别已得到了很广泛的应用[3-5]。
因此,本文提出了一种基于人脸识别技术的智能门禁系统,该系统利用带有摄像头的嵌入式设备OpenMV作为下位机实现人脸检测、数据采集、休眠和数据接收与上传等功能,以阿里云服务器作为上位机实现系统管理、存储数据,还能够根据用户需求控制下位机开关门,并可以将数据可视化到网页方便用户查看、管理。下位机能够通过连接WiFi进入网络从而与上位机实现通讯。
本系统主要由上位机和下位机两大部分组成,其中下位机以嵌入式图像处理设备OpenMV为载体,包含有人脸检测模块、通讯模块、门锁模块、休眠模块这四个模块,上位机则使用阿里云服务器,主要含有人脸识别模块、数据库模块、网页这三个部分。本系统能够有效完成门禁功能,用户可以登录网页账号查看相关数据或者控制下位机开启门锁,而管理员则可以管理用户的账号以及数据等,系统结构如图1所示。
图1 系统总体结构图
下位机负责检测人脸并将检测到的人脸上传给上位机,在接收到上位机的控制指令之后,控制门锁的开关。长时间不断地检测人脸必然会增加其负荷与消耗,为了降低系统的损耗和设备的磨损,下位机设置了一个休眠模式,当连续n帧图片都不存在人脸时,下位机会进入休眠模式以降低系统功耗。
此外,为了提高了系统的容错性,下位机还设置了在线开门的功能,在人脸识别不起作用时登录网站账号可以使用该功能直接命令下位机开门跳过人脸识别。下位机工作流程如图2所示。
图2 下位机工作流程
为了满足多个下位机同时工作,上位机的程序将会多线程运行,上位机工作时会接收到下位机传来的人脸数据和临时苏醒通知两种数据。
当接收到人脸数据时,上位机便从数据中提取出人脸特征,然后代入训练好的模型进行识别,最终根据识别结果给下位机下达是否开门的指令。
当接收到临时苏醒通知时,上位机将查询此段时间内是否有用户下达开门命令,若果有则通知下位机直接开门,否则通知继续关闭。
用户和管理员可以登录对应网页查看可视化数据(工作流程如图3所示)。
图3 上位机板块
下位机中的人脸检测模块,主要是利用Haar特征及AdaBoost分类器实现人脸检测,并在捕获摄像头中是否存在人脸作为进入休眠模式的依据。
Haar特征由白黑色两种矩形不同组合形成的边缘特征、线性特征、中心特征三种特征模板组成[6-8],如图4所示。这些特征模板能够描述人脸相关特征,使用积分图能够快速提取出目标图片中的所有Haar特征[6-8]。AdaBoost是由强分类器级联而成的分类器,通过对图片中的Haar特征分类,判断图片中是否存在人脸,并根据积分图获得图片中人脸的位置信息[6-8],其工作流程如图5所示。
图4 Haar特征模板
图5 AdaBoost级联分类器
通讯模块主要用于下位机与上位机之间的数据传输,发送端首先会向接收端发送一组包含机器编号、数据类型、数据大小三种信息的数据,接收端在验证完这组数据且当前情况下可以接收数据时会向发送端发送确认信息。然后,发送端收到接收端的确认信息后便会将本次要发送的信息分批发送给接收端,最终接收端收到所有的信息并检验无误后会向发送端发送接收完毕通知,则本次通讯结束,通讯协议如图6所示。
图6 通讯协议
当下位机接收到开锁信号时,门锁控制模块会发送电脉冲给控制门锁的继电器使其控制电磁锁开门[1][5],在门锁打开S秒后自动发动关锁信号从而关闭门锁。
考虑到门禁系统在一天中有大部分时间处于闲暇时间,出于降低功耗、减少设备磨损的考虑与需求,设置了休眠模块来实现系统的休眠模式。当系统在进入休眠模式后首先会休眠一段时间(时间的长度自定义,时间越长休眠时间占比越大,而唤醒灵敏度越小),然后会苏醒并用摄像头捕捉m帧图片,如果图片中检测出人脸则跳出休眠进入正常的工作模式;如果这m帧人脸中未检测出人脸,则下位机会通知服务器已该台下位机已“苏醒”。若这段时间内上位机有开门指令则下位机将会接收到上位机所发送的开门指令,然后下位机将控制门锁开门,并在之后继续休眠,休眠模块流程示如图7所示。
图7 休眠模块流程示意图
上位机在接受到人脸数据之后,先会提取能够很好地描述图像的局部纹理的MLBP特征,与LBP特征相比,MLBP特征使得图形更清晰,更立体、边缘轮廓更分明,从而更能突出图片中的细节特征,并且减小图片噪声所带来的影响[6],图8展示了MLBP特征的对比。特征提取完毕后,输入到训练完毕的SVM模型中进行分类,完成人脸识别。
图8 MLBP特征图对比
服务器中的数据库存用于存储系统运行数据以及使用期间所产生的数据。数据库中有三张表,分别是用户信息表、人脸数据表、记录表。
用户信息表记录了用户的编号、姓名、性别、备注、对应SVM模型;人脸数据表记录了用户编号、人脸编号、和人脸图片;记录存有用户编号、时间、机器编号(mid)和使用门禁的人的面部信息(数据库CDM模型如图9所示)。
本系统利用Web来实现入接接口与数据的可视化,在网站上注册的用户经过管理员认证可使用网站上的开门功能,该功能使得用户在特殊原因导致识别失效的情况下也能够通过门禁。网页结构如图10所示。
图9 数据库CDM模型
图10 网页结构
根据上述智能门禁设计方法,开发了一个智能实验室管理系统,其中下位机部分如图11所示左边为OpenMV主板、摄像头以及WiFi扩展板,右边则为显示屏;图12展示了人脸识别成功时下位机闪烁绿灯;图13展示了Web可视化界面的内容,几个图表展示了考勤情况;图14为Web登录后界面,Web顶部是一键开门选项,其可用于不通过人脸识别,接控制下位机打开门锁,避免了人脸识别失效或不便时无法控制门禁的情况。
图11 下位机装置
图12 人脸识别成功时,下位机闪烁绿灯反馈
图13 登录前网页页面
图14 登录后网页页面
本文提出了一种利用人脸识别的方式作为身份验证手段的智能门禁管理系统设计方法,其中下位机重在实现人脸检测与门锁开关控制功能,而上位机则主要实现人脸识别,数据管理及可视化。为了降低系统的损耗和设备的磨损,在下位机中设置了休眠模式,当无人时可是系统进入到系统休眠模式。依据此系统设计方法,开发的实验室的智能门禁管理系统,可以用于实验室等设施的门禁管理及考勤,经过测试发现系统运行功耗小,容错性高,有效地提高了门禁、考勤管理效率及智能化程度。
[1]金恒越. 基于Wi-Fi的门禁考勤一体化系统[J]. 电子技术与软件工程,2020,172(02):19-22.
[2]孔垂禹,岑丹. 远程终端可控AI门禁系统[J]. 吉林大学学报(信息科学版),2019,037(005):533-538.
[3]朱琳,张凤,申泽轩,等. 树莓派3B系列的人脸识别实验室门禁系统[J]. 单片机与嵌入式系统应用,2019,019(004):69-71,76.
[4]王灿田. 基于人脸识别的嵌入式在线网页门禁控制系统[J]. 电视技术,2020(5).
[5]阮有兵,徐海黎,万旭,等. 基于人脸识别的智慧小区门禁系统[J]. 电视技术,2019,510(01):95-98+125.
[6]徐超. 基于MLBP-HOG结合灰度共生矩阵特征的人脸识别方法[D].湖北工业大学,2020.
[7]王锋. 基于Adaboost算法的人脸检测与识别技术研究[D].扬州大学,2018.
[8]江伟坚,郭躬德,赖智铭.基于新Haar-like特征的Adaboost人脸检测算法[J].山东大学学报(工学版),2014,44(02):43-48.
[9]VIOLA P,JONES M. Rapid object detection using aboosted cascade of simple features[C]//IEEE Confer-ence on Computer Vision and Pattern Recognition.Hawaii,USA:IEEE, 2015.
[10]王越,瞿少成,陈青松.基于人脸识别技术的社区智能门禁系统的实现[J].电子测量技术,2018,41(16):70-73.
重庆理工大学科研立项项目(KLB20020)