基于动态人脸识别的智慧班牌系统的设计与实现＊

厦门华厦学院 洪小坚 陈志聪

智慧班牌是教育信息化和“互联网+”、物联网深度融合的信息终端之一，能够呈现和采集数据信息，硬件部分主要以耗电少、功能强的Advanced RISC Machines微处理器为核心，进行数据存储模块、串口WiFi模块、通讯模块、液晶显示触摸模块的拓展，使用基于USB Video Class协议的通用USB摄像头采集人脸图像。通过智慧班牌在智慧校园信息云平台中的应用，能够呈现丰富多彩的校园特色和班级文化数据，为学生、老师和家长架设沟通、互动媒介，打通智慧校园应用管理平台通道，促进班级、师生间形成“VR+”社区，真正发挥出智慧校园生态教育优势。为促使智慧校园在上课签到、考勤打卡和信息查询、信息发布等环节上，生成“数字化”“智慧化”“人性化”属性，文章基于动态人脸识别技术设计与实现智慧班牌系统，经测试，该系统不需要识别对象停驻等待，只需要识别对象出现在一定的识别范围内，能够自动识别和实现1s内抓拍和采集信息，动态人脸识别的准确率可达98.6%。

伴随教育信息化2.0行动计划的发布，信息云平台全面运用计算机、多媒体、大数据、人工智能和现代信息技术等手段，布局教育教学信息化，大量智能终端应用在智慧校园建设过程中[1]。利用动态人脸识别手段实现高效实时的管理已经成为人工智能新发展方向，设计智能化识别系统代替人工操作已经成为必然趋势[2]。本设计依托卷积神经网络、DBN和堆栈自编码网络模型等进行深度学习，基于动态人脸识别技术，集成动态人脸识别算法，设计和实现智慧班牌系统的搭建，快速核实身份、上传识别结果、统一处理采集数据，全流程功能自动化。

1 基于动态人脸识别的智慧班牌系统架构

智慧班牌系统是智慧校园2.0总体架构中，教育信息化标准体系智慧教学环境中的关键组成一环，主要由智慧班牌管理软件和Android投射式电容10点触摸屏幕共同组成，支持手写及多点手势，触摸速度小于3ms，精确度高且易于维护。管理软件与智慧校园网络核心机房服务器连接，通过PDP显示器、LCD显示器、液晶电视（Liquid Crystal TV）、LED显示屏、DLP大屏拼接（Digital Light Procession）等，与播放终端硬件配合，接受管理软件所发布的播放内容并存储在本地，显示到所连接的显示设备上，如图1所示。基于动态人脸识别的智慧班牌系统采用Web Browser/Server网络结构模式，统一客户端，将系统功能实现的核心部分主要集中在服务器上，浏览器通过Web Server与数据库交互数据，成功登录后，即可完成管理、排列、审核、发布等重要功能，可以通过摄像头进行上课签到、数据统计，也可以进行身份验证，生成考试信息等[3]。

图1 基于动态人脸识别的智慧班牌系统架构Fig.1 Intelligent class card system architecture based on dynamic face recognition

2 基于动态人脸识别的智慧班牌系统硬件设计

智慧班牌系统硬件部分主要以Advanced RISC Machines微处理器为核心，硬件电路针对拓展模块的接口进行电路设计。为完成该系统的指定功能，进行数据存储模块、串口WiFi模块、通讯模块、液晶显示触摸模块的拓展，使用基于USB Video Class协议的通用USB摄像头采集人脸图像。对于Advanced RISC Machines微处理器，选取三星S5P6818核心板（ARM八核Cortex-A53架构）提供通用外设接口，主频1.4GHz，不需要进行外围器件的扩充，功耗较低、简单方便，支持Android系统，通过全静态设计契合系统运行需求。三星S5P6818核心板可扩展性较强，多达184PIN管脚，PCB采取8层沉金工艺，电气特性和抗干扰特性稳定可靠，同时，该核心板板载PMU，能够在系统控制过程中进行科学的充电管理。在片上资源中，三星S5P6818核心板集成LCD显示器专用的LCD显示控制器，同时包含3路串口通信，2路高速、全双工、同步串行外设接口，PHLIPS IIC总线接口，4路DMA Controller，依靠三星S5P6818核心板能够较为便捷地添加人机交互模块、通讯模块，满足本次系统设计和实现的需求。为便于上课签到成功，采用分辨率1920×1080的高清屏幕作为人机交互界面，同时在本地数据库保存相关数据，在系统通用性上，使用基于USB Video Class协议的通用USB摄像头采集人脸图像[4]。

3 基于动态人脸识别的智慧班牌系统软件设计

3.1 操作系统定制与应用软件开发

Android系统基于Linux内核的自由及开放源代码的操作系统，主要由Linux内核、DLL形式的运行库、虚拟机共同组成。本次系统的软件设计通过嵌入Android系统完成系统软件设计与实现，由操作系统定制与应用软件开发构成系统软件开发，系统软件设计过程中使用基于USB Video Class协议的通用USB摄像头获取人脸图像，在操作层集成支持USB Video Class协议的USB摄像头驱动程序，主要目的在于提升摄像头的使用稳定程度。在操作系统定制过程中提取Android NDK工具链，封装Linux内核内的驱动程序，生成JNIEnv接口供Android系统的应用层进行调用。

嵌入Android系统的智慧班牌系统软件开发主要通过建立基于Linux内核的应用软件环境、移植Linux内核、建立Linux文件系统、移植Android系统和开发系统应用程序几个步骤完成。基于Linux内核的应用软件环境是一种交叉开发环境，在运行过程中，应用软件的环境一般采取宿主-目标的模式完成交叉编译，这样的环境便于Linux内核进行开发和调试。Linux内核在移植过程中，需要根据系统硬件情况进行定制处理，在满足系统需求的前提下占据最小规模硬件资源。建立Linux文件系统需要将交叉编译完成的Linux内核文件与NFS网络文件，烧写到开发板，促使Linux独立启动并成功运行。在移植Android系统和开发系统应用程序时，需要在Linux操作系统中的Ubuntu16.04完成编译，完成后烧录至开发板，随机完成应用软件的调整和测试[5]。

3.2 基于动态人脸识别的技术模型训练

本设计依托卷积神经网络、DBN（深度置信网络）和堆栈自编码网络模型等进行深度学习，基于动态人脸识别技术，集成动态人脸识别算法，辅助图像处理（Image Processing）算法，设计和实现智慧班牌系统的搭建，提取生物面部特征点，通过匹配特征值判定所采集的数据信息，继而快速核实身份、上传识别结果、统一处理采集数据，全流程功能自动化。基于动态人脸识别的技术模型训练所使用的算法主要涉及到人脸检测和人脸识别。人脸检测是人脸识别的预处理，本次系统的设计和实现主要依从数字图像处理的积分图、级联多层检测器、Ada Boost迭代算法的人脸检测方法，通过数字图像处理的积分图计算所采集的生物面部特征点，使用Ada Boost迭代算法进行生物面部特征点集中筛分，最后通过级联多层检测器完成生物面部图像检索[6]。

本次系统的设计和实现采用Visual Geometry Group Net深层卷积神经网络结构，针对生物面部特征数据进行训练，通过提取生物面部特征数据信息，进行训练后的测试。在训练过程中，采取深层卷积神经网络结构中的卷积流实施操作，采用稀疏权重、权值共享连接神经元。利用滤波器对标准化的生物面部数据进行处理，经过处理后，得到带有特征点的数据，应用这部分数据做减采集操作，通过交替分布卷积和减采集进行连接，若干层厚得到卷积神经网络特征映射图，本次系统设计中用于提升神经网络表征能力的激活函数（Activation Function），采取Re LU（修正线性单元），需要针对所采集的生物面部特征信息将高维数据转化为低维数据，主要目的在于减小数据运算量，确定参数。在测试过程中，需要进行图像预处理，确定好参数后进行生物面部特征点提取，实施数据降维后进行分类匹配并完成人脸识别，验证身份。在人脸识别模型训练过程中使用学习算法接口执行学习算法框架，训练后的模型能够在异构系统中进行快速移植。

3.3 系统软件设计

系统软件需要通过不同的算法执行不同模块的功能。针对信息显示模块，当智慧班牌待机，人脸识别终端的人脸识别显示屏幕始终处于关闭状态，摄像头处于未被成功出发状态，触控显示器始终显示的是班牌的默认界面。针对考勤模块，当智慧班牌定义为考勤状态时，点击摄像头，程序对系统硬件完成初始化操作，使用摄像头驱动采集图像数据信息，学生需要根据课程表进行打卡，采集人脸检测信息，触控显示器和摄像头通过运动检测被成功激活，启动人脸识别显示屏幕，成功检测到摄像头捕捉到的人脸面部数据，识别后反馈实时时间和信息至考勤模块。针对一卡通模块，学生通过向系统进行充值激活该功能模块，当智慧班牌功能定义为一卡通功能模块时，需要准确输入充值金额，学生需要通过人脸识别进行准确的时间、金额信息反馈、记录或扣费。针对信息查询模块，一旦智慧班牌的功能被定义为查询模块时，需要在人脸识别终端进行人脸识别操作，计入程序后通过向服务器发出请求，收到返回的数据，解析并将数据放置在对应的控件中，模块根据数据信息自动进入信息查询和操作界面，随机进行及时的查询操作。

4 基于动态人脸识别的智慧班牌系统测试

系统在进行开发设计后，需要经过一系列精准的系统测试，查看测试效果。在促使过程中，分别针对信息显示界面、考勤界面、一卡通界面、信息查询界面进行测试。打开软件后，在1s内能够实现信息显示界面的信息显示，考勤界面能够在2s内完成考勤处理，考勤结果与考勤同步进行更新，智慧班牌表现出较为稳定的显示性能，显示屏幕能够连续工作12h以上，基于USB Video Class协议的通用USB摄像头在不存在故障的前提下，能够连续工作超过60h，可以满足基于动态人脸识别的智慧班牌系统的测试需求。经测试，该系统不需要识别对象停驻等待，只需要识别对象出现在一定的识别范围内，能够自动识别和实现1s内抓拍和采集信息，动态人脸识别的准确率可达98.6%。

5 结语

人脸识别是现阶段识别领域的前沿课题，主要利用计算机技术和数据库的人脸图像进行有效信息的识别和分析，继而辨认身份。该系统通过嵌入Android系统，依托卷积神经网络、DBN和堆栈自编码网络模型等进行深度学习，基于动态人脸识别技术，集成动态人脸识别算法，设计和实现智慧班牌系统的搭建，能够实现信息显示、考勤、一卡通、信息查询功能，屏幕界面清晰美观、数据统计准确，系统性能可靠、稳健、易用、可移植。

引用

[1]王继超,张丽娟,尤田,等.人脸识别的智能防疫系统设计[J].河北水利电力学院学报,2021,31(4):55-59.

[2]黄明明,黄全振,孙清原.基于模糊推理的智能家居安防系统设计[J].河南工程学院学报(自然科学版),2019,31(4):54-58.

[3]李佩,汪红娟,李业丽,等.基于AdaBoost人脸检测算法的分析研究[J].北京印刷学院学报,2020,28(1):128-132.

[4]钟娟,马开聪.基于安卓及云服务平台的考勤管理系统[J].湖北工程学院学报,2021,41(6):77-84.

[5]张学锋,王子琦,汤亚玲.基于YOLO-CDF神经网络的安全帽检测[J].重庆工商大学学报(自然科学版),2022,39(4):32-41.

[6]陈拓,邢帅,杨文武,等.融合时空域特征的人脸表情识别[J].中国图象图形学报,2022,27(7):2185-2198.