基于人脸识别的智慧校园学生行为管理系统研究

邓嘉明,张志鹏,潘熙婷

(1.嘉应学院 信息网络中心，广东 梅州 514015;2.嘉应学院 计算机学院，广东 梅州 514015)

随着科技的发展，人脸识别已经成为身份验证的快捷有效的方法之一，被广泛应用于公安、银行、安检等各行各业中.在高校校园管理中，学生管理工作是一项非常重要的工作，包含了课堂学习、课外学习、校园生活、娱乐等多维度管理[1].其中，学生晚间归寝情况、晨练情况、上课出勤情况的统计与管理又是学生管理工作中的一个重要部分，既是维护学校正常秩序，也涉及学生人身安全.目前，学校对学生晚间归寝情况、晨练情况、上课出勤情况的统计基本上都是依靠人工去查询.随着学校学生规模的扩大，学生晚间归寝、晨练、上课出勤的管理工作所涉及的数据量越来越大，任务也越来越重.采用人工点名这种方式存在着效率低、易出错、统计繁琐、对学校的管理提供决策信息较为困难等缺点.将人脸识别技术结合智慧校园建设，建立基于人脸识别的智慧校园学生行为管理系统成为解决上述问题的可行途径.

1 智慧校园建设

1.1 智慧校园应用系统建设

近几年，各高校都进行了数字化校园建设，建立了面向各个行政部门的应用管理系统，包括教务、学生工作、人事、后勤，等等.这类管理系统多以流程引擎为主，以解决审批流程为主，在事项处理上需要人工进行数据录入[2].以学工系统中的宿舍管理为例，目前的宿舍管理是根据学生全周期管理的思路，从学生入学分配宿舍开始，进校后的学生宿舍评比、宿舍调整，到离校宿舍退房的管理.这些管理中多为办事流程管理，而真正需要日常管理的学生宿舍点名，仅由辅导员或学生干部线下点名后，将情况录入系统.而这些录入系统的数据正是智慧校园中越来越需要的数据，日常学生行为管理和年度的综合测评、评奖评优都要用到.这些数据通过人工线下点名后录入，采集方式相当不便，已经成为智慧校园建设的一个大问题.为了能方便、快捷地采集学生日常行为数据，国内部分高校已经利用一卡通进行了门禁管理，这种门禁管理需要学生主动刷卡，存在管理上的漏洞[3]；一些国外高校也提出了用物联网传感器来解决，但是这会增加建设成本.本文基于人脸识别技术具有的“人脸无法替代”、非侵犯性的特性，探讨了结合人脸识别技术来对学生行为进行管理，通过这种方式不仅可以解决一些管理上的漏洞，应用部署起来也简单，而且基本可以实现“无感知”认证，这在学生日常管理中是非常重要的[4].

1.2 智慧校园学生行为管理需求

智慧校园在原有学工管理系统的基础上，设计一套用于管理学生晚间归寝、晨练、上课考勤的系统.通过人脸识别终端将实时识别结果利用校园网传到系统数据库中，各类管理用户可通过Web页面终端或手机App终端查看学生的实时签到情况.

系统功能性需求包括：人脸识别功能、轨迹管理功能、业务管理功能、系统对接功能、角色管理功能.人脸识别功能是通过开发两种识别终端，一种是带显示屏反馈信息的签到机，另一种是枪式或球式的视频监控摄像机，签到机内置人脸识别引擎仅将识别结果传回，摄像机将视频流传回后端利用云平台的识别节点识别；轨迹管理功能是实现教学楼、宿舍楼、校园主干道的视频监控的人脸识别，通过将识别结果反馈到系统，系统通过每个视频监控地址所绑定的地址信息形成学生行为轨迹.业务管理功能是实现可查询每个学生当前的轨迹情况、每个宿舍楼的当前宿舍人数、每个学生的归寝、晨练、上课考勤情况等，实现异常情况自动报警.系统对接功能包括与教务系统、学工系统对接，包括学生的基本信息、学生的宿舍安排信息、上课安排信息、考勤信息等，能实现数据交换共享.角色管理包括形成多维度的角色：按宿舍楼分的宿舍管理员角色，按学院和班级分的辅导员、班主任角色，按区域分的保卫处管理员角色，按数据分的系统管理员角色.

系统性能需求包括：监控识别速度小于1 s，达到无障碍识别；同时识别目标达到一个画面内最多12个，效果最优为1～3个；识别准确率达到在一人多图库包支持下准确率大于95%，样本人数支持20 000人.人脸识别需要保证准确率和实时性，基本达到无感知、无障碍识别.

2 智慧校园学生行为管理平台架构

图1 平台物理架构拓扑图

2.1 平台物理架构拓扑

整体系统为云架构模式，所有计算节点、服务节点在中心机房架设，摄像头、摄像枪和前置机通过校园网专网进行连接.前端终端包括了采集设备的摄像头、摄像枪和前置机摄像头，通过POE供电交换机直接连到各楼层交换机，经核心交换机、机房交换机到服务器群中.所有计算节点、服务节点架设在服务器和存储的虚拟集群上，根据计算需求不同可以扩展配置.这种物理架构拓扑可扩展性强，可以分期分批实施上线，平台物理架构拓扑图如图1所示.

2.2 平台整体架构系统设计

通过顶层设计构建应用于全校的人脸识别管理平台，统一进行人脸库、识别结果和设备的管理，便于数据的收集、分析和应用.系统总体框架图2所示.

硬件层：包括骨干网络、POE网络完成组网，连接后端的云平台和前端的摄像头和物联网设备.

接口层：主要是不同设备、不同系统的数据传输接口，既包括了硬件设备调用的协议接口，如RTSP协议接口等，又包括了计算数据所规划的接口，还包括了一些外部应用调用接口等.目标主要接口包括空间定位、网络传输、计算节点、物联网设备、视频传输.

平台层：包括虚拟集群、操作系统等系统平台、应用环境等应用平台和计算节点等.

数据层：为了方便后期开发，将所有数据进行汇总，包括应用系统所涉及的应用数据、计算节点输出的相关计算数据以及空间定位数据等.

应用层：通过对数据进行应用管理，主要包括事务管理、识别计算、报警管理、人员管理和权限管理等.

呈现层：按照不同需求分别包括了Web端、App端、大屏展示、地图展示等.

安全体系：网络信息安全相关事项包括软件层面的权限管理、密码加密管理等和硬件层面的网络安全管理、链路路由管理等.

标准体系：本次建设需要与数字化校园对接，相关接口规划、数据规划都应符合数字化校园建设相关标准体系.

1.1 对象 选取2010年4—6月在我院门诊就诊的50例老年性痴呆患者的照顾者，其中男20例，女30例;年龄:60岁以下28例，≥60岁22例;平均年龄(56.9±4.4)岁。文化程度:初中及以下11例，高中以上39例。与患者关系:兄弟姐妹9例，配偶16例，子女25例。患者病程:＜2年19例，≥2年21例。本组患者均符合CCMD-3老年性痴呆诊断标准;照顾者均是与患者共同生活1年以上的直系亲属，并承担患者的主要照料责任;照顾者均签署知情同意书，排除严重躯体疾病、精神疾患。

3 智慧校园学生行为管理平台算法引擎

3.1 人脸识别流程设计

目前国内外领先的人脸识别技术已经较为成熟，多数算法都是通过辨别人脸图像中的五官特征进行判断，主要包括主成分特征分析方法、BP神经网络识别方法，以及Gabor和LBP等特征提取方法等[5].综合几种算法后，完成了人脸识别流程设计，流程如下：

(1)进行人脸侦测采集.识别开始后系统通过调取监控设备获取图像进行初步分析，侦测当前帧画面图像中是否有人脸，若存在人脸则定位到较为清晰的位置抓取带有人脸部分图像.

(2)进行检测人脸.对于当前帧画面图像，设定相关策略搜索分析是否存在此人脸，若检测到存在人脸则识别人脸轮廓、五官和位置等关键位置，将这些关键位置信息按设定的算法策略进行提取，通过算法策略提取出如结构特征、直方图特征、模板特征及Haar-Like特征信息[6].

(3)进行图像预处理.将人脸检测的特征数据进行预处理，消除监控画面中环境光线、角度、姿态等干扰因素影响，降低噪声并将人脸特征明显地表现出来，常用的算法有光线补偿、平滑滤波、图像二值化、均衡直方图等[7].

(4)进行特征信息提取.在预处理强化特征后，提取人脸位置、轮廓形状等信息，标记图像中的五官特征信息，将这些特征信息描述为数值和向量.

3.2 人脸识别引擎模块实现

根据以上人脸识别流程，设计的平台人脸识别引擎功能模块包括了图像预处理模块、人脸检测与跟踪模块、特征码提取与人脸比对模块.

图像预处理模块：这种“无障碍”识别的监控摄像捕捉画面多数为运动中的画面，画面图像可能出现较模糊或者姿态变化幅度较大的问题.通过小波降噪建立人脸图像的几何模型，通过Gabor小波变换对像素集进行滤波处理，获取底层数据分布实现降噪，进行姿态调整和模糊检索，由此得到较高质量的人脸图像.

人脸检测与跟踪模块：人脸检测是指在视频监控的每一帧图像中确定人脸位置，并识别人脸图像区域大小.人脸跟踪视频监控的是跟踪连续图像中被捕获人脸的运动.该模块主要由人脸检测和人脸跟踪两部分组成，采用当前比较热门的“积分图特征计算+Adaboost+级联”检测方法.该方法中，积分图特征计算较其他算法高效，其算法核心是将监控图像的每个像素遍历一次形成积分图，以此快速计算识别人脸特征；Adaboost算法可以将许多弱特征组合成更强的分类器；级联可以快速过滤掉多余的背景[8].首先，模块开始检测视频监控第一帧中的人脸图像，定位人脸后锁定信号发送到跟踪模块.跟踪模块从锁定的人脸中提取参考特征，开始人脸跟踪.如果跟踪失锁，则向检测模块发出失锁信号，重新启动检测模块，启动新的检测跟踪过程，增加特征提取的效率，可提高识别的速度和准确率.

特征码提取与人脸比对模块：在人脸检测与跟踪后，模块采用深度学习进行正面人脸重构.算法含三个卷积层，其中前两层采取最大池化，最后一层采用全连接，不同通道采用不同权值，由此分类辨识出更好的特征[9].通过提取5个人脸中的面部关键特征点生成人脸区域特征，利用人脸区域特征进行训练，将多个人脸区域特征级联形成整体特征，使用PCA降维和利用SVM进行分类，以此来重构正脸[10].

3.3 系统集成与平台测试

系统集成包括了B/S架构管理系统与C/S架构识别引擎的集成、前端设备与计算节点、后端应用服务器的集成，集成方式如图3所示.通过应用服务器下达人脸识别任务列表数据到前置机和计算节点，前置机和计算节点从版本服务器获取最新的算法库包和人脸库包.开始识别任务时，从监控摄像头或前置机集成摄像头获取视频流进行识别，实时反馈识别信息，并将无法识别的信息提交给二次识别的计算节点.二次识别通过在硬盘录像机中调用视频片段，进行二次识别，二次反馈识别信息，此处二次识别的原因是为了保证识别速度.单台节点机器是对应识别任务下达的人脸特征库包，如一号宿舍楼识别终端仅启用一号楼学生人脸特征库包，如出现无法识别，则返回二次识别节点识别全校库包.定期将识别成功的图像进行反馈，更新到版本服务器中.系统集成后可在一体机中完成识别提示，前置一体机运行状况图4所示.

图3 系统集成图

图4 前置机运行状况图

通过系统集成后，前端签到机采用的一体机双核主频大于3.0 GHz的CPU，8 G内存，计算节点采用云平台虚拟机双核8 G内存.通过对学校一号宿舍楼2 000人样本进行测试，对某日夜晚11点归寝签到进行测试，签到速度小于1 s，识别成功率大于96%，二次识别后准确率100%，基本实现无障碍、无感知.

4 智慧校园学生行为管理平台应用拓展

智慧校园已经建设多年，此前各高校都投入大量人力物力建立统一数据平台，而这些数据属于各业务系统的运行数据，多数为被动填报的数据.随着智慧校园管理平台的应用拓展，更多的是需要人脸识别技术等各类主动采集方法辅助.智慧校园学生行为管理平台可以提供全方位无感知的采集.如在课堂管理中，以前仅仅通过学习成绩、学生评教等方式进行质量监控，而通过人脸识别除可以做到日常签到外，还可实现课堂上教师、学生行为过程的监控，检测课堂内授课时长、学生听课状态(是否睡觉、是否在低头玩手机)，将课堂行为还原成过程数据，结合教育学弗兰德斯模型，分析教师授课时间、学生交流时间、互动时间等，并引入学生成绩、学生评教结果等数据进行关联分析，可以更好地分析出课堂改革效果，为教务处、二级学院等提供决策数据，辅助教学质量监控.在学生管理中，此前的管理模式还是通过人工点名，这种方式耗时且不准确，通过平台可以实时获取学生轨迹，及时、准确、全面地掌握学生情况，可以应对突发事件与公共危机，根据个人轨迹管理，可实现重点关注群体、孤僻人群预警、疑似失联预警等功能，为学生管理提供决策辅助.结合智慧校园大数据学情分析、生活轨迹分析、服务分析，可以逐步形成学生数据画像，可以分析其学情与生活的相关性，引导学生改善生活习惯，提高学业水平[11]，以此逐步实现更智慧的校园.