在线学习疲劳状态识别方法及应用研究*

陈梅芬，陆 蓉

在线学习疲劳状态识别方法及应用研究*

陈梅芬1，陆 蓉2*

（1. 深圳职业技术学院 教育技术与信息中心；2. 深圳职业技术学院 质量保障中心，广东 深圳 518055）

随着在线学习日益普及，长时间面对显示器终端或者移动终端的学习行为容易引发疲劳感，影响学习效率．在线学习疲劳状态识别有助于了解学生状态，调整教学策略，设计教学内容，优化教学服务．文章对在线学习疲劳识别方法及应用进行了综述和探讨．在线学习疲劳识别方法主要有3种：基于认知测评、问卷调查和测量量表的主观评测方法；基于眼睛、嘴巴、人脸等面部特征的图像视觉分析方法；基于脑电、肌电、心电、眼电等指标的生理信号检测方法．基于肌电信号分析学习者在线学习不同呈现方式的教学视频时的疲劳状态发现，被试观看教学视频超过十分钟容易出现疲劳状态，教学内容对学习者疲劳状态有影响，教学资源呈现方式对学习者疲劳状态的影响无显著差异．在线学习疲劳状态的识别亟须提升数据融合和智能处理能力、推进多维数据源协同研究．

疲劳状态；主观评测；面部特征；生理信号

随着在线教育的蓬勃发展，在线学习日益普及．疲劳是在线学习过程中较常出现的一种现象，第五届国际运动生化会议疲劳定义为“有机体的生理过程不能使其机能维持在特定水平工作或不能稳定地保持各器官的工作”，可见疲劳状态影响着学生健康和学习效率．疲劳程度较高时，学习者容易出现头脑昏沉、注意力不集中、思考困难等现象，在线教学过程中师生多处于时空分离状态，难以及时了解学习者状态．若能实时识别在线学习者疲劳状态，有助于教学实施者和管理者了解学习者学习状态，调整教学策略，设计更适切的在线教学活动和教学资源，为学习者提供更优教学支持服务．

2020年，国家相关部门相继印发《关于在疫情防控期间做好普通高等学校在线教学组织与管理工作的指导意见》、《儿童青少年新冠肺炎疫情期间近视预防指引》等文件，强调要了解学生在线学习情况，要保护学生视力，减缓眼疲劳和大脑疲劳，体现了政府对在线学习者的学习状态与学习疲劳的重视．随着国家政策的不断推进以及业内人士对在线学习状态研究的持续深入，在线学习疲劳状态相关研究也逐步升温，特别是随着图像分析技术的发展和生理传感器采集技术的发展，许多学者尝试利用面部特征、生理信号等多种技术手段分析学习者疲劳状态．本文梳理了目前常见的在线学习疲劳状态识别方法，介绍了这些方法的优势与不足，基于肌电信号分析了学习者在线学习不同呈现方式的教学视频时的疲劳状态特征，并对未来研究方向进行了展望，以期为同行提供参考．

1 在线学习疲劳状态识别方法

常见的在线学习疲劳状态识别方法有3种，1）通过认知水平评测、主观感受调查、各级各类疲劳量表测评等主观评测方法了解学习者疲劳状态；2）基于学习者脑电、肌电、心电、眼电或者多模态生理信号等学习者生物指征检测学习者疲劳状态；3）基于眼睛闭合频率和时间、嘴巴闭合状态、头部位置等面部特征识别学习者疲劳状态．具体分类如图1所示．

1.1 基于主观评测的识别方法

国内外许多学者基于实验、调查访谈或者评价量表等方法了解学习者在认知、情绪、身体状态等方面的主观态度和感受，以此分析学习者疲劳状态．例如有学者通过阅读材料记忆效果、智力量表测验成绩等学习认知效果了解疲劳状态[1,2]，或者通过对学习者打瞌睡、注意力不集中等现象进行调查访谈评估学习者主观疲劳感[3]，更多学者选择通过疲劳状态评价量表获取疲劳状态[4-6]，常见的疲劳评估量表有Fatigue Scale-14疲劳量表、Rhoten Fatigue Scale评价量表、Piper疲劳量表、Fatigue Severity Scale疲劳严重程度量表、Fatigue Symptom Checklist疲劳症状自查量表、多维疲劳量表Multidimensional Fatigue Inventory以及学者张志园编制的《中学生学习疲劳的问卷》等．这种基于主观评测的识别方法能够短时间内获取大量被试的数据，但是这些数据多取决于被试即刻的感受和态度，而且实验、调查、测量等操作难以频繁进行，导致统计结果具有较强的主观性和及时性，难以实时获取学习者疲劳状态，较少应用于在线学习环境下的疲劳状态识别．

1.2 基于面部特征的识别方法

随着在线学习的普及和在线视频监测技术的发展，许多学者利用摄像头采集在线学习者面部状态和头部行为特征，利用主成分分析法、支持向量机、卷积神经网络、自适应增强等算法对眨眼频率、闭眼持续时间、眼睛视觉方向、嘴唇张开持续时间等面部特征分析学习者疲劳状态．例如张建利等人根根眨眼频率和持续时间、嘴唇张大持续时间等判断学习者是否处于疲劳状态[7]；郑子聪采集了82名被试的在线学习过程视频，根据打哈欠时嘴巴张大程度和眼睛闭合程度判断学习者疲劳状态，得到较高的疲劳识别率[8]；罗元等人采用并联子卷积系统进行人眼特征点回归，最后通过单位时间闭眼百分比值识别疲劳状态[9]；Joshi通过检测学习者持续注视屏幕的时间判断学习者疲劳信息，最终系统对眼睛的状态分类高达95%的准确率[10]．基于面部特征的疲劳状态识别方法多是基于视频获取学习者人脸状态，基于图像处理技术分析疲劳状态，对在线学习者来说只需有摄像头即可实时采集学习过程视频，实时监测学习疲劳状态，及时提供在线学习反馈与支持服务．这种研究方法对图像视觉分析技术和网络速度要求较高，研究结果的准确性容易受到学习者周围的光线、环境、头部动作等因素的干扰，研究数据的实时性会受到海量数据在线处理与分析速度的影响，但仍不失为一种操作性较强的研究方法，能够为在线学习疲劳识别、在线学习状态监测等提供参考．

图1 在线学习疲劳识别方法分类

1.3 基于生理信号的识别方法

关于疲劳产生的机制有多种理论，例如能源物质耗竭说、神经递质紊乱说、细胞凋亡学说等，这些理论都肯定了个体疲劳程度和身体机能之间的联系．随着认知神经科学、计算机科学等学科的发展，各种生物传感器和视频分析技术日益成熟，为了更准确了解个体疲劳发生机制和变化特征，越来越多学者通过分析个体脑电信号、心电信号、肌电信号、眼电信号等生理信号了解个体疲劳发生机制和变化特征．

1.3.1 基于脑电信号的识别方法

随着EEG采集技术的发展，利用脑电信号识别疲劳状态已成为研究热点．脑电信号（Electroencephalogram，EEG）是脑神经细胞电生理活动在大脑皮层的总体反应，EEG信号频率范围主要在0.5-30Hz左右，主要包含频率范围不同的四种节律波：Delta波、Theta波、Alpha波、Beta波，许多学者通过分析EEG信号了解疲劳状态，例如学者张莉发明了一种基于4种节律波的在线自适应精神疲劳评估方法[11]，Trejo分析发现学习疲劳过程中θ波和α波功率有显著增加[12]，Laurent等发现通过脑电信号能够获得95%的脑力疲劳分类准确率[13]，潘屏萍通过比较实验验证了基于EGG信号特征表征脑力疲劳的有效性[14]．在脑电信号采集环节，学者们应用的脑电采集设备主要有NeuroScan32导脑电仪、NeuroScanESI-128导脑电仪、NeuroTop NT9200脑电仪、Emotiv EPOC便携式脑电仪等[15,16]，脑电信号采集设备的精度在逐步提高，设备种类更加多样，便携式脑电仪的出现使得脑电信号采集环境从实验室拓展到更复杂的实际场景，强化了研究的生态效度，提高了研究结论的适用性．整体而言，基于脑电信号识别疲劳状态的流程主要分为脑电信号采集、信号预处理、信号特征提取、分类器选择、特征结果分析五个环节，各环节分析方法也在不断发展，从最初的时域分析法发展到频域分析法、时频分析法，所用算法也涉及主成分分析、小波变换、小波包变化、单子带重构小波包改进算法、朴素贝叶斯分类、稀疏表示分类法、希尔伯特-黄算法等，研究对象也从局部脑电信号分析扩展到对大脑整体功能状态的关注，使得基于脑电信号识别疲劳状态的相关研究日益深入成熟．

1.3.2 基于心电信号的识别方法

心电信号(Electrocardiogram，ECG)是人体心脏细胞的细胞膜产生的电势差，能够反映心脏工作状态，除了用于疾病诊断，还逐渐被用于心理压力、应激水平、情绪状态的识别．由于心电信号的采集分析可以通过便携式设备非侵入式检测，操作较为简单，分析指标数据较小，近年来逐渐被用于识别学习疲劳状态，其中心率（HR）和心率变异性（HRV）两个指标能够敏感反映心血管相关指标，在疲劳状态识别中应用尤为广泛．许多学者验证了心率变异性对人体精神疲劳状态的检测效果[17-19]，也有学者根据心率特征获取个体疲劳状态[20]，还有学者综合分析多种ECG信号分析疲劳状态，例如蒋永翔等以心率变异性提取模块和低频段心率提取模块作为疲劳指标量，为电脑屏幕使用者的视觉疲劳监测提供支持和预警[21]．由于心电信号可利用便携式、头戴式、手环式等多种传感器设备获取，和脑电信号相比，实验操作更简便，数据分析较为简单，而且由于采集的数据量小，更易实现在线实时分析．但是，心率变异性和心率两个指标的敏感度较低时可能影响疲劳识别信效度．

1.3.3 基于多模态生理信号的协同识别方法

除了脑电信号、心电信号，肌电信号（surface Electromyography，sEMG）、眼电信号（Electrooculogram，EOG）等生物信号也被用于疲劳状态识别，由于疲劳的复杂性，越来越多的学者开始尝试基于多模态生理信号开展协同研究，以提高疲劳状态识别的准确性．例如学者张爱华等采集分析了35名大学生在电脑屏幕前面玩游戏过程中的疲劳状态时，发现基于心电脉搏信号分析的分类结果正确率远高于单一信号的分类效果[22]，陈燕达等人视觉疲劳状态下个体的血氧饱和度、体温、皮电反应、心率、心电图等多项生理信号的变化特征[23]，王福旺等讨论了通过眼电信号和脑电信号协同分析被试疲劳状态的有效性[24]，张朕等利用功能性近红外光谱仪采集了学生疲劳任务前后反应时的心动、呼吸特征以及血氧变化率，证实心动和呼吸特征能有效识别脑力疲劳[25]．Mikel讨论了利用脑电、心率和皮肤电反应评价情绪的效果[26]．可见基于多模态生理信号的协同识别方法往往能够得到更高的识别精度，随着生物传感器协同识别设备的发展，协同识别研究将更加常见．

总体来看，基于脑电、肌电、心电、眼电等生理信号分析疲劳状态的相关研究已非常丰富，主要识别流程如图2所示．

基于生物传感器可以快速、直接、非侵入地获取学习者生理信号，为实时识别个体疲劳状态提供较准确的数据，而且随着各类生物传感器技术的发展，许多高精度、便携式的设备出现，使得研究可以逐渐从实验室拓展到真实的学习场景，研究的生态效度和适用性不断改善．同时，信号处理和特征提取相关算法的不断优化、基于多模态生理信号的疲劳状态识别研究逐渐出现，研究结论的准确性也在不断提升．这种方法为学习疲劳发生机制、疲劳影响因素、教学活动设计、学习资源开发、在线学习疲劳状态实时监测与干预反馈等研究提供参考．

图2 基于生理信号的在线学习疲劳识别流程

2 基于肌电信号的在线学习疲劳状态实证分析

肌电信号是肌肉运动时产生的电流信号，与个体的肌肉活动状况、代谢状态等因素相关，常被用于检测疲劳状态，例如Hostens等人研究发现司机驾驶时间增长时，肌电信号的信号幅值会明显增加，平均功率却显示下降趋势[27]，糜超等学者分析发现当肌肉处于疲劳状态下时，表面肌电功率谱图的峰值变大，向低频段漂移[28]．本研究通过美国Biopac公司的MP150型多导电生理记录仪记录学习者学习2种呈现方式不同的教学视频时的肌电信号，基于肌电信号实时获取学习过程中的疲劳状态，再结合主观访谈了解学习疲劳的影响因素，为教学资源的设计提供参考．

2.1 实验素材

实验素材为2段不同呈现方式的教学视频，一段为教师融合式教学视频，如图3所示，采用白色净面背景拍摄，或者蓝箱后期抠图，再添加教学课件内容和字幕制作而成．课堂实录式教学视频如图4所示，直接录制教师在多媒体教室授课场景，添加字幕制作而成．教学视频内容为宝石的琢型设计，属于陈述性知识，选择这一较冷门的主题是为了避免被试的前期相关知识储备干扰实验结果．

2.2 实验数据的采集与处理

实验数据采集工具为MP150型16通道多导仪，采样率为400 kHz．实验数据采集对象为55位大学生，首先给被试播放1 min音乐，然后随机观看一种类型的教学视频．肌电信号数据处理工具为多导仪专用的Acq Knowledge分析软件，2组教学视频的肌电信号利用excel实现比较分析，利用SPSS完成方差分析．

2.3 实验结果

为更好了解学习者观看不同呈现方式的教学视频时的疲劳状态，本研究每分钟对两组被试观看视频时的肌电信号取采样一次，获取观看不同教学视频的被试的肌电信号平均值，最终生成如5所示的趋势图．可见，被试观看课堂实录时肌电信号缓慢平稳上升，被试观看教师融合式教学视频时肌电信号也是处于上升趋势，但是信号波动较大．

图3 教师融合式教学视频

图4 课堂实录式教学视频

图5 不同教学视频观看组肌电信号平均值趋势图

为了验证2组数据之间有无显著差异，利用SPSS对2组数据进行方差分析，见表1，可见2组数据之间没有显著差异，但是被试观看课堂实录式教学视频时肌电信号均值较高．

已有学者研究发现，个体处于疲劳状态时，肌电信号幅值会增加．根据图5可发现第1分钟被试的肌电信号幅值有所降低，可能是因为处于实验初始阶段的被试较为兴奋，也可能是短时间聆听音乐并不会引起疲劳．从第2分钟开始，被试开始观看两种类型的教学视频后，随着时间的推移疲劳程度都会逐渐强化，观看课堂实录式教学视频时学习者疲劳程度基本呈线性增长趋势，观看教师融合式教学视频时，学习者起初十分钟的肌电信号基本处于平稳状态，超过十分钟后疲劳感逐渐加强．

实验结束后和被试交流关于疲劳状态、学习过程的主观感受时发现，课堂实录式教学视频组被试表示观看视频过程中很快就开始产生疲劳感，因为画面中的教学课件呈现的不是非常清晰，字幕也不是很清晰，教师讲解的内容总体兴趣并不是很大．教师融合式教学视频观看组被试表示前期疲劳感并不明显，但是后期也会感到疲劳．从图5还可以发现第15分钟至第16分钟期间，两组被试的幅值都有小幅下降，通过视频分析发现教学视频播放至此时，教师讲解了一则关于宝石的皇室新闻，这种社会性新闻可能对学生的疲劳状态有所缓解．可见，教学内容会影响学习者疲劳状态，但是尚未发现教学资源呈现方式对学习者疲劳状态有显著影响．

表1 不同教学视频被试组肌电信号方差分析

3 结语

随着在线学习行为日益常见，长时间面对显示器终端或者移动终端的学习行为容易引发疲劳感，在线学习疲劳状态识别有助于了解学生状态，帮助教师和在线教育管理者更有针对性地调整教学策略、设计教学内容、优化教学服务．尽管许多学者已经从不同角度识别在线学习过程中的学习者疲劳状态，但是这些研究仍然存在一些发展瓶颈，例如基于主观评测的识别方法分析在线学习者学习状态时，往往只能通过在线问卷或者在线测评实现，容易对学习者的学习过程带来干扰，多用于疲劳现状调查、影响因素探讨等，不适用于在线学习疲劳状态的实时识别．基于面部分析学习者疲劳状态对图像视觉分析技术要求较高，而且对学习者疲劳状态进行实时在线分析、传输、干预反馈等要求数据处理速度和网络传输速度的双保障，随着大数据处理技术的日益发展和5G技术的完善，基于面部表情获取在线学习者疲劳状态的可操作性会更强．基于脑电、肌电、心电、眼电等生理信号分析学习者疲劳状态有助于实时获取学习过程中的疲劳程度和变化特征，而且随着各类生物传感器技术的发展，生理信号采集设备日益多样，许多高精度、便携式、多源生理信号协同分析式的设备出现，为基于真实的学习场景、基于多生理信号的协同分析提供了支持，也为研究生态效度的提升提供了可能．因此，未来研究可以结合大数据智能分析技术和5G环境优化基于面部特征的在线学习疲劳状态识别效度，结合多源数据协同研究疲劳状态，对在线学习疲劳状态发生机理、识别技术、影响因素和干预策略进入更深入分析．

[1] 王湘，王逢瑚．照度与桌面颜色对阅读疲劳程度的影响[J]．环境与职业医学，2006，23（5）：409-411．

[2] 崔立中，朱国康，程顶．简易自我放松催眠对学习疲劳的缓解作用[J]．心理科学，2009（02）：198-201．

[3] 尹红运．平邑县高中学生学习疲劳情况的调查[J]．新西部：中旬·理论，2017（3）：38-38．

[4] 张志园．中学生学习疲劳的问卷编制与干预研究[D]．山西师范大学，2013．

[5] Masoudi R, Soleimani M A, Yaghoobzadeh A, et al. Effect of Face-to-face Education, Problem-based Learning, and Goldstein Systematic Training Model on Quality of Life and Fatigue among Caregivers of Patients with Diabetes[J]., 2017（5）：22，208-214．

[6] Amaducci C D M, Dálete Delalibera Faria de Correa Mota, Pimenta C A D M. Fatigue among nursing undergraduate students[J]., 2010，44（4）：1052-1058．

[7] 张建利，段富．基于面部特征的学习状态的研究[J]．计算机工程与设计，2013，34（7）：2460-2464．

[8] 郑子聪．在线学习情境下疲劳表情的识别研究[J]．教育信息技术，2019（Z2）：105-108．

[9] 罗元，云明静，王艺，等．基于人眼信息特征的人体疲劳检测[J]．计算机应用，2019，39（7）：2098-2102．

[10] K V Joshi, A Kangda, S Patel . Real Time System for Student Fatigue Detection during Online Learning[J]., 2016，9（3）：341-346．

[11] 张莉．一种自适应的精神疲劳评估装置及方法：CN201710538724.5[P]．2020-03-17．

[12] Trejo L J, Kubitz K, Rosipal R, et al. EEG-Based Estimation and Classification of Mental Fatigue[J]., 2015，6（6）：572-589．

[13] Laurent F, Valderrama M, Besserve M, et al. Multimodal information improves the rapid detection of mental fatigue[J]., 2013，8（4）：400-408．

[14] 潘屏萍．基于EEG信号的脑力疲劳检测方法的研究[D]．广西大学，2014．

[15] Sarno R, Nugraha B T, Munawar M N. Real Time Fatigue-Driver Detection from Electroencephalography Using Emotiv EPOC+[J]., 2016，11（3）：214．

[16] 李刚．基于脑功能网络的脑力疲劳检测技术及其形成机理研究[D]．山东大学，2017．

[17] 郝贺．基于心率变异性的人体精神疲劳检测系统研究[D]．东北大学，2014．

[18] 李延军，严洪，杨向林，等．基于心率变异性的精神疲劳的研究[J]．中国生物医学工程学报，2010，29（1）：1-6．

[19] Naranjo-Hernández David, Roa L M, Javier R T, et al. Smart Device for the Determination of Heart Rate Variability in Real Time[J]., 2017（3）：1-11．

[20] 张坤，蒋方，袁东升，等．基于心电信号的音乐节拍对作业疲劳作用分析[J]．安全与环境学报，2017（3）：1026-1031．

[21] 蒋永翔，王鹏，邓三鹏，等．一种VDT视觉疲劳监测预警系统：CN201811165882.1[P]．2020-04-14．

[22] 张爱华，赵治月，杨华．基于心电脉搏特征的视觉疲劳状态识别[J]．计算机工程，2011，37（7）：279-281．

[23] 陈燕达，屠彦，王莉莉，等．视觉疲劳状态下的生理指标研究[J]．电子器件，2015，38（06）：1245-1248．

[24] 王福旺，王宏，罗旭．基于EEG与EOG信号的疲劳驾驶状态综合分析[J]．东北大学学报（自然科学版），2014，35（2）：175-178．

[25] 张朕，姜劲，傅嘉豪，等．基于功能近红外光谱的多生理脑力疲劳检测[J]．仪器仪表学报，2017，38（6）：1345-1352．

[26] Mikel Val-Calvo, José Ramón Álvarez-Sánchez, Jose Manuel，et al. Real-Time Multi-Modal Estimation of Dynamically Evoked Emotions Using EEG, Heart Rate and Galvanic Skin Response[J]., 2020，30（04）：2050013．

[27] Hostens I, Ramon H. Assessment of muscle fatigue in low level monotonous task performance during car driving[J]., 2005，15（3）：266-274．

[28] 糜超，陈阳，邹凌．基于表面肌电的肌肉疲劳检测系统研究[J]．现代电子技术，2018，41（20）：78-82．

Recognition Methods and Application of Online Learning Fatigue

CHEN Meifen1, LU Rong2

（）

With the increasing popularity of online learning, long-term learning in front of computers or mobile terminals can easily lead to fatigue and affect learning efficiency. Fatigue state recognition device is helpful to understand learners’ state, adjust teaching strategies, design teaching content and optimize teaching service. This paper summarizes three main methods of learning fatigue recognition: subjective evaluation based on cognitive evaluation, questionnaire survey and measurement scale; image visual analysis based on facial features such as the movement of eye, mouth and face; physiological signal detection based on EEG, EMG, ECG, EOG and other indicators. According to the analysis of EMG signals, it is found that the fatigue state of learners is likely to appear when they watch the teaching video for more than 10 minutes. The teaching content has an impact on the fatigue state of learners, while the presentation method of the teaching material does not cause their fatigue. It is necessary to improve the ability of data fusion and intelligent processing, and to promote the collaborative research of multi-dimensional data sources.

fatigue state; subjective evaluation; facial features; physiological signals

2020-06-10

广东省教育科学“十三五”规划2019年度高校哲学社会科学专项研究项目：基于生物特征协同识别的在线学习疲劳状态研究（2019GXJK236）

陈梅芬，女，讲师，博士，研究方向：数字化学习理论与实践．

陆蓉，女，副教授，硕士，研究方向：生物医学工程．

G434

A

1672-0318（2020）05-0023-07

10.13899/j.cnki.szptxb.2020.05.005