基于生理信号的警觉度检测研究综述

张飞杨， 樊尚春,2,3*， 郑德智,2,4

(1.北京航空航天大学 仪器科学与光电工程学院，北京 100191； 2.北京航空航天大学 大数据精准医疗高精尖创新中心，北京 100191； 3.工业和信息化部量子传感技术重点实验室，北京 100191；4.北京航空航天大学 前沿科学技术创新研究院，北京 100191)

警觉度描述的是人在一段时间内保持注意力集中或对刺激保持敏感的能力[1]，也被定义为意识到环境中潜在相关的、不可预测的变化的能力[2]，反映了大脑的警惕状态。在太空飞行[3]、空中交通管制[4]、机动车人工驾驶[5]、机动车半自动驾驶[6]、长时间医疗手术[7]、军事作战[8]等任务中，操作员都需要在较长的工作过程中持续保持高度警觉。而警觉度的下降可能会导致任务失败，甚至发生人员伤亡。检测警觉度，可以在其下降到一定程度前进行预警或进一步的调控，以降低事故发生的概率。

警觉度的检测方法可分为主观和客观两类。主观检测方法是通过主观自评或主观他评判断警觉度水平的高低。主观自评是指在试验中，被试者依据主观感受填写心理学量表，如卡罗林斯卡嗜睡测试量表[9]和斯坦福嗜睡测试量表[10]。量表结果可反映警觉度水平。主观他评是由他人通过观察被试者的表情、动作等外在表现[11]估计出被试者的警觉度水平。

客观检测方法主要有3种,分别为基于任务表现的方法、基于被试者行为的方法和基于生理信号的方法。基于任务表现的方法使用传感器测量一些与被试者所执行任务相关的指标，如驾驶任务中的踏板压力、方向盘转角、速度、加速度、车辆在车道中的位置等，来评估被试者警觉度[12-13]。基于被试者行为的方法通过分析被试者的眼动、眨眼频率、面部位置、头部倾斜度[14-15]等来判断警觉度的变化，一般使用摄像机[16]、红外LED[17]等手段捕捉面部图像，再提取被试者相关行为指标。基于生理信号的方法利用传感器测量某个或某些生理信号，包括脑电(EEG)[18]、心电(ECG)[19]、眼电(EOG)[20]、脉搏波[21]、脑血红蛋白浓度(CHC)信号[22]等，提取对警觉度变化敏感的信号特征，经分类或回归得到警觉度的水平。

主观检测方法是由人的感受对警觉度进行评估，其优点是方法简单，适合在实验室中使用，可作为客观检测方法的对照；其缺点是准确性无法保证，不适合在现实任务中使用。

客观检测的3种方法中，基于生理信号的方法最直接地反映了人的警惕状态，也能更早地识别出警觉度的降低，已经成为警觉度检测研究的热点。本文对基于生理信号的警觉度检测方法进行了综述。

1 基于脑电信号

在健康的人脑内存在着数以千亿的神经元，而各个神经元依靠轴突来实现有效的连接，在面临周边因素刺激的情况下，大脑中的神经元会存在特殊的电信号，此类信号会构成头皮位置的电位变化。此类信号可以较为精准地反馈大脑的具体状态。因为脑电信号存在着相对较高的分辨率，因此被认为是有着最为理想预测性和警觉度的黄金指标。人类脑电信号按频率又被划为几个频段[23]。

delta节律(0.5～3 Hz)主要分布在成年人的额叶区域，其所占的能量也会随着大脑从清醒状态变为疲劳状态而增加；theta节律(4～7 Hz)会在成年人困倦时出现，与反应的迟缓有关；alpha节律(8～13 Hz)在休息时出现在中央区，也会在放松或闭眼时出现，同时与控制减弱有关，也与不同脑区的抑制有关；beta节律(14～30 Hz)大部分出现在额叶，幅值较低，在积极思考、注意力集中、焦虑和警觉时出现[24]。

随着警觉度的降低，以频谱划分成各种节律的活跃程度也会随之改变。1993年，加州大学Makeig等[25]研究发现随着警觉度的降低，alpha节律能量下降，theta节律能量会升高。2009年，悉尼科技大学Jap等[26]通过脑电实验得出，随着警觉度的下降，alpha波、beta波的平均幅值会明显下降，(alpha+theta)/beta 则会显著增加。

2010年，上海交通大学的Yu等[27]提出将脑电信号的稀疏表示应用于警觉检测问题。他们首先利用连续小波变换提取脑电信号的节律特征，然后对小波变换系数进行稀疏表示。在模拟驾驶环境中收集了5名受试者的脑电记录，并应用所提出的方法来检测受试者的警觉性。实验结果表明，提出的算法框架能够成功地估计驾驶员的警惕性，平均准确率约为94.22%。同年，同济大学Cao等[28]利用主成分分析(Principal Component Analysis,PCA)算法减小EEG数据尺寸并消除背景噪声，利用Fisher算法筛选特征，之后使用支持向量机(Support Vector Machine,SVM)进行警觉度的分类，与未使用PCA算法的对照组相比，在alpha波段、beta波段、(alpha+theta)/beta和alpha/beta上得到了更高的精度。

2011年，上海海事大学的董书琴和谢宏[29]针对两种不同程度的警觉度(清醒和睡眠)，采用公共空间模式算法对所采集到的脑电数据进行特征提取，用基于径向基函数的SVM对提取的特征进行分类，通过网格搜索法获得最优参数，与以频带能量作为特征的已有方法相比，得到了较高的准确率。

2013年，上海交通大学的Shi等[30]提出用一个新特征——脑电信号的微分熵，来表示警觉度水平。基于23名执行单调视觉任务受试者的脑电数据，发现与使用4个现有的表示警觉度的特征相比，平均估计准确率提高了5.9%。

2016年，西南交通大学的Zhang等[30]提出了一种基于可穿戴EEG和稀疏表示的驾驶员警觉检测的车辆主动安全模型。该系统包括3个步骤：无线可穿戴式脑电采集、驾驶员警觉度检测和车速控制策略。首次在提取脑电功率谱密度时引入稀疏表示分类和k-奇异值分解相结合的方法来估计驾驶员的警觉水平。仿真和实际测试结果验证了车辆主动安全模型的可行性。

2017年，印度理工学院Samima等[32]利用EEG信号事件相关电位中的P300分量，提出了一种警觉估计系统。他们发现P300峰值及其潜伏期幅度的变化与警觉水平的变化有关，并提出了一个量化警觉度水平的公式。同年，韩国汉阳大学Kim等[33]使用了一种低认知负荷的实验范式——d2注意测试，来寻找与警觉度相关的脑区，对31名年轻人进行的脑电图实验表明，左前额叶皮层在警觉调节中起着关键作用。

2018年，西南交通大学的Zhou等[34]提出了一种基于稳健主成分分析和无线可穿戴脑电采集技术的高速铁路司机警觉度检测方法。对10个不同驾驶员的驾驶脑电数据进行了测试，仿真和实验结果表明，9 s内的分类精度可达99.40%。

2019年，哈尔滨工业大学的张美妍[35]从基于剥夺睡眠的低警觉度诱发实验得到的EEG数据中，提取delta、theta、alpha、beta节律功率谱密度和能量比，以及短时傅里叶变换幅值和自回归模型系数等特征，采用基于SVM的决策级融合的方法获得的高、低两种警觉度的分类准确率可达88.5%。

2020年，韩国高丽大学的Ko等[18]基于EEG信号的差分熵开发一种深度卷积神经网络VIGNet，在公开数据集SEED-VIG上获得的分类准确率为96%，高于使用SVM获得的92%分类准确率。

基于脑电信号的警觉度检测方法的发展大致可分为3个阶段。如表1所示。

表1 基于脑电信号的警觉度检测方法发展阶段

基于脑电信号的警觉度检测方法二分类准确率已经达到95%以上，但由于脑电信号易受环境电磁和用户运动的干扰，制约了其实用化。未来，开发更适用于日常环境的脑电传感器将是一个重要的发展方向。

2 基于心电信号

心脏每次跳动过程中，心电伴随着起搏点、心房、心室相继兴奋而变化。心脏的收缩产生搏动，生成电信号，电信号可沿着特殊心肌细胞从体内传导到体表，通过心电采集设备被检测到。人的一个完整心电波形主要由P波、QRS波群和T波组成，部分人还会在T波后面出现一个U波[36]。如图1所示。

图1 心电波形示意图

心电信号中，主要应对心率变异性(Heart Rate Variability，HRV)进行分析。心率变异性是指心率中R-R间期的变化，这种变化主要由自主神经系统(Autonomic Nervous System，ANS)控制。ANS分为两个部分：交感神经系统和副交感神经系统。当被试者处在压力、紧张和危急状态时，交感神经系统活性增强，随之而来会引起心率加快、血压升高和呼吸急促；而在平静放松的状态下，副交感神经起主要支配地位，随之而来反应是心率减慢、血压下降、呼吸平缓。因此，心率变异性能够反映任务中的多种心理状态，例如压力、心理负荷和警觉度变化[37]。

1969年，美国印地安那大学Porges和Raskin等[38]研究认为心率变异性会随着警觉度的下降而下降。1977年，荷兰感知研究所Riemersma等[39]以驾驶员为研究对象，研究其在夜晚长途驾驶过程中的心电信息变化，研究得出在整个过程中，被试者的心率下降，R-R间期标准差则上升，这一现象反映了交感神经的活性在整个过程中增强，进一步表明了疲劳程度的加深。

2010年，台南成功大学的Chen等[40]通过心率变异性中时域、频域和非线性的若干指标对警觉和非警觉状态进行了区分，取得了98%的准确率。2011年，华东理工大学的Yu等[41]进行了午睡实验，从心电信号中提取出了R波，对其进行了时域和频域的分析，能够很好地识别出睡眠到清醒两个状态的警觉度变化状况。

2015年，威尔斯大学Sahayadhas等[19]利用心电图和肌电信号，开发了一套能同时检测睡意和注意力不集中等低警觉表现的系统。对采集到的生理信号进行预处理，去除噪声和伪影。利用高阶谱特征提取预处理信号特征。采用k近邻法、线性判别分析和二次判别分析对特征进行分类，最高准确率可达96.75%。

由于影响心率的因素很多，如情绪、步速等，如何在实际使用中准确识别由警觉度变化引起的心率变化将是基于心电信号的警觉度检测方法未来需要解决的重要问题。

3 基于脑血红蛋白浓度信号

脑血红蛋白浓度是指大脑皮层血管中的氧合血红蛋白和还原血红蛋白浓度，一般通过功能性近红外光谱技术(Functional Near-Infrared Spectroscopy,fNIRS)[42]测量。使用脑血红蛋白浓度信号检测警觉度的研究较少，目前多是在研究警觉度与脑血红蛋白浓度信号的关系。

2008年，德国维尔茨堡大学Herrmann等[43]首次研究并验证了警觉度与额颞叶fNIRS信号的神经相关性。2009年，美国空军研究实验室Warm等[44]使用了经颅多普勒超声和近红外光谱检测大脑血流速度和血氧浓度。结果表明，右侧大脑半球的活动比左侧大脑半球的活动更强，表明右侧大脑半球系统控制了警觉表现。

2010年，坎特伯雷大学Helton等[45]利用fNIRS测量大脑氧合水平，进一步发现，在更简单的警觉任务中，观察到了与前人研究一致的偏侧激活现象，但对于更困难的任务，则没有发现这种偏侧性差异。提出了一种猜想：单侧大脑半球的警觉激活可能是使用相对简单的任务的结果，而不是由警觉导致的。

2012年，同志社大学Hiroyasu等[46]研究比较了视觉刺激和听觉刺激的心理运动警觉(Psychomotor Vigilance Task,PVT)任务和GO/NOGO任务中的大脑血氧变化，结果表明，视觉刺激任务的平均反应时间比听觉刺激任务长。与听觉刺激相比，在PVT任务中，视觉刺激的前额叶背外侧皮质左侧的血流量更多；在GO/NOGO任务中，视觉刺激相关的颞下回两侧和额叶下回右侧的血流量更多[46]。

2018年，中国航天员科研训练中心的曹勇等[22]通过10通道fNIRS技术采集了12名受试者前额部位的氧合血红蛋白信号、脱氧血红蛋白信号，并记录下实验中受试者的行为学数据。使用支持向量机模型对警觉度进行了高、中、低3种水平的分类，正确率为76.9%，并指出了警觉度变化最敏感的脑区位于右侧前额。

相比于脑电和心电信号，基于脑血红蛋白浓度信号的警觉度检测方法研究还处于初级阶段。改进预处理、特征选择和分类算法以提高准确率是当前主要的研究方向。

4 基于其他生理信号

除了脑电、心电和近红外血氧信号外，还有一些利用其他生理信号进行警觉度检测的研究，如眼电信号、脉搏波信号等。

2014年，上海交通大学的马嘉欣等[47]从EOG中提取了4种特征：慢眼移动(SEM)、扫视、眨眼和EOG能量。对22个受试者的EOG数据集的实验结果表明，这4种特征的组合与警觉度的相关系数达到了0.75。

2017年，中国航天员科研训练中心的曹勇等[21]招募10名受试者参加了持续95 min的警觉度“时钟测试”，提取了受试者脉搏波信号的时频域特征来对警觉度进行高、中、低3种水平的分类。10名受试者三分类正确率的平均值达到了88.7%。

2020年，上海交通大学的Zheng等[20]在模拟和真实驾驶环境中利用眼动追踪眼镜记录PRECLOS指数作为警觉度的标注，提取由前额干电极采集的EOG信号的每个不重叠8 s时间窗内反映眨眼、扫视、凝视的36个统计特征，采用连续条件神经场的方法进行回归，得到的最佳平均相关系数分别为71.18%(模拟驾驶环境)和66.20%(真实驾驶环境)。

相比于脑电，基于眼电信号的警觉度检测方法目前准确率较低。与心电一样，基于脉搏波信号的警觉度检测方法也需要解决如何降低实际使用时的“误判”问题。

5 基于多生理信号

多生理信号检测系统较单生理信号的检测能力更强，虽然信息量更多，但当其中某一来源的信息出现问题时，还有其他来源信息进行补充。使用多生理信号可以弥补各自信号的劣势，强化了不同生理信号特征信息间的互补，从而提升了检测结果的可信度、可靠性和对不同环境的适应性。同时，多生理信号是对目标多角度的测量，可以提高检测性能，得到比任何单一生理信息都更高的分辨能力。而且由于生理信号采集的多元化，增加了测量空间维数，可以减小环境和人的客观因素造成的影响，并提高检测的准确度[23]。警觉度检测中常用的多生理信号包括脑电、心电和眼电。

2011年，悉尼科技大学Khushaba等[48]收集了31名驾驶员不同警觉状态下的脑电、心电和眼电信号，使用一种基于模糊信息的小波包变换进行特征提取，在所有受试者中获得95%～97%的分类准确率。

2014年，天津大学的薛然婷[37]设计了以三位数加减法作为脑力负荷诱导警觉度变化和以PVT实验结合心脑电设备测量该变化过程的实验，提取了脑电和心率变异性的时域、频域和非线性3个方面的指标，利用支持向量机进行分类，得到了88.28%的正确率，高于单独使用脑电和单独使用心率变异性分类的正确率。

2017年，上海交通大学的Zheng等[49]提出了一种结合EEG和额头EOG并将警觉的时间依赖性引入模型训练的多模态警觉估计方法，获得了比单生理信号(EOG相关系数为0.78；EEG为0.7)更好的结果(0.85)。

2018年，西南交通大学的肖琼[23]采集模拟驾驶实验中的EEG和ECG信号，提取ECG信号的心率变异性和EEG信号小波分析后不同节律频带的平均幅值作为特征，利用T-S模糊神经网络融合EEG和ECG识别警觉度，获得了85.5%的分类准确率，优于单独使用EEG信号82.4%的准确率和单独使用ECG信号79.7%的准确率。

目前，基于多生理信号的警觉度检测方法以融合EEG与其他电生理信号为主，且采集设备也较多，用户使用体验差。因此生理信号组合的优化和开发便携式多生理信号采集系统是其未来的主要发展方向。

6 结论

① 在使用的生理信号中，脑电得到了最广泛的关注和研究，被视为检测警觉度的黄金标准，心电、眼电次之。fNIRS技术采集脑血红蛋白浓度信号具有安全、低成本、便携等优势。相比于采集EEG等电信号的方法，fNIRS对电磁干扰更不敏感，更适合在真实环境中使用[42,50]。因此利用脑血红蛋白浓度信号检测警觉度前景广阔，但相关研究近年才出现，需要进一步深入研究。

② 目前研究存在的普遍问题是分类数过少，绝大多数仅对清醒和困倦这两种警觉水平进行判断。但其实警觉度在困倦前就会下降，而操作人员需要持续保持警惕，因为危险状况是随时可能发生的。因此，仅仅二分类是无法满足实际需要的。一种解决方案是开发连续或近似连续标注警觉度的方法，如文献[20]中的PRECLOS指数。但不同标注方法需要进一步对比和优选。

③ 目前的研究有两个方向的趋势，一方面，趋向于通过寻找新的敏感特征、改进检测算法、结合其他生理信号等来提高准确率；另一方面，趋向于将警觉度检测实用化，开发穿戴式、无线化的警觉度检测设备。