张海荣,张 静,叶 青,乔 锐,谢康宁
精神疲劳检测装备技术研究进展分析
张海荣,张 静,叶 青,乔 锐,谢康宁
分析了精神疲劳对人的注意力、眼睛和视觉、脑电等方面的影响,介绍了主观量表、闭眼检测器、点头探测器、脸部识别、腕部运动识别、脑电图测量6种检测技术与装备,并分析了它们的优势与不足。最后指出了现代大规模集成电路和现代工艺的进步,会使基于脑电的精神疲劳检测装置真正走向实用。
精神疲劳;检测装备;进展分析
现代社会的发展需要很多24 h不间断的行业,例如交通、医务、制造业、军事、航空和一些公共服务部门。需要轮班工作的人员可能在睡眠和昼夜节律上受到强干扰[1-2]。精神疲劳指长时间的认知活动使人体验到的效果,在现代生活中是一种十分常见的现象[3-6]。精神疲劳会对人的决策、判断、分析和记忆等功能造成障碍,从而对指挥、驾驶、战情分析与决断产生重大影响[7-8]。因此,对精神疲劳的相关研究引起很多学者的关注,但到目前为止,对其心理生理学机制仍然不十分清楚。
1.1 对注意力的影响
注意力是人的动态行为的关键特性,它允许我们对输入的信息进行偏向性处理,使我们做到:(1)能够集中在与目标相关的信息上;(2)能够动态地忽略与目标无关的信息。当人疲劳时,经常表现为注意力难以集中。例如,Bartlett在研究中要求飞行员在计算机上模拟飞行,长时间后,飞行员出现失误的频率增加,更容易被干扰[9]。Brown也注意到开车时注意力随着时间的推移而逐渐下降,大脑对指挥手脚完成任务的效果起到反作用。这些结果都表明精神疲劳对注意力有反向影响[7]。
1.2 对眼睛和视觉的影响
研究表明,在中枢神经系统的控制下,眼睛和视觉系统也能提供个体警觉水平和认知状态的信息[10-12],在疲劳出现时会出现多个指标的下降,这些指标包括眨眼、长时间闭眼、眼动(慢速转动、快速转动)、瞳孔反应等。
1.3 对脑电的影响
脑电可能是预测性最好、最可靠的清醒水平测量方法之一[13]。在脑电作为疲劳指示器之前,应该理解其来源和测量方法。脑电是由神经细胞抑制性和兴奋性突触后电位产生的,这些电位在大脑皮层加和并通过头骨传递到头皮[14]。脑电中的节律性的活动代表皮层神经元突触后电位。节律性的脑电信号被认为来自于皮层神经元之间的交互和皮层下结构。
根据频率的范围,大脑的电活动分为δ波、θ波、α波和β波。δ波是0.4~4 Hz的慢波,存在于从清醒到困倦的转换过程和睡眠中。θ波是频率4~7 Hz的电活动,与很多心理状态相联系,包括催眠意象、困倦状态下的低水平警觉、睡眠,因此可认为是由信息处理减少引起的,当睡眠开始时代替α波[15]。α波的频率范围是8~13 Hz,在清醒时出现。在视皮层,闭眼时显著,睁眼时抑制[16]。高α波出现在放松的条件下,这时对刺激的反应减慢。β波是快速(13~30 Hz)脑电电位,与增加的警觉程度、觉醒程度和兴奋程度有关[17]。据报道,当人执行需反应时间的运动功能任务时,β波出现[17]。β波含有β1(13~25 Hz)和β2(25~40 Hz)2个成分。多年来研究发现,大脑觉醒过程涉及了很多大脑的电活动。困倦发生时,α波可能会降低或消失几秒,之后重新出现,持续几分钟,当睡眠开始时消失[18]。
Kecklund等[19]发现在驾驶时主观嗜睡水平(subjective sleepiness level)和脑电功率(α波和θ波)都会显著提高。40多年的研究表明,脑电(包括事件相关脑电位)是高度可预测和可靠的认知指数[20],被认为是测量警觉性减弱的“金标准”。
对精神疲劳的自动测量和监视在防止发生事故方面具有很高的价值。近年来出现了很多精神疲劳检测的技术,如眨眼、心率、脉率、皮肤电阻抗、脑电图等[1-2,21],重点在于建立客观、可靠和非侵入式的测量和监控方法。脑电被认为是测量精神疲劳的生理学“金标准”。脑电中包含大量的认知状态信息,例如警觉(alertness)、唤起(arousal),它们都包含大量大脑不同生理状态的信息,是我们了解大脑复杂动态行为的媒介。
2.1 主观量表
主观描述法是描述疲劳最常用的方法,需要受试者对其精神疲劳程度间接打分[13,22]或直接打分[23]。主观量表是通过设计一定的调查量表并让受试者回答获得其主观感受[24]。量表里通常含一定的特征描述,如累、懒散、想躺下、易怒、头疼、肩部肌肉僵直、腰痛、恶心、眼睛疲劳等。对应每一个特征,有多个程度描述可供受试者选择,疲劳程度从最轻微到最严重可分为7级。
2.1.1 斯坦福睡眠量表(Stanfordsleepinessscale,SSS)
4.2.2 特色建设对学校的师资配备也提出了更高的要求。要超出平常教学需要的投入才能保证工作的顺利开展。
斯坦福睡眠量表由Hoddes等开发[18],经常用于评价主观白天睡眠的感觉,包括7级,受试者从中选择最能描述其感受到的睡眠状态。
2.1.2 Epworth睡眠量表(Epworth sleepiness scale,ESS)
Johns创建了Epworth睡眠量表。针对日常生活中8种不同的情况,受试者对自己困倦的可能性打分。分值为0~3,0代表不困倦,3代表困倦的可能性高。分数相加后得到0~24的总分,总分越高提示越困[25]。
2.1.3 Chalder疲劳量表(Chalder fatigue scale,CFM)
Chalder疲劳量表包括11个项目的量表对疲劳程度进行量化[26]。量表由2个部分组成,一部分评估身体疲劳,另一部分评估精神疲劳。2个部分求和得到总分。提供4个选项,1是“根本不”,2是“低于通常情况”,3是“高于通常情况”,4是“远远高于通常情况”。
2.2 闭眼检测器
以色列Xanadu公司生产了一种光学电子闭眼检测器Onguard[27],该设备由能够探测眼睛动作的微型红外传感器单元、处理器、电池、报警器和开关组成,可以安装在普通眼镜架上(如图1所示)。电子传感器直接将红外线光照射在眼睛上,用来测量反射的光,当眼睑闭合时反射光减少,就会被设备探测到,如果闭眼超过0.5 s,设备就会发出声音报警。
图1 安装在普通眼镜架上的光学电子闭眼检测器Onguard
2.3 点头探测器
图2 点头检测设备
2.4 脸部识别
脸部特征识别技术也可以用于疲劳检测设备[28-29]。同时在人的脸部测量多个点,提供与个人警觉水平相关的大量信息。Ji等[30]就利用2个红外摄像头和红外发光二极管对脸部进行主动照射和摄影(如图3所示),从中提取出诸多信息,如眼睑运动、头部运动和脸部表情,用于判断警觉程度。该设备能够适应不同的种族、性别、年龄,对是否戴眼镜和不同的光照条件也完全适用。
图3 基于脸部特征识别技术的疲劳检测设备原理图
2.5 腕部运动识别
腕部的运动可以通过加速度传感器感知,如果某些从业者(例如汽车驾驶员或飞行员)腕部长时间不动说明可能正处于疲劳状态。Wright等[31]利用英国CambridgeNeurotechnology公司生产的Actiwatch Alert手表产品(如图4所示),探测飞行员飞行时的疲劳状态。该产品可连续记录手腕大于0.05 g的加速度信号,当指定时间间隔内无手腕加速度信号就会发出报警。
图4 Actiwatch Alert飞行员手表式疲劳探测器
2.6 脑电图测量
近年来,基于脑电的精神疲劳检测方法发展迅速,引起了很多研究者的关注[13,22-23],根据不同的原理,开发了不同的脑电检测方法。
2.6.1 基于不同波形变化的报警方法
有研究发现[23],在疲劳中期,β波增加;重期,δ波、θ波、α波都会增加[23]。因此,可以利用这些信息开发一套指示疲劳程度的设备。根据脑电将疲劳分为疲劳早期(从清醒到慢波活动出现之间的区域)、中期、重期(慢波活动占主要)和警觉期(从困倦)4期。通过编程可以探测出这些变化。在计算机上编写软件,能够对脑电数据进行在线、离线分析,并能够获取2个通道的数据。软件使用快速傅里叶变换(fast Fourier transformation,FFT)算法将脑电数据转变到频域,计算每秒数据在每个频带的δ、θ、α和β波形的幅度。总的幅度是每个频带波形幅度(单位:μV)的和(如图5所示)。
图5 基于波形的报警方法[22]
2.6.2 基于非线性的报警方法
基于不同波形变化的方法容易受到个体差异的影响,而基于非线性的方法有其自身的优势。在疲劳检测的应用中,通常使用样本熵作为非线性变化的算法[14]。相比较于近似熵[15],样本熵能够消除吸引子的自匹配,比较不依赖于数据的长度,便于不同条件下的比较。研究发现,样本熵比频谱分析技术更容易分辨疲劳的状态,当疲劳发生时,样本熵有显著的下降[32],此时通过频谱分析的方法还不能发现有明显差异。
2.6.3 商业产品
美国Advanced Brain Monitoring公司生产的B-alert产品(如图6所示)不但可以对驾驶员疲劳驾驶发出警报,而且能够探测到个体的疲劳易感性。该产品还能够与事件相关电位一起使用,探测到关于大脑更多的信息[33]。
图6 美国B-alert疲劳驾驶报警器
无论使用何种方法,目前所有的疲劳检测装置都有其优势和不足,作为实时监测技术,需要考虑操作环境与条件的限制,有些技术在极端环境下甚至无法使用。
主观量表的方式是受试者对疲劳程度的主观反应,优点是能够在一定程度上反映其疲劳的程度,但是不够定量,在实际应用中也不能实时采集。基于眼睛、脸部和腕部的测量装置优点是实现起来较为方便,但是不够直接。基于脑电的装置可直接从人的大脑提取信息,能够直接反映人的认知活动,具有丰富的信息,可用于多个场合。例如用于军队指挥员脑功能状态检测,对其认知能力进行评价;也可用于教育领域,对学生的精神疲劳水平进行跟踪,改进教学过程。其缺点是小型化和舒适性难以实现。可以预见,现代大规模集成电路和现代工艺的进步,会使基于脑电的精神疲劳检测装置真正走向实用。
精神疲劳能对人产生短期和长期的影响。大脑的疲劳与人身体的疲劳有相似之处,长时间的精神活动和高度的压力或情绪都会引起精神疲劳。缓解疲劳的最好方法显然是充分休息,但这一点在实际中常常无法实现(例如在军事行动或突发事件的处理中)。锻炼可以缓解精神疲劳,因为锻炼可以提高血液中的氧含量,从而提高认知水平;使用药物也能对精神疲劳有一定的缓解作用。不管采用何种措施缓解精神疲劳,都需要对精神疲劳进行监测,以避免行为主体在精神状态不佳的情况下作出不适当的行动,影响任务的完成。
[1]Akerstedt T,Torsvall L,Gillberg M.Sleepiness in shiftwork.A review with emphasis on continuous monitoring of EEG and EOG[J]. Chronobiology International,1986,4(2):129-140.
[2]Rosekind M R,Gander P H,Miller D L,et al.Fatigue in operational settings:examples from the aviation environment[J].Human Factors,1994,36(2):327-338.
[3]Boksem M A,Meijman T F,Lorist M M.Effects of mental fatigue on attention:an ERP study[J].Cognitive Brain Research,2005,25(1):107-116.
[4]Boksem M A,Tops M.Mental fatigue:costs and benefits[J].Brain Research Reviews,2008,59(1):125-139.
[5]Hockey R.Stress and fatigue in human performance[M].New Jersey:John Wiley&Sons Inc,1983.
[6]Weiner J.Fitting the task to the man——an ergonomic approach[J]. British Journal of Industrial Medicine,1971,28(2):210.
[7]Brown I D.Driver fatigue[J].Human Factors:The Journal of the Human Factors and Ergonomics Society,1994,36(2):298-314.
[8]Campagne A,Pebayle T,Muzet A.Correlation between driving errors and vigilance level:influence of the driver's age[J].Physiology&Behavior,2004,80(4):515-524.
[9]Bartlett F C.Ferrier lecture:fatigue following highly skilled work[J]. Proceedings of the Royal Society of London.Series B-Biological Sciences,1943,131(864):247-257.
[10]Cajochen C,Khalsa S B S,Wyatt J K,et al.EEG and ocular correlates of circadian melatonin phase and human performance decrements during sleep loss[J].American Journal of Physiology-Regulatory,Integrative and Comparative Physiology,1999,277(3):R640-R649.
[11]Lobb M L,Stern J A.Pattern of eyelid motion predictive of decision errors during drowsiness:oculomotor indices of altered states[J].International Journal of Neuroscience,1986,30(1-2):17-22.
[12]Lavine R A,Sibert J L,Gokturk M,et al.Eye-tracking measures and human performance in a vigilance task[J].Aviation,Space,and Environmental Medicine,2002,73(4):367-372.
[13]Artaud P,Planque S,Lavergne C,et al.An on-board system for detecting lapses of alertness in car driving[C]//Proceedings:International Technical Conference on the Enhanced Safety of Vehicles. Washington,DC:National Highway Traffic Safety Administration,1995:350-359.
[14]Richman J S,Moorman J R.Physiological time-series analysis using approximate entropy and sample entropy[J].American Journal of Physiology-Heart and Circulatory Physiology,2000,278(6):H2 039-H2 049.
[15]PincusSM.Approximateentropyasameasureofsystemcomplexity[J]. Proceedings of the National Academy of Sciences,1991,88(6):2 297-2 301.
[16]LIU Jian-ping,ZHANG Chong,ZHENG Chong-xun.EEG-based estimation of mental fatigue by using KPCA-HMM and complexity parameters[J].Biomedical Signal Processing and Control,2010,5(2):124-130.
[17]Healey J A,Picard R W.Detecting stress during real-world driving tasks using physiological sensors[J].IEEE Transactions on Intelligent Transportation Systems,2005,6(2):156-166.
[18]Hoddes E,Zarcone V,Smythe H,et al.Quantification of sleepiness:a new approach[J].Psychophysiology,1973,10(4):431-436.
[19]Kecklund G,Akerstedt T.Sleepiness in long distance truck driving:an ambulatory EEG study of night driving[J].Ergonomics,1993,36(9):1 007-1 017.
[20]Cacioppo J T,Tassinary L G,Berntson G G.Handbook of psychophysiology[M].New York:Cambridge University Press,2007.
[21]Reeve B B,Stover A M,Alfano C M,et al.The piper fatigue scale-12(PFS-12):psychometric findings and item reduction in a cohort of breast cancer survivors[J].Breast Cancer Research and Treatment,2012,136(1):9-20.
[22]Gevins A,Leong H,Du R,et al.Towards measurement of brain function in operational environments[J].Biological Psychology,1995,40(1):169-186.
[23]Lal S K L,Craig A,Boord P,et al.Development of an algorithm for an EEG-based driver fatigue countermeasure[J].Journal of Safety Research,2003,34(3):321-328.
[24]LI Zeng-yong,JIAO Kun,CHEN Ming,et al.Effect of magnitopuncture on sympathetic and parasympathetic nerve activities in healthy drivers-assessment by power spectrum analysis of heart rate variability[J].European Journal of Applied Physiology,2003,88(4-5):404-410.
[25]Johns M W.A new method for measuring daytime sleepiness:the Epworth sleepiness scale[J].Sleep,1991,14(6):540-545.
[26]Chalder T,Berelowitz G,Pawlikowska T,et al.Development of a fatigue scale[J].Journal of Psychosomatic Research,1993,37(2):147-153.
[27]Haworth N L,Vulcan P.Testing of commercially available fatigue monitors[M].Melbourne:Monash University Accident ResearchCentre,1991.
[28]Dinges D F,Rider R L,Dorrian J,et al.Optical computer recognition of facial expressions associated with stress induced by performance demands[J].Aviation,Space,and Environmental Medicine,2005,76(Supplement 1):B172-B182.
[29]GU Hai-song,JI Qiang.An automated face reader for fatigue detection[C]//Proceedings:Sixth IEEE International Conference on Automatic Face and GestureRecognition.Washington,DC:IEEEComputerSociety,2004:111-116.
[30]JI Qiang,ZHU Zhi-wei,LAN Pei-lin.Real-time nonintrusive monitoring and prediction of driver fatigue[J].IEEE Transactions on VehicularTechnology,2004,53(4):1 052-1 068.
[31]Wright N,Powell D,Mcgown A,et al.Avoiding involuntary sleep duringcivilairoperations:validationofawrist-worn alertness device[J]. Aviation,Space,and Environmental Medicine,2005,76(9):847-856.
[32]Tran Y,Thuraisingham R,Wijesuriya N,et al.Detecting neural changes during stress and fatigue effectively:a comparison of spectral analysis and sample entropy[C]//Proceedings:3rd International IEEE/ MBS Conference on Neural Engineering.Hawaii:IEEE,2007:350-353.
[33]Berka C,Levendowski D J,Cvetinovic M M,et al.Real-time analysis of EEG indexes of alertness,cognition,and memory acquired with a wireless EEG headset[J].International Journal of Human-Computer Interaction,2004,17(2):151-170.
(收稿:2014-12-05 修回:2015-03-10)
Research progress of mental fatigue detection device and technology
ZHANG Hai-rong1,ZHANG Jing2,YE Qing1,QIAO Rui1,XIE Kang-ning2
(1.Education and Technology Center,the Fourth Military Medical University,Xi'an 710032,China; 2.School of Biomedical Engineering,the Fourth Military Medical University,Xi'an 710032,China)
The influences of mental fatigue on attention,electroencephalogram,vision and etc were analyzed,and advantages and disadvantages of six kinds of detection devices and technologies were discussed,including subjective scale,eye closure detector,nodding detector,face recognition,wrist motion recognition and electroencephalogram measurement.The progresses of large-scale integrated circuit and modern techniques may take the electroencephalogram-based mental fatigue detection device in to practice.[Chinese Medical Equipment Journal,2015,36(6):101-104]
mental fatigue;detection device;progress analysis
R318.6;TH772.2
A
1003-8868(2015)06-0101-04
10.7687/J.ISSN1003-8868.2015.06.101
张海荣(1973—),男,讲师,主要从事教育技术理论、电子媒介应用方面的研究工作。
710032西安,第四军医大学训练部教育技术中心(张海荣,叶青,乔 锐),生物医学工程学院(张 静,谢康宁)
谢康宁,E-mail:xiekangning@fmmu.edu.com