商用车疲劳预警系统研究综述*

毕玖琚 秦训鹏 吴强 石爱贤 范彬彬

（1.武汉理工大学，现代汽车零部件技术湖北省重点实验室，武汉 430070；2.武汉理工大学，湖北省新能源与智能网联车工程技术研究中心，武汉 430070）

主题词：道路安全 商用车 疲劳驾驶 预警系统

1 前言

驾驶员疲劳可以定义为一种精神警觉性降低的状态，它最常归因于长时间的工作或由昼夜节律驱动的嗜睡，并且通常随着清醒时间的延长而增加[1]。实时监控驾驶员疲劳状态，可改善道路交通安全，特别是在自动驾驶汽车尚未普及的情况下。疲劳预警系统应具有高稳定性和短传输延迟的监控系统、有效的人机交互和准确的疲劳检测功能。

与乘用车疲劳预警系统相比，商用车疲劳预警系统的特殊性表现在3 个方面：监控和管理通常更复杂，涉及车辆跟踪、车辆调度、员工管理等功能；工作环境更复杂，如噪声较大，需定义最有效的警告方式；大型工程车辆的外形尺寸更大，操控不灵活，尤其是在制动能力方面，所以更易产生超速、紧急制动、速度波动较大等风险驾驶行为，对车辆运行状态的检测需更准确。

本文对监控系统、人机交互界面和检测方法3个方面的研究现状进行详细分析，并针对研究难点提出技术发展方向，以期提高疲劳预警系统的有效性。

2 监控系统

商用车监控系统（Commercial Vehicle Monitoring System，CVMS）是整个疲劳预警系统设计的基础[2]。随着商用车服务的复杂性和规模的不断增加，监控系统的设计成为一大挑战。其原因主要有：道路运输需求快速增长、汽车保有量剧增、车辆交通管控难度大；长时间驾驶汽车很可能降低商用车驾驶员的驾驶能力，导致疲劳驾驶和驾驶员分心等问题；监控系统要求具备高稳定性、短传输延迟和海量数据处理能力。这些因素导致监控系统需要与多个传感器进行通信。

2.1 CVMS的系统架构

如图1 所示，CVMS 的系统架构包括带有各种传感器的车载终端、远程监控中心和通讯设施。它可分为监控平台和管理平台，具有车辆跟踪、车辆监控、车辆搜索、车辆调度等功能。

图1 监控系统架构

监控系统所需传感器如表1所示，传感器可以集成到车载终端，或将信号传输至终端。系统所需警示装置包括液晶屏、音响设备和振动椅。

表1 所需传感器及功能

2.2 CVMS的监控对象

系统监控对象包括车辆状态信息和驾驶员行为，主要监控目标如下：

a.驾驶员分心。驾驶时进行其他活动，可能会迫使驾驶员将注意力从道路上移开，如吸烟、打电话等。

b.疲劳驾驶。驾驶员感到乏味，无法专心驾驶，包括经常打哈欠、打瞌睡等。

c.车辆在工作过程中产生的相关信息。包括定位、运行状态、线路等。

d.与行政管理相关的车辆信息和业务活动信息。

2.3 国内外研究现状

目前，中国市场已经出现了一些车载监控系统产品。然而，大多数产品专注于车辆信息处理，而忽略了对异常驾驶行为的检测。

T.Haramaki 等[3]提出了一种可以通过机器学习检测任何事件的方法。他们训练了来自多个传感器的车内环境数据和驾驶员的生命体征数据来配置检测器，并设计了一台边缘计算机来实时观察驾驶员，用于提高系统的准确性和服务性。车载终端处理来自多传感器的实时数据，可发现驾驶过程中的潜在威胁并给出反馈，如图2所示。S.C.Anjankar等[4]基于物联网和云技术搭建了智能城市车辆监控系统。系统使用了负载传感器、酒精检测传感器、轮速传感器等。一旦检测的数据与传感器设置的参数有偏差，便会将车辆信息发送到车载终端，之后生成表格发送给远程监控中心。

图2 车载终端与监控目标之间的联系

兰州交通大学牛宝等[5]基于开源性Linux 操作系统开发了长途客车监控系统。此系统主要采用ARM11作为主控硬件平台，通过对驾驶员人眼运动的检测判断其是否处于疲劳驾驶状态；采用多传感器融合技术对客车进行超员检测；采用GPRS模块通过无线网络将客车的信息发送到客车监控中心。该系统能对长途客车进行实时定位跟踪、超速检测和驾驶员的疲劳检测等。

山东大学高龙琛[6]研究了一种嵌入式疲劳驾驶远程监控系统，即仅依靠单一开发板构建疲劳驾驶+远程监控两大系统，实现了车内疲劳预警和远程人工实时监控，并分别针对嵌入式端性能较低、相关疲劳驾驶算法移植困难以及低延时的流媒体服务器的部署等问题给出了解决方案。

重庆大学潘任飞[7]基于机器视觉的方法构建了整个驾驶员监控系统，通过2个摄像头分别采集驾驶员面部图像和前方道路图像，提出了一种基于车内外视觉信息的驾驶员分心状态层级检测方法。该方法通过驾驶员视线区域估计算法获得驾驶员的关注区域，并且同时通过目标检测算法和危险目标筛选算法准确获得当前时刻的危险目标并锁定其区域，随后根据这2个区域完成对驾驶员分心状态的层级检测。

针对海量数据下车辆智能监管的需求，X.Sheng等[8]提出了一种智能车辆监控系统。此系统运用前、后端分离技术，采用客户端-服务器（Client-Server，C/S）结构，服务器负责数据管理，客户端完成与用户的交互任务。系统采用SSM（Spring+SpringMVC+MyBatis）架构，以Spring Framework 为主要框架管理Spring MVC和MyBatis。Apache MyBatis作为持久层框架，负责系统底层MySQL数据库的持久化操作。在数据库连接性能优化方面，使用了阿里巴巴设计的连接池Druid 来保证连接的安全和高效。基于以上组件和工具，完成了后端的设计和开发。设计的系统的主要功能模块如表2所示。

表2 智能车辆监控系统

综上，商用车疲劳预警系统的监控系统除了具备实时监控驾驶员异常行为的能力，还应具备高效处理大量信息的能力。随着硬件与软件的不断发展，监控系统将更加完善地监测车辆和驾驶员的信息，并且将数据快速传输与处理，以便后续及时向驾驶员发出预警。

3 有效的人机交互

许多商用车制造商和售后市场供应商已经开发或正在开发旨在降低与疲劳和分心相关的风险的车载技术。但在已发表的研究中很少有人评估这些系统人机界面（Human Machine Interface，HMI）的有效性。然而，减少疲劳和分心的关键是如何将信息传输给驾驶员及其在驾驶中的可用性和可接受性。考虑到驾驶员的操作限制、驾驶任务和商用车驾驶室中的现有技术条件，为商用车驾驶员定义最有效的警告方式是重中之重。

3.1 普通警告：视听结合警告

在少数疲劳和分心警告系统中，警告方式为仪表板上的发光条样式的连续视觉反馈，如图3所示。随着疲劳程度的提高或分心持续存在，这些警告会紧急升级。有些驾驶员认为听觉警告在吸引注意力方面比视觉警告更有效，因为疲劳和分心都会将驾驶员的注意力从前方道路上移开，导致错过视觉警告。C.L.Baldwin 等[9]发现以1 000 Hz 的非语言音调警告或口头警告（“危险！”）呈现的听觉碰撞警告可减少与疲劳相关的碰撞次数。

图3 视觉警告“眼睛和道路”

研究表明[10-13]，在减少视觉分心和认知分心方面，多模式警告比单模式警告更有效。视觉警告不能有效地吸引视线已经转移的驾驶员的注意力[10]。驾驶员反应时间的长短是评价警告效果优劣的主要指标，其次是对危险工况操作的正确性和对警告信息的正确理解。研究表明[14]，听觉和视觉的组合警告与单独的听觉警告相比，虽然2 种警告方式下操作正确的人数没有明显差异，但驾驶员的平均响应时间前者更短。所以，听觉和视觉的组合警告方式略优于听觉警告方式。Aidman 等[15]使用单级视听界面在驾驶员疲劳达到中高风险范围时警告驾驶员，该警告降低了驾驶员疲劳度，提高了警觉性。Fitzharris 等[16]通过同时使用听觉和触觉的警告方式验证了驾驶员疲劳监测系统的有效性。同样，Ayoob 等[17]发现驾驶员对具有多阶段听觉和视觉警告的HMI 的接受程度更高。目前，大多数系统同时发出多模式警告（视觉和听觉），典型的界面包括一个发光的咖啡杯图标以及车辆显示屏上显示的简短文本消息，建议驾驶员休息。很少有系统指定听觉警告的音量、音调或发出警告的频率。

3.2 紧急警告：视听、触觉结合警告

然而在某些情况下，驾驶员更喜欢针对疲劳和分心警告使用不断升级的触觉警告[17]。研究表明[18-19]，触觉警告比听觉警告更有效，且引起驾驶员反感的程度相对较低。触觉警告一般通过振动实现，如振动转向盘、座椅、安全带等。驾驶人员不同身体部位对同一振动频率及相同部位对不同振动频率的接受能力不同[14]。不同身体部位受振的灵敏度也不同，振动灵敏度阈值也各不相同，灵敏度最高的是手，最差的是臀肌[20]。在某些系统中，转向盘振动形式的触觉警告与视听警告一起用于紧急提示。与转向盘相比，驾驶员更喜欢通过座椅发出触觉警告。通过转向盘发出的警告具有潜在危险，因为警告可能会吓到驾驶员、干扰转向控制或与正常驾驶过程中来自道路的振动反馈相混淆，从而导致车辆偏离道路。Dangelmaier 和Marberger[21]发现，由听觉（叮叮声或3声哔哔声）加上通过安全带的振动和视觉警告的多模式警告比单模式警告组合更有效。N.Azmi[22]设计了一个触觉手带，根据3 种不同的警告级别（轻度、平均、危险），定制了触觉带执行器振动的强度和频率，来警告处于疲劳状态的驾驶员。

总体而言，HMI 的使用包括2 个阶段，即普通警告和紧急警告。普通警告阶段为针对疲劳或分心的多模式视听警告，紧急警告应包括多模式视听警告，并进一步通过转向盘振动或座椅振动提供触觉警告。

4 准确的疲劳检测方法

目前，根据目标特征的不同，疲劳检测方法可以分为基于驾驶员生理信号、基于驾驶员行为特征、基于车辆运行状态和基于多特征信息融合的检测方法。

4.1 基于生理信号的疲劳检测方法

基于生理信号的疲劳检测方法的主要手段是观察驾驶员的生物电信号，包括脑电、心电、肌电、眼电和脉搏等。研究表明[23]，疲劳状态下驾驶员的生理指标会偏离正常状态。因此，可以根据驾驶员的肌电图（Electromyogram，EMG）、眼电图（Electro-Oculogram，EOG）、心 电 图（Electrocardiogram，ECG）、脑 电 图（Electroencephalogram，EEG）、脉搏等生理信号变化来检测驾驶员的疲劳状态。例如，Hostens等[24]使用了诱发电位的方法，在驾驶员长途驾驶过程中，发生驾驶疲劳时，表面肌电图的振幅增加，而平均频率降低。G.Calcagnini等[25]发现心电信号的4个典型特征，包括低频（Low Frequency，LF）能量、超低频（Very Low Frequency，VFH）能量、高频（High Frequency，HF）能量和低频能量与高频能量的比值，在清醒和疲劳2 种状态下存在显著差异，通过这些特征可以显示驾驶员是否处于疲劳状态。M.Ohsuga等[26]根据EOG中的峰值幅度、上升时间和下降时间3个参数之间的关系，获得了各种精神状态下的EOG 波形。S.K.Lal等[27-28]通过脑电图试验发现了脑电图与驾驶疲劳的关系：随着疲劳的加深，EEG 信号的δ和θ波的相对功率谱的平均值逐渐增强，而α和β波的相对功率谱的平均值逐渐减弱；在疲劳程度很深时，δ、θ和α波的相对功率谱的平均值都会增强。

总体来说：肌电信号虽然具有客观真实性，但对驾驶员皮肤存在一定的侵入性，不利于驾驶员的安全驾驶；EOG 信号的测试精度较高，但仪器较为复杂，并且在驾驶过程中可能干扰驾驶员的视线；心电图检测具有携带方便、操作简单的特点，但心电图的灵敏度很差，驾驶员心率的差异会导致该方法误差较大；脉搏检测简单且灵敏度高，但传感器之间的直接接触会使驾驶员感到不舒适。与其他生理信号相比，EEG 信号可更直接、更准确地反映大脑本身的状态，因此被认为是检测疲劳的“金标准”。

4.2 基于驾驶员行为特征的疲劳检测方法

这类检测方法根据驾驶员头部、眼睛、嘴等特征的变化来判断驾驶员的疲劳程度。W.W.Wierwille[29]提出了一个重要的疲劳检测的指标参数：单位时间眼睛闭合的百分比（Percentage of Eyelid Closure Over the Pupil Over Time，PERCLOS），并设计了疲劳检测装置。基于此，卡内基梅隆研究所通过反复试验证明了物理量PERCLOS能够检测出疲劳或嗜睡。此外，眨眼频率、瞳孔特征和眼睛注视的方向也是疲劳检测的重要指标，但是这种方法很容易受到眼镜遮挡、光线亮度等因素的影响。I.H.Choi 等[30]使用累积分布函数（Cumulative Distribution Function，CDF）分析方法先找到驾驶员的瞳孔位置，然后观测驾驶员视线的变化来判断驾驶员是否处于疲劳状态。与正常状态相比，疲劳状态下的眨眼频率明显增加。在驾驶过程中，驾驶员清醒或疲劳时头部的位置不同，因此驾驶员在一段时间内点头的频率同样可作为评估疲劳的指标。例如，E.Chutorian等[31]开发了一种跟踪驾驶员头部位置和旋转角度的系统，用来检测驾驶员的注意力是否集中。基于嘴部特征的疲劳检测方法近年来也发展迅速。例如，X.Fan 等[32]利用加博（Gabor）小波变换提取嘴角点的纹理特征，进而判断驾驶员的疲劳状态。

4.3 基于车辆运行状态的疲劳检测方法

车辆的运行状态也会因驾驶员的疲劳发生相应改变。基于车辆运行状态的疲劳检测方法根据检测车道偏移量、转向盘转角、行驶车速来判断驾驶员是否处于疲劳状态。T.A.Dingus 等[33]发现疲劳导致的车道偏离与PERCLOS 具有很强的相关性，于是通过计算机视觉技术识别车道并监控车辆的行驶路径，得出的车道偏移量也可以作为疲劳检测指标。判断疲劳驾驶的常用指标还有转向盘的转角。转向盘转角长时间不变化或者突然发生较大的变化是判断疲劳驾驶的重要特征。贾丽娟[34]在对驾驶人进行疲劳检测研究时，对实车的转向盘操作特征进行提取、分析，并提取试验数据在时域和频域上的指标，最后对指标处理并设计支持向量机（Support Vector Machine，SVM）分类器，从而开发出疲劳驾驶检测算法。Y.Takei等[35]使用快速傅里叶和小波变换对转向盘的转角信号进行预处理，从中提取相关特征来判断驾驶员的疲劳程度。车辆的行驶速度可以通过车辆传感器轻松得到。东南大学张晨骁等[36]利用实车试验对大型货运车辆驾驶员的疲劳驾驶进行研究，采集车速、加速度等参数，并利用PERCLOS指标对驾驶员疲劳状态进行判别，以探究驾驶员发生交通事故的风险。研究结果表明，速度和加速度可以作为评价重型载货汽车驾驶员驾驶状态的重要指标。当驾驶员达到高疲劳水平时，其平均车速、最大及最小车速都会增加，且车速稳定性降低。此外，随着疲劳程度的提高，加速度的均值及标准差会减小，但加速度的最大值和最小值会增大，表明驾驶人在疲劳状态下更容易采取紧急或剧烈的驾驶动作，且疲劳将导致驾驶员的反应能力减弱。D.Sandberg 等[37]使用前馈神经网络（Feedforward Neural Network，FNN）通过测量车速、车辆横向位置、转向盘转角和气动角度等状态对疲劳数据进行分类，判断驾驶员是否处于疲劳状态。

车辆偏移检测为非接触式检测方法，且精度高，但它很容易受到路况、天气等因素的影响，并且当车辆发生较大偏移或者失控时，疲劳预警会不及时。车速检测方法可以很容易地以低成本采集车辆的精确速度。然而，车速会受到外部因素的限制，在低速行驶时，也很难检测到驾驶员是否处于疲劳状态。转向盘的转角也可以很容易地通过传感器获取准确数据，但是车辆类型、驾驶环境和驾驶员的驾驶习惯不同，导致这种方法的准确性还不够。

4.4 基于多特征信息融合的疲劳检测方法

由于疲劳是一种复杂的、个体化的生理现象，不同的驾驶者有着不同的外在表现，这就决定了单一的标准可能只适用于特定的驾驶者。同时，由于驾驶舱环境的差异和外界光线的影响，单一的检测方式很容易受到干扰，并且检测结果会随着时间和地点的变化而产生较大波动，从而大幅降低准确性和可靠性。近年来，随着信息融合技术不断发展，越来越多的研究者尝试将信息融合技术应用于疲劳驾驶检测。信息融合可以充分利用各种传感器的优势，采集多个与疲劳相关的信号，进行综合分析判断，从而弥补自身的不足。

在融合方式上，可以使用粗糙集理论、动态贝叶斯网络、D-S证据理论、模糊神经网络等融合技术。例如，Y.Du 等[38]首先从驾驶员图像中选择有用的特征，然后构建基于模糊粗糙集模型的特征评估和选择算法来判断驾驶员的疲劳状态。G.S.Yang 等[39]基于PERCLOS、EEG、ECG、睡眠质量（Sleep Quality，SQ）、昼夜节律（Circadian Rhythm，CR）、工作环境（Working Environment，WE）和眼球运动（Eye Movement，EM）的动态贝叶斯网络融合实现了疲劳驾驶检测。其中：SQ、WE、CR 是关键的上下文变量；EM、ECG 和EEG 是可观察变量；疲劳和警觉性变量是隐藏变量。G.S.Yang等[40]建立了基于D-S 证据理论的疲劳检测模型，该模型融合了体温、睡眠质量、身心状态等10个疲劳相关参数。周锐[41]利用计算机视觉处理技术，采用摄像机采集图像，对驾驶员的眼睛与嘴进行定位，并在眼睛区域提取PERCLOS参数，在嘴区域提取哈欠频率（YawnFreq）参数，再利用驾驶员疲劳时这2个参数的阈值确定模糊集、论域以及隶属度函数，最后通过构建的模糊系统（Fuzzy System）来实现疲劳检测。W.B.Zhu 等[42]首先通过摄像头获取驾驶员面部特征，然后利用FNN 的自学习和自适应能力得到证据的基本概率分布，最后使用折扣策略修改原始证据来判断驾驶员的疲劳状态。

疲劳驾驶期间收集的信息的最重要特征是不确定性。粗糙集理论可以有效地处理这种不确定性，然而，其只能客观地分析不确定集合，而没有有效地结合前人的经验。动态贝叶斯网络具有很强的学习能力，可以方便地处理不完整或数据丢失的样本集。因此，基于动态贝叶斯网络的驾驶员疲劳状态评估模型能够提高预警的准确性，具有很强的扩展性和鲁棒性。然而，驾驶疲劳的产生是动态的渐进过程，因此，不同的贝叶斯网络的训练需要设置不同的时间间隔，否则很容易产生严重错误。D-S证据理论基于不确定性推理，能够有效整合多个传感器的不同信息，具有很强的决策处理能力。但是，在使用D-S 证据理论进行信息融合时，可能会存在组合条件严格、矛盾无法解决、计算量呈指数增长等问题。模糊神经网络将神经网络和模糊理论的优点相结合，不仅可以有效地进行学习、联想、识别和信息处理，还可以有效地整合以往相关专家的经验来判断结果，学习速度快、识别准确率高。然而，模糊神经网络存在学习时间长、结构复杂、自适应和自调整性能不足、实时性差等缺点。部分常见疲劳驾驶检测方法的性能如表3所示。

5 研究难点

5.1 科学的疲劳驾驶评价体系

疲劳检测研究一般将疲劳视为独立状态，而在实际驾驶中，驾驶员是逐渐从清醒状态转变为疲劳状态的，且驾驶员个人和工作环境之间存在普遍差异。因此，目前需要提取出更具观察性和可靠性的疲劳特征，制定统一、规范的疲劳驾驶检测标准，逐步建立科学、可靠的疲劳驾驶评价体系，为疲劳驾驶检测提供合理、有效的指导[43]。

5.2 检测方法的可行性

在实现完全自动驾驶前，还需驾驶员随时准备接管，这对疲劳监控及预警的准确性和实时性提出了很高的要求。单特征疲劳检测方法存在局限性，多信息融合已成为疲劳检测方法的发展趋势。多信息融合检测提高了检测精度，减少了误报的可能性，但其训练过程大多很繁琐，需要许多数据集，并且大多数研究都是在模拟条件下进行的，缺乏真实环境下的疲劳样本库。因此，目前需要适当的方法来降低模型的复杂性，并保证在一定的疲劳样本数据量条件下既准确又及时地检测出驾驶员的疲劳状态。

6 结束语

商用车疲劳预警技术作为汽车主动安全技术的一种，对于预防交通事故有着重要的意义，它的研究结合了多种学科的技术和知识。如何使监控系统更加稳定、传输延迟更短，人机交互界面更加有效舒适，疲劳检测方法更加准确高效，将成为该技术未来的发展方向。

RGB-D 相机的多类数据可以提供更多的信息，深度学习可以自动提取各种明显和潜在的疲劳特征，而信息融合可以减少系统对特定疲劳特征的依赖。总的来说，以上3种技术可以有效提高驾驶员疲劳检测的鲁棒性，正在成为新的发展趋势。