邓 亮,陈万刚,刘 健,王金磊
(常州星宇车灯股份有限公司,江苏 常州 213002)
当前很多汽车的内饰越来越简化,一定程度地影响了信息传递的有效性和安全性。例如特斯拉已经将仪表盘取消,仪表信息全部通过车机界面来显示。从驾驶安全角度考虑,频繁观察车机界面存在驾驶安全隐患。传统氛围灯仅有渲染气氛这一功能。车内氛围灯信息显示是汽车交互一个新的研究方向。设计人员利用灯光传达汽车即将进行的操作或意图,来帮助驾驶员理解车辆的状态。已有研究人员发现,利用车内氛围灯显示驾驶过程相关的安全信息,从而辅助驾驶人员[1]。van Dijck等[2]提出了“视觉感知”,用触觉、听觉和灯光提示提醒驾驶员可能发生横向碰撞。Pfromm等[3]使用灯光显示界面来验证灯光的效果,发现灯光显示界面可以将驾驶员的视线引导到关键物体上。Löcken等[4]使用灯光连续显示快车道上接近车辆的距离。Dziennus等[5]研究认为,应当在高速公路上使用灯光显示界面进行驾驶对驾驶安全更有利。上述研究表明,氛围灯组成的灯光界面有明显的提示效果,可以在车道变更决策辅助系统、车辆偏离警告系统、前向碰撞警告系统及倒车辅助系统等汽车功能上发挥作用,车内氛围灯光的提示功能在车内还有更多的研究方向等待发掘。
车内氛围灯是柔性高亮度散光光导纤维LED氛围灯的简称。氛围灯作为一种新的汽车装饰照明灯具,一般是RGB氛围灯,常用于装饰车内空间,满足车主的个性需求。根据汽车厂商要求,为了不影响人员正常驾驶,氛围灯的亮度通常限定为2~10 cd/m2。车内氛围灯主要安装于仪表盘、车门扶手、踩脚线等位置,基础功能有照明、亮度调节和灯色变化。
拓展氛围灯应用范围是当前的研究趋势,有相关研究人员进行了语音控制氛围灯的研究,让灯光随着声音变化,给出了可实现的软硬件设计[6]和交互方式设计[7]。氛围灯还可以用于信息显示,对于车内复杂的信息界面,氛围灯是一个很好的解决方案,可以显示车载信息娱乐系统界面之外的信息来扩展车内环境中的信息空间。由于氛围灯亮度可调节,在不需要时处于休眠的低亮度状态,启动时可呈现突出的高亮度,既可以帮助传达重要的信息(比如倒车距离提醒),又不会因为长时间高亮眩光给驾驶员增加干扰。在一个不断收到信息干扰的车内环境中,氛围灯灯光提示功能可以帮助驾驶员专注于他们的主要任务。
一直以来,疲劳分心驾驶都是引发事故的重要原因之一,是人员驾驶过程中需要时常提示和注意的重要情况。现有的疲劳检测系统的提示信息主要显示在仪表盘界面,伴随有警报提示声,但鲜有灯光提示信息的研究。
本文基于驾驶员处于疲劳分心状态的场景,通过灯光来提示人员,从而验证氛围灯灯光的提示功能。首先根据用户调查确定了车内氛围灯的灯光位置;然后提出一种驾驶员疲劳检测及行为检测的识别方法;利用氛围灯灯光发出提示信息,设计了氛围灯的提示灯效;最后开展利用氛围灯提示功能提示人员的实验,验证了用氛围灯提供信息提示功能的可行性。
车内驾驶员行为检测方式按是否涉及生理信息分为两种:一种是监测驾驶员的生理信息,通过人的呼吸频率、心率或者脑电数据等判断驾驶员是否处于疲劳状态[8];另一种是基于视觉图像的识别方法,依靠RGB摄像头获得的图像数据进行识别,与驾驶员无直接接触,是当下车内行为检测的重点研究方向。由于图像识别检测范围大、适用场景广泛等优势,下文选择基于图像的行为检测方法。
驾驶员行为检测是对驾驶员的特定行为进行检测或分类。驾驶员行为检测的特殊点在于需要根据特定行为的动作幅度、时长以及频率来进行判断,否则无法做到有效识别。驾驶员行为检测的图像识别一般流程如图1所示。
图1 驾驶员行为检测的识别流程Fig.1 Identification process of driver behavior detection
行为检测是对驾驶员的操作行为进行识别,需要事先定义正常驾驶状态与非正常驾驶状态。根据实际乘车观察,记录了驾驶员的车内行为,视频记录截图如图2所示。根据人员驾驶行为和危险严重程度,将非正常驾驶状态定义为两种:分心和疲劳。通常,驾驶员在驾驶过程中看手机、喝水、抽烟等行为会导致不同程度的分心,故将以上三种驾驶行为定义为分心。疲劳状态则是利用PERCLOS算法来判断。Green[9]研究表明,PERCLOS算法常用于检测人员的疲劳状态,有很高的准确率。另外,定义驾驶员双手放于方向盘的动作为正常驾驶行为。
图2 驾驶员行为检测结果Fig.2 Driver behavior detection results
利用当前主流的YOLOv5目标检测模型,通过采集驾驶员行为动作图像制作数据集进行模型训练,训练后利用记录视频作为样本进行行为检测,结果如图2所示,绿框处是人脸和人员行为。
由于驾驶员在车内的动作是动态的,很难仅凭一个动作就判断出人员是处于疲劳分心还是正常状态,在目标检测中加入人脸检测可以较好地对人员状态进行分类。眼睛闭合与嘴巴张合的频率和持续时间在某种程度上可以反映人员疲劳的程度,闭眼、打哈欠、瞌睡等都是疲劳的明显标志[10]。PERCLOS的原理是利用单位时间内眼睛闭合时间与眼睛张开时间两者之间的比例来进行疲劳的判断。PERCLOS方法有三种判断疲劳的标准,分别是EM准则、P70准则、P80准则。
巩晓倩等[11]研究认为,在上述三种标准当中,P80准则的检验准确率最高。故选用P80准则作为疲劳判断标准,PERCLOS的计算式为:
人脸检测首先是检测面部状态,以15帧画面(时长600 ms)作为一个循环,利用人脸关键点中的眼睛坐标和嘴巴坐标定义了两种面部状态,分别是闭眼和打哈欠[12]。定义了闭眼阈值和打哈欠阈值,超过阈值且时长大于1 s,则认为人员处于分心或疲劳状态,分类见表1。当连续检测到驾驶员的PERCLOS>30%且平均闭眼时间>250 ms,可判定驾驶员已疲劳[10],疲劳与分心状态定义见表2。
表1 面部动作分类Table 1 Facial movement classification
为方便实验结果呈现,使用界面显示人员疲劳检测的结果,界面详情如图3所示。界面上显示统计的眨眼次数和打哈欠次数,同时显示人员行为。在空白框内显示PERCLOS得分,在人员出现非正常状态时在界面显示提示信息。
图3 识别结果Fig.3 Identify the results
车内氛围灯的位置(框选处)通过用户调研的方式确定。如图4所示,给出了6个灯光位置选择方案,分别是两侧车门处、两侧后视镜处、方向盘处、中控界面处、前挡风玻璃处以及仪表盘处,都处于驾驶员的视线内。
图4 车内氛围灯位置选择方案Fig.4 Lighting position selection scheme in the car
具有提示功能的氛围灯与单纯装饰性氛围灯的关键差异在于信息呈现的突出性和有效性。首先,灯光应出现在车内人员良好的视线角度范围,能够让人在较短的时间内感知到灯光信息。其次,灯光的区域要足够大,便于人员能顺利识别光源位置和设置差异明显的灯光跳转效果。最后,灯光的亮度要合理,应让人员既可以感到舒适,也能突出显示。
通过发放调查问卷来询问普通用户理想的灯光信号安装位置,共有30人参加了本次问卷调查。根据结果显示,约有32%的人员选择前挡风玻璃处作为氛围灯灯光的位置,选择方向盘处约有21%,两处相加的比例超过了总人数的一半。Löcken等[13]研究发现,用户偏好在前排座椅和后排座椅处都能看到灯光显示,驾驶员眼睛周围的氛围灯可以提高人员的舒适性[14],故本次研究的车内灯光位置为图5中的前仪表盘处。
图5 确定的灯光位置Fig.5 Select lamp belt position
(1)氛围灯的原理。氛围灯灯珠选择三色LED灯珠,通过CAN通信发送信号,灯珠放在塑料件内,灯光透过半透明乳白色灯罩散射出,使光线更加柔和,为避免驾驶员眩光,氛围灯亮度区间选取2~15 cd/m2。渲染氛围时,灯光亮度保持2~8 cd/m2;使用灯光提示功能时,灯光亮度可升高至9~15 cd/m2。
(2)灯光设计。灯光颜色选择了黄色、橙色以及深红色用于表示人员的非正常状态,此三种颜色是常见的提示警报色,详细的灯光信息见表3。
表3 非正常驾驶状态的灯效Table 3 Light jump effect in abnormal driving condition
由表3可知,当行为检测系统检测到驾驶员的非正常驾驶状态时,将识别结果转换成数字信号发送给氛围灯,氛围灯在灯光效果上作出变化。氛围灯模式下,亮度处于2~8 cd/m2;提醒模式下,黄光从2 cd/m2上升至8 cd/m2;警告模式下,橙光从低亮度上升至8 cd/m2及以上;报警模式下,亮度从低亮度上升到最高亮度,红色灯光快速闪烁。快速闪烁是给整条灯带的灯珠通电400 ms,再断电150 ms,然后再次通电形成循环实现。
为了验证灯光信息提示功能的有效性,设计了灯光提示实验。测试地点在一间光学实验室,搭建了与汽车驾驶室相似的驾驶室前控制台,实验人员在控制台前进行模拟实验,如图6所示。共有10名被试参与了本次模拟实验,分别为被试者A、B、C、D、E、F、G、H、I、J,其中男性6名、女性4名,年龄在22~48岁之间。考虑到模拟试验人员很难有真实的疲劳感,故在试验中人为规定闭眼动作模拟疲劳时的人眼状态。实验过程中,被试者需平视前方,模拟开车时的视线位置。按要求作出假定的分心动作如喝水、打哈欠、看手机及闭眼等。在实验过程中,风挡处的灯光会传递灯光提示信息,实验人员需要观察光源情况并按下特定按键,红色灯光对应红色按键,黄色灯光对应黄色按键,白色灯光对应白色按键。
图6 灯光实验台Fig.6 Light interactive test bench
氛围灯灯条经调试无故障,摄像头位于风挡位置,水平方向视角约100°,垂直方向视角约70°,被试者站在实验台前指定位置,按照事先编好的字母顺序依次进行实验。实验分为三个阶段:第一阶段,A平视前方,氛围灯作装饰性器件,灯光亮度固定为5 cd/m2,此时灯光的亮度对人眼刺激较少,模拟正常行车;第二阶段,A做出喝水、抽烟、打电话等行为,灯光提示功能启动,此时灯光刺激较为明显,被试者受到灯光提示后按下特定的按钮;第三阶段,A做出打哈欠、闭眼行为,灯光提示功能启动,此时灯光刺激更加明显,被试者听到提示音且受到灯光刺激后,按下对应状态的按钮。被试者在实验完成后进行满意度评分,获取用户的主观满意度。其余9人按照上述三个阶段轮流进行实验。测试结果如表4所示。
表4 行为检测算法测试结果Table 4 Fatigue distraction monitoring performance detection results
从表4可知,行为检测算法通过性能测试,能对驾驶员的各种行为作出有效区分,可以认定灯光传递的提示信号是准确的。被试者收到准确的提示信息后,需要点击不同的按键来记录人员对灯光信号的识别率,根据识别率来判断灯光信号对人员的影响。喝水、抽烟、看手机被归类为分心状态,灯光颜色为黄色;打哈欠被归类为多次分心状态,灯光颜色为橙色;闭眼被归类为疲劳状态,灯光颜色为红色。被试者A的实验结果见表5。其余9名被试者按照流程依次实验,全部人员实验结果分布如图7所示。
表5 被试者A对灯光提示的反应
图7 实验结果分布图Fig.7 Distribution of experimental results
实验结束后,被试者需要填写一份李克特5级量表,描述自己对氛围灯提示功能的满意程度。按照等级分为5级,分别是非常不满意、不太满意、一般、比较满意、非常满意,见表6。利用计分表记录各个指标得分,非常不满意赋1分,不太满意赋2分,一般赋3分,比较满意赋4分,非常满意赋5分。
表6 李克特5级量表Table 6 Likert scale 5
被试者评价完成后进行评分汇总,结果如图8所示,氛围灯提示功能的平均得分为3.6,处于良好水平。
图8 满意度评价汇总表Fig.8 Summary table of satisfaction evaluation
车内氛围灯拥有拓展使用范围的潜力,特别是用于信息提示。本文设计、实现并测试了灯光信息提示功能,通过检测人员疲劳分心状态,将提示信息通过灯光传递出,获得实验人员的良好评价。经实验表明,汽车内部风挡区域,适当亮度和动态变化的氛围灯灯光具有传递提示信息的作用。在与车内传感器结合的情况下,可以不借助显示屏将提示信息传递给用户,相较于大多数信息由车机界面传递的方式,使用氛围灯灯光显示提示信息,可以实现灯光辅助下新的车内交互方式,使人员感知信息更加直观,减轻了人员的注意力负荷。
车内氛围灯的不足之处主要有:1)文中氛围灯只安装在前挡风玻璃位置,在车内其他位置氛围灯灯光能否起到提示作用尚不清楚;2)目前实验台上灯带的形状为长条形,数量为1根,灯带形状和数量可能影响信息传递的效果;3)实验在室内有照明情况下完成,夜晚和白天实际场景下的亮度差异可能会对灯光信息传递造成影响。