模拟驾驶实验中同步装置设计及实验教学应用

曾 超，王文军，陈朝阳，张超飞，成 波

（1. 石河子大学 机械电气工程学院，新疆 石河子 832003；2. 清华大学 汽车安全与节能国家重点实验室，北京 100084；3. 韦恩州立大学 生物医学工程系，美国 密歇根 底特律 MI 48201）

随着经济的持续快速增长，我国的汽车保有量已从1985 年的321.1 万辆增加到2017 年的2.17 亿辆[1-2]。与此同时，道路交通事故频发[3]。为了确保人—车—环境系统的安全运行，对驾驶体验进行研究十分必要[4]。由于涉及交通安全和伦理问题，通过实车实验进行相关研究具有一定难度。招募驾驶员进行模拟驾驶实验成为一种安全性高、再现性好、可开发性强且成本低的替代方案[4-5]。大量汽车公司和科研机构均开发或引进了驾驶模拟器[5-7]。

模拟驾驶实验过程中通常需要使用不同设备同时采集多种数据，如车辆行驶数据、视频数据和驾驶员生理数据。如何确保这些数据在长时间实验过程中的准确同步是实验设计阶段需要考虑的重要问题。Awais等[8-9]通过模拟驾驶实验，提出了一种基于生理信号特征的驾驶员疲劳检测方法。郭孜政等[10]通过模拟驾驶实验，探究疲劳对驾驶员行为监控能力的影响。郭凤香等[11]通过模拟驾驶实验，分析了老年驾驶员进入道路交叉口的视觉特征。上述研究均未说明实验过程中采用的数据同步方法。

清华大学汽车安全与节能国家重点实验室成波教授领导的智能驾驶课题组长期从事汽车主动安全方面的研究，取得了一系列研究成果[12-14]。

1 实验设备

课题组近期开展了研究驾驶员疲劳状态生理信号特征的模拟驾驶实验。本文以该实验为例，介绍与同步装置有关的各种设备，包括MP150 系统、摄像头和驾驶模拟器。

MP150 系统（Biopac，Goleta，美国）通常被称为Biopac 生理仪，该系统是基于计算机的数据采集系统。通过MP150 系统采集驾驶员模拟驾驶作业过程中的心电、脑电和皮电等生理信号，并确保该系统采集的生理信号与摄像头采集的面部视频信号，以及由驾驶模拟器采集的车辆行驶数据严格同步。实验中使用的 MP150 系统组件包括：（1）数据获取单元MP150A-CE；（2）通用接口模块UIM100C；（3）用于记录皮电和光电容积脉搏波的BioNmoadix 发射器和接收器套件BN-PPGED；（4）用于记录心电和呼吸波的BioNomadix 发射器和接收器套件BN-RSPEC；（5）用于采集、保存和分析数据的AcqKnowledge 4.2软件。本实验使用的MP150 系统组件如图1 所示。

通过智能无线摄像头记录驾驶员作业过程中的面部视频，同时记录光脉冲形式的自动同步信号和手动同步信号。该型摄像头带有红外补光装置，在环境光线较暗时自动补光。该摄像头可将录制的视频文件以“.mp4”格式保存在TF 卡上。摄像头焦距为4 mm，视频帧率为19，图像分辨率为1280×960 像素，图像位深度为24 bit。

实验在日本无线株式会社生产的6 自由度驾驶模拟器（见图2）上完成。该设备由视景模拟系统、声响模拟系统、触感模拟系统、车辆运动模拟系统、车辆动力学仿真计算及中央控制平台等组成，综合运用计算机、自动控制、三维图像、模拟音响、虚拟现实等先进技术。根据驾驶员当前的操作，快速计算下一时刻的交通场景、汽车运动状态、汽车内的声响环境，以及汽车方向盘和制动器的反力，实时再现交通环境场景、交互驾驶员运动感觉和操作感觉。该设备配置有模拟输入端，可同步记录外部输入的电压信号。该设备同时还可记录实验过程中自车速度、方向盘角度等车辆行驶数据。各数据的采样频率均为60 Hz。

图2 驾驶模拟器

2 各设备的放置及同步装置设计

从放置设备的角度考虑，驾驶模拟器可分为5 个部分，即车辆运动系统（包括驾驶舱）、动力与控制系统、投影显示系统和设备操作系统。MP150 系统由主机部分、数据采集部分和电脑组成。主机部分包含MP-150-CE、UIMM100C、BN-PPGED 和BN-RSPEC接收器。数据采集部分包含BN-PPGED 和BN-RSPEC发射器。电脑安装有AcqKnowledge 4.2 软件，并通过网线与MP-150-CE 相连，具有控制MP150 系统开始/停止数据采集、显示和保存数据等功能。

本实验中，某套设备及其各部分的放置需考虑下列几个方面：（1）驾驶模拟器的各个组成部分不能移动；（2）MP150 系统数据采集部分和主机部分之间的距离越近越有利于数据的准确传输；（3）同步装置中的发光二极管D1 和D2 需放置在摄像头视野范围之内；（4）确保实验过程中实验员可方便地操作设备以顺利完成实验。

同步装置样机见图3。3.5 mm 音频头P1、P2 和P3 接入通用接口模块UIM100C，P1 接入模拟输出端，P2 和P3 分别接入模拟输入端1 和模拟输入端2。T1为端子线，接入驾驶模拟器的模拟输入端。发光二极管D1 和D2 置于摄像头的视野范围。该同步装置包括自动同步信号发生装置和手动同步信号发生装置。自动同步信号发生装置包括P1、P2、T1 和D1，其工作原理：通过设置AcqKnowledge 软件，使得UIM100C工作时在模拟输出端产生周期为4 s 的方波信号，作为自动同步信号，该信号同时送到 UIM100C 的模拟输入端1、驾驶模拟器的模拟输入端及发光二极管D1，使得3 类数据具有相同的参考时钟脉冲。

图3 同步装置样机

为了更加方便地标记实验过程中“实验开始”和“实验结束”等关键事件，利于后继分析，设计了手动同步信号发生装置。该装置包括电池V、开关K，发光二极管D2 和音频头P3。其工作原理如下：当实验员按下开关K 时，UIM100C 的模拟输入端2 接收的输入电压为4.5 V，同时发光二级管D2 被点亮；松开开关K 时，模拟输入端2 收到0 V 电压，D2 熄灭，这样就形成了手动同步信号。图4 示出了同步装置中D1、D2 与摄像头之间的相互关系，箭头指明D1 和D2 位置。

图4 不同视角下驾驶舱中的同步装置部件

模拟驾驶实验室共有2 层，驾驶模拟器的车辆运动系统、动力与控制系统和投影显示系统置于第1 层，设备操作系统置于第2 层。其他设备的放置情况如下：BN-PPGED 和BN-RSPEC 发射器通过绑带和腰包置于驾驶人身上；MP150 系统主机置于驾驶舱副驾位置；与MP150 系统配套的电脑和同步装置的开关K 置于驾驶模拟平台显示与操作系统附近；同步装置的2 个发光二极管置于驾驶舱内，同步装置的其他部分置于驾驶舱副驾位置。

本实验通过3 种设备记录如下3 类数据：（1）驾驶人的生理数据（如心电、脑电等）；（2）驾驶人面部视频数据（包含光脉冲形式的自动同步信号和手动同步信号）；（3）车辆行驶数据（包含方向盘转角、车速等）。上述3 类数据均为离散时间序列，且在采集过程中受到不同时钟脉冲的控制。通过时间同步装置，可以方便地确定模拟驾驶过程中某一事件的发生时刻在不同类型时间序列中的位置。

3 实验数据及其处理

进行数据分析之前，需要将不同设备记录的手动同步信号和自动同步信号进行处理，提取这些信号中的时间信息。

摄像头记录的面部视频如图5(a)所示。在面部视频中，划分出2 个分别包含D1 和D2 的感兴趣区ROI1和ROI2（见图5(b)）。ROI1 和ROI2 的灰度值之和g1和g2 曲线见图6。提取g1 和g2 曲线的边沿（上升沿或下降沿）特征后，可以实现面部视频与其他数据的同步。在实验过程中可能由于身体较大幅度的活动导致上述曲线受到干扰。此时，需要在提取边沿特征之前，对g1 和g2 曲线进行校正，g1 曲线校正前后如图1 所示。

图5 面部视频及感兴趣区的划分示意图

图6 g1 和g2 曲线

图7 包含干扰成分的g1 曲线及其校正

各设备记录的同步信号如图8 所示，图8(a)为MP150 系统中记录的同步信号，图8(b)为面部视频中提取的用ROI1 灰度值之和表示的同步信号，图8(c)为模拟驾驶器记录的同步信号。图9 示出了相同时长（4 s）的时间片段中，摄像头的帧数和驾驶模拟器模拟输入端采样点个数的波动情况，摄像头帧数最多为81 帧，最少为74 帧；驾驶模拟器模拟输入端采样点数最多为244 个，最少为237 个。该图说明了设计同步装置的必要性。本文设计的同步装置可以消除时间累积误差造成的不良影响。

图8 各设备记录的自动同步信号

图9 不同设备在时长为4 s 的时间片段内的采样次数

4 结语

通过将周期为4 s 的方波同时接入Biopac 生理仪UIM100C 模拟输入端、驾驶模拟器的模拟输入端和面部视频视野中的发光二极管，构成自动同步信号发生装置。将按键开关的通断信号接入各个设备，构成手动同步信号发生装置。上述2 部分组成了模拟驾驶实验中的同步装置，用于避免实验过程中由于各设备时钟精度不一致造成的时间累积误差，在长时间实验中尤为实用。除了科研实验使用外，本文还将该装置应用于现场实验教学中，对计划开展模拟驾驶实验的研究人员了解实验环境、合理设计实验起到了支持作用。