基于驾驶模拟系统的人机共驾交互研究

李永涛，耿兆龙，韩瑞龙，于 波

（中国汽车技术研究中心有限公司，天津 300300）

前言

当前，人机共驾技术作为实现人类驾驶到机器完全自主驾驶的过渡环节技术，已渐渐成为解决交通难题的通解型技术。为了实现对车辆的有效控制，人和机器必须在感知、决策和执行等方面进行深层次地合作，分享车辆控制权和决策权，协同完成驾驶任务。人机共驾的核心问题还是在于人机交互的协同。由于自动驾驶测试场景得不可复现性以及测试的安全、周期、成本的限制，相关的技术测试难以完全依靠实车道路测试实验[1]。随着仿真技术的进步，自动驾驶汽车相关测试可以在更安全、舒适、经济的环境下进行。驾驶模拟系统作为一种汽车测试工具，兼顾车端与人因端数据采集功能，利用仿真技术实现多种场景高精度还原，极大地提高了智能汽车人机交互测试评价的效率，对于智能汽车人机共驾技术的研究具有重要的实际价值与意义。

1 驾驶模拟系统

汽车驾驶模拟系统综合了计算机、机械、电子电器、控制、光学等相关技术产品，是用于汽车动力学模拟、汽车性能测试的有效工具。通过综合运用相关技术，它可以实时在线模拟驾驶员听觉、视觉、触觉等感官，对在实际驾驶过程中的极端场景及不可复现的驾驶场景进行充分模拟，并进行重复使用[2]。作为一种低成本、高效率以及高精度测量的自动驾驶车辆的测试方式，驾驶模拟技术对于自动驾驶车辆的开发具有重要意义。

驾驶模拟系统主要有桌面级、紧凑级、静态级和动态级四种模拟系统。

1.1 桌面级

由方向盘、刹车、转向机构、座椅、显示屏组成，是最为基础的入门级模拟系统。通过与测试软件的联调，驾驶员实际操作方向盘、刹车、转向机构等，给予驾驶操作控制的真实触感，只在视觉感官上仿真车辆运动状态时的横向控制和纵向控制效果。

1.2 紧凑级

在桌面级系统上进行升级改造，加入显示大屏幕、安全带、气垫、仪表盘等设备，可配备专用驾驶员座椅，按照真实的驾驶姿态进行驾驶操作，获得真实的驾驶行为。

1.3 静态级

静态级在紧凑级上进一步升级，构建真实车辆的驾驶舱，并在驾驶舱前增加环形大屏幕，以获得驾驶环境的真实触感和视觉感。体验沉浸感和方向盘手感更加真实，适用于HMI、ADAS、软硬件在环应用。

1.4 动态级

动态级与以上三种都不同，动态级系统在静态级系统的基础上加入了自由度平台，给予驾驶员真实的转向、颠簸等反馈系统，使驾驶模拟的感官更加真实。是最为完备的驾驶模拟仿真方法。

应用驾驶模拟系统进行驾驶实验，可以重现人类日常驾驶行为模式及危险人类驾驶模式，并且可以在不带来安全风险的条件下，增加实验的可操作性和可重复性。驾驶模拟系统还可以补充道路测试的短处，通过提供更安全的环境和更多的控制条件及减少实现的困难与地形相关的不确定性。当前，汽车驾驶模拟系统已在国外已逐步应用推广，尤其大型汽车均已或正在建设自主驾驶模拟验证平台，用以支撑研发试验和业务需求。在车联网方面，国外汽车企业利用人机共驾验证平台进行自动驾驶功能的开发和验证，开发出便捷、安全的各项功能，这些功能最终引领了行业的开发方向、设计思路、术语定义以及标准制定，同时也形成了一定的技术垄断。但在国内，主流汽车厂的驾驶模拟验证平台建设还处于起步阶段，多数还未形成能够进行高质量训练或测试验证的能力。有关学术方面的研究更少，国内近两年才渐渐开始有相关的学术文献出现，多数相关方向的研究都是外文文献。整体来看，自动驾驶方向的驾驶模拟器技术应用比较初级，同时还存在很多技术问题有待解决。

2 基于驾驶模拟系统的人机交互验证

2.1 人机交互验证架构

人机交互关键技术涉及人与系统交互、控制权移交接管等诸多环节，基于人的心理、反应等个体差异，进行人机共驾环境/场景的构建，探究人机交互形式，构建控制权释放模式、时机等模型。目前对于人机交互验证方式主要有传统人机验证方式和虚拟仿真验证两种方式。传统人机交互验证通常采用物理模型（硬质模型、油泥模型）或样机（实物样机、CAD样机、DMU样机）等方式，导致测试成本高、效率低、复用性差；而虚拟仿真验证方式克服了以上缺点，拥有灵活、快速、成本低的优势，但采用纯虚拟技术的验证可验证内容十分有限，并且驾驶人员无法获得真实的驾驶行为操控及反馈体感，缺乏对真实驾驶行为的模拟，无法满足需求，而整车平台验证成本很高。因此，基于驾驶模拟系统的测试验证技术，将驾驶模拟系统与虚拟驾驶场景的联合应用来测试人机交互验证，对智能汽车功能进行验证，不仅验证内容丰富，且成本较低，是人机交互验证的最佳解决方案。

驾驶模拟系统以多自由度驾驶模拟器作为硬件基础，集成了各项人机交互系统、显示系统、运行控制中心、仿真场景库、仿真软件等软硬件辅助系统，可以实现人机共驾交互的仿真测试。通过在人机交互台架上集成了人因设备、人机交互方案或样机、驾驶设备，利用主控计算机将场景显示在环幕上，并且收集和同步各类验证数据进行评价，从而完成人机交互验证台架的调试、应用、工程服务等全流程工作，如图1所示驾驶模拟系统架构。

图1 基于驾驶模拟系统的人机交互验证架构

2.2 人机交互协同验证

自动驾驶汽车人机交互的核心问题是妥善解决驾驶员与驾驶系统间的接管问题，以有效地解决驾驶模式切换为前提，着重探究驾驶人和系统在感知层、决策层和控制层三个层次的协同合作[3]。目前基于驾驶模拟系统的人机交互验证方式在驾驶状态检测、驾驶能力评价、驾驶权交接等方向具有独特优势。

2.2.1 驾驶状态检测

驾驶状态检测的研究主要集中在识别驾驶员的异常状态如疲劳检测、分心状态监测、不规则驾驶行为等。根据检测手段可以将驾驶状态检测分为两类，一是借助各类传感器设备检测驾驶员动作（比如摄像头进行面部表情识别）[4]，同时通过穿戴设备监测驾驶员生理、心理状态，对驾驶状态进行监测和驾驶行为分析；二是通过获取车辆的操纵数据和车辆状态参数，来检测驾驶状态信息并判断驾驶员的驾驶状态是否发生异常，从而为人机驾驶权控制作出决策判断。为满足驾驶状态检测的基础设备需求，人因数据库、驾驶模拟系统等方面的技术开发成为了驾驶状态检测研究过程中重要的研究基础。

2.2.2 驾驶能力评价

车辆驾驶过程是一个高度复杂的信息加工（认知）过程，国内外对于驾驶能力的评价主要从三个方面进行：一是通过统计方法，对事故组与安全组进行对比分析；二是通过控制变量法，研究单一驾驶特性（包括年龄、药物、疲劳等）对驾驶能力的影响；三是结合驾驶员身心状态参数，对驾驶能力进行综合评估。目前，为有效结合各类方法优势，统一驾驶能力评价原则，对于相关技术的标准制定成为了该方向进一步发展的重要因素。

2.2.3 驾驶权交接

智能车辆中的驾驶权交接主要分类两类：切换型驾驶、连续型驾驶。切换型驾驶明显地对驾驶员进行了区分，人作为驾驶员控制的场景和机器作为驾驶员控制的场景之间的切换有显著的交接过程，切换的顺畅度是影响驾驶体验的重要的因素。而连续型驾驶将人和机器作为一个整体考虑，根据驾驶场景动态平衡人和机器的驾驶权重。驾驶员和机器间的操作权限的切换、人机交互过程的顺畅度和合理性将影响整个交通运输环境的运行安全性。整个过程，存在如下两个关键问题。一是在由机驾到人驾的控制权切换过程中，驾驶人能否有效地对当前驾驶状态进行认知和评估，进而接管车辆操作并最终规避风险，是保证行驶安全，降低自动驾驶事故率的关键。二是如何对控制权切换过程进行合理的绩效评价、选择恰当的切换请求时机，以及对人机交互的有效性进行优化等，也是人机交互的有效性进行优化等，也是智能汽车发展过程中必须解决的重要问题。为此，仿真场景下的验证和数据采集成为了该方向发展的必经之路。

3 基于驾驶模拟系统的人机交互展望

智能汽车驾驶模拟系统可以用于监测驾驶员的行为、表现和注意力与驾驶权操纵接管时机的研究，可用于主动安全、车联网、自动驾驶的设计和评估。目前，该方法已经成为自动驾驶汽车研发的重要工具，同时，这项系统还将会在提高我国汽车产业自主化、提高竞争能力的方面继续得到重视。未来，驾驶模拟系统将在以下几个方面继续推动智能网联汽车发展。

3.1 自动驾驶人因数据库建设

人机交互系统是解决人与计算机相互理解的问题，使计算机在最大程度上帮助人类完成数据计算、数据处理、数据管理等服务[5]。驾驶员与机器之间的相互理解，对自动驾驶车辆安全运行有着重要影响。通过对语音指令、视觉信息、驾驶员生理及心理行为数据的采集与处理，有利于更好的研究驾驶行为、优化人机交互模式。人因数据库包括，语音数据库、视觉数据库和生理及心理行为数据库。

语音数据库：基于语料集设计、人员特色、噪音类型等维度，面向通讯、导航、车控等多维指令集，由不同类型的人员组成、多种场景环境下的噪声源信息。视觉数据库：通过对驾驶员人脸、眼动、手势等数据采集与标注，建成驾驶员视觉交互的数据库，用于产品功能研发与竞品车对标。生理及心理行为数据库：基于眼动仪、面部表情检测系统、生理行为检测系统、动作行为记录系统，采集和分析驾驶员生理、心理与行为数据，建立生理及心理行为数据库，结合车辆数据与接管场景数据进行车辆驾驶权切换的研究。

3.2 多感联动系统建设

针对语音、视觉交互以及其他交互方式，结合驾驶员风格研究，可开展数据库建设、算法工具开发、产品评价等方面研究。基于相关数据库，为测评功能升级提供支持，形成完善的智能驾驶数据评价体系；基于人机协同控制过程中的机理模型进行驾驶行为数据工具链产品研发，开发智能驾驶的交互开发、测试、评价工具、数据处理；提升识别交互与监控算法水平，提升交互应用效率。

3.3 人机交互功能优化策略

人机协同驾驶切换过程中的人机交互时机及其行驶，显著影响着驾驶人反应时间和接管绩效。深入剖析和理解自动驾驶车辆智能控制系统与驾驶员的驾驶逻辑，分析车辆动力学对于介入准则的约束，探索紧急工况下的切换机理，分析冲突与交互机制，从而寻找优化的预警时机及其模型，优化视觉、听觉、触觉等交互方式及接管请求的发送方式，解决自动驾驶汽车功能中的控制权切换难题。

4 总结

综合运用驾驶模拟系统是自动驾驶车辆验证测试的一项有效手段，可以研究自动驾驶车辆、驾驶员的各项性能指标。未来，基于驾驶模拟系统的人机交互验证，将在智能网联汽车测试层面、数据资源层面、技术培训层面及标准层面发挥重要的作用。