自动驾驶系统中人机协同的认知决策一体化机制研究

张文镝 周诗婕 金海亮 焦璇

（北京新能源股份有限公司，北京100176）

0 引言

随着人机智能系统的不断发展，机器自主水平也在不断提高。在人工智能时代，基于智能系统的机器正逐渐从支持人类操作的辅助工具发展成为具有一定认知能力、独立执行、自适应能力的自主化智能体[1]。理想情况下，人和机器的结合应该产生一个高效的团队，可以成功地提高团队绩效，并避免成为单一决策错误的制造者[2]。越来越多的机器人系统与产品深度融合到各个应用领域，也对传统机器人技术提出了更高要求，尤其是在如何与人更好地进行交互和协同方面。人机智能技术则是人机智能系统实现目标的理论与技术支撑，主要通过结合传统机器人技术和人工智能技术，从系统建模、感知与交互、协同控制和人在环路（Man In the Loop,MIL）优化方面提升机器人与人交互和协同的自然性、安全性和鲁棒性。

目前，人机协同技术融合了机器人、视觉、网络、数据采集、传感器技术，主要集中在基于传统机器人的建模研究，而关于人机合作的方式和研究进展非常有限。对于一个运转良好的自主支持系统设计，必须基于对人机团队在感知、认知和决策过程中心理框架的深入分析[3]。人机协同核心技术挑战是如何整合人类智能和机器智能，实现安全、自然和精准人机交互，本文综述了人机共驾中的人类工效学问题，强调创建一个能够真正提高整个团队绩效质量的双向整合系统的重要意义，旨在解决人机共驾实际场景中人机协作的不确定性和脆弱性问题。

1 人机共驾中的人类工效学问题

按照汽车智能化、自动化的发展进程，国际自动机工程师学会（SAE International）将智能汽车的发展分为手动驾驶、驾驶辅助、部分自动化、有条件自动化、高度自动化和完全自动化6 个级别[3]，如图1所示。

图1 汽车智能化发展进程[3]

但是，由于目前的技术交通环境、公众接受程度等因素，完全自动驾驶技术（L5级）何时能投入使用仍处于未知状态[4]。在未来相当长一段时间内，智能自主系统人机共驾的状态将成为常态。因此，在实现全域无人驾驶之前，产业界和学术界正努力研究驾驶员在环的智能系统，不再把自动驾驶汽车视为一种“工具”，而是一个“队友”，充分发挥人类和自动驾驶汽车双方的优势合作完成驾驶任务。

使用自主系统可能会提高智能汽车的整体能力，但也可能带来一些困难和挑战，即任何智能车辆的自动驾驶算法都不能完全取代人类[5]。当面临一些复杂的工况或紧急情况时，系统会发出接管请求，要求驾驶员接管车辆控制权。此时，驾驶决策需要在人类驾驶员和自动驾驶汽车之间安全、灵活地切换。因此，智能系统需要识别驾驶员的感知和意图，从而达到驾驶决策的一致性，增强驾驶员的控制能力。这有助于引导驾驶员在面对突发事件时正确判断环境状况，进而有效做出合理的接管决策。

因此，智能汽车要充分考虑自动驾驶系统中驾驶员须始终在环的因素，将人脑的作用引入到智能系统的算法回路中。人机协同的认知决策一体化研究，确保了人始终是系统的一部分。对于智能系统给出的执行结果，人始终会对结果做进一步判断，即人在环路协同优化，解决在复杂驾驶场景中车辆控制的人机冲突问题。本文从梳理人机协同的关系入手，探索人机认知与决策处理的差异，将人类信息处理的高级心理机制与智能自治系统的模糊问题紧密耦合，从而通过智能形式的混合增强形成双向信息交换和设备控制，促进人机组队的合理分工和人与智能汽车的实时交互[6]。

1.1 人机协作发展进程

人工智能技术的发展提高了机械的智能程度，智能技术及其自治特性推动了智能自治系统的变革。当系统可以在一定程度上自主行动时，传统的“刺激—反应”的人机关系模式正在被改变，人机交互的时代正在向人机融合的时代发展[7]。自动化控制器正在控制复杂系统中取代人工干预，操作员的角色经常从主动控制器转变为监督控制器，通过结合人类和机器各自的优势，实现自然、安全、鲁棒的人机协同任务，形成“人机组队”式协作关系。

人机协作的发展进程可分为3个阶段，如图2所示。

（1）人机共生关系阶段

20 世纪60 年代初，Licklide 首次提出了“人机共生”的观点[8]，其中提到了在预期的共生伙伴关系中，人和计算机能够合作做出决策和控制复杂情况。

（2）人机交互阶段

20 世纪70 到80 年代，人与AI 的关系重点在于人机交互。1970 年成立了2 个人机交互研究中心，即HUSAT 研究中心和Palo Alto 研究中心。1982 年，ACM 人机交互学会（SIGCHI）成立。人机交互在多学科交叉融合下逐渐拥有了自己的理论体系。

（3）人机协作发展阶段

20 世纪90 年代至今，人机协作进入快速发展期，进入到人机协作发展阶段。2015 年Epstein 提出了协作智能（Collaborative Intelligence）概念，在人与计算机之间建立良好的协作关系，以共同实现人类目标。

1.2 智能系统人机智能协同的新型人机关系

目前，L3 级别自动驾驶汽车正处于典型的人机共驾阶段。不同于传统驾驶过程，人机共驾包括广义人机共驾和狭义人机共驾。广义人机共驾包括感知层、决策层和控制层。狭义人机共驾指人和系统同时在环，驾驶员与智能系统操纵相互交叉、融合，具有双在环和双交叉的特点[9]。于是，出现了一种新的合作关系，即人机关系从最初的人机交互关系发展并演化为人机协作关系[10-11]。不同于作为驾驶辅助的自动化系统，智能自主系统可以成为与人类合作的“协作队友”，分享任务和操控权，形成“人机组队”式协作的新型人机关系[12]。从长远看，未来要实现人类和机器之间真正完全的共生关系，需要在机器中开发出真正类似人类特性的智能系统，将人的决策和经验与机器智能在逻辑推理、演绎推理方面的优势结合，使人机协作更高效，形成人机融合智能的概念框架（图3）。

图3 人机融合智能的概念框架[13]

智能系统认知过程包含输入、处理、输出3 个阶段：

（1）人感知来自机器和物理环境的刺激，机器识别到来自人和物理环境的数据。

（2）分别基于各自不同属性进行决策处理。

（3）最终生成的输出物之间产生对话。

人和机器都是认知主体，属于人机双智能，这种群体智能系统不仅涉及人、机器、物理环境，也包含了3者间相互影响的关系[13]。

在人机融合中，人和机器是合作关系。这种合作表现在以人脑为代表的生物智能（认知加工能力）和以计算技术为代表的机器智能（人工智能）通过深度融合达到智能互补。人机交互与人机融合形成了一个连续体的两端。随着智能技术的发展，人机关系将继续向人机融合端演化，各种具有不同智能程度的产品在这样一个连续体内共存。按照Hollnagel 和Woods 提出的理论，人机融合就是通过人和机器2 个认知主体，互相依存和合作组成的协同认知系统[14]。

1.3 人机一体化认知决策模型

智能系统具有以下4项关键特征，包括情境感知、自适应学习、自主决策及主动交互与协同[15]。当人与具备这些特征的智能系统进行交互时，这些特征将衍生出一些在传统人机交互领域内原本不存在的新兴问题，包括人机协作任务分配、动态学习与修正、情境自适应及主动响应模式，也正是这些问题促进人机交互向人机一体化协同转变。人类倾向于在与智能机器的互动中应用人类互动的规范，驾驶员已经从主要的控制者的角色转变为共同完成任务的积极队友[16-17]。智能系统是通过智能匹配实现的人机协同操作状态，实现安全、高效、友好操控。智能系统的认知主体具有双重智能，其协同感知来自于人机对象的复杂场景。智能系统结合各自的属性完成双向交互和混合决策，形成人机融合智能[18]。在模型开发方面，大多数现有模型采用生成式ACT-R（Adaptive Character of Thought-Rational）模型（图4），用于模拟动态复杂多任务中人的绩效，改进了以往采用单一模型模拟结果[19-20]。ACT-R模型在驾驶场景中完成一种交互计算和情景推理，从感知交互的层面有目的地提高人机的相互理解和共享感知能力。对于车辆的执行层面而言，人机协同也可以提高智能车辆在不确定动态环境下的响应能力。

图4 ACT-R认知体系理论模型[20]

在实时变化的交通环境中，大多数驾驶决策需要在相当短的时间内做出。对于协同驾驶智能车辆，持续分析交通环境是实现驾驶自动化的核心技术之一，同时智能驾驶自动化系统应具有准确认知和理性决策的能力。驾驶员在执行驾驶决策时，遵循一定的认知决策和情感偏好。因此，驾驶自动化系统需要理解驾驶员的认知及心理过程，以便在环境的影响下与人类产生联动效应。当前，人工智能计算技术的发展为认知计算建模提供了良好机遇。研究可计算的人的心理绩效模型可为智能系统提供实时的自适应人机交互能力。研究智能系统产品的情感计算模型以及普适计算中的社会交互模型可以扩展现有模型中对认知加工的深度和广度。认知模拟计算采用基于人的认知模型计算方法，来定量地模拟计算人在操作任务条件下的认知加工绩效，为人类工效学在系统研发中提供一种评价和预测系统设计有效性的工具[21]。当认知模型与其他现有人类工效学模型（如人体测量和生物力学建模等）进行整合时，将为一些复杂领域中（如自动驾驶）特殊的、具有操作风险的任务和环境开展有效模拟仿真，从而为汽车智能系统设计的计算模拟提供人类工效学方案。

2 用于高级自动驾驶的智能系统

智能汽车人机协同智能系统由环境感知技术、智能决策技术和控制执行技术3个层面构成。基于成熟的ACT-R 认知决策理论，结合智能车辆的关键过程，即感知、决策、控制[22]，从人机混合认知、共享驾驶意图、自主车辆控制权和个性化交互的角度探索人机合作的新范式，探讨人机协同驾驶的具体内容。

2.1 人机混合认知

智能系统的人机协同体现在相互之间的即时沟通和更新共享信息。智能系统的环境感知通常由多种形式的分布式传感器处理和合成，通常伴随有先验知识和智能模型。例如，机器通过计算属性来完成表征和推理，而人类通过个性化的认知框架来完成表征和推理过程。机器计算过程和人类认知过程都存在一些程序性和描述性的不确定性。人类要正确处理信息，首先要正确接收人机界面的信息，然后通过人脑对信息进行正确分析和判断，最后通过人的行为对机器进行正确操控，给机器输入正确的信息。也就是说，通过人机界面可以实现正确的信息交换，从而减少误判和误操作概率，这可以显著提高智能系统的可靠性和舒适性。

Chakraborti 等[23]认为理解人在环路中的能力与认知特性对于人机协同决策非常关键，并讨论、促进解决有效人机协同的人的心智模型相关问题，包括心理状态表征以及可有效学习表征的方法及其可用性，如经典的ACT-R 认知加工模型为解释人类认知过程提供了一定的基本框架，它以描述性知识模块为核心，类似于人脑，对目标、视觉和动作模块进行整体处理。这些信息交互过程在一定规模上连续触发，模拟了人脑的认知活动。ACT-R 提示系统处理收到的各种任务，包括感知、学习、理解和记忆任务，即机器语言难以描述和学习的习惯和经验，甚至是类AI智能所需要的情感偏好，在更高的认知层次上为脑机智能叠加（如学习、记忆）建立更有效的模型和算法，探索将人的决策和经验与机器智能在逻辑推理、演绎推理方面的优势结合，从而更好地与人类交流，促进人机信任，进而促进人工智能框架对人类感知决策过程进行解释、模仿甚至预测[24]。

2.2 共享驾驶意图

在实时变化的交通环境中，需要在相当短的时间内做出许多驾驶决策，任务依赖于对最新环境的持续分析。因此，获得并保持良好的态势感知是保证驾驶员对周围环境有足够认识和理解的基础，是动态系统中有效决策和控制的核心。文献[25]指出，自动化系统可以提高态势感知能力，为驾驶员提供更好的综合信息。对于多成员团队，共享驾驶意图产生于每个认知主体的集合，即团队情境意识（Situation Awareness，SA）可以被认为是每个团队成员对其职责所要求的团队情境意识程度。

因此，团队成员SA 质量（作为一种知识状态）可以用作团队意图的指标。对于团队创建情景应用的方式，已经提出了各种理论，包括共享情景意识和分布式情景意识[26]。Kitchin 等[27]初步研究表明，分布式SA在团队协作中的表现优于共享SA，因为前者能发挥各认知主体的优势和团队SA的质量，并能注意两个主体在操作和所需情境信息上的优势。因此，一些研究在人类操作者和自主认知主体中提出了合作认知系统的理论框架[16]。一些研究证明，人机协同智能系统的透明性对于人机团队的共享SA[28]非常重要，因为它可以使人类对机器的状态和动作保持足够关注。

人类生物智能和机器智能可以通过双向交流和深度融合实现智能互补，通过对多通道人机交互中的信号实现有效融合的智能方法，以支持对于驾驶员驾驶意图的准确理解，从而有效支持人机合作[29-30]。此外，Chen等[31-32]开发了代理透明模型，这是一个促进和校准团队信任的有效工具，以促进驾驶员对代理意图、逻辑和预期结果的理解，从而规范驾驶员对代理的依赖。为此，Wang 等[33]提出了以人为中心、决策理论驱动的可解释性人工智能（Explainable Artificial Intelligence，XAI）概念框架，探索了人类认知模式驱动构建XAI 的需求路径以及XAI 如何减轻常见的认知偏差。

2.3 共享控制权

1978 年，Sheridan 等[34]首次将共享控制定义为“自动化和人工在同一时间处理同一任务的情况”。这种相互作用可以通过2种不同的方式实现：

（1）机器可以扩展人的能力（例如，动力转向系统）。

（2）机器可以部分减轻操作者的总任务量（例如，具有触觉反馈的机械臂）。

在非完全自动驾驶条件下，人类驾驶员实时在环，同机器系统共享决策控制权，协作完成驾驶任务，目的是为了让人类和机器更加紧密地合作，高效地执行复杂任务。

根据转向系统的不同，共享控制方式可分为直接式和间接式2种。直接式共享控制基于电动助力转向系统（Electric Power Steering, EPS）实现，驾驶员操纵转向盘和辅助系统形成机械耦合，并通过力反馈进行持续交互，因此也被称为触觉共享控制。间接式共享控制基于线控转向技术（Steer By Wire,SBW），取消了转向盘和转向传动装置之间的机械连接，摆脱了传统转向系统的各种限制，用于减小人机冲突，具有更大的发展潜力。柔性制造要求机器人同伴在人类的个人空间内行动，这强调了有效的人机交互应该允许两个智能代理共享对各种功能和任务的控制。机器人和驾驶员可能会参与对物体的共享操作，甚至与驾驶员直接接触。然而，确定如何将驾驶员和自动驾驶车辆的自动化能力结合起来以实现最佳的人机合作仍然是一个挑战[35]。实现驾驶员与自动化系统交互的一种有吸引力的方法是共享控制权，这是一种人机合作领域传承来的概念，在机器人领域有多种应用。

在自动化行业实际应用中，智能系统会评估人类驾驶员是否能够完成任务目标，然后决定是等待人类的操作指令，还是由智能代理自主响应[36]。因此，需要通过理解人类驾驶员在决定依赖自动辅助决策或他们自己的决策时使用的过程，决策辅助帮助人类驾驶员正确地评估情况或系统状态，以通过警告和建议做出适当的响应。这个组队决策过程是人机协作的辅助贡献。例如，在高级自动驾驶汽车中，当驾驶员处于低负荷状态时，该系统鼓励驾驶员进行手动操作，以保持对驾驶员的有效监控。当驾驶员在高负荷状态下执行驾驶任务时，系统会辅助驾驶人控制汽车。人机界面应突出当前的道路环境和驾驶目标，以便自动驾驶车辆有效地执行驾驶任务。

Muslim 等[37]还提出了一种以人为中心的自动驾驶汽车方法，该方法使用自适应策略在人类和机器之间切换控制权限。具体的自动化水平直接影响操作员所需的功能和对系统状态的了解，这可能会试图通过决策辅助技术减轻认知负荷。智能系统根据人机团队中驾驶员的状态和交通状况，通常采用强化学习技术来实现人机智能协同中的动态学习与修正。Konstantinos 等[38]提出了一个交互式强化学习框架，该框架将人机智能协同中的显性反馈与隐性人工反馈相结合，促进了智能系统的个性化。在共享控制中，自动化系统通过扭矩反馈向驾驶员传达其期望的意图，从而动态调整人机团队任务。通过系统自优化决策算法的深度学习，最大限度地提高了人类与自动驾驶系统的协调性，使驾驶员能够在动态变化的交通环境中准确优化驾驶决策。

2.4 个性化交互

在“人、车、环境”一体的交互体系中，驾驶员扮演了重要角色。驾驶员驾驶特性直接影响车辆行驶的安全性、舒适性。因此，如何学习理解和模仿特定人类驾驶员的驾驶行为和驾驶经验，是智能系统实现个性化的关键。例如，在驾驶汽车换道过程中，不同驾驶员不仅在面对相同的道路环境时会有不同的驾驶风格，而且在不同的驾驶状态下也会有不同的行为绩效。当智能驾驶系统只考虑车辆自身状态以及外界交通环境因素，在驾驶员驾驶习惯不确定或者与驾驶员操作风格相违背的情况下，智能系统为驾驶员提供的驾驶引导信息并不能被驾驶员接受和使用。这种情况一方面会降低驾驶员对驾驶辅助系统的信任，另一方面其贸然干涉行驶车辆容易造成驾驶员情绪紧张，最终造成不必要的交通事故[39-40]。

因此，人因属性是智能系统适应驾驶员特异性的关键因素，驾驶员特性和驾驶状态彼此耦合，形成“人驾”的内在属性。因此需要驾驶员异质性参数，考虑驾驶员本身驾驶状态，建立适应于个性化驾驶模式的人机协同共驾研究，提高智能驾驶系统与驾驶员之间的贴合度。Jin 等[40]在研究中发现驾驶员在与智能系统的初始交互中，会表现出与驾驶员交互不同的人格特征和交际属性。在一些具体领域内人机智能协同的情感化研究方面，Mou 等[41]主要对看护机器人情感行为的相关功能进行了研究，认为机器人必须了解人的情感状态，并建立虚拟情感状态以表达情感，才能够在交互与协同中产生情感化行为。Miyaji 等[42]研究了服务机器人中的情感交互，开发了一种面向人机协同的分布式系统，结合了所有基本感官元素，可以识别用户情绪并通过情感交互提供个性化服务。

随着人工智能和情感计算相关基础理论研究和技术的突破，未来智能系统的交互研究方向将会向着混合认知、共享意图和控制权及个性化交互方面不断推进和深化，大大提升自动驾驶系统在环境感知、智能决策和控制执行技术能力，推进了智能汽车在复杂驾驶场景下的动态认知，增强自主性和适应性，有助于构建人机互补、人机融合、人机协同的人机智能系统[43-45]。

3 结束语

基于AI技术的智能系统，具有不同程度的环境感知、实时分析、自主决策、精准执行、学习提升能力。智能技术的自主特性带来了一种新的合作关系，即人机组队合作。在传统人机交互中，人与机器（包括基于计算技术的产品）之间的关系基本上是一种“刺激与反应”的关系，即两者间的“反应”按顺序取决于另一方的“刺激”（输入或输出)。在人机融合中，人和机器的关系则是合作的关系。人和机器在感知、分析、推理、学习、决策多个智能水平上互相协同合作，从而实现系统的整体优势。智能车辆不再是人类操作的工具，而是成为与人类合作完成动态共驾任务的合作者。

本文梳理了人机智能协同的人机新型关系、人机一体化认知决策模型、分析了高级自动驾驶的智能系统在人机混合认知、共享驾驶意图、共享控制权、个性化交互这4 个方面的人机团队合作，为未来智能系统中的人机合作提供了跨学科的视角，提出了人机协作研究发展趋势思考。未来针对智能自主系统的人机合作研究中，在技术推进的基础上，还需要充分考虑人类工效学设计因素方面的研究：

（1）要从伦理、道德角度出发，利用智能系统来增强人的能力而不是取代人。

（2）要充分考虑人类工效学设计，智能系统设计应该是可解释、可理解、有用和可用，充分考虑人的因素来提供符合人类工效学要求的解决方案，从而最大限度地发挥智能系统的工作绩效，实现人机合作的整体优势。

（3）要将个人智能助理与智能辅助系统结合，全方位满足用户对多模态交互高效性、立体感、情感性方面的需求，能主动根据用户学习思考用户的需求，提供多元化的驾乘体验。

未来面对工业人工智能化问题，对新型机器人还需加大研究力度，例如社会交互类机器人（如康复、娱乐、家居服务）的人机组队、决策自主权，自动化透明设计、自动化信任、自动化机—机交互、情景意识、文化因素方面的研究。从人类认知属性和机器计算属性入手，展开对人机协作模式的研究，从人类的感知、认知理解、决策推理过程展开对人机认知决策的融合机理研究，实现人机智能高效融合。