VR仿真环境下对舰船操控的情境意识评估研究

陈 杰 何小二 李崇斌 何景异 张 煜

（1.武汉第二船舶设计研究所，湖北 武汉 430205；2.西安交通大学机械工程学院，陕西 西安 710049）

0 前言

随着新型舰船装备的技术指标大幅度提升，其信息量的复杂程度呈几何级增加，这对操作人员的能力提出了更高的要求。忽视人的生理特征和认知水平的设计可能会危及任务的有效性、计划的执行、进度和成本[1]。情境意识（Situation Awareness，SA）这一概念最早由Endsley[2]提出，被用于评估飞行员操作时的认知特性。情境意识，即在特定的时间和空间内对环境中各种要素的知觉，对其含义的理解以及预测它们随后的状态，反映了“认知-理解-预测”这一高水平的认知过程。其评估方法可以分为4 类，包括生理指标评估（眼动、EEG 等）、记忆探查评估（SAGAT 等）、操作水平评估（任务绩效）和主观评估（SART 等）。

在舰船航行的过程中，操作员长时间作业导致的疲劳可能会使注意力集中程度下降、脑力负荷增加，从而导致SA出现问题，使其操作效能下降。因此在航行任务中对操作员的SA 进行评估具有一定的必要性，既可以优化操作台的界面设计，也可以提升舰船整体的操作效能。

虚拟现实技术（Virtual Reality，VR）是一种通过计算机程序创造三维虚拟世界的数字技术。该文是在VR 仿真平台与实物仿真平台中进行研究，通过评估操作者的SA 来验证是否可以用VR 仿真平台替代实物仿真平台进行舰船操作台人机界面的人机工效评估。

1 实验方案

1.1 舰船航行操作任务

舰船是复杂的人机系统，具有多人多机协同关系复杂、环境恶劣、长时间作业、有限或特定空间中人流、物流、信息流高度密集以及人机界面交互操作繁多等特点[3]。该研究对常规操作及异常情况下操作的SA 进行评估，设定的主要任务包括正常航行工况下发现异常、执行变速和变向等常规指令操作以及出现应急情况下的应急处置操作。各工况的具体任务见表1～表3。

表1 工况一具体任务

表2 工况二具体任务

表3 工况三具体任务

1.2 VR仿真平台及实物仿真平台

近年来，随着VR 技术的发展和成熟，VR 技术在包括场景展示、虚拟漫游、设计验证以及虚拟演练等很多领域中进行实际运用。基于VR 技术的设计、评估和验证系统也得到了广泛运用，包括波音、大众以及通用等在内的公司在很长一段时间以来通过使用VR 技术来对数字模型进行模拟以及验证相关方案，减少了昂贵的物理原型的使用，从而节约了大量成本；同时能够有效地缩短研发周期，提升产品设计的质量。Rieuf V.等为了验证在真实环境与VR 环境2 种情境下，人在执行复杂任务过程中的行为模式和工作效率是否存在明显差异这一疑问，将VR 环境下与真实环境下的作业效率、满意度以及体验感受等做了对比测试，让用户在2 种环境下完成一系列的概念设计的任务，例如草图绘制、概念设计等，结果发现VR 环境下不仅没有影响其工作成效，还在某些环节拥有更好的体验[4]。实验表明VR 环境下人的行为、感受和思维与真实环境下无显著差异。

与此同时，VR 技术也存在一些不足之处，其主要用处在于为用户提供视觉上的沉浸体验，但是无法真实地模拟现实中人的动作或展示真实的交互行为，也无法完全模拟操作过程中的力反馈等。因此在使用VR 技术时，需要考虑交互需求和应用场景。基于VR 的人机工效评价手段由单维度视觉验证发展为多维度虚实结合验证，即在真实的仿真环境中，借助半实物来进行仿真验证，提供更好的交互体验，同时提供真实的物理操作反馈，保证用户输入的准确性，从而提高产品人机工效验证的结果和质量。

该文实验涉及的评估设备包括测试使用的高性能主机、29 英寸显示屏、VR 仿真平台采用VR 眼动仪（HTC Vive Pro eye，采用的是植入式VR 眼动追踪元件，帧率为120 Hz，采用5 点校准，精度为0.5°～1.1°）、实物仿真平台采用眼镜式眼动仪（SMI Eye Tracking Glasses 2.0，采样率为60 Hz，精度为0.5°）以及配套的实验室记录设备（记录用纸笔，录像机，录音笔等）；使用的软件包括unity 引擎（Unity 2019.3.4f1）、眼动仪测试数据记录软件（iMotions）以及屏幕录制软件（Camtasia 2019）等。

实验室长宽各5 m，分为VR 仿真平台（主机与VR 头盔）、实物仿真平台（原有的实验平台）和眼镜式眼动仪及相关设备存放桌共3 个区域，VR 定位器位于房间对角线，共2 台。实验环境及设备布置平面图如图1 所示。

图1 实验环境及设备布置平面图

VR 仿真实验过程中，高性能主机通过HDMI 接口将视频信号传输到显示屏上供测试人员监视，通过USB 接口将视频信号传输到VR 头盔中供被测人员测试。同时，VR 定位器通过光学信号对VR 头盔和VR 手柄进行定位，再通过USB 接口将这些位置信息传输回主机。VR 手柄也通过USB接口将手部动作传输回主机。设备连接以及数据传输情况如图2 所示。

图2 VR 仿真平台设备连接与数据传输

在实物仿真实验过程中，眼镜式眼动仪采集被测使用实物仿真平台时的眼动信息并将其通过USB 接口传输至高性能主机。设备连接以及数据传输情况如图3 所示。

图3 实物仿真平台设备连接与数据传输

1.3 被试及实验设计

该研究共招募9 名被试者，分为3 组，均为男性（年龄范围在18～45 岁）。第一组为4 名人机工效评价专家，具备人机工效评价的各种方法与理论，能对舰船操作台的人机工效做出全面评价并给出改进建议，但对舰船操作任务流程不太熟悉；第二组为3 名舰船操作台设计人员，具有多年设计舰船操作台的设计经验，熟悉舰船操作台界面以及舰船操作方式，对于舰船操作台的设计能够提出有效建议；第三组为2 名舰船操作员，具有多年舰船操作实践经历，熟悉舰船操作台界面以及舰船操作方式，并且熟悉操作舰船时各种不同的任务指令与异常情况。实验前，所有被试者均被告知实验步骤和需要采集的数据，并签署了知情同意书。所有被试者身体状况良好，视力或矫正视力正常，实验前24 h 内保证被试者有足够的睡眠时间（6 h 以上）。

测试任务分为4 个部分：第一部分是训练任务，帮助被试者熟悉被试系统的现实界面逻辑与操作方式。第二部分是模拟正常航行工况，需要被试者及时发现参数异常情况并报告指挥员（这里以及下文所有的指挥员均由主测试员担任）。第三部分是模拟工况切换任务，被试者需要听从指挥员的口令完成操作任务，并在完成后报告指挥员。第四部分是模拟应急处置等事故工况，被试者需要及时发现异常情况并报告指挥员，指挥员下达处置操作的口令，被试者通过处置操作解除异常情况后报告指挥员。

被试在测试人员的帮助下穿戴用于VR 仿真平台的实验设备并进行校准，首先进行第一部分的训练任务，再依次进行第二部分模拟正常航行工况、第三部分模拟工况切换任务以及第四部分模拟应急处置等任务。各个工况间有5 min 的休息时间，被试在完成每个工况后需要填写10D-SART 量表。在测试过程中眼动仪全程采集生理信号并由主测试员进行SAGAT 测试。

实物仿真平台的实验流程同上。随机选择VR 或实物仿真平台进行测试，全部任务完成后，再间隔24 h 并在另一平台进行测试。

1.4 评估变量

Endsley 提出的情境意识评定技术（Situation Awareness Rating Technique，SART）通过10 维或3 维的SART 量表来评估操作者的SA。近年来有研究表明眼动注视特性与SA 存在联系。Van de merwe 等人在一项模拟飞行任务的故障检测任务中提出使用眼动的注视率、注视持续时间和注视熵作为评估信息获取效率的指标[5]。因为任务绩效无法直接反映操作人员的SA，所以通常被作为一种间接的SA 评估方式，而情境意识全局评估技术（Situation Awareness Global Assess Technique，SAGAT）被认为是评估SA 最有效的方法之一[6]。

脑力负荷、注意力分配策略与情境意识之间存在紧密又复杂的关系，一般认为脑力负荷水平决定了注意力分配的效率和方式，而注意力分配水平的优劣则是测试作业人员情境意识水平高低的依据之一[7]。现有研究更多地关注了脑力负荷和情境意识之间的关系，而其中较少涉及由信息优先级设计所产生的作业人员注意力分配策略的影响。

目前国内对于信息化人机交互界面的工作负荷评估方面的研究起步较晚，主要在航空航天领域较为系统地开展了脑力工作负荷方面的研究工作，海军装备受到技术等各方面因素的制约，还未对评价人员的脑力工作负荷能力展开深入研究。张智君对飞行员脑力负荷主观评定方法的特点及局限性进行了总结[8]，董明清等人对脑力负荷评定指标敏感性做了比较研究[9]。

该研究记录SART 得分、SAGAT 得分、眼动指标以及任务绩效作为SA 的评价指标。其中，SART 得分即10D-SART量表的得分。10D-SART 量表包括3 个一级维度和10 个二级维度，见表4。

表4 10D-SART 量表子维度

通过每个二级维度的打分求每个一级维度的平均值，再通过Q3-（Q1-Q2）来计算SA 的水平。

SAGAT 得分指将任务界面暂停（即“冻结”），询问操作员当时的情景认知状况问题，对问题进行正确反应的百分比[2]。由于各个工况任务中参数复杂，舰船状态变化快，无法采用冻结法对停止界面进行操作，因此采用穿插提问的方式，询问被测者有关界面上部分参数的相关问题，不打断其操作。问题类型包括当前参数、目标参数以及参数变化量等。根据参数的重要性对问题进行赋权，再结合正确率来计算SAGAT 得分。眼动指标采用iMotions 软件进行采集和初步分析，采集指标包括注视率与注视熵。注视率指单位时间在AOI 内的注视次数，反映注视在某一区域的注意力集中程度，注视率越高，表明SA 越好。注视熵反映视觉扫描的随意性[10]，根据任务性质反映了不同的含义，对于视觉搜索类的任务来说，注视熵越高，反映任务负荷越大，SA 越强；对于需要解决某个问题集中注视的任务来说，注视熵越低，反映注意力的集中程度越高，SA 越强[11-12]。任务绩效包括响应时间t和正确率p，响应时间为每个子任务的平均响应时间，正确率为每个子任务的正确响应次数占异常次数的百分比。

2 结果与讨论

2.1 10D-SART量表

该实验使用的是10D-SART 量表，该量表比3D-SART 量表有更多的子维度，其中3 个一级维度分别为注意力需求。注意力供应和情境理解，各工况平均得分如图4 所示。工况一在VR 仿真平台平均得分为5.42，实物仿真平台平均得分为5.93，实物仿真平台的SA 略好于VR 仿真平台，具有一定相关性（r1=0.586）且无显著差异（p1=0.408）。工况二在VR 仿真平台平均得分为5.44，实物仿真平台平均得分为5.69，实物仿真平台的SA 略好于VR 仿真平台，具有一定相关性（r2=0.743）且无显著差异（p2=0.668）。工况三在VR 仿真平台平均得分为5.63，实物仿真平台平均得分为5.24，VR 仿真平台的SA 略好于实物仿真平台，具有一定相关性（r3=0.694）且无显著差异（p3=0.570）。同时，注意力需求、注意力供应以及情境理解3 个一级维度的得分差异不大，具有较好的一致性。其中，实物仿真平台对操作员的注意力需求较低，与操作员对实物仿真平台操作的熟悉程度有关。

图4 操作员在各工况下2 种平台的SART 量表平均得分

2.2 SAGAT

SAGAT 在各工况下的平均得分如图5 所示。工况一在VR 仿真平台平均得分为94.25，实物仿真平台平均得分为95.83，实物仿真平台的SA 略好于VR 仿真平台，具有一定相关性（r1=0.699）且无显著差异（p1=0.541）。工况二在VR 仿真平台平均得分为93.55，实物仿真平台平均得分为93.46，2 个平台得分非常接近，具有一定相关性（r2=0.623）且无显著差异（p2=0.979）。工况三在VR 仿真平台平均得分为95.47，实物仿真平台平均得分为95.07，VR 仿真平台的SA 略好于实物仿真平台，具有一定相关性（r3=0.715）且无显著差异（p3=0.383）。在3 种工况下，VR 仿真平台和实物仿真平台的SAGAT 法的SA 得分具有较好的一致性。

图5 操作员在各工况下2 种平台的SAGAT 平均得分

2.3 眼动评估数据

工况一各任务的注视率普遍略高于工况二与工况三，是由于工况一的任务特点需要关注整个屏幕，而工况二与工况三的任务在大部分时间只关注几个主要参数，因此注视率大部分不超过3 次/s，如图6 所示。2 种平台注视率在置信度0.05 水平下显著相关（r=0.570）且无显著差异（p=0.848）。

图6 操作员在各任务中2 种平台的注视率对比

VR 仿真平台的注视熵普遍略高于实物仿真平台，这是由于VR 环境中的视野较小，因此被试者需要进行频繁扫视与眼跳，各任务注视熵如图7 所示。工况二中任务9 和任务10 比任务7 和任务8 的注视熵更小，是因为任务9 和任务10 只需要调整航速，只须关注部分参数。同样，工况三中任务11 比任务12 和任务13 的注视熵更小，是因为卡舵时只需要按下停车减速即可，只须关注部分参数。2 种平台的注视熵在置信度0.01 水平下显著相关（r=0.956）且无显著差异（p=0.249），能够有效证明VR 仿真平台的模拟仿真效果不低于实物仿真平台的模拟仿真效果。

图7 操作员在各任务中2 种平台的注视熵对比

2.4 任务绩效

从工况一的6 个子任务的平均反应时间（r1=0.681）来看，实物仿真平台和VR 仿真平台有较高的一致性，且实物仿真平台的反应时间普遍低于VR仿真平台。主要原因是VR仿真平台的视野范围较小，部分参数不易查看，与实际视野范围有一定差异，需要对操作员佩戴VR 头盔操作进行一定培训。二者的完成率没有明显差异，任务3、任务4 和任务5存在未完成任务的情况，主要原因是横倾、纵倾和转速这3个参数在界面上不易被发现，需要对3 个参数的布局进行改进。从工况二的4 个子任务的平均完成时间（r2=0.996）来看，实物仿真平台与VR 仿真平台的相关性很高，其中，实物仿真平台任务7 的平均完成时间略大于VR 仿真平台。从工况三的3 个子任务的平均完成时间（r3=0.972）来看，实物仿真平台与VR 仿真平台的相关性很高。总体来看，2 个平台各个工况完成时间的一致性很高（r=0.988）且没有显著差异（p=0.899），见表5。

表5 各工况子任务平均完成时间

2.5 讨论

该研究的目的是通过评估SA 来验证仿真评估系统的有效性，对比实物仿真平台与VR 仿真平台对于实际操作的仿真效果，比较2 种仿真评估系统的优劣。该实验的3 组用户在SA 的评价指标方面并无显著差异，主要是由于3 组用户的专业知识水平、操作策略、操作技能以及对界面的熟悉程度等方面存在较大差异，影响人机工效评价指标的变量较多。由于注意策略不同，第三组用户对非重要参数的敏感性较低，导致工况一的任务绩效并不理想，而面对工况二、工况三中的复杂任务，第三组用户的完成率有明显提升，但同时他们对于任务完成的自我标准较高，从完成时间并不能准确反映该类用户的操作水平明显优于前两类用户。SA 取决于任务因素（工作负荷、压力、平台设计以及复杂度）和个人因素（目标、经验、预判、培训、知识水平以及能力），在不同工况及不同用户的影响下，3 类工况的SART 得分与SAGAT 得分的变化趋势均不明显。在测试中对实验环境设置进行了主观评价，其存在的主要问题有屏幕配色不适、分辨率低以及灯光颜色不适等，在后续的实验中，需要对上述问题进行改进。同时，实验样本量较少，也是影响统计学分析结果的主要原因，后续研究需要进一步增加被试样本的人数。

该研究方法可以应用于其他各类舱室的设计方案评价中，使用VR 技术在虚拟环境下对设计方案进行人机工效学评价，可以节省大量制造样机的成本，同时也可以取得与实物仿真平台基本一致的效果。

3 结论

该研究通过在VR 仿真平台和实物仿真平台上进行3 种工况任务操作，记录了包括SART、SAGAT、眼动指标以及任务绩效等多个SA 直接或间接评估指标。从上述指标的评价结果可以看出，实物仿真平台与VR 仿真平台在评价结果上存在较高的一致性（r>0.5），见表6。

表6 各工况各指标相关性

相比于实物仿真平台，VR 仿真平台具有更低的成本，这是由于没有实体的物理模型，因此修改设计方案时只需要修改VR环境中的模型和参数即可。该研究为舰船操作台在VR环境下进行方案评估的可行性与合理性提供了一定依据。但同时由于VR 设备的特殊性以及视野较小，因此被试者需要一定时间去学习和训练，并且容易产生视觉疲劳。今后仍需要对VR 场景设计及测试任务选择方面进行研究。例如通过改进信息优先级的设计来优化操作员的注意力分配策略，以提高SA；也可以通过优化界面颜色与亮度来减轻VR 环境中的视觉疲劳。