基于视线追踪的三维模拟灭火救援培训效果评估

胡瑾秋 胡静桦 张曦月

（中国石油大学（北京）安全与海洋工程学院，北京 102249）

0 引言

视线追踪技术能够分析操作者的心理过程，适用于监测与识别设备系统操作者的认知状态。近年来，对视线追踪技术的应用包括医疗安全、驾驶安全、视觉搜索和信息处理等方面[1-4]。文献[5]使用视线追踪技术来评估新手和驾驶熟练的飞行员的操作行为并判断其认知状态。文献[6-7]对外科医生的操作熟练度进行判断，发现经验较少的外科医生视线主要集中于手术显示器而忽视患者的生命体征。文献[8]中使用眼动数据识别专业车手和新手，将视线注视情况与道路环境相关联以评估驾驶员的行驶状态。同时，相关学者也开展了一系列眼动追踪系统软硬件以及认知行为评估等关键技术的研究[9-11]，在提高注视点标定准确度等方面取得了一定的成果。因此，视线追踪技术能对各个领域中操作者的认知状态进行有效的监测，从而实现异常行为的早期预警。

本文利用视线追踪系统结合灭火救援指挥三维计算机模拟训练平台开展基于视线追踪技术的油库灭火应急救援能力评估。针对稳定燃烧型火灾模拟实验、爆炸型火灾模拟实验、火灾救援中冷却与供水实验等场景，通过分析操作人员的各项眼动数据建立以眼动数据为指标的救援能力评估模型。

1 眼动分析实验

本实验利用灭火救援指挥三维计算机模拟训练平台（简称灭火救援系统），研究实验人员在模拟油罐火灾发生后的灭火救援能力。实验场景设计为某厂区一个拱顶油罐的火灾，实验模拟的火灾类型包括灭火救援系统中的稳定燃烧型火灾模拟实验、爆炸型火灾模拟实验、沸溢型火灾模拟实验以及敞开式火灾模拟实验。在实验过程中，操作者通过选择正确的消防灭火剂及其流速和流量，利用键盘、鼠标控制人物行走和消防枪的位置姿态，对着火油罐进行灭火救援。当火量减少为0时视为当前任务成功，同时设定规定实验时间为240s，若测试者在规定时间内无法完成上述整个流程，则实验记录将会自动停止，视为实验失败。部分阶段的操作界面，如图1。

在实验期间，测试者操作灭火救援系统对异常事件进行处理的过程中，其各项动作均被视线追踪系统记录下来，包括视线的移动、鼠标的点击移动以及对各项参数的输入。

图1 实验兴趣区域划分Fig.1 Shape of various AOIs in the experiment

图2 热点图Fig.2 Eye movement hotspot map

2 失误模式与失误特征提取

2.1 兴趣区域划分

实验结束后，利用眼动分析软件得到的热点图像可以直观地展现测试者在操作过程中的视线停留情况。如图2是一位典型测试者在测试部分阶段的热点图像，热点区域颜色较深部分表示测试者在该区域的注视时间较长，因此从图中可以看出测试者在实验过程中对某些区域展现出较大的关注度，分配趋势大致是以系统给出的文字提示为主，并且在实施灭火救援阶段对火量和具体火情较为关注。

对规定目标区域的眼动指标的分类分析可以将数据的有效性最大化并且使校准误差最小化。因此我们依据对热点图的分析，将整个实验系统中的10个特定的区域设置为兴趣区域，其中包括4个提示栏模块、3个选择输入模块、1个火量显示模块、1个火势模块以及1个实验开始模块。兴趣区具体的形状、大小的划分情况，如图1文字标注。

2.2 测试者认知行为分析

利用眼动数据分析软件对兴趣区域进行划分，通过数据统计可以得到测试者在各个区域的注视时间。图3是一位典型测试者在进行稳定型油库灭火救援实验时在各兴趣区域注视时间的分布情况。

图3 典型测试者各兴趣区注视时间分布Fig.3 The fi xation time distribution of each AOI of typical subjects

从图3可以看出，测试者在提示栏模块和选择输入模块的注视时间较长，分别为40.7%和35.4%，在火势模块的注视时间最少，仅为2.3%。这一结果表明，在实验过程中测试者对于提示栏模块以及选择输入模块的重视程度是最高的，同时灭火剂种类的选择及其流量、流速的设置也都是测试者们在进行实验时所关注的重点。

2.3 失误特征的提取

在以上数据分析阶段，发现进行失败操作的测试者的眼动数据与典型操作具有不同的特征。因此按不同眼动特征对这些测试者的眼动数据进行分类，并按其操作方式定性为不同的认知状态。将这些认知状态与安全行为科学原理中关于人为失误分类方法的概念法分类结果（偏离、疏忽、错误）相结合，最终得出3类人为失误的失误模式：精神萎靡、高度紧张以及操作生疏，如图4。从而将实验结果按认知状态分为4组：A组：测试者正常操作状态；B组：测试者精神萎靡状态，包括测试者疲劳或在实验期间受其他因素的影响；C组：测试者高度紧张状态；D组：测试者操作生疏状态。包括未培训以及培训完后未掌握操作技巧的人员。

图4 失误模式分类Fig.4 Fault pattern classi fi cation

将这4组在各个目标区域的视线停留时间进行对比分析，得到其注视时间分布图，如图5。图中横坐标按4种状态在不同区域的注视情况分类，纵坐标为该组在该区域视线停留时间占总时间的百分比。

图5 4类测试者各兴趣区注视时间分布Fig.5 The fi xation time distribution of each AOI of the four types of subjects

从图5中可以看出：B组在提示栏模块和选择输入模块的注视时间远低于A组，分别为25.4%和24.5%，而在火势模块上远高于A组，达到了23.2%。C组在实验开始模块的注视时间远高于A组，达到了24.4%。D组在提示栏模块和选择输入模块的注视时间远低于A组，分别为20.4%和18.5%，而在火势模块和火量模块上远高于A组，分别达到了16.1%和29.8%。

划分兴趣区域后，利用眼动分析软件可以得到测试者在不同区域之间的转移频次，因此使用统计估算建立一步转移概率矩阵，将测试者注视在各个兴趣区的情况作为所要构成的马尔可夫链中的一个状态，然后统计出测试者在不同区域之间转移的概率。设1，2，3，4，5分别对应操作者注视实验开始模块、提示栏模块、火势模块、选择输入模块及火量模块。aij为由i区域转向j区域的频数。如a23表示测试者当前的注视点为提示栏模块即处于2区域，下一注视点转换为3区域（火势模块）。

设∑nj=1aij=ai（i,j=1,2,…n），那么由状态i转向状态j的转移概率为fij=aij/ai,（i=1,2…n）。在数据统计后，将测试者的转移频率近似地认为是转移概率。这样可以得到4组状态测试者注视点马尔科夫链的一步转移概率矩阵：

当i=j时，对应所建立的马尔可夫链一步转移概率矩阵对角线上的数值，依据转移矩阵的定义，该数值能够反应出测试者们在各个兴趣区域内停留重复注视的概率。通过对以上4个一次转移概率矩阵的分析并结合兴趣区域的划分，对各组矩阵对角线上的概率值分析可以发现：与A类测试者对比，B类测试者在火势模块上的重复注视概率较大，D类测试者在火量模块的重复注视率较大，其结果与各兴趣区域注视时间分布的分析一致。而C类测试者对各个兴趣区域的重复注视概率都比正常操作时的重复注视概率大的多，表明了该类测试者的注视视线的转移频率较低，易处于长期注视某一兴趣区的状态。

2.4 典型人员失误特征

通过对测试者进行油库灭火救援眼动实验所得到的眼动数据的统计分析，最终提取出了3类典型失误模式，即精神萎靡、高度紧张以及操作生疏的眼动失误特征，见下表。

表 典型失误模式及其特征Tab. Typical failure mode and its characteristics

3 案例分析

为了证明之前所提取的失误特征的有效性，选取了其中一名无任何灭火救援培训的测试者进行进一步的验证分析。测试者首先在未接受培训的情况下针对4种类型火灾进行模拟现场灭火救援实验，以模拟认知状态为操作生疏类型的人员的操作，同时对其操作过程中的眼动数据进行采集。在进行灭火救援操作培训后，同一名测试者重复以上实验以模拟正常认知状态时的操作。

通过统计以上两组不同认知状态下实验所得到的眼动数据，最终得到了该测试者两次实验的各个兴趣区域注视时间的分布，如图6。

图6 案例中兴趣区注视时间分布Fig.6 The fixation time distribution of interest zone in the case

从图6中可以看出，测试者在未进行灭火救援操作培训时，其视线在火量模块的注视时间较高，达到了25.5%。在熟练掌握实验的操作技巧之后，该测试者的在火量模块的时间占比下降了到了5.4%，并且在提示栏模块以及选择输入模块的停留时间明显上升，分别达到了42.7%和32.4%。

由此可以看出测试者在正常操作状态下以及操作生疏状态下的视线分别集中于不同的特征区域。因此，也验证了提取测试者在操作过程中在提示栏、选择输入以及火量模块的注视时间作为识别两种认知状态的特征值是有效的。

4 结论

（1）针对现有的对于油库灭火救援能力评估大多依赖于主观判断的情况，本文利用视线追踪系统和实验室灭火救援三维模拟训练平台实现了对模拟油库灭火救援实验时的眼动数据收集。提出了以眼动数据为指标的测试者失误模式识别方法，从而实现对操作者操作状态和认知行为的监测。

（2）本文通过对实验界面进行兴趣区域划分，分别分析4类测试者在不同兴趣区域的注视停留时间分布，并通过建立在不同区域间的一步转移概率矩阵，最终得出了3类失误模式的失误特征：精神萎靡者视线长期注视火势模块，高度紧张者视线转移频率较低，操作生疏者视线长期注视火量模块。

（3）利用操作者在不同区域的注视停留时间分布及其视线转移情况可以判断其认知状态。这一结果对研究训练平台的培训效果评估具有一定的现实意义，有助于明确培训方向，完善培训体系与内容。