基于Unity 的水电站安全操作仿真平台设计

孔吉宏，丘恩华，吕毅松，罗茜，周鸿雁

（南方电网调峰调频发电有限公司，广东 广州 510630）

随着计算机技术的发展和5G 高速通信应用的深入，虚拟现实(VR)技术成为了当前的研究热点之一。VR 技术可以借助一定的硬件环境，通过计算机生成可以给人体带来感官刺激的虚拟环境，并在该环境下完成人机交互[1-11]。在VR 中，人体的视觉、听觉、力觉、触觉均得到了完整的反馈，消除了人与计算机之间的隔阂，做到了真正的人机交互。对于电力系统，从业人员经常处于危险作业环境下，相关人员只有具备足够的专业技能、熟练的业务能力才能保证人身和设备的安全。目前，电力系统使用的培训环境大多是小型化、离散化的，与实际的生产环境存在差距。若引入VR 技术，建立操作仿真平台，可以大幅度提升电力系统的培训水平。

基于以上背景，该文对虚拟现实技术中的软硬件平台搭建方法、手势跟踪识别算法进行了研究。针对某水电站设计了一套安全操作仿真平台，通过虚拟环境模拟实际生产环境，提高从业人员的专业技能与实操能力[12-15]。

1 理论基础

1.1 手势跟踪识别算法

为了实现人体和水电站虚拟环境的交互，需要引入手部感知识别软硬件系统。在此之前，应先建立虚拟环境下的手部模型，提供手的姿态、位置以及动作等信息。具体的属性如表1 所示[16]。

表1 手部信息采集

手部模型的指尖方向向量、手掌方向和法向向量如图1 所示。

图1 手部模型示意图

当前的手部跟踪算法主要有两类：1）检测前跟踪(TBD)；2）检测后跟踪(DBT)。相较于DBT，TBD 算法需要保留手部的全部采集信息，然后对数据进行联合处理。由于在进行特征判决时基于多帧数据信息，因此TBD 算法具有更高的检测成功率，但其数据处理负荷更大，对于硬件的要求更高。该文面向的应用场景为电力生产，对于算法的识别精度有较高的要求，因此采用了TBD 算法。首先进行均值滤波：

其中，N是像素总量。均值滤波通过像素点(x,y)周围的N个像素点构成滤波窗口，用均值替代原有的像素值，对原始的手部关节运动轨迹进行降噪，避免因为抖动而引起噪声影响。经过均值滤波后，手部骨骼节点的空间坐标变为：

滤波完成后，对帧特征进行特征提取。首先定义手掌掌心坐标p、指尖坐标fi：

由此可以得到手势序列的结构特征以及指尖到掌心的欧式距离：

由于手势识别是通过连续的帧进行判别，因此可以借助连续序列来定义序列特征。对于式（3）和式（4）所定义的手部模型，当i=1,2,…,5 时，可以组成六元组Ti={p,f1,f2,f3,f4,f5}。利用该六元组的平均值、标准差和均方根作为序列特征：

除了结构特征和序列特征，在手势的动态变化中，其空间特征也会发生改变。为了描述出这种改变，首先需要定义掌心到中指尖的向量为空间中的基向量：

根据基向量，可以得到手势在空间中与x、y、z轴的夹角余弦值：

1.2 平台设计

为了保证水电站安全操作仿真平台功能的完整性，该文基于系统工程学的思想对平台进行需求分析，设计了图2 所示的系统功能模块。

图2 仿真平台功能模块图

从图2 中可以看出，系统包括设备学习、设备拆装、水电站虚拟漫游和培训内容考试四类。每个模块的具体功能如下：

1）设备学习

电力系统的安全、稳定运行离不开设备的平稳运转，建立水电站仿真操作平台是为了让全体运维人员深入了解运行设备。在水电站中，包含水轮机、发电机组、高压断路器、隔离开关等多种设备。通过引入虚拟现实系统进行设备虚拟化操作、巡视，学习设备的工作原理可以更优地提升运维人员的专业水平。

2）设备拆装

该模块可以为运维人员提供虚拟化的实操环境。运维人员通过对电力设备的拆装，可以更细致地了解设备的内部结构，深入学习电力设备的运行机理，提升自身的技能水平。

3）水电站虚拟漫游

该模块基于实际的水电站生产环境，采用虚拟现实技术构建虚拟的站内场景，对水电站进行1∶1真实展现。运维人员可以借助VR 设备，实现站内的沉浸式虚拟漫游。在漫游过程中，运维人员完成对站内重要设备、关键节点的巡视。

4）培训内容考试

该模块可以基于上述的设备学习、设备拆装、虚拟漫游等培训项目进行考核鉴定。通过虚拟现实技术配置实操题目，运维人员可以在虚拟环境中完成培训与考核。该模块的引入实现了整个仿真平台业务流程的闭环。

2 系统实现

2.1 平台搭建

为了实现图2 描述的安全仿真平台，需要借助VR 硬件，该文使用的是LED-CAVE。其可以通过手柄和数据手套上的70 多个传感器记录数据，生成目标的空间位置，借助双目成像技术感知虚拟环境。LED-CAVE连接的PC作为软硬件的结合点，共有8台高性能图形工作站，其中1台作为主控机，另外7台作为渲染集群机控制LED 主控设备进行湖面呈现，所有工作站均在局域网内，每台机器的配置均如表2所示。

表2 计算机配置

从表2 可以看出，PC 上配置的软件开发工具为Unity 和MiddleVR。Unity 是一款用于大型游戏设计的专业软件，可以通过物理模拟、法线贴图、动态阴影等资源完成场景渲染。在工作时，Unity 通过可视化工作流完成场景布局、资源绑定，极大地提升了VR 开发的效率。而MiddleVR 是一款专用VR 开发插件，其支持LED-CAVE 交互设备并提供了全面的设备接口。通过书写配置文件，即可将软硬件无缝结合，实现人与虚拟世界的交互。

在开发的过程中，为了将MiddleVR 添加到Unity项目中，因此需要将其链接到MiddleVR 的通用部分，以驱动摄像机和3D 节点的所有脚本及插件。在MiddleVR 安装的数据文件夹中找到MiddleVR Unity，然后导入该数据包并添加MiddleVR 和Plugins两个文件夹，具体的配置方法如图3 所示。

图3 UI交互配置图

配置完成后，对编程环境进行交互配置。首先创建交互脚本：

using Unity；

using MiddleVR_Unity；

随后，借助MidlleVR 中的设备管理器MiddleVR.VRDeviceMgr 添加所有的输入设备，并在设备管理器中配置添加多个Wand。添加完成后，如需访问他们的输入数据，则只需通过调用命令来检索Wand：

vrWand myWand=

MiddleVR.VRDeviceMgr.GetWand("MyWand Name")；

由于MiddleVR 和Unity 使用了不同的坐标系，因此，当用户从MiddleVR 的添加输入设备获取3D坐标（3D 矢量、四元数、矩阵）后，必须借助MVRTools.ToUnity(·)函数再将其转换为Unity 坐标；当用户从Unity GameObject 获取3D 坐标并在MiddleVR 节点或跟踪器上对其进行设置时，需要先借助SetPos itionVirtualWorld(·)函数从Unity 转换为MiddleVR 坐标系。

如图4 所示，穿戴好动作捕捉设备，进入系统程序调试完成之后，利用设备操纵场景中的虚拟人物进行动作，可以给系统使用者带来真实的体验感。

图4 视界可达性与动作舒适性验证

图5 给出了虚拟手的操作示意图。通过Unity 和MiddleVR 的交互接口完成虚拟手在场景中进行事件、响应操作，例如实现抓握、松手、五指动作指令等。图中给出了拾取/放置、拆卸/装配等操作的仿真图示。

图5 设备操作虚拟操作示意

2.2 手势跟踪识别性能分析

为了评估该仿真操作平台在进行设备操作时对于手部动作的识别精度，该文征集了102 名参培学员，针对13 种手部动作录制了数据集。在该数据集中，每位参培学员针对同一动作录制10 次，共得到了13 260 个视频序列，每个序列的分辨率为640×480，长度1～2 s，帧率为每秒30 帧。

在分类时，文中使用支持向量机(SVM)算法，仿真使用的核函数为线性径向基高斯函数。在仿真时，使用60%的样本数据作为训练集，其余40%的样本数据作为测试集。完成上文所述的手部特征提取后，最终每个动作的识别准确度如表3 所示。

表3 该文算法的仿真结果

从表3 可以看出，该系统在进行手部动作识别时，对大多数的手部动作识别准确度均在85%以上，平均识别准确度达到了87.2%。但对于两指捏、捏放这种相似动作，容易产生识别混淆，故而平台在该动作的识别上仍有一定的优化空间。

3 结束语

该文基于某水电站的实际生产环境，利用VR 设备、Unity、MiddleVR 等软硬件平台进行虚拟化，并对手部的动作跟踪和识别方法进行优化。在虚拟化后的环境下，从业人员可以实现设备操作、设备拆装、虚拟漫游等功能，电力从业人员在该系统中，可以通过视觉、听觉、触觉等多种感官完成培训，从而有效提升作业人员的培训体验和电力行业的培训水平。该文的研究内容符合电力培训的发展趋势，具有较强的应用价值。