适用于GCS人因工程评估的低成本人手数据捕获技术研究

陈必然，曹建

（1.海装重庆局，重庆，400042；2.海军航空工程学院兵器科学与技术系，山东烟台，264001）

1 可行性分析

LM利用物体对红外照射不同特性而形成光场，在光场数据上，对手部特征进行数据处理与分析，可以比较准确的检测反射光场中的极点（如手指和物体尖端）和特定形状的较大范围反射面（手掌）。然后采用双摄像头由双目视觉原理获得深度图像，并形成深度场点云。通过驱动内部的分析软件在可视范围识别手、手势和工具。

桌面部署时，LM放置于手部下方平面，从成像的角度来看，LM存在着先天性的不足，特别是当手掌掌心的朝向发生突变时容易带来图像二义性问题。比如，手掌掌心垂直向下和垂直向上时所成的深度图像相近，法线方向由-90度快速变化到+90度时，会导致识别错误。虽然从V2版驱动开始，引入了骨骼追踪结合机器学习的匹配算法，提高了跟踪算法准确性，但由手掌法线快速变化带来的图像二义性仍然存在。幸运的是，对于GCS的操作控制而言，设备实操很少有快速翻转手掌的情况。

2 关键技术

每一帧数据提供可视范围内追踪数据、手势和整体运动各种参数（以列表形式提供），包含所有手、手指、工具的各种参数。手参数包括了手掌坐标（mm）、速率（mm/s）、法线方向等，手指又包含了每一关节的姿态参数。连续、实时保存如此巨大的数据是需要研究的关键。

为此，动作捕获从设计上着重考虑三点：一是采用单独后台程序，尽可能的节约硬件资源，避免丢帧；二是利用内存映像文件技术，采用共享内存存放截获的数据，使数据对系统内其它软件可见，也为日后其他扩展功能提供接口；三是建立数据读写缓冲区，并设置乒乓结构提高数据吞吐量，最终以二进制文件形式进行存储。

上述三点中，内存映射文件起到核心作用。其不光要保存重要帧数据，还要记录程序预处理后的特征数据，降低GCS评估时的运算量。

按照人因工程学原则，人机之间的关系可归纳为人机功能、信息、位置以及人机力的关系，研究的重点见表1。其中，“人机界面交互”重点研究如何确保人机界面各种类型控件及操作单元的交互满足地面操作人员高效、便捷、舒适的获取信息、执行操作控制的需求，是需要根据作业任务不断优化、完善的核心内容。对于GCS而言，不论作业任务是何种类型（情报监测类、指挥决策类、操作执行类），均是按照一定时序的硬件操作子动作序列。

在分析坐标系基础上， 基于指尖点、远指关节点、近指关节点和指掌关节点均处在同一平面内的假设条件，提出了两种基于关键点建模的手指模型：采用平面四边形约束食指、中指、无名指和小指中各关节关系；采用平面三角形对拇指关节进行建模，讨论了通用型操作的单一手指空间约束关系。

对于存在大量设备手柄、面板、开关交互的无人机操作，更加关系手部动作及设备交互的模型建立，为此建立多个手指的空间关系模型仍有大量问题需要解决。

为了支撑GCS人因工程评价工作，需要量化设计阶段“标准”操作动作和运行阶段实际手部动作差异。由于每一个人机交互操作过程，均可以按照时间序列分解成子动作序列，两个时序动作的差异性数据可以由子动作序列中若干“关键帧”的差异数据加权得到。上面的子动作“关键帧”我们重点考虑那些导致交互设备状态变化的起始和结束手部动作。在存储子动作手部坐标状态基础上，添加交互启停时间戳数据，就构成了交互过程序列化数据建模。

子动作匹配算法用于匹配标准数据与操作数据，将输出偏差值作为评估参数。其难点体现在两方面，一是不同人手部姿态的差异性，二是具体的匹配算法的运算强度。

为了对人手差异具有鲁棒性，设计阶段可以由多人操作，采集大量数据，归一化后作为训练样本集，通过分类算法生成“标准”值。

3 工作流程

按照GCS研制验证过程，利用LeapMotion实现低成本人手数据捕获分为如下三个步骤，设计阶段捕获研究人员及测试人员数据，结合交互界面空间分布，生成“标准手”数据→实战环境中，捕获无人机操作手部动作数据→数据回收后利用评估系统进行数据分析。

从数据流角度对上述过程进行分析。设计阶段采集大量数据，归一化后作为训练样本集，通过分类算法生成“标准手”值，并实现数据存储 。

4 实验结果

按照上文叙述的方法，由多人对测试设备旋钮操作进行了捕获，通过训练建立了旋钮操作的标准数据，并通过虚拟现实技术生成了“回放”数据的图像序列。

经过技术实验，文中的方法可以满足人手捕捉准确性与实时性的要求：从回放数据结果来看，准确性上虚拟手在姿态、运动等方面与真实手一致，实时性方面，满足ARAT标准。下一步的研究主要从三方面展开，一是通过实际使用，在捕获更多数据，进一步优化“标准手”数据；二是不断拓展采用空间约束的人机交互设备数据库范围，增大适用范围；三是研究细化利用LeapMotion实现低成本人手数据捕获评估的具体方法。

参考文献

[1]胡弘，晁建刚，林万洪等.Leap Motion 虚拟手构建方法及其在航天训练中的应用[J]．载人航天，2015，21(3):257-262．

[2]汪年结，刘宇，高浪等.基于机器视觉的抓握状态模型及其适用性[J].计算机应用与软件，2015，32(8)：166-169．