虚拟现实人机交互中多特征手势检验算法研究

摘 要：文章首先对虚拟现实人机交互的概念和常用方向进行探讨，在此基础上重点论述功能实现所建立的基础，提出通过仿真模拟来对多途径手势进行使用验证，帮助提升人机交互过程中各个手势实现的仿真能力。对于当前的交互功能实现，本文所总结的技术方法具有可行性，应用在设计阶段安全且稳定。

关键词：虚拟现实；人机交互；多特征手勢；检验算法

中图分类号：TP301 文献标识码：A

1 引言（Introduction）

虚拟现实技术是一种利用程序汇编和光学原理，来营造出仿真的游戏氛围，从而实现玩家对计算机内场景更真实的体验[1]。虚拟场景人机交互技术实现了计算机与使用者之间的交融汇合，对游戏内部场景体验也变得更贴近真实场景。应用该项技术展开虚拟设计，实现场景内部更真实的交融汇合。当前设计方案中比较常见的内部控制问题虚拟现实技术应用在识别系统中，能够将所捕捉到的真实场景转化成为虚拟场景，并在系统内部自动识别扫描，在此环境下所开展的各项安全识别功能能够更好的实现[2]。当前虚拟现实技术应用广泛，在不同场景内使用均得到体现。该项功能实现在算法上有很大差别，需要技术人员掌握这一特征，并从更深层次进行分析，选择一项能够促进场景交换任务全面进行的汇编程序，为控制管理任务进行建立一个适合的基础环境。

2 虚拟现实技术常用方向（The common application

fields of virtual reality）

在一些需要仿真的环境中常常使用到虚拟现实技术。通过建立起适合现场工作任务进行的环境，实现对需要构建场景的高度仿真，在技术层面上也能达到更理想的仿真交互效果[3]。手势检验算法是虚拟现实技术应用中比较常用的范围。通过建立起适合工作任务进行的虚拟仿真环境，对数据运算进行检验，从而更全面了解当前的工作运行使用环境。有关于现场工作任务的开展，建立起适合的环境也十分重要。常用方向大部分都涉及需要虚拟交换的场景。应用该项技术后，不仅所交换的场景内部环境得到控制，计算机所模拟出的场景也与实际情况相符合，更有利于控制计划进行，使用者也能更全面地感受到内部场景变化。目标跟踪也常用该项技术进行。根据不同用户使用需求来展开跟踪，进行场景之间的交互跟踪，建立在虚拟现实场环境内的跟踪体系，不仅反应速度快，对信息的处理效率也会有明显提升。

3 基于手势的人机交互的主要任务与配置（The

main tasks and configurations of human-computer

interaction based on gestures）

3.1 位置跟踪

建立在人机交互环境下所开展的位置跟踪技术，首先需要一个适合的汇编语言环境，建立起位置跟踪目标，并熟悉掌握各个功能模块之间联系体系。接收器是跟踪功能实现的基础部分，对于所建立的手势验算体系需要从综合控制层面开展，运动跟踪难度较大。处于该种环境下进行的各项综合均处于合理分配环境下，跟踪器与现场各项功能之间需要更合理配合，发现影响因素后采取技术性方法解决，才能达到理想的控制效果。基于手势检验方法所开展的各项人机交互任务，位置跟踪只是功能之一，采用鸟群运算方法后所得出的运算结果在功能上更加合理，各个控制接收器之间也能够更合理的配合。运动环境跟踪难点在于参考点是动态的，应用虚拟现实技术后动态点也变得更加具体，从而达到运动过程中变化参数更精准的捕捉。

3.2 头盔显示器

虚拟现实技术将操作者带入到计算机系统中所呈现的画面内，头盔显示器需要与运动跟踪器结合使用，佩戴头盔显示器后能够将使用者带入到运动的场景中，从而达到更理想的使用效果。模拟出人机交互运行状态，随着运动进行，这种控制功能也能得到更好的提升。头盔显示器应用的呈像原理与常规状态不同，能够显示出与真实场景相近的内容，快速将人物带入到计算机所虚拟的视觉环境内。无论是游戏还是训练使用，这种技术方法所营造出的氛围更加逼真。同时应用第一视觉所进行的各项现实系统控制也十分有效，建立起长期的工作环境能够帮助提升最佳显示使用效果。虚拟现实技术只是一项程序显示技术，需要进行算法与实际程序之间的转换，具体呈现出的内容还需要进行开发设计。

4 基于手势的人机交互过程及关键技术（Human-

computer interaction process and key technology

based on gestures）

4.1 交互过程

手势是虚拟现实技术中仿真实验的一种，受训者手部运动会通过一系列数据检验算法传输到计算机系统运行控制中，传感过程中任务的手部运动模式与现实情况之间存在很大的关系，传感器输出的参数是后续控制计划进行所参照的依据。交互主要是任务与虚拟场景之间的一个交换过程。建立拟人环境后通过这种方法能够达到更理想的控制效果。通过对虚拟场景下的手势运动捕捉，感应数据手套中有大量的数据捕捉点，运动期间这些参数数据都是不断变化的，通过这种方法来达到更理想的控制效果，从而实现全面控制计划[4]。手套佩戴后需要对各个感触点进行校正，达到最佳使用效果，虚拟系统内所显示的各项参数也能达到与实际情况相一致的效果。对于当前环境下比较常见的使用功能问题，建立一个长期性的虚拟场景，从而实现对参与训练者手部运动的捕捉。整个交互过程如图1所示。

观察图1可以发现，准备工作结束后进入到更深层次的使用功能中，佩戴者需要操纵手部动作并实现各个系统之间更全面的控制功能，有关于使用期间数据捕捉的需求，建立在这一环境中也能实现全面参与效果。手势识别功能实现后可以进入到具体的虚拟操作流程中，在虚拟现实技术中实现对手势运动的具体划分控制，从而达到更理想的设计控制效果。当前常用技术性方法中，建立起使用效果并观察各个系统之前的配合能力，也能帮助全面提升工作积极性，为管理计划开展建立一个稳定的基础环境[5]。手势识别开展与其他层面的管理控制功能之间有很大关系，这也是系统运行控制中所必须要达到的部分。只有建立起需要的功能，接下来开展手势控制才能更顺利。endprint

4.2 虚拟手建模

利用虚拟现实技术来进行手势变化虚拟仿真，需要根据手势检验算法来开展基础建模，建立起适合工作任务进行的仿真环境。首先是将手部进行分解，设置换分出不同的控制环境，观察控制任务开展期间是否存在可能会影响信息传输的风险，对风险部分做出预防控制。虚拟手的分解可以分为两部分：手掌与手指。其中手指還可以继续划分成为五个不同的手指，分别进行多种控制。仿真虚拟建模想要针对这五个手指与手掌分别进行，技术允许的情况下还可以对不同控制关节进行仿真建模，这样仿真手运动控制也能更符合实际情况，在运动功能上与实际使用需求保持一致。虚拟手与现实手的运动均处于仿真环境下，常规环境中开展各个控制管理任务都需要观察手部运动变化，在关节控制作用下手指与手掌部分相互配合，根据指令来完成不同动作。设计建模期间要尽可能地减小指令间隔时间，这样仿真手与现实的手部运动在频率与动作幅度上能保持高度一致[6]。配合虚拟现实技术所开展的各项仿真功能，建模过程中会针对各个手指关节进行坐标定位，这样在运动中才不会产生隐患。常见技术性问题配合实际使用需求来深入研究，从而实现对仿真手灵敏度的提升。建模期间发现坐标中存在问题，能够通过控制方法来进行完善解决，帮助达到最佳设计管理效果。一旦所建立的模型正式投入使用，运动反应不灵敏的现象将长期存在，难以通过技术性方法解决。

4.3 数据手套校正

数据手套通常是统一制作并出厂使用的，生产过程中容易出现数据参数误差问题，需要统一校正，最终数据结果准确才能投入到使用中。数据手套校正需要佩戴并检验数据结果，这样校正任务进行才能保证最佳效果，避免在设计中产生隐患问题。传感器在捕捉数据期间，与真实的手部运动很容易产生误差，校正检验期间要掌握这一误差隐患，计算出数据的正常控制范围，并建立起更高效的控制管理环境，系统之间相互配合来实现更强大的控制功能。数据手套校正还包括两根相邻手指之间的间隔和张力，将所检验得到的数据与正常范围内的数据进行比较，从而判断设备是否可以正常使用，以及在功能层面上需要继续深入完善的部分。不同训练人员手部大小和运动模式存在差异性，校正期间要掌握这一差异性，设置出手掌部分运动的具体范围，并结合实际技术性方法加以控制解决，这样数据手套使用时可以满足不同方向的需求，在控制能力上也会得到明显提升。校正需要在最大范围与最小范围控制内进行，对数据验证也能更高效开展。

校正时仅需受训者戴上数据手套，做以下三种手势：（1）五指并拢平伸；（2） 握紧拳头；（3）手指尽量张开。上述三种手势数据手套18个传感器的输出分别记为最小弯曲（张幅）值WanQuMin[n]、最大弯曲值WanQuMax[n]、最大张幅值ZhangFuMax[n]（其中n=0，1，…，17，表示18个传感器编号，前14个表示各手指及手掌传感器，后4个表示指间张幅传感器）。

4.4 虚拟手驱动

虚拟现实人机交互过程中的手部运动和控制功能实现，需要建立在驱动器基础上，通过建立一个适合的基础环境，达到更加丰富的控制效果。驱动设计需要考虑在功能上是否存在数据交互问题，并保持手部姿势与所需要训练的动作一致，这样在检验过程中即使存在功能隐患问题，也能更好地控制解决。佩戴数据传输手套后进入到驱动模块中，各个系统之间的相互配合工作也能达到与实际情况相一致的内容。发现虚拟驱动功能与现场交互任务之间存在相近的部分，可以改变进入到下一姿势训练中。佩戴者能够熟悉掌握虚拟现实技术所模拟出的场景与实际情况之间的不一致，也能达到更高效的使用效果。手部在完成旋转等高难度动作时，参与到其中的关节数量多，参数捕捉也存在一定难度，对此需要进行全方位控制。驱动设置后需要与虚拟手之间相互连接，在运动过程中进行更高效的数据传输。利用虚拟转换技术来模拟出更真实更高效的现实场景，达到最佳设计控制效果。

训练人员戴上数据手套，完成各种手势，此时数据手套各传感器的输出记为：Input[n]（其中n=0，1，…，17）。虚拟手每个指段及手掌的弯曲、旋转角度由下式决定θ1[j]=（Input[n]–WanQuMin[n]）×90/（WanQuMax[n]-WanQuMin[n]），j表示各指段及手掌的编号，j=0，1，…，13；n=0，1，…，13。

指间张幅角度由下式决定

θ2[k]=（Input[n]–WanQuMin[n]）×60/（ZhangFuMax[n]-WanQuMin[n]）

k表示指间张角编号，k=0，1，2，3；n=14，15，16，17。

上述运算过程便是在不同动作指令下驱动器对手势的检验和运算原理，其中包含可能会影响到数据稳定性的各项控制能力。运算检验是建立在长期工作环境下的，具体使用过程中要掌握这一特征，选择合理运算公式，并在检验过程中进行算法与实际方案之间更合理的控制，达到最佳运算管理效果。选择正确的检验方法能够帮助确定最合理的虚拟受控制系统，实现虚拟现实技术中人机交互的手势算法验证，同时将时间间隔控制在最佳范围内。

4.5 手势定义和识别

训练过程中不同手势所表达的含义也有很大差异性。要尊重并掌握这一差异性，进行更深入的内部控制。观察到手势变化后便能将其转换成为一种手势语言。手势分为静止与动态两种。对虚拟手各项变化数据进行捕捉时，首先要确定是出于静止状态还是动态变化模式，在此基础上进行更深入的变化判断。手势定义也是虚拟现实技术实现的一个重要基础。确定系统运行变化中所存在的动作改变，再进行更深入的现场控制，也能模拟出实际变化环境。将现实中的手部变化动作通过信号接收器传输到系统内部，系统内接收到这一信息后会自动识别并发出与之相对应的控制指令，虚拟手接收到之后在计算机系统内的控制才能随之开展。

为保障传输过程中的数据灵敏度，通常会设计18个感应器，分别位于不同关节位置，捕捉更灵动的运动效果。参数转变过程中这18个感应器会汇合成为最终5个手指部分的运动程序，检验算法公式如下：endprint

Y F Input，Input Input=…（[0][2]，[17]）

其中，Input[n]（n=0，1，…，17）表示數据手套传感器输出，Y={1，2，3，4，5}，表示 5 种手势中的一种。

算法公式中所得出的数据结果会结合在实际运算内容中，形成更长期稳定的效果图，函数便是所形成的表达数据内容之一。

4.6 多特征手势检验算法应用

手势运动形式较多的情况下，检验算法也要与之保持一致，观察是否能够从技术层面加以强化，促进最终的控制功能不断提升。仿真训练中比较常用这种方法。操作人员通过这一技能来达到更高效的虚拟场景操作控制，并避免在接下来设计控制中出现影响最终功能实现的风险隐患。不同使用功能趋势下手势检验也可以继续深入改变，优化设计过程中需要的部分，通过这种方法也能达到更理想的控制效果。应用该算法在不同的人机交互实验中，都应该确定一个综合使用功能，并根据功能来不断地强化完善，对系统所进行的控制也能达到更理想的效果。人机互换是建立在虚拟现实基础上进行的高仿真任务，充分控制各个系统之间的配合程度，来营造出更适合的控制环境。

5 结论（Conclusion）

本文研究了虚拟训练中基于手势的人机交互及其关键技术，给出详细的实施方法与步骤，实际应用表明本文方法可以让受训者感觉真实自然的交互。动态手势在虚拟操作中占有重要的地位，目前还没有成熟的方法。对于复杂的动态手势识别，还需要今后进一步地加以研究。

参考文献（References）

[1] 蔺薛菲.虚拟现实三维场景建模与人机交互应用技术研究[J].艺术与设计：理论版，2017（4）：100-102.

[2] 吕静.基于虚拟现实技术的软件界面设计与研究[J].赤峰学院学报（自然版），2017，33（01）：6-8.

[3] 张宁，刘迎春，沈智鹏，等.虚拟现实技术在专门用途英语教学中的应用研究综述[J].计算机科学，2017，44（s1）：43-47.

[4] 张俊，王誉洁，陈凯，等.虚拟现实场景漫游技术的实现及其在规划领域的应用[J].城市勘测，2017（3）：35-37.

[5] 蔡雷，李岩.虚拟现实与3D打印技术深度融合——以北京市第六十五中学特色课程为例[J].中小学信息技术教育，2017（01）：60-61.

[6] 孔祥溢，王任直.虚拟现实技术在神经外科手术规划及教学培训中的应用[J].中国医学物理学杂志，2017（06）：641-643.

作者简介：

赖晶亮（1977-），男，硕士，讲师.研究领域：人机交互，图像处理，职业教育.endprint