航天员虚拟交互操作训练多体感融合驱动方法研究

邹 俞，晁建刚，杨 进



航天员虚拟交互操作训练多体感融合驱动方法研究

邹 俞，晁建刚，杨 进

(中国航天员科研训练中心，北京 100094)

针对航天员虚拟训练中的人机自然交互问题，基于体态/手势识别和人体运动特性，提出一种多通道数据融合的虚拟驱动与交互方法。结合Kinect设备能够完整识别人体姿态特点及LeapMotion设备能精确识别手势姿态的优势，提出了基于判断的数据传递方法，在人体关节识别的基础上对手部关节进行识别与数据处理计算，采用多通道体感识别融合方法将二者结合，并进行了实验。结果表明，通过采用LeapMotion和Kinect对手部识别的判别，当手势在LeapMotion识别范围内，能够在实现人体体感识别的基础上增加较为精确的手势识别。此方法成功实现了人体姿态识别和手势精确识别的结合，可应用于航天员虚拟训练中的人机自然交互中去。

航天员；虚拟训练；体感识别；数据融合；交互

近年来，随着虚拟现实(virtual reality, VR)技术工程应用的逐步成熟，利用数字仿真，构建虚拟空间和交互环境的方法也逐渐发展，为航天员训练提供了一种新的方式。通常模式下，航天员虚拟交互选用数据手套，实际训练中无形增加了操作的非自然性和干涉性，工程实用性欠佳。基于视觉体感交互的虚拟训练方式的引入，使航天员在虚拟环境中的自然交互操作训练成为可能[1]。

目前，市场上成熟的视觉体感交互设备主要分为两种：一种是以Kinect为代表的采集全身姿态的体感设备，用以驱动全身虚拟交互；另一种是以LeapMotion为代表的采集手部姿态的体感设备，用以驱动手部虚拟交互。但在实际工程应用中，前者很难精确采集到交互主体手部的精细化动作，后者又无法采集人体整体姿态。单一设备使用无法构建实际训练中以手部操作为主体、以全身姿态为基础的整个人在回路中的虚拟自然交互环境。

针对上述工程应用问题，本文基于体态/手势识别和人体运动特性，在航天员训练中提出一种多通道数据融合的虚拟驱动与交互方法。在交互识别上发挥Kinect识别范围大，能够对整个人体的三维深度图像进行追踪和姿态识别的优势，结合LeapMotion对手部的三维深度图像进行精确地追踪和手势识别的特点，采用多通道体感识别融合的方法在人体关节识别基础上，对手部关节进行识别与数据处理计算，形成了逼真的人在回路中的虚拟自然交互训练系统[2]。

1 研究现状与基本原理

1.1 国内外研究现状

美国宇航局(National Aeronautics and Space Administration，NASA)以及美国国防部自上世纪80年代开始进行了航天员虚拟训练仿真研究。随着VR技术的日益成熟，航天员虚拟训练仿真研究取得令人瞩目的成果。美国国家航空航天局虚拟手套(NASA Virtual GloveboX，简称VGX)系统[3-5]利用数据手套和力反馈设备采集输入手姿态信息，通过立体显示和计算机实时仿真实现一种桌面半沉浸式仿真训练系统，如图1所示，利用该设备可以进行航天员虚拟操作仿真实验。如图2所示，欧洲空间局的航天员训练虚拟环境技术(Virtual Environment Technology for Astronaut Training, VETAT)测试系统利用连接外骨骼的数据手套实现手势识别，采用头戴式显示器进行立体显示，该系统已经广泛地运用到航天员训练中。

图1 VGX虚拟手套箱设备

图2 VETAT测试系统

国内也已将VR技术引入到航天员训练中，并取得初步成果。如图3所示，中国航天员中心研制的数字组合体采用立体显示技术将空间站等场景展示给航天员，能够实现控制航天员在虚拟太空场景进行漫游。

图3 数字组合体操作展示

中国航天员中心在航天员虚拟训练中已开展了基于视觉手势识别的研究[6]，并建立了一套航天员虚拟操作训练系统，来解决虚拟训练中航天员手势操作问题。主要包括抓持、点按等手势操作，如图4、5所示。

图4 航天虚拟操作系统仪表操作

图5 航天虚拟训练系统虚拟手抓持研究

在VR体感识别研究中，以Kinect为代表的人体姿态体感识别设备具有追踪人体姿态的特点，是目前国内外研究开发的热点。同样以LeapMotion为代表的手部识别设备对手势的精确识别也得到了国内外开发者的一致认可。但目前在工程应用上，还没有一种设备能同时精确采集人体姿态和手部典型操作姿态。而在航天员虚拟训练中，如图6所示，在航天员多人协同操作中，大场景的运动需要对航天员人体姿态的整体进行识别，同时在交互操作中也需对航天员的手部动作进行精确识别，从而在协同操作中能看到交互完整的人体姿态以及精确的手势操作姿态，实现更好地配合操作[7]。针对航天员虚拟训练，本文提出将Kinect对完整人体姿态的识别，与LeapMotion精确的手势识别二者融合的方法。其优势在于：①保留了Kinect对人体姿态的识别，保证了其识别精度和识别范围；②利用LeapMotion实现手势的精确识别，为驱动VR训练系统中的航天员模型在虚拟场景中完成多种手势操作提供了可能；③采用计算机视觉的方式进行识别，避免了数据手套对训练产生的影响，可以更加逼真地模拟训练。结合二者的优势，可以实现更好的体感交互体验[8]，为航天员在虚拟场景中完成人体姿态交互和更加精确的手势操作提供可能[9]。

图6 多人协同操作

1.2 体感识别原理

体感技术是一种VR技术，人们可以直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互动。

依照体感方式与原理的不同，目前市场上体感交互设备主要分为3种：光学感测、惯性感测和惯性及光学联合感测。本文选用光学感测的体感交互设备，一是其不需要手持设备，便能更好地实现仿真训练的效果；二是随着传感器等硬件的发展，其识别精度可满足仿真训练的需求[10]。

光学感测类体感设备的基本原理是利用摄像头，采用类似“动作捕捉”方式来识别用户的姿势动作。首先通过计算机图形视觉技术，包括边缘检测、噪声阈值处理、对目标特征点的分类等，将识别目标从背景环境中区分出来得到识别图像；然后识别图像的每一个像素并传送到一个辨别人体部位的机器学习系统中，系统给出某个特定像素属于哪个身体部位的可能性；再将捕捉到的影像与内部存有的模型匹配，每一个符合内部已存模型的物体就会被创建成相关的骨骼模型；最后系统将该模型转换成虚拟角色，并通过识别该骨骼模型的关键部位进行动作触发，从而实现体感操作。其中手部动作数据采集和识别后，可以进一步通过碰撞检测达到虚拟交互的目的。

1.3 人体姿态识别建模

航天员虚拟交互训练中，需要对人体进行几何建模渲染，以表达虚拟人运动最基础的方式，但实际中不可能对人体进行全部建模。人体建模通常采用主要运动关节点建模的方法进行简化建模，其足以驱动人体的运动。

Kienct的人体建模采用了如图7所示的人体骨骼简化模型。其包含了人体主要的20个关节节点及19个骨骼段。按照人体构造结构，任意2个关节之间建立Kinect关节点父子关系，形成一个简化的人体骨骼模型。其中，臀部中心关节点是整个人体骨骼模型的根节点，其三维坐标数据完全能决定人体模型的移动轨迹。臀部中心关节点有6个自由度，分别为3个平移自由度与3个旋转自由度，其他节点仅仅包括3个旋转自由度[11]。

图7 Kinect骨骼模型

1.4 手部姿态识别建模

虚拟交互训练中，手部是最重要的操作数据采集对象。采集目的一是为了显示手部的虚拟渲染；二是通过主要手部关节的采集，满足对手部的抓握等进行包围盒检测[12]。最终在满足精确显示、定位的同时，也要满足实时计算需要，在实时计算和显示渲染、检测之间达到折衷。

图8为右手部骨骼模型，图8(a)LeapMotion手部模型中，手指存在4个关节，以中指1，2，3和4为例，4个关节点的旋转角分别决定了指尖关节、远指关节、近指关节和指掌关节骨骼的旋转。在图8(b) Kinect手部模型中，手指存在3个关节，以中指的1，2和3为例，其旋转角分别决定了指尖关节，远指关节和近指关节骨骼的旋转。在二者的结合中，驱动姿态识别和手势识别融合的数据主要是关节点的旋转角。

(a) LeapMotion手部骨骼模型

(b) Kinect手部骨骼模型

图8 LeapMotion与Kinect手部骨骼模型

2 总体设计与关键技术

2.1 体感融合的虚拟训练设计

航天员虚拟训练系统一般由数字仿真计算、虚拟场景渲染、虚拟显示、虚拟操作采集与交互等部分组成。通常采用数字仿真进行飞行器的动力学和运动学仿真、太空场景物理学仿真、船载设备功能逻辑状态等的数学仿真；虚拟场景渲染通过计算图形学生成飞行器、太空以及航天员在回路中的场景；VR通过虚拟头盔将生成的场景投射到训练者视觉系统中；虚拟操作采集与交互部分进行训练系统回路中的航天员与虚拟场景人机交互的动作采集和计算[13]。本文着重关注航天员在回路中的运动，采集航天员的运动数据处理后驱动虚拟人，带入生成的预设场景如太空，船舱等，实现虚拟人与场景的交互，再反馈到显示器中，从而实现航天员虚拟训练。

如图9所示，虚拟动作采集通过体感设备来完成，Kinect置于训练航天员前面，用于人体动作的采集。在头盔显示器前部配置LeapMotion，用于交互手部动作的采集。采用本文融合方法实现两种体感识别技术的结合，将Kinect获取的人体姿态识别数据和LeapMotion采集的手部姿态识别数据进行处理、融合，与模型匹配后生成动作。结合训练场景设计，生成人被识别后在虚拟训练环境下的图像。生成图像传输到显示器和头盔显示器。通过此设计方案，满足航天员在虚拟训练中，大场景的运动对人体姿态整体识别的需求，以及交互操作中对手部动作识别的需求，当手部在LeapMotion识别范围内，同时也是在“眼前”，能够在人体姿态识别的基础上添加手势识别。

图9 虚拟训练设计

2.2 体感融合关键技术

本文设计的场景是通过Kinect进行人体姿态的识别，并通过LeapMotion获取精确的手势识别数据。进行人体姿态识别时，Kinect远距离可以对整个人体20个关节点进识别，其中包括手掌节点；当需要精准识别手部动作时，近距离可以对手部15个关节点进行识别。但手部和身体姿态是不能同时获得的。Kinect手臂和手部的姿态信息是获取关节点旋转角数据驱动人体模型。而LeapMotion实现精确的手势识别，也是获取手部及腕部关节点的旋转角数据驱动手部模型。二者均为数据融合提供了可能。

为了精确识别航天员的运动动作，既要保证手部运动和全身运动姿态采集的准确性，又要保证采集后的节点融合后整体姿态不失真[14]。本文对两者采集的数据进行融合，提出了基于判断的数据传递方法，即实时判断手部是否在LeapMotion范围内，当手部在其识别范围内，将LeapMotion采集的手部关节点数据处理后传到Kinect的手部关节点中，Kinect同时识别人体大姿态；当不在LeapMotion识别范围内，选择Kinect驱动包括手部在内的完整人体姿态，此时不包含手指的操作[15]。

2.2.1 判断选择

如图10所示，实际人在虚拟交互系统中，Kinect始终在采集人体姿态信息。当手在“眼前”(LeapMotion粘贴在头盔显示器前面)时，此时手在LeapMotion识别范围内，手部姿态信息被采集。此时判断机制获取到LeapMotion已采集手部姿态信息的信号，终止Kinect对虚拟人手部姿态的驱动，从而实现LeapMotion驱动虚拟人手部姿态。当手不在LeapMotion识别范围内，重新初始化Kinect驱动中的手部姿态信息。二者通过上述原理实现融合的关键点如下：

图10 原理示意图

(1) 识别交接处选取。要考虑的是两种传感器识别交接处的处理。实际人在做手部动作时，对腕部及肘部关节点旋转之间的影响很小，所以将腕部关节点和肘部关节点作为LeapMotion与Kinect识别的划分。由于LeapMotion识别包括手指、手掌及腕部关节，所以在其识别范围内时，上述关节点的识别驱动交由LeapMotion实现，此时肘部的关节点依然由Kinect识别。通过这种关节点识别划定，肘部和腕部分别由Kinect和LeapMotion识别，由中间的小臂作为识别过渡。从而在交接处小臂虚拟渲染显示时，最大程度地减少了两种传感器识别带来的仿真效果不佳的影响。

(2) 识别交接时更新。在Kinect和LeapMotion交替识别的过程中，假设识别到第帧，此时手部在LeapMotion识别范围内，进行了精确的手势识别，且在第+1帧时手部不在其识别范围内，此时手部姿态数据得不到更新，识别的手势会保持在第帧的姿态直至手部再次出现在LeapMotion识别范围内。这是不符合预期的。所以需要实现Kinect手指关节点旋转角初始化的重新写入，以保证当手部不在LeapMotion识别范围内时，手势识别可正常进行。以中指和腕部为例，通过局部坐标系旋转角赋值进行初始化，如图11所示，参考人体模型自然状态下手指关节点旋转角数据，如式(1)~(3)。

图11 正常手姿

左手中指初始化，即

右手中指初始化

双手腕部

2.2.2 数据处理

如图12所示，由于只简单地基于判断选择，并直接传递数据，会因为Kinect及LeapMotion驱动中手部关节点的世界坐标系定义不同，导致手势数据传递后识别错误，出现手指朝手背抓握甚至平行于手掌抓握等畸变现象，所以需要对数据进行处理。

图12 手势畸变

数据处理需在局部坐标系下进行，将LeapMotion获取的数据处理后传递给Kinect实现精确的手势识别。其原理如下：在三维坐标系中，有和两条线段，已知∠，旋转角∠。求取旋转到''的旋转效果，如图13所示。

图13 二维骨骼旋转演示图

世界坐标系下，由相似三角形可以证明∠=∠'，求取旋转后'的位置，再求取旋转后''的位置。在局部坐标系下，因为∠的大小没有改变，即相对于的位置和旋转角均没有改变。所以只需旋转已知的∠，便能获取旋转后的效果。由此可知局部坐标系进行旋转的转换更利于简化运算[16-17]。

图14是手部每个关节对应的局部坐标系，其中根据人体模型设计了对应、、坐标轴及其方向的、、3个轴[18]。手指关节的旋转主要是围绕轴进行的，而绕、轴的相对而言非常少。所以提出只求取绕轴旋转角实现手指运动。并以中指的近指关节和相对于指掌关节的旋转为例，分两步实现：

(2) 相对旋转角赋值。将求取的21视作绕轴的旋转角，绕、轴旋的转角赋值为零。本文选用的手部模型中轴对应轴，故得21=(0,0,21)。同理，可求取远指关节相对于近指关节的旋转角32和指间关节相对于远指关节的旋转角43。

在Kinect模型中手指的关节点有3个，如 图8(a)所示，同样以中指为例，将上文求取的相对旋转角21，32，43分别进行赋值，有1=21，2=32和3=43。由此获得Kinect的中指关节点在局部坐标系下的旋转角。

通过上述过程对LeapMotion获取的手势识别数据进行处理，传递给Kinect驱动虚拟人手部动作，便能在Kinect人体姿态识别基础上实现手势识别。

3 实验与分析

3.1 实验设计

针对传统视觉体感识别这一问题，通过多通道融合的方法，实现了在识别人体大姿态的基础上添加对手势的识别，并搭建基于该融合方法的体感识别实验平台。定义两种测试姿态：人体姿态测试，人体姿态与手势姿态结合测试对该方法进行验证。人体姿态测试取举手姿态，目的在于验证Kinect对人体姿态的识别；人体姿态与手势姿态结合测试取人体举手姿态与典型手势姿态：手部自然伸直、手部握拳、手部OK姿势，是为了验证二者结合后，在保证Kinect对人体姿态正常识别的同时，添加的手势识别的效果。在此基础上通过抓取简单物体，点按靶标的测试，进一步验证融合后的手姿态识别精度能否满足抓取和点按为代表的虚拟训练操作。

按照总体设计，在建立的虚拟交互系统中，真实的人穿戴好放置了LeapMotion虚拟头盔，其前方放置Kinect。选取10名实验者，让每人按照上述定义的4组测试姿态以及2种测试方式分别进行测试。通过对比实际人和模型人的动作对实验结果进行分析。同时取其中自然伸直手势和握拳手势的数据进行分析验证。

3.2 结果分析

通过实验，验证基于判断的数据传递方法对人体姿态和手势识别结合的有效性。通过以下4组测试姿态对实验结果进行说明。如图15所示，仅取人体举手姿态，以确定Kinect对人体姿态的识别。图16~18为人体姿态与手势姿态结合测试分别取人体举手姿态动作加上手部伸直(自然状态)、握拳(抓取等操作的基础手势)和OK(复杂的手部姿势)姿势测试。其中，图(a)是实际人操作图，图(b)是融合识别驱动的虚拟图。

图15 人体姿态识别测试

图16 人体姿态动作加上手部伸直姿势测试

图17 人体姿态动作加上手部握拳姿势测试

图18 人体姿态动作加上手部OK姿势测试

手指的状态大致可分为两种：自然伸直和弯曲状态。而手部自然伸直和握拳这两种手势姿态最能直观体现手指自然伸直和弯曲的状态。表1、2是将LeapMotion识别手部自然伸直状态和手部弯曲状态采集并处理后，传递给Kinect进行驱动的数据。结合识别结果，如图19、20所示，对局部传递法融合后的手势姿态识别结果进行说明。

结果分析：如图15所示，对比实际人和虚拟人的手臂举起的整体姿态，确定Kinect能准确识别人体姿态；如图16~18通过对比实际人和虚拟人的人体姿态和手势姿态，可以看到人体姿态在准确识别的同时，手部自然伸直、握拳和OK姿势的识别效果很好，虚拟人准确地反应了实际人的手部自然伸直和手部握拳姿势。结合表1、2中LeapMotion处理后的数据，对识别结果进一步说明。

表1是手部抓取动作识别，取5组LeapMotion处理后传递给Kinect 的食指数据，每组数据取200个数据(Leapmotio更新频率200 Hz)的平均值，再对5组数据取平均值得到近指关节点旋转角数据为–74.450 83°。图19(a)为抓取姿态下实际手食指的近指关节点的旋转角∠，并对该角进行测量估计，与求取的近指关节点旋转角对比，近指关节点–74.450 83°的大小是符合手部握拳姿态的。手势识别效果如图19(b)所示，较为精确地实现手部抓取的识别。

图19 手部抓取识别

图20 手部自然伸直识别

表1 手部抓取识别——食指近指关节点旋转角数据

表2 手部自然伸直识别——食指近指关节点旋转角数据

表2是手部自然伸直动作识别处理后的数据：近指关节点旋转角–12.286 94°。如图20(a)所示，其描述的是自然伸直姿态下实际手食指的近指关节点的旋转角∠，并将其与求取的近指关节点旋转角–12.286 94°对比，结果是符合的。手势识别效果如图20(b)所示，较为精确地实现了手部伸直的识别。

实验通过多组典型手势姿态反复测试及结果验证，证实二者结合后方法，既保留了Kinect对人体姿态的识别，也发挥了LeapMotion对手势的识别能力，达到了预期目的。

图21为融合后的手姿态抓持操作，通过方块抓取验证了融合后能实现虚拟训练中抓持操作训练；图22为融合后的手姿态点按操作，通过食指点按目标物中心的红点，能实现虚拟训练中仪表操作等点按操作训练。

图21 抓持操作

图22 点按操作

训练场景，图23是在太空舱中的仿真训练的模拟，图24是VR模式下参训人员在头盔显示器中看到的场景。在LeapMotion没有识别手部时，人体姿态由Kinect识别，当Leap识别到左/右/双手时，手势以及腕部识别由LeapMotion识别并将数据处理后传递给Kinect实现；头盔显示器视野也符合VR模式下人的实际视野；在VR模式下，实际人物的位移与模型人物的位移符合，保证了VR模式下视觉位移符合实际位移。

图23 场景填充后的结合姿态识别

图24 VR模式下的效果

实验结果符合预期。通过判断，选择手部姿态驱动来源，实现将手势识别和人体姿态识别的结合。实现人体姿态识别的同时，能够实现抓取、握拳及OK姿势等手势，以及抓持物体，点按靶标等测试，足以满足目前航天员虚拟训练对手势识别的要求。

4 结束语

本文实现了LeapMotion与Kinect的结合。基于判断、判别选择，成功将两种体感设备的优势发挥了出来，即保留了Kinect对人体整体的识别，也发挥了LeapMotion对手势精确识别的作用。

通过二者的结合，保证人体姿态识别的同时，实现了对手部姿态的识别。结合后的这种体感交互方法，可以应用到更为广阔的训练平台。针对航天员训练的更多设备、更多操作设计训练实例，例如对仪器仪表的虚拟操作训练，对在轨设备的组装、维护、维修训练，对遥控设备的远程遥操作训练等。进一步考虑引入增强现实技术，通过虚实结合的训练来提高训练效果，服务于航天员训练。

[1] 晁建刚, 陈善广, 薛亮, 等. 航天飞行训练模拟器技术研究与工程实施[J]. 航天医学与医学工程, 2008, 21(3): 233-239.

[2] 陈学文, 晁建刚, 安明, 等. 基于体态识别的航天员虚拟训练仿真技术研究[J]. 载人航天, 2015, 21(3): 217-223.

[3] TWOMBLY I A, SMITH J, BRUYNS C, et al. NASA virtual glovebox: an immersive virtual desktop environment for training astronauts in life science experiments [EB/OL]. [2018-08-02]. https://ntrs.nasa. gov/search. jsp?R=20040012669.

[4] SMITH J D, GORE B F, DALAL K M, et al. Optimizing biology research tasks in space using human performance modeling and virtual reality simulation systems here on earth [EB/OL]. [2018-08-02]. https:// doi.org/10.4271/2002-01-2500.8.

[5] SMITH J, TWOMBLY I A, MAESE C, et al. The virtual glovebox: emerging simulation technology for space station experiment design, development, training and troubleshooting [EB/OL]. [2018-08-02]. https://arc. aiaa.org/doi/abs/10.2514/6.2003-6341.

[6] HU H, CHAO J G, ZHAO Z Q. Study of vision-based hand gesture recognition system for astronaut virtual training [J]. Advanced Materials Research, 2014, 998-999: 1062-1065.

[7] 康金兰, 晁建刚, 林万洪, 等. 视觉手势识别技术在航天虚拟训练中的应用研究[J]. 载人航天, 2014(3): 219-222.

[8] ALBRECHT I, HABER J, SEIDEL H P. Construction and animation of anatomically based human hand models [C]//ACM Siggraph/eurographics Symposium on Computer Animation. Goslar: Eurographics Association Press, 2003: 98-109.

[9] XIA L, CHEN C C, AGGARWAL J K. Human detection using depth information by Kinect [C]//Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2011: 15-22.

[10] 冯志全, 蒋彦. 手势识别研究综述[J]. 济南大学学报: 自然科学版, 2013(4): 336-341.

[11] 李红波, 冉光勇, 吴渝, 等. 一种基于Kinect的角色骨骼动画方法[J]. 重庆邮电大学学报: 自然科学版, 2014, 26(4): 530-535

[12] 胡弘, 晁建刚, 林万洪, 等. Leap Motion虚拟手构建方法及其在航天训练中的应用[J]. 载人航天, 2015, 21(3): 257-262.

[13] 胡弘, 晁建刚, 杨进, 等. Leap Motion关键点模型手姿态估计方法[J]. 计算机辅助设计与图形学学报, 2015(7): 1211-1216.

[14] MARIN G, DOMINIO F, ZANUTTIGH P. Hand gesture recognition with leap motion and kinect devices [C]// IEEE International Conference on Image Processing. New York: IEEE Press, 2015: 1565-1569.

[15] MARIN G, DOMINIO F, ZANUTTIGH P. Hand gesture recognition with jointly calibrated Leap Motion and depth sensor [J]. Multimedia Tools & Applications, 2016, 75(22): 1-25.

[16] 谈家谱, 徐文胜. 基于Kinect的指尖检测与手势识别方法[J]. 计算机应用, 2015, 35(6): 1795-1800.

[17] 徐崇斌, 周明全, 沈俊辰, 等. 一种基于Leap Motion的直观体交互技术[J]. 电子与信息学报, 2015, 37(2): 353-359.

[18] GOUTSU Y, KOBAYASHI T, OBARA J, et al. Multi-modal gesture recognition using integrated model of motion, audio and video [EB/OL]. [2018-08-10]. https://doi. org/10.3901/CJME.2015.0202.053.

On Multi-Somatosensory Driven Method for Virtual Interactive Operation Training of Astronaut

ZOU Yu, CHAO Jiangang, YANG Jin

(Astronaut Centre of China, Beijing 100094, China)

To solve the problem of human-computer natural interaction in the virtual training of astronauts, a multi-somatosensory driven method is proposed based on posture / gesture recognition and human motion characteristics. With the the advantages of Kinect device which can completely recognize human posture characteristics and LeapMotion device which can accurately identify gestures, the method of data transfer based on judgement is put forward. Hand joints are recognized and the related data are processed and calculated on the basis of the recognition of joints of the whole body. These two are combined by using the multi-somatosensory driven method, and the experiment is carried out. The results show that by using LeapMotion and Kinect to recognize hand joints, when the gesture is within the range of LeapMotion recognition, we can add more precise gesture recognition to the realization of human somatosensory recognition. This method has successfully realized the combination of human posture recognition and precise gesture recognition, and can be applied to the human-computer natural interaction in the virtual training of astronauts.

astronaut; virtual training; somatosensory recognition; data fusion; interaction

TP 301.9

10.11996/JG.j.2095-302X.2018040742

A

2095-302X(2018)04-0742-10

2017-08-27；

2017-12-04

国家重点实验室基金项目(SYFD160051807)

邹 俞(1995-)，男，安徽合肥人，硕士研究生。主要研究方向为人机与环境工程、计算机视觉等。E-mail：1134188239@qq.com

晁建刚(1972-)，男，北京人，研究员，博士，硕士生导师。主要研究方向为人机与环境工程、计算机仿真等。E-mail：1518037307@qq.com