体感交互设计类课程虚拟仿真化改革

张洁 戴路

摘要：体感技术是比鼠标、键盘、触摸屏更加趋近自然的人机交互方式，但在体感开发过程中存在资源开销大的问题。针对该问题采用Kinect 人体传感器结合Kinect Studio软件，设计实现了一套满足教学与科研需要的体感开发虚拟系统。通过虚拟仿真方式进行体感开发学习，大大降低了实验开销。在课程前期通过虚拟仿真方式让学生掌握体感交互的开发流程，利用掌握的体感交互技术设计并开发一款体感交互产品。实验结果显示体感交互设计类课程的虚拟仿真化改革成效显著，提高了人才培养质量。

关键词：人机交互;体感开发虚拟系统;体感技术;Kinect;虚拟仿真

The Virtual Simulation Reform of the Body Sense Interactive Design and Application Course

ZHANG Jie， DAI Lu

（Information Engineering College， Yango University， Fuzhou 350015， China）

Abstract：Somatosensory technology is closer to natural human machine interaction than mouse， keyboard and touch screen， but there is a huge resource cost in the process of somatosensory development. Aiming at this problem， Kinect human body sensor and Kinect Studio software are used to design and implement a set of virtual system for somatosensory development to meet the needs of teaching and scientific research. Through virtual simulation， the system develops somatosensory development and greatly reduces the expenses in the process of experiment. In the early stage of the course， the students can master the development process of body sense interaction through virtual simulation. In the following courses students design and develop a body sense interactive product by mastering the somatosensory interaction technology. The virtual simulation reform of somatosensory interaction design courses enables students to have a deeper understanding of somatosensory interaction product design and improve the quality of personnel training.

Key Words：virtual simulation human machine interaction; somatosensory development virtual system; somatosensory technology; Kinect; virtual simulation

0 引言

體感技术指人们直接使用肢体动作，与周边装置或环境互动，无需使用任何复杂的控制设备便可身临其境地与内容互动，是比鼠标、键盘、触摸屏更趋近自然的人机交互方式[1]。

体感技术根据体感方式与原理的不同分为惯性感测、光学感测及惯性与光学联合感测[2]3大类。随着技术的发展，体感交互技术逐渐从佩戴传感器的惯性感测过渡到完全贴近自然的光学感测。

基于光学的体感设备最具代表性的产品就是微软公司发布的Kinect传感器。最新一代Kinect 2.0（见图1）传感器，采用红外线脉冲反射回来的时间获得Depth信息，即ToF（Time of Flight）技术，能采集到更加精确的人体数据[3]。当前Kinect已经在消费、医疗、教育、训练等领域大量应用，而目前我国还没有比较成熟的光学体感产品。

体感技术发展迅猛，许多高校对体感技术课程很重视，增设了不少体感技术相关课程，取得了较好效果，但仍存在一些不足。

（1）体感技术是近几年才发展起来的新兴课程，且体感交互产品开发需要较强的产品设计经验，高校教师大部分都是毕业后直接进入高校，缺少相关实践经验，无法很好地将产品设计与基础理论相结合，学生难以深刻掌握体感技术的实际应用[4 5]。

（2）尽管很多高校设置了Kinect 2.0体感技术相关课程，但由于Kinect 2.0体感开发过程需要的资源较大，出于成本原因很多高校安排的相关实验环节较少，导致训练强度不足，甚至没有开展体感技术相关实验[6]。

针对以上问题，在课程教学中邀请具有体感交互产品开发经验的企业导师与校内导师参与，让学生从中了解更多体感交互产品设计经验。本着“能实不虚，虚实结合”的原则进行虚拟化改革，在虚拟与实际开发、资源需求与最佳效果中寻找平衡点，使有限的资源发挥出最好的教学效果。

1 虚拟仿真化改革

微软公司推荐的Kinect 2.0体感硬件配置：处理器64位（x64）物理双核心3.1 GHz（2个逻辑核心/物理）以上，内存4GB以上，支持DirectX 11显卡，高速USB3.0接口[7]，一块5m 2以上的空间作为体感交互区域，一名动作模特实时配合开发工作。

微软最新推出的Kinect Studio 能进行（Color，depth，IR，IR，body，body Index）数据的录制与回放（见图2），且在回放时能连接Visual Studio和Unity 3D等开发平台进行仿真开发[8]，极大提高了开发人员的开发效率，降低了体感技术开发时的开销。

课程体感开发实验环节引入Kinect Studio进行虚拟化仿真改革，在课程开始前进行标准动作的录制，将课程中使用的动作通过Kinect Studio进行录制。课程体感数据获取、简单动作判断等一系列验证性实验采用虚拟方式进行。课程后期需要设计相关的交互动作，让学生自行进行动作录制并进行项目开发，契合了虚拟实验中“虚实结合”的重要原则。

2 课程环节改革

传统课程教学主要是知识的传授，老师讲学生听，通过考试的方式进行课程效果检验。但是对于新兴技术，这种传统的教学流程无法让学生深入了解其精髓。因此，课程环节需进行大量改革。

新的模式把课程分为4个环节：

（1）基础体感开发环节。该环节与传统教学相同，也是由教师讲授学生听课，让学生掌握体感开发的相关知识。主要实验项目为Kinect数据采集，该实验通过C#语言结合Kinect SDK基础介绍Kinect中的6种数据源特性及采集方法，其中主要介绍骨架数據的特性、获取及应用，实验过程通过Kinect Studio软件进行虚拟仿真完成[9 10]，如图3所示。

首先在Visual Stdio开发环境下建立工程，导入Kinect相关静态库和头文件，获取基础源数据。按照打开传感器、选择数据源、打开读取器、获取数据帧、读取所需数据5个步骤完成原始数据的获取[11]。在进入仿真之前，只要通过Kinect Studio软件播放已经录制好的数据源，就可采用虚拟方式进行原始数据的获取[12 13]，如图4所示。

（2）方案设计环节。将学生分为若干小组，分组讨论体感交互应用设计方案，同时聘请具有体感交互产品开发经验的企业导师与学生共同确定设计方案。

（3）产品开发环节。针对Unity 3D游戏开发引擎介绍Kinect的常用插件，主要介绍微软官方的插件包Kinect For Windows_UnityPro_2.0（见图5）和卡耐基梅隆大学推出的KinectWrapper插件包（见图6）。两款插件包都能很好地与引擎兼容，团队可以根据设计方案选择相应插件进行开发[14 15]。本阶段采取“虚实结合”方式进行，团队可根据所需动作，在教师后方的Kinect设备上进行录制，再通过Kinect Studio软件进行虚拟仿真开发相关体感动作，最后再通过Kinect进行相关调试[16 18]。

（4）产品评价环节。本环节要求学生根据设计的应用进行汇报答辩及演示，答辩与演示将请企业导师和授课教师共同点评并给出最终成绩。企业导师参与成果点评可使学生从更高的维度对产品设计有更加深刻的认识。

通过4个不同环节，让学生获得体感开发的基础能力：与企业导师和校内导师共同指导的方案设计环节中获得体感设计相关经验，在产品开发环节中获得实际应用能力，最后通过产品评价环节进行全面复盘。课程改革环节如图7所示[19 21]。

3 课程改革成效

笔者学院进行了两年课程改革，取得了一定成效。

优秀作品“体感儿童安全教育”于2015年12月至2016年4月参加“微软创新杯全球学生科技竞赛”获得中国赛区三等奖（见图8）。2016年参加海峡两岸（厦门）文化产业博览交易会，获得广泛好评，目前正在与企业对接，准备实现成果转换，如图9所示。

4 结语

通过对课程虚拟仿真化改革，学生深入参与到体感技术实验中，加深了对体感技术的掌握;通过对课程环节的改革，学生可应用体感技术进行体感交互产品的设计与开发，极大提高了学生的体感产品设计开发能力和创新能力。后期的共享性建设，让优秀作品成为新的课程资源，更能提升本课程质量;而成果转换建设，更是让优秀的设计有了成果转换途径。

课程未来建设将分为课程共享性建设和成果转换建设两个层面进行。

（1）课程共享性建设。由于本实验为创新性、开放性的实验项目，因此没有固定的实验结果，在项目结束时将吸收优秀的实验作品转换为课程资源，让所有实验者都参与实验项目建设。课程将建设更加完善的开放服务体系，从服务器搭建、实验项目、实验过程监控、实验例程管理等多个方面共同建设，让更多的人参与本项目学习。

（2）成果转换建设。通过优秀作品的推广，在社会上引起反响，其中体感儿童安全教育、基于Kinect的智能家居手势控制器等优秀作品已经有企业介入，准备进行成果转让。鼓励学生自建团队，通过优秀的作品进行自主创业;建设作品展示平台，让企业通过平台发现好的成果，直接与学生对接进行优秀作品成果转化。

参考文献：

[1] 知乎网站.什么是体感交互技术[EB/OL].https：//www.zhihu.com/question/20320412.

[2] 邵隽，马娜.浅谈基于Kinect的应用程序开发[J].计算机应用研究，2012，23（4）：75 78.

[3] 董傲霜.使用Kinect深度图像的静态人体动作识别[D].阜新：辽宁工程技术大学，2014.

[4] 吴志达.一个基于Unity 3D游戏引擎的题干游戏研究与实现[D].广州：中山大学，2012.

[5] 刘开余，夏斌.基于Kinect的实时人体姿势识别[J].电子设计工程，2014（19）：31 34.

[6] 罗鸣.基于Kinect传感器的骨骼定位研究[D].武汉：武汉科技大学，2013.

[7] 王森.Kinect体感程序设计入门[M].北京：科学出版社，2014：33 35.

[8] 于芝枝.基于Kinect的人体姿势识别与校正[D].广州：广东工业大学，2014.

[9] 小鹏.Kinect 2.0原理介绍之二：6种数据源[EB/OL].[2015 07 12].http：//blog.csdn.net /u014365862/article/details/46849253.

[10] 邓小园.基于Kinect运动捕捉的高尔夫挥杆分析与辅助训练系统的研制[D].北京：北京邮电大学，2013.

[11] 孙运达.多视点非接触式人体运动捕捉研究[D].北京：北京交通大学，2006.

[12] CHANG Y J，CHEN S F.A kinect based system for physical rehabilitation：a pilot study for young adults with motor disabilities [J].Res Dev Disabil，2011，32（6）：2566 2570.

[13] 钱堑，马旭东，戴先中.基于抽象隐马尔可夫模型的运动行为识别方法[J].模式识别与人工智能，2009，22（3）：433 439.

[14] 如何平滑处理Kinect采集的骨骼数据[EB/OL].http：//www.cnblogs.com/microcampus/archive/2013/05/06/3063625.html

[15] 吴志达.一个基于Unity 3D游戏引擎的题干游戏研究与实现[D].广州：中山大学，2012.

[16] Kinect和U3d結合开发基础之基本的动作识别[EB/OL].http：//blog.csdn.net/zhaoshouyue/ article/details/51225442.

[17] Kinect和U3d结合开发基础之KinectWrapperPackage[EB/OL].http：//blog.csdn.net/ zhaoshouyue/article/details/51178614.

[18] 韩旭.应用Kinect的人体行为识别方法研究与系统设计[D].济南：山东大学，2013.

[19] 王琨，刘大茂.创新创业视角下电子电路类课程改革探索[J].实验科学与技术，2017，15（4）： 107 109.

[20] 芦守平，国强，刁鸣.正确树立科技“创新”理念培养学生综合能力[J].实验室研究与探索， 2015，34（2）：145 147.

[21] 张祥志，邹惠敏.基于创新需求的高校研发型工程师创新能力培养教育改革研究[J].教育现代化，2017（33）.