体感技术支持的STEAM实践教学项目研究

华子荀

摘  要 从体感技术、体感技术教学应用入手进行研究综述，在研究综述和理论基础指导下，选择厉动的内置插件Touchless

和Flash软件开发并应用厉动体感控制器的学习资源。选择美国某州立大学展开案例研究，进行为期两周的教学：第一周为开发的互动学习资源学习;第二周为利用体感控制器的Sculp-ting软件进行3D模型建构，并利用Form 1+机器进行3D打印。研究结果表明，厉动体感控制器及其学习资源能够促进学生的学习表现，开展有效的STEAM实践教学活动。该研究对于推动体感技术教学应用、丰富体感技术支持的课堂学习活动具有重要的理论意义和实践价值。

关键词 体感技术;厉动体感控制器;STEAM教育;学习资源;实践教学项目;Flash;3D

中图分类号：G652    文献标识码：B

文章编号：1671-489X（2019）04-0012-05

Abstract This research focus on the aspects of gesture-based tech-nology and its teaching method. Based on the literature review and related theory， researcher apply the device of Leap Motion， the Touchless app， and Flash software in the process of development. For the case study， STEAM program has been chosen as the teachingframework. The period includes two weeks. The first weeks task is to apply the resources of interactive Leap Motion. The second weekstask is to teach students to construct virtual 3D model by the Sculp-ting app of Leap Motion， and to teach students printing the virtual 3D model by Form 1+ 3D printing machine. After case study， the researcher pointed out the conclusion that Leap Motions STEAM program can promote students learning performance and the active STEAM activities. The research not only can increase the resources and app of Leap Motion， but also help concrete the related theory of STEAM practice and gesture-based technology.

Key words gesture-based technology; Leap Motion gesture-based controller; STEAM education; learning resources; practical teaching project; Flash; 3D

1 前言

當前，移动计算、体感技术、3D打印技术等新一代信息技术逐步在课堂学习中得到广泛应用。体感技术（Gesture-

based Technology）是一种直接利用躯体动作、声音、眼动等方式与周边的装置或环境互动，由机器对用户的动作进行识别、解析并做出反馈的人机交互技术[1]。教育部在《教育信息化“十三五”规划》中指出：“应利用信息技术改造传统教学中‘进不去、看不见、动不了、难再现的难题。”体感技术以其互动性、情境性、沉浸性的特点，在动作模仿、技能训练、情境演练、动态展示等方面，具有其他技术所不具备的优势。而且在课堂教学中应用体感技术主要是解决两方面问题：一是某些现象、模型、实验在课堂教学中难以模拟再现;二是传统课堂中的实验、活动存在明显短缺[2]。所以，体感技术教学应用，对于解决课堂教学重点、难点，改进学生的学习方式方面，具有独特的重要作用。

2 研究综述

体感技术  体感技术是通过肢体运动即可实现人机交互的一种技术实现方式，一般通过惯性感测、光学感测和综合感测三种途径进行交互[1]。体感技术架构由体感设备、体感软件、现实设备、语音识别设备、手部数字化设备等组成[3]，具体的设备有数据手套、力矩球、触觉和力觉反馈装置、手持式交互设备等，基于这些设备能够开展互动式教学应用[4]。

体感技术支持的教学方法  体感技术教学方面，体感技术能够给予学生真实感受，所以在开展情境教学方面效果突出，教师可以利用体感技术进行实物演示、扮演体会等教学，帮助学生进行知识建构[5];除此之外，技能训练、虚拟场景展示[6]、情境式教学、体验式学习[7]都能够激发学生的创造性思维，培养其创新能力[8]。体感技术也要与实体结合进行操控，从生活中提炼主题，以累进的方式加强程序的功能性[9]。

问题提出  通过以上综述可以发现，体感技术在支持课堂教学方面具有突出作用，因此，如何应用体感技术优点开展教学应用，成为本研究的主要问题，具体包括：

1）如何开发适用于Leap Motion体感控制器的学习资源？

2）如何开展案例研究，证明体感技术具有显著的教学效果？

3 Leap Motion体感控制器及其学习资源开发

Leap Motion体感控制器  基于成本低廉、性能稳定和使用方便三个特点，本研究体感技术选择Leap Motion体感控制器。Leap Motion（厉动）是一款于2013年发布的体感控制设备，支持Windows、OS X和Linux等系统的使用，其优点是可以迅速捕捉人手指及其手势的动作实现人机交互，与同类设备相比，厉动体感控制器使用便捷，安装简易[10]。厉动体感控制器拥有两个单色红外摄像头（IR）和三个LED摄像头，允许学习者进行前后150°范围内的操作，活动距离在25～600毫米之间，具有较高的灵活性以及精准性。厉动体感控制器使用示意图如图1所示。

如图2所示，厉动体感控制器具有优于其他体感控制设备的优点，它可以精确识别手指关节，如远端指骨（Distal phalanges）、中间指骨（Intermediate phalanges）、近节指骨（Proximal phalanges）和掌骨（Metacarpals），允许更加精确的手势操作[11]。厉动体感控制器基于红外检测技术，可检测手部29块骨头、29个关节的复杂的手部动作，检测精度高达1/100毫米。同時在150°的超宽幅空间中，可以利用厉动体感控制器在3D虚拟环境中进行各种手势操作。厉动体感控制器的检测帧速为每秒200帧，可以对快速的手部动作进行瞬时捕捉，实现体感技术与互动内容的即时互动与反馈。

厉动体感控制器的学习资源开发  本研究计划实现的学习资源形式为利用控制器内置插件Touchless for windows

进行体感控制，利用Flash软件开发可点击的互动模块学习体感技术控制方法，学习基础知识后应用厉动的3D模型软件制作虚拟3D模型，最后在案例研究中优化模型进而3D打印模型。

如图3所示，Touchless for windows应用可以进行光标控制，灵活操作学习资源中的视频模块，为学习者提供了可悬空的虚拟触摸屏，学习者只需抬起手或手指即可实现人机互动。同时能够实现用手指指向屏幕进行点击，在空中滑动手指进行滚动，用单手或双手进行缩放等功能。

应用Flash CS5软件进行可互动学习资源的开发，以HTML网页的形式保存，能够简化操作。

在Flash中，使用ActionScript实现交互性。将每个视频作为一个交互按钮，学习者可以利用体感技术设备点击按钮实现人机交互的过程，交互按钮的命令代码如下所示：

【交互按钮1】

addEventListener （MouseEvent.CLICK， clickListener1）：

Function clickLisener1 （event：MouseEvent）：void{

SoundMixer. stopALL（）;

gotoAndStop（“xxx”）;}

以上代码即为点击交互按钮1，便执行一个交互按钮的命令。

之后对每一个知识进行嵌套，嵌套的模式即依据学习资源结构进行编辑，在一个模块之后加载外部文件，代码如下：

Page1_mc.addEventListerner（MouseEvent. CLICK， page1

content）;

Function page1content （myevent：MouseEvent）：void{

Var myURL：URLRequest=new URLRequest （“交互按钮1”）;

myLoader. Load（myURL）;

addChild（myLoader）;}

以上代码通过创建一个侦听器，检测名为“page1_mc”

的对象上的鼠标点击事件，实现播放交互模块“page1.swf”

的目的。完成以上命令，即完成资源的开发，该资源以网页HTML的形式进行互动，以适应各种计算机平台的使用。

体感技术学习资源的内容设计  体感技术学习资源包括3D建模软件与体感控制器使用方法两部分内容。内容设计包括菜单界面设计与模块设计。

该学习资源的菜单界面设计首先将3D建模软件的学习模块与体感控制器的学习模块进行区分，以帮助学生能够按目的进行学习，在界面首行设计三个交互按钮，即“开始”“3D建模软件”“Leap Motion体感控制器”。其中“开始”即返回至主界面，“3D建模软件”即进入与3D建模软件相关的菜单界面，“Leap Motion体感控制器”即进入与厉动体感控制器相关的菜单界面。菜单界面中，学习资源按标号进行排序，学生既可以按顺序进行自主学习，也可以按目的索引标号进行针对性学习。其中“3D建模软件”模块资源包括八个，“Leap Motion体感控制器”模块资源包括七个。

学习模块设计方面，在每一个模块布局中均放置了说明文字、微课视频窗口和交互按钮。其中说明文字即该模块的名称;视频窗口是将开发的微课视频资源按照播放器的形式放入Flash中，便于学生观看。如图4所示，交互按钮设计三个，分别是“主界面”“上一节”和“下一节”。其中“主界面”即返回至课堂学习资源的主界面，“上一节”即观看当前视频资源上一节的视频资源，“下一节”即按照标号顺序对视频资源进行观看。在学习界面设计中，为保证学习者人机互动的流畅性，尽量将交互按钮的范围扩大，同时保证视频窗口的比例，保证学习者能够学习到视频中的关键知识点。

4 基于美国某州立大学的STEAM实践教学项目案例

美国某州立大学STEAM实践教学项目  本研究选择美国某州立大学STEAM实践教学项目作为体感技术学习应用案例。该州立大学是一所以理工类专业为主要特色的美国公立大学，由于该学校教育类专业以STEAM教育为主，因此在科学、技术、工程类教学法和教学支撑工具上能够为本研究提供便利的实验条件。该项目基于州立大学教育学院的STEAM教学实践开展，已经对大学的学生、教师、访问学者展开案例研究。

实验目的  本研究采用单组前后测对比实验的方法，验证该学习策略对促进学生的学习质量和学习效果的有效性。将学习质量界定为学生的课堂学习表现;基于Clarke

（2008）对学习效果的诠释，将学习效果界定为五项指标，包括学习动机、自主学习能力、协作学习能力、问题解决能力和创新性思维能力[11]，最后通过学习质量、学习效果、指标评价来验证本研究的结论。

实验对象  本研究选取大学的16名学生志愿者，进行为期两周的准实验研究（2016年5月16日至6月1日），同时向具有不同国家背景（美国、中国、韩国、墨西哥、巴西等）、专业背景（核能、航空航天、医学、文学等）、层次背景（本科生、硕士、博士、博士后、访问学者）的36名被调查者进行调查，以验证应用效果。

实验过程  该课程教学周期为两周，第一周以学习互动资源为主。如图5所示，基于厉动体感控制器，利用开发的“Leap Motion使用方法”Flash学习资源进行教学。利用厉动体感控制器可以对资源进行旋转、缩放、查看等操作的学习，以促进学生对利用体感技术形成初步了解。在教学过程中，教师将两个学生作为一组，利用体感控制器进行查看，并在之后的展示环节进行展示;完成展示部分，学生将根据该软件和技术对教学法进行讨论，以丰富STEAM教育中体感技术应用的教学法。

第二周以工程课内容为主，选择厉动体感控制器和Form1+3D打印机作为教学工具，利用Sculpting软件制作三维模型，让学生熟悉三维建模与3D打印制作流程。如图6所示，利用Sculpting软件允许学生进行3D模型的建构，在建构过程中学生通过厉动体感控制器对模型进行相关操作，完成3D模型后将导出的STL文件与Form 1+打印机连接，利用3D打印机将建模作品实体化，如图7所示。此课程目的旨在向学生介绍体感技术与3D打印技术相结合的教学过程，并促进学生操作体感技术进行建模以及操作3D打印机制作模型的过程。

实验结果

①学习表现评价。教师对学生的学习表现进行评价，采取前后测对比实验的方法，在学生参与学习之前进行调查，确定学生的初始水平，在学习结束后进行后测评定，该评定结果为教师根据学生在课堂中的表现以及任务完成情况给出，评定等级为5级，包括A+、A、B+、B、C，分别对应5、4、3、2、1，采用IBM SPSS 22对学生的学习成绩进行分析，采用单样本t检验的方法，首先提出假设H0，即研究对象前后测成绩无显著差异，分析后得到学生前后测成绩均值如表1所示。

表中p=0.00，小于0.05，故拒绝原假设H0，即拒绝单组前后测成绩无显著差异。验证得出结论，学生在参与以体感技术支持学习模式下的教学活动后，其学习质量得到明显提高。

②学习态度评价。学习态度评价调查分别向16名学生和36名调查者展开，根据学习态度子指标设计学习态度调查量表，该量表为五维单向量表，在课程结束后向学生发放，利用F检验得到结果，F值计算公式如下：

其中，F值以大于0.5为标志，解释为回答者对该项表示肯定。a为认为“很好”的人数，b为认为“较好”的人数，c为认为“中等”的人数，d为认为“较差”的人数，e为认为“很差”的人数，n为总人数。通过F检验，得到五项能力的均值如表2所示。

5 结语

本研究从体感技术、体感技术教学应用方面入手，进行研究综述，在研究综述和理论基础指导下，选择厉动的内置插件Touchless和Flash软件开发并应用厉动体感控制器的学习资源。选择美国某州立大学展开案例研究，进行为期两周的教学：第一周为开发的互动学习资源学习;第二周为利用体感控制器的Sculpting软件进行3D模型建构，并利用Form 1+机器进行3D打印。课程结束后，通过对16名学生和36名观察者的调查得到相关数据：学生的前测成绩均值为2.500 0，后测成绩均值为4.687 5，p值为0（0<0.05），表明厉动体感控制器及其学习资源能够提高学生的学习表现。学习态度的调查结果为：学习动机均值（F1=0.90）、自主学习能力均值（F2=0.90）、协作学习能力均值（F3=0.78）、问题解决能力均值（F4=0.82）、創新性思维能力均值（F5=0.88）都超过均值0.5，表明学生和观察者都认同厉动体感控制器及其学习资源的教学效果。通过以上数据表明，厉动体感控制器及其学习资源能够开展有效的STEAM实践教学活动，对于推动体感技术教学应用、丰富课堂学习活动和促进信息技术与教育教学深度融合，具有重要的理论意义和实践价值。

参考文献

[1]李青，王青.体感交互技术在教育中的应用现状述评[J].远程教育杂志，2015（1）：48-56.

[2]CAI S， WANG X， Chiang F K. A case study of AugmentedReality simulation system application in a chemistrycourse[J].Computers in Human Behavior，2014（37）：31-40.

[3]鲍礼铭.基于虚拟现实技术在教育系统中的运用[J].电子测试，2015（3X）：130-132.

[4]叶裴雷.虚拟现实技术及应用分析[J].电子技术与软件工程，2015（16）：44.

[5]葛萱，王清.虚拟现实技术在教学中的应用模式探析[J].中国医学教育技术，2007，21（3）：198-201.

[6]姬洪强.浅谈虚拟现实技术在学科教学中的应用[J].中国现代教育装备，2008（3）：46-47.

[7]董丽，陈仕品.体感技术：拓展教学方式改革的新途径[J].软件导刊·教育技术，2015（7）：93-95.

[8]朱海，李瑞芬，赵辉.谈虚拟现实技术及实践教学的虚拟化[J].现代远距离教育，2005（3）：64-66.

[9]秦赛玉.Kinect2Scratch：尝试以更自然的方式对话机器[J].中国信息技术教育，2014（1）：64-67.

[10]Potter L E， Araullo J， Carter L. The Leap Motion controller： a view on sign language[M]//OzCHI 13 Proceedings of the 25th Australian Computer-Human Interaction Conference： Augmentation， Application， Innovation， Collaboration.2013：175-178.

[11]Carmen A G D Olmo. Study and analysis of the LeapMotion sensor and the Software Development Kit（SDK） for the implementation of visual Human Computer Interfaces[DB/OL].http：//oa.upm.es/37299/7/PFC_CARMEN_ALABART_GUTIERREZ_DEL_OLMO_2015.pdf.