手势计算技术教学应用的现状及问题分析*

李 玲 胡卫星 赵苗苗 张丽伟

手势计算技术教学应用的现状及问题分析*

李 玲 胡卫星 赵苗苗 张丽伟

（渤海大学 教育学院，辽宁锦州 121013）

基于手势计算的教学技术已成为当今教育领域新的发展趋势。文章认为，基于手势计算技术的学习过程具有具体性、协作性、游戏性、交互性和智能性等鲜明特征，能够为学习者提供一种新型的学习方式或过程体验。文章分析了当前手势计算技术在教学应用中存在的问题，如教学绩效不高、学习内容过于游戏性、难以适应学习者学习风格和特点等，指出其能够在触觉、视觉、听觉等多元通道基础上形成人机的深度交互，能营造出技术和学习者自然融合深度无缝的新型交互学习环境，将为教育信息化的进一步发展开辟新的局面。

手势计算；人机交互；教学应用

在教育信息化飞速发展的过程中，课堂文化正在发生巨大的变革：由第一代的以“黑板”和“粉笔”为中心的听说读写讲授文化，转向了第二代的以“键盘”与“鼠标”为中心的多媒体资源应用文化，目前第三代的以“移动”与“手势”为中心的个性化手势移动计算文化也已初见端倪。手势移动计算新课堂将以自然的形态，改变教学互动方式，使教学活动再次焕发生机。在信息技术支持教育技术变革的进程中，学习者与机器之间的交互方式影响着学习的效率。因此，人们总是关注并推动人机交互方式的变革，出现了基于文本方式的交互、基于图形方式的鼠标交互等交互方式。但这些传统的技术形式在人机交互方式的便捷性和灵活性方面还存不足，学习者需要适应机器的运行程序，因而，缺少主动控制的“自然”便利。在此背景下，手势计算技术应运而生并得到了飞速发展。

手势计算技术是指通过触控技术、可穿戴设备、人脸识别、面部表情识别、唇读、头部运动跟踪、凝视跟踪、手势识别以及人体姿势识别等来进行机器运行命令的解析，从而实现人机之间的自然交流沟通[1]。2010～2015年的《地平线报告》指出，手势计算技术已经连续5年成为新教育信息技术的发展动态，逐步升级的可穿戴设备和虚拟助手等设备技术正日趋成熟并在教学中广泛应用。手势计算将逐渐取代“键盘与鼠标”的控制文化，让教师和学习者摆脱“线”制，以智能化的方式更加自然地进行人机交互，并进行有意义教学，以充分调动学习者的学习兴趣，让学习者更加积极主动地参与到学习之中。同时，手势计算也将营造出一种新型的智能化学习环境，学习者、手势计算技术、数字化学习资源和智能教学环境将达到高度耦合的状态，学习者的个性化学习和创造性活动实践将得到长远的发展。

一 手势计算技术的理解与特征分析

1 手势计算技术的理解

基于手势的计算又称“手势识别”或者“基于手势的技术”，是一种通过自然的身体动作来控制电子设备的技术。具体来讲，手势计算技术能够实现从鼠标和键盘控制计算机到凭借身体动作、面部表情、语音识别等新触控技术来控制计算机等电子设备。手势计算技术正在从物理和机械上改变人们与计算机等电子设备交互的方式[2]，为人们提供了一种更加高效的人机交互机制：将人体的自然手势作为交流方式引入到人机接口，人们可以直接将人手作为计算机输入设备，而不再需要中间媒介。用手势识别技术构建新型的学习交互界面，适应了新一代人机交互输入方式教学应用自然化发展的要求。这项技术的应用，将使人机交互方式更加符合学习者的行为习惯，使学习者不必通过键盘输入或鼠标操控甚至不必接触屏幕便可进行交互学习。以数据手套、视频设备和网络环境为支撑[3]，以数字化课程等教学资源为基础，手势计算技术作为重要的工具手段，将构建出符合教师和学习者学习特征、学习风格的新型教学模式或学习方式。

2 手势计算技术的特征分析

与传统的教育媒体技术形式相比，手势计算技术具有以下鲜明特征：

（1）可使学习过程更加生动形象、具体直观。手势计算是用手形动作和表情姿势而构成的比较稳定的操作方式，学习者靠动作和视觉与设备进行交互学习[4]。手势语同样包含丰富的信息内涵，较传统媒体形式更加自然且易于理解。

（2）极易实现以学习者为中心的学习活动。传统人机交互学习方式是将机器作为人机交互的中心，学习者与机器交互需要适应机器的输入输出设备，无自然的主动控制能力。而手势计算充分考虑了学习者的行为习惯（如语音、肢体动作、表情等），学习者是学习活动的主动参与者，机器将对人的各种动作做出反应。

（3）营造具有高度体验感的学习环境。手势计算摆脱了键盘、鼠标操作的限制，采用简单直观的动作手势或表情直接控制学习设备，其更加自然、灵活和便捷的方式可为学习者营造出更加简便舒适的交互环境，提高学习者的学习体验度[5]。

（4）支持多通道和多学习者的人机交互共享。手势计算技术可以充分调动学习者的视觉、听觉、触觉、嗅觉和平衡感等，并运用通道的互补特性来捕捉学习者的多方意图。此外，手势计算技术还可实现多学习者的参与性学习，接受多点同时输入，能为学习者之间的接触、交互和协作开辟多元化途径[6]。

（5）提升学习交互过程的智能性和高效性。手势计算技术用户界面支持高的输入带宽，学习者可以快速大批量地输入姿势信息[7]。手势计算可以智能解读学习者的意图，并及时做出正确反应，营造更为精确的交互模式。学习者能较快学会和运用手势，可同时用双手完成多个任务，因此大大提高了学习的效率、增强了学习的效果。

二 国内外手势计算技术概况

1 国内外手势计算技术的发展状况

近几年，国外手势计算技术在人机交互方面发展迅速，并取得了突破性的进展。由于具有很高的应用价值，手势计算技术受到很多世界著名大学和软件公司的关注及开发投入。目前，已经出现了诸多的新一代技术产品，正源源不断地为学校教育中智能化教学活动的开展提供着设备支持。如Apple公司于2007年基于iPhone手机开发了多触点触摸技术——这是一种基于传感器的隐式输入技术，其丰富的视觉体验和独特的交互风格使人机操作变得更直观、更人性化，并进一步促进了平板电脑的教学应用；IBM视觉小组成员Anton Zorin等于2008年研发出基于穿戴特殊颜色标记手套的虚拟导购系统、Google Earth和故宫导航系统，可通过手套标记后对手势进行识别，再映射成交互命令控制虚拟场景中的物体；谷歌眼镜是由谷歌公司于2012年发布的一款“拓展现实”眼镜，可以通过声音控制拍照、视频通话和辨明方向，甚至可以上网冲浪、处理文字信息和电子邮件等；Leap Motion公司于2013年发布体感控制器并进一步开发出Leap系统，该系统无需触摸操作即可与个人电脑轻松交互，这预示着基于手势计算的控制技术成为当前人机交互技术发展的前沿；Tarsier公司于2015年在加州圣克克拉召开DEMO大会，展示基于手势的MoveEye技术——操控者用手势即可操控智能电视，进行互动游戏或学习活动；加拿大创业公司Thalmic Labs最近开发出一款名为MYO臂环的创新产品，让前臂肌肉来确定用户的手势在传递什么信息，而且学习者只要动动手指或手掌，就能对一些电子产品发出指令。

我国手势计算技术虽然起步较晚但却发展迅速。如2000年，哈尔滨工业大学的吴江琴、高文等首先进行了数据手套和手语识别系统方面的研究；清华大学的祝远新和徐光佑开发出了基于视觉的动态孤立手势识别技术[8]。2004年，上海大学的段洪伟用LS-SVM算法实现了对静态手势的识别[9]；山东大学的徐立群和吴晓娟提出了一种改进的Camshift算法跟踪手势，实现了6种手势的识别。2005年，北京大学的张凯等利用平面立体匹配算法得到三维手势信息，实现了基于立体视觉的手势识别。此外，台湾大学和香港中文大学的相关专家学者也纷纷对手势计算识别算法进行了深入而系统的研究。

2010年，上海世博会上展示了许多手势计算技术的应用成果，由此实现了更多传统媒体技术所无法独立完成的任务，延伸着人类身体器官的功能性。2009年之后，伴随着电子白板等多媒体教学设备在中小学的普及应用，手写识别功能得到了越来越多一线教师和学生的认可。2011年，腾讯公司推出了QQ手势达人软件“for PPT”，这是一款通过普通摄像头来进行手势控制的体感软件，它抛弃了人们一直使用的键盘和鼠标，完全利用手势控制PPT演示文稿的播放。2014年，我国手势体感仪制造商——锋时互动公司开发了人体手势识别设备“微动”，无需用户穿戴任何辅助设备，即可识别使用者十指的动作路径、手势动作和相应的运动轨迹，并且能够将识别信息实时转化为各种人机操作指令，在自然状态下使用者亦可灵活进行游戏或学习。2015年，台湾地区的一些中小学已经构建出基于手势运算的智慧教室，允许多个学习者用熟悉的动作与虚拟世界的学习内容进行交互。

2 国内外手势计算技术的教学应用现状

《2012地平线报告（高等教育版）》指出：“基于手势的计算从利用鼠标和键盘来控制电脑，转变到通过新输入设备利用身体运动、面部表情和语音识别来控制电脑，使得交互更加灵活。”[10]手势计算技术在文件浏览、游戏和培训模拟操作等方面具有很大的优势，在教育和学习中也有很大的潜力。如在教育领域，手势计算将给学习者带来不一样的活动实践体验。目前在国内外学校教育教学过程中得以应用的相应系统技术产品形式，主要包括实时教学反馈、技能模拟训练、真实感官学习、肢体运动表演、新协作互动训练和超三维空间学习环境构建等。

当前，国内外手势计算技术在学校教育中的主要应用领域包括：

（1）在儿童教育中的应用。主要是利用多点触控电子互动技术，让书写计算能力相对薄弱的儿童完成诸如连线、拼图、绘图、计算和问题解决等认知任务。借助手势计算技术，儿童只需用手指在屏幕上对操作对象进行拖动、旋转、点击等操作便可进行交互学习。同时，还可以通过多点互动来提高儿童的团队协作能力。

（2）在高等教育中的应用。其中，比较典型的是虚拟智慧校园的构建与应用。在手势计算技术的支持下，学习者可以尽情扮演学校中的各种角色，并产生身临其境般的学习、生活感受。

（3）在医疗培训教学中的应用。主要是利用3D技术搭配手势计算技术开发出“3D虚拟手术台”，并将其作为日常医学训练的重要平台。学生可以用手势对人体器官图像数据进行移动、放大、缩小，可以进行独立操作或协作练习。这种方式大大提高了学生的学习效率，增强了学习效果，改变了传统医疗教育中的教学方式。

（4）在特殊教育中的应用。手势计算技术能够很好地解决特殊人群的教学发展需要，如借助手势计算技术、使用EyeDraw绘图软件，可以使肢体残疾者实现眼球控制信息的交流。手势计算技术能够帮助特殊人群通过练习形成多元化的表达方式，强化他们的短时记忆和长时记忆，进而有利于满足特殊人群的教育需求，实现教育公平并促进教育的均衡化发展[11]。

三 手势计算技术教学应用的问题及分析

目前，手势计算技术在教学中的应用还处于初级阶段，尽管优势明显，但也存在诸多的问题亟需解决。常见的问题主要有：①手势计算教学设备的成本较高。考虑到教学绩效还远远没有达到以最小投入获得最好教学效果的媒体选择原则，这也是一线学校普遍看好但却很少配置应用的主要障碍。②手势计算教学设备的使用需充分考虑学习者的年龄特点和学习风格，选择最适合学习者的学习交互形式。目前，手势计算教学应用内容的游戏性过强，对于自控能力相对较弱的低龄学习者来说需要进行正确的引导。③不能将技术作用绝对化。手势计算技术只是一种新型的教学辅助方式，远不能替代教师在教学中的作用，因为技术最大的优势在于学习环境的创设和认知工具性的提供，而基于技术的人际沟通交流（师生互动）才是课堂教学的根本。④目前大部分的手势计算设备需要固定位置且体积较大，移动性差，这就在某些场合某些时间为学习者学习带来了不便。在移动学习迅猛发展的浪潮下，借助手势计算技术，需要继续开发出新型便捷的可穿戴设备，努力为学习者营造无缝的学习环境。⑤支持学习者手势学习的系统和软件的数量、质量都有待提高。这需要有关技术研发机构能够开发出适应多样化学习内容的应用软件和学习应用系统。⑥手势计算技术在教学中应用时需要在教学模式上有所创新和突破。借助手势计算技术的优势，新型的教学方式要体现出教师教授、学生学习的发展性和创新性。

总之，手势作为一种自然和直接的交流方式，在人与人的交际过程中得到了广泛应用。而如何在人机交互中也创造出类似的交流经验，是手势计算技术发展的宗旨。随着智能手机、可穿戴式设备、家用自动化控制仪器等电子设备的进一步网络化发展，手势计算技术将有助于实现人机交互水平的大幅提升，将无需触碰操控也能识别学习者动作并做出回应[12]。利用手势计算技术获得学习者丰富的交互意图并积极做出反馈，是当前教育信息技术研究和应用领域中人机交互技术发展的新课题[13]。在不久的将来，基于手势计算技术的新人机交互技术会在触觉、视觉、听觉等多元通道，营造出技术和学习者自然融合且深度无缝的交互学习环境。

[1]龚陶波.基于计算机视觉的静态手势识别系统[D].武汉:华中师范大学,2008:6.

[2]程云,王艳丽,童三红.新技术创新促进教育与学习:地平线项目研究启示[J].现代教育技术,2012,(3):22-26.

[3]邹洪.实时动态手势识别关键技术研究[D].广州:华南理工大学,2011:2-3.

[4]Mao Q R,Pan X Y,Zhan Y Z.Using kinect for real-time emotion recognition via facial expressions[J].Frontiers of Information Technology & Electronic Engineering,2015,(4):272-282.

[5]王冉冉.基于视觉的手势识别在智能电视上的应用研究[D].青岛:中国海洋大学,2013:50-52.

[6]李文生,解梅,邓春健.基于多点手势识别的人机交互技术框架[J].计算机工程与设计,2011,(6):2129-2133.

[7]王辉.基于视觉的实时手势跟踪与识别及其在人机交互中的应用[D].浙江:浙江大学,2008:6.

[8]蔡祖洪.基于双目视觉的实时手势人机交互的研究[D].杭州:杭州电子科技大学,2011:2-5.

[9]Rashid O,Al-Hamadi A,Michaelis B.A framework for the integration of gesture and posture recognition using HMM and SVM[J].Intelligent Computing and Intelligent Systems,2009,(4):572-577.

[10]李建珍,官海萍.手势计算技术的发展研究— —2012年新媒体联盟NMC《地平线报告》启示[J].电化教育研究,2012,(11):39-61.

[11]Dim N K.Designing motion gesture interfaces in mobile phones for blind people[J].Journal of Computer Science & Technology,2014,(29):812-824.

[12]单祥茹.通过手势识别的机器感知时代已经到来[J].中国电子商情:基础电子,2015,(Z1):15-16.

[13]PCWorld中国.电视成全新平板设备:基于手势的计算将如何发展[OL].

The Status and Problem Analysis of Teaching Application for Gesture-based Computing Technology

LI Ling HU Wei-xing ZHAO Miao-miao ZHANG Li-wei
（Education College,Bohai University,Jinzhou,Liaoning,China 121013）

Nowadays,the instructional technology of gesture-based computing has become a new development trend in education area.The learning process of gesture-based computing technology has the features of distinct specificity,interoperability,gameplay,interactivity and intellectuality,thus it provides a new way of learning and process experience for learners.The paper analysed some problems that the teaching performance was not high,the learning content was too recreational,and it was too hard to adapt to the learners’ learning styles and characteristics existing in the application of gesture-based computing technology in education,and proposed that gesture-based computing technology can form a deep human-computer interaction in the aspects of touching,visualizing and hearing,and build a deep and seamless new interactive learning environment,where technology and learners blended naturally,which will create a new situation for the further development of education informationization.

gesture-based computing; human-computer interaction; teaching application

小米

G40-057

A 【论文编号】1009—8097（2016）01—0034—05

10.3969/j.issn.1009-8097.2016.01.005

本文为教育部人文社科青年项目“四元交互作用机制下的动画多媒体学习研究”（项目编号：13YJC880028）、辽宁省高校青年教育科研骨干专项课题“信息技术融入课堂教学的有效性研究”（项目编号：JGZXQDB039）的阶段性研究成果。

李玲，在读硕士，研究方向为信息化教育和数字化教育资源的研发，邮箱为1411886871@qq.com。

2015年6月29日