Kinect体感技术在动物外科实验教学中的应用及展望

吕开阳，叶华茂，李晓光，白玉树，徐正梅，沈洪兴，赵志青，景在平

第二军医大学:1附属长海医院;2训练部，上海200433

计算机辅助教学(computer-assisted instruction，CAI)系统是以计算机系统作为媒体，以人机交互方式向学生传播相应的教学内容以达到预期教学目标。这项技术和理念为传统教学注入了新的活力，使医学教学改革和医学人才的培养步入了一个全新的时期，给教育、教学带来了新的活力［1-2］。

CAI应用于现代医学教育，尤其是课堂理论教学，具有较明显的优势，包括表达形式多样，学习过程可自主调控［3］，信息存储量大、利于自主学习［4］，反馈及时、能加快教学进程等。因此它在医学院校的大班课教学及实验课理论教学中得到了广泛的运用，起到了良好的教学效果。然而，在外科手术学动物实验课上，CAI的应用中受到明显限制。

1 动物外科教学存在的问题

外科动物实验的目的是:①树立培养学生手术无菌观念的意识;②加强手术整体配合的观念;③让学生通过手术训练，熟练地掌握“切开、缝合、止血、结扎”等手术基本操作技能［5］。

外科动物实验课程的目的决定了教师和学生对课件的操作无法随意而为。因为在实验课上，教师及学生大部分时间都需要洗手，戴无菌手套。学生如果有问题，教师只能口头讲解，无法以CAI中形象生动的方式展示给学生看。课堂现场以黑板板书的方式简单罗列当堂课的知识点，由于版面有限，既往课程的知识点则无法展示。同时，由于手术无菌术的客观要求，学生也无法自己现场查阅资料，自主学习。然而，在长期的动物外科学教学中笔者发现，作为初次接触手术学的学生，接受手术学知识的速度都比较慢，基础知识掌握程度参差不齐，常常记不起已多次讲授的某些基本知识点。比如:需要持针器打结时，忘记打结的要领;需要做肠切除、肠吻合术时，无法回忆起某个步骤如何缝合;部分学生甚至在动物外科学课程结束后，仍无法肯定地说出持针器到底有几种把持方法。究其原因，很大程度上与课堂学习效率低下有关。因此，若能在教学的任何时刻，在学生需要的时候，反复地给予学生相关知识的展示，必将促进基础知识的记忆，达到较好的教学效果。

2 Kinect体感技术介绍

Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字。Kinect主要包括以下几个功能:①骨骼追踪。根据在Kinect视野范围内移动的一个或两个人的图像进行骨骼追踪，可以追踪到人体上的20个节点;②XYZ-深度摄像头。获取标准彩色图像流附加深度数据，来表示物体与Kinect传感器的距离。它的原理是利用双眼的视觉差，能够判断我们面前某一个物体基于我们当前位置的距离，基本上都是通过红外方式来做判断。由于人体散发出来的红外是一致的，因此无论是什么人种，都不会受到干扰;③音频处理。与Microsoft．Speech的语音识别API(应用程序编程接口)集成，使用一个具有消除噪音和回波的四元麦克风组，能够把声源附近有效范围之内的各种信息捕捉到。基于以上功能，不需要使用任何控制器，Kinect依靠实时捕捉使用者的3D动作、面部识别和语音识别即可达到输入的功能［6］。

Kinect最初是专门作为微软的游戏主机XBOX360的输入设备而出售。然而，2011年6月17日，微软发布了运行在Windows 7环境的Kinect开发工具包(Kinect SDK beta)。该SDK内容包括:①原始传感器数据流(raw sensor streams):能够从深度传感器、颜色传感器和四元麦克风中获取原始数据流，开发者在这些由Kinect传感器中获取的数据基础上进行处理;②骨骼跟踪(skeletal tracking):能够追踪一名用户或两名用户的动作，便于建立基于动作控制的应用;③增强版音频功能(advanced audio capabilities):音频处理功能包括复杂降噪和回声消除功能，能够识别当前声源，与Windows自带语音识别API功能融合;④示例代码和文件:SDK包括100多页的技术文档。文档中还包括了大批详细的实例说明。另外SDK安装快捷，无需复杂设置，仅需数分钟即可将其使用在Kinect上。这为全球的程序员快速开发基于个人电脑的Kinect应用程序铺平了道路。有了这个开发工具包，专业人员完全可以将Kinect作为个人电脑的输入工具，以手势、身体姿势及语音作为输入元素，控制电脑系统的工作［7］。

3 Kinect体感技术在动物外科实验教学中的应用及效果

Kinect的这一新颖的输入方式为动物外科手术实验教学提供了新思路。在不适合徒手操作电脑的情况下，教师或学生可以用Kinect作为个人电脑的输入工具，以手势、身体姿势及语音作为输入元素，控制电脑查阅相关知识点，得到及时反馈，来达到现场教学或现场自学的目的，快速、有效的传道解惑。基于以上认识，我们设想建立基于Kinect体感技术的动物外科辅助教学系统，包括一个动物外科基础知识库、一套Windows系统下的基于Kinect体感技术的控制程序及一套运行于动物外科手术室的Kinect辅助教学硬件系统。包含Kinect在内的硬件系统负责承载程序的运行及动物外科基础知识库的存储;控制程序的作用是将Kinect收集的原始输入(声音、手势、动作等)转化为操作系统可理解的命令，从而进行相关操作;而动物外科基础知识库则是一个综合性的教学数据库，包含了与动物外科有关的一切内容，即动物外科基础操作技术、相关的动物解剖知识、所有教师的授课文档及幻灯片等，而内容的形式可以为文字、图片、视频、动画等多种形式。数据库内容以一定的方式进行编码或者索引。比如:每个内容都建立基于音频的检索编码，便于快速查找。

该系统的典型应用场景可能如下:在进行静脉切开术实验操作教学时，某手术组的术者在为犬做前肢头静脉切开时，因手术失误，双前肢的头静脉皆不慎切断，遂决定为后肢静脉进行切开。然而，术者并未掌握犬后肢的静脉名称及体表投影知识，于是，在第一助手为犬后肢重新消毒、铺无菌单的同时，术者未脱手套及手术衣，面向手术室墙壁电视显示器上方的Kinect说出“登录系统”这一语音口令，登录手术室电脑内的Windows 7系统，以右手移动控制电脑屏幕的掌形鼠标，使掌形鼠标移动到动物外科辅助教学系统图标上并停留3秒钟，从而打开电脑中的动物外科辅助教学系统，说出“犬的解剖”指令，动物外科辅助教学系统立刻以图片排列的方式显示出犬的各部位解剖图谱。由于部位较多，无法在一个屏幕内浏览完毕，术者继续以右手向左方水平滑动的形式，模拟翻页动作，直至找到犬后肢静脉解剖的相关内容，屏幕提示犬的后肢解剖被语音编码为“后肢静脉解剖”，遂以语音指令“后肢静脉解剖”将犬后肢可供静脉切开的静脉名称及体表投影全屏显示。图谱提示犬后肢根部腹面有股静脉可供静脉切开置管，但是切开步骤及注意事项图谱上并没有提供。于是，以语音口令“home”退回动物外科辅助教学系统首页，以语音“静脉切开术”查找到数据库内所有有关静脉切开术的文本，以右手翻页，最终选择打开(鼠标移动到图标上并停留3秒钟)“犬的后肢静脉切开置管术”文本，快速浏览并了解犬的后肢静脉切开置管术的步骤及注意事项。最后，手术组根据现场查阅到的资料完成犬的后肢静脉切开置管术。

可以相信，这样一套现场教学辅助教学系统将更加出色地发挥CAI技术在动物外科教学中的优势，包括有利于学生随时回顾和掌握基础知识、丰富教学内容、增加课堂信息量，有利于激发学生学习共趣，从而迅速提高动物外科教学效果。这样的辅助系统的开发，也有助于为其他课程或者特殊环境下的教学系统开发积累经验。

［1］陶亚萍．多媒体在医学中的应用［J］．医学信息，1998，11(9):41-42

［2］Berman NB，Fall LH，Maloney CG，et al．Computer-as-sisted instruction in clinical education:a roadmap to incr-easing CAI implementation［J］．Adv Health Sci Educ Theory Pract，2008，13(3):373-83

［3］邵少慰，郑恒．多媒体组合教学法在病理教学中的应用［J］．中国医学教育技术，2001，15(2):114-117

［4］郑唯强，郑建明，王建军，等．教学媒体在病理教学中的设计及使用［J］．中国医学教育技术，2000，14(1):44-45

［5］孙延鸣．动物外科手术基本操作的实践性教学改革［J］．石河子大学学报:哲学社会科学版，2009，23(6):123-123

［6］Chang Y J，Chen S F，Huang J D．A Kinect-based system for physical rehabilitation:A pilot study for young adults with motor disabilities［J］．Res Dev Disabil，2011，32(6):2566-2570

［7］李斌，吴国斌．Kinect领人机交互变革［J］．程序员，2011，(9):100-103