基于Kinect体感系统的虚拟现实技术在医学教育中的可行性初探

陈 晨，王亚平，刘小鸿，杨 璐，李 森

第二军医大学教育技术中心，上海 200433

多媒体技术、网络技术在医学教育领域中的普及和发展，已经得到了广泛的认可和好评。基于计算机仿真技术的“虚拟现实”教学形式，是一种新的教学模式，具有广阔的发展前景，代表了教育的未来与发展方向［1］。研究者希望利用这项全新的技术来改变传统教学模式，为医学生创造良好的学习环境和全新的学习方式。

Kinect体感技术诞生之初便在医学领域中得到应用。例如医学影像操作中的无接触操控，非触摸体感方式的病患检查、远程外科手术等。因此，笔者认为Kinect体感系统具备的多种功能特点符合虚拟现实教学形式的实现条件，可以在医学教育领域中进行应用实现。

1 Kinect体感技术介绍

Kinect是一种由微软公司开发的3D体感摄影机，配套旗下家用视频游戏主机Xbox360的体感周边外设产品，具有实时动态捕捉、图像识别、麦克风输入、语音识别等功能。Kinect有3个镜头，中间的镜头是RGB彩色摄像机，左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D深度感应器，它依靠相机捕捉三维空间中人体的肢体活动甚至是面部细节变化。

其工作原理是，使用者面对体感设备而立，通过设备内一个红外激光投影镜头将一组红外激光点阵投射到使用者身上，另外两个红外线CMOS摄像头对此进行X轴、Y轴、Z轴的3D深度信息扫描，通过光编码技术，用近红外光对场景进行编码，形成一个具有三维纵深的“体编码”(如图1所示)。这种编码来自于激光散斑，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点［2］。以此可分辨使用者、背景以及使用者的动作意图，简单说就是用光源照明给需要测量的空间编上码，再通过三维解码使之产生立体交互功能。为了使摄像头更精准地对准使用者，Kinect还配备了马达和加速度传感器。

图1 Kinect实物图及组件说明

2 Kinect体感技术的应用探索

虚拟现实的交互性、沉浸性、构想性等特点需要建立在许多外部硬件设备的基础上。例如:建模设备、显示设备、声音设备和交互设备。Kinect体感技术具备了多种硬件条件和技术功能，如动态范围捕捉、影像识别、麦克风输入、语音指令、体感控制等;还具备了多种实现虚拟现实技术的硬件指标，在实际教学中的应用将具有很高的价值。

2.1 课堂教学

CAI应用于现代医学教育，尤其是课堂理论教学，具有较明显的优势，包括表达形式多样，学习过程可自主调控，信息储存量大，利于自主学习等［3］。但与Kinect所提倡的活动与教学、虚拟实境方式导入游戏式教学和特殊且趣味性的学习模式相比缺乏灵活生动性。运用Kinect手势识别技术捕捉教师单手或双手在现实空间中的动作，将之转化成三维编码，再由PC软件进行解码，辨识其操作内容，进而即时地通过投影仪等显示设备呈现展示，免去了大量的板书及点击鼠标时间，也解放了教师的授课空间束缚，灵活生动地展示操作也使得学生对知识内容能更加直观地学习和理解。

2.2 临床教学

传统的临床实践教学中，主要以教师讲述为主进行授课，学习内容往往流于书本和理论，学生实际操作和应用的机会较少。虚拟临床结合CAI培训模式的引入，通过建立三维的人工虚拟环境，可以模拟患者的一些病状特点和应激反应，学生能够运用多种交互设备来操作工具和对象。但在实际应用中设备的操作复杂和资源有限使得这一模式很难得到普及与推广。

Kinect的动态捕捉技术可以通过扫描捕捉，对环境景深进行像素评估。利用红外线发射器和红外线CMOS摄像机获取图像深度图，提供人体骨骼的捕获功能［4］，运用分割遮罩将人体从环境中分离出来，随即辨别人体的不同部位以及动作操作。学生只需通过显示设备呈现的立体环境和病患建模，不通过任何额外设备，在现实环境中，以手势、身体姿势及语音作为输入元素［5］，即可进行模拟实践操作(如图2所示)。

图2 分割遮罩技术将人体从背景分离

美国华盛顿大学BioRobotics实验室的学生们通过对Kinect的改造，让它可以用来控制外科医师的机器手臂，并利用其灵敏度高、识别性强等特点，实现无接触操控和非触摸体感，让Kinect控制机器手臂执行手术(如图3所示)。这一技术的应用，不但免去了大量操作设备的资源投入，而且还可以避免学生花费大量时间去掌握虚拟临床操作设备使用方法的过程。

图3 外科医师用Kinect控制外科机械手臂

2.3 三维建模展示

医学教学过程中会运用大量的示例图片和实物标本给学生进行展示教学。通过虚拟现实技术，将静态图片、标本模型进行仿真三维化处理后，可以形成多角度、全方位的直观展示。而展示方式的单一化，形成了教师展示学生看这一尴尬局面。学生更想直接的参与其中，由自己控制来观察研究建模，形成概念。

通过Kinect的深度传感器，在使用者的前后左右四个方位布置若干部Kinect，可以通过深度传感器所捕获的3D空间数据与RGB摄像头捕获的影像数据来进行3D建模，从而实现实时的3D捕获与显示［4］。

在三维建模演示方面，瑞士Bern大学的Virtopsy项目使用开发框架的ofxKinect系统，制作体感软件。使用音控和体感控制来处理医疗设备中出现的OsiriX三维建模。Virtopsy项目使用非触摸的体感方式，更加方便，也更节约时间，能够更好地对三维建模进行展示，供医学教学使用(如图4所示)。

图4 利用Kinect控制三维建模放大缩小旋转等功能

Kinect语音控制技术工作原理是预先将指令语音储存，将之转化为操作系统可理解的命令，在利用Kinect进行建模控制演示时只要说出相应的指令即可实现对应建模的相关操作。例如:教师在展示三维建模时只需要对设备发出“放大、缩小、旋转”等语音指令，设备便会将语音信号转变为相应的操作命令，对三维建模进行相关展示，这一过程将极大地减少传统建模展示中的复杂操作，增加了教学的灵活性，也可充分调动学生学习的积极性。

2.4 远程教学

远程教学是建立在多媒体技术、计算机网络通信技术上的一种双向信息传送教学。与传统的“面对面”授课相比，它使得更高水平的教学授课能在更广的范围内共享。

为了实现在远程教学中需要的高质量视频影像及语音，通常需要采购一些价格昂贵的高清摄像头和声音采集设备，并且这些设备不具备一体化特点，往往售价也较昂贵，性价比不高。

Kinect体感设备具有多点阵列麦克风，可以准确地进行声音定位并帮助过滤环境噪波，免除了许多额外的音频处理;同时Kinect的语音控制功能，大大提高了远程授课中的交互性，让用户发出命令即可进行相关操作，减少了不便的操作。RGB摄像头和两个深度传感器配合机械马达底座进行移动图像捕捉，实现了摄像及语音的一体化处理，并提供了深度摄像，可以在授课时自动识别举手发言的请求，具有很高的性价比。

该文将基于Kinect体感技术的虚拟现实教学形式这一设想引入了医学教育中，其优点是优秀的交互性、友好的操作性和广泛的实用性。通过介绍Kinect体感技术的关键技术特点，说明Kinect体感技术具备了医学教育虚拟现实技术实现的技术条件和硬件指标。

［1］宋宏泉.虚拟现实技术在现代医学教育中的应用［J］.齐齐哈尔医学院学报，2006，27(8):984-985

［2］Huang J，Ma Z，Hu Y，et al.Robotic 3D structured light scanning system based on external axle.International Conference on Intelligent Computation Technology and Automation［M］.Piscataway，NJ，USA:IEEE，2008:l126-1129

［3］郑唯强，郑建明，王建军，等.教学媒体在病理教学中的设计及使用［J］.中国医学教育技术，2004，14(1):44-45

［4］黄康泉，陈壁金，郑博，等.Kinect在视频会议系统中的应用［J］.广西大学学报:自然科学版，2011，36(z1)，308-313

［5］吕开阳，叶华茂，李晓光，等.Kinect体感技术在动物外科实验教学中的应用及展望［J］.中国医学教育技术，2012，26(2):171-173