虚拟3D人体解剖拼图平台的设计及应用

胡 星，严均益，张秉哲，郑 奋

第二军医大学：1学员旅；2基础部计算机教研室，上海 200433

虚拟3D人体解剖拼图平台的设计及应用

胡 星1，严均益1，张秉哲1，郑 奋2

第二军医大学：1学员旅；2基础部计算机教研室，上海 200433

为加强医学生及临床工作者对解剖知识的学习和回顾，实现虚拟平台下的模型重建和模拟手术，设计了一款基于Unity平台的3D人体解剖拼图软件：以关卡模式、沙盘模式、拓展模式等不同模式为框架，以300个左右人体模型为基础，结合3D打印和虚拟现实技术，实现了虚拟平台下的解剖学习和模型重建、切割。实践证明，在基础医学教育和外科领域教学中有较大实际意义。

人体解剖学；医学教学；数字医学；虚拟实验室

从1967年CT首次用于头部扫描到1971年核磁共振进入医学领域，生命医学和信息技术领域的融合发展方兴未艾，目前三维重建、模拟手术已然成为骨科、脑外科等许多科室的必备诊疗手段。从2003年中国建立了自己的人体数据库到2011年中华医学会数字医学分会成立，经过近几年的迅速发展，虚拟现实和3D打印使医师对病情的认知达到一个新的高度。达芬奇机器人的出现更是改变了传统的手术模式，使手术操作更加精确，更有利于达到智能化医疗的目的［1］。所以，王正国院士说：“相信在不远的将来，整个医疗行业都会跨入数字医学的大门”。

在国外，高校虚拟实验室的应用案例较多，而国内只有少数医学院校建立了虚拟实验室［2］。解剖学内容繁杂、抽象，且解剖材料缺少，很多院校只是开展了理论课，是虚拟实验平台和3D打印技术应用于医学教学的重点方向。

在外科，尤其是心外科、血管外科等科室，解剖结构复杂、手术操作精细、风险较大［3］，传统的CT，MRI存在视觉偏差和不够立体形象的缺憾，3D打印和模拟手术平台技术的诞生可以便于医师互相交流，术前选择合适入路，避免损伤重要的血管神经，制定更加合理谨慎的手术方案，降低手术风险。

1 设计理念和内容

在很多医学院里，医学解剖教学受医学伦理、实验条件、实验成本以及尸体来源的限制，无法让学生实际操作体会［4］，书本内容又过于枯燥和抽象；在临床工作中，平片式检查不能很好地反映病灶的三维结构以及与周围组织器官的关系。比如：骨折的内固定支架需要按照患者的三维重建模型来个体化确定长短、弯曲角度。为了帮助学生更加直观地理解并记忆解剖结构，也为了临床工作者可以立体评估诊疗病灶和预手术，我们基于虚拟现实，应用3D打印技术设计了一个虚拟实验平台。

在设计层面上，我们要处理场景的切换，模型的动态加载和销毁以及Xml文件的读取和存储等一系列问题，该软件的设计层面功能概述如图1所示。其中模型管理、场景管理、系统管理的使用贯穿了关卡沙盘模式的始终，编辑器的设计是键入用户学习笔记的基础。

图1 功能概述

解剖学习系统利用Unity平台，以游戏式的体验，打破课堂教学的时间及空间限制，实现学生兴趣导向下的自主探索式学习，具体分为两种模式：①关卡模式。在这一模式下，用户将以类似游戏的形式体验人体不同结构的组成。通过进度条以及高亮指引，降低不熟悉这一结构用户的体验难度，并在成功拼接结构后，通过一定反馈给予用户成就感，增加学习兴趣。②沙盘模式。在这一模式下的场景中，用户可以用选项卡的形式选择任意模型拼接人体结构。这一模式去除了指引与结构的限制，适合对人体解剖结构有一定了解的用户，以提升其操作技能。

临床拓展系统可以导入患者的CT容积扫描，并进行三维重建，建立立体的影像模型，并建立了与3D打印机的接口，根据患者三维重建打印的3D模型既可以用于教学，也便于医师在手术前深入讨论，了解病变区域与周围组织结构的解剖关系，寻找最适合的入路，降低手术风险。结合虚拟现实技术，通过医学数据可视化，人体组织器官的应力形变仿真、传感和反馈，软件实现了模拟手术，提高了外科学生学习的效率。

同时，设计了便于修改模型名称、简介与区域的xml文件编辑器，既可以调整以上两个系统的内容，也可以引入非医学专业用户自定义的模型创建自己的3D模型，极大地丰富了作品的拓展性。

该虚拟解剖平台以计算机技术为核心，以解剖和外科知识为依托，实现模型运动、数据采集、及时反馈的融合，通过嵌入虚拟现实技术和3D打印技术，提高了医学生学习解剖和外科手术操作的兴趣，具有高效、便捷、节约资源的特点。

2 技术特色

模型的建模是整个软件设计中主要的一环，在3Ds Max平台里，首先将所需模型的正视图、侧视图作为贴图附着于两个Box物体上，接着沿轮廓画出Spline曲线，在画出的区域内添加分割曲线，将它们分成一个个四边形面，采用网络平滑使平面产生圆滑、流线型的效果，创建出合适的三维模型。

在程序运行过程中，我们采用了动态加载技术，实现了在同一场景中根据输入情况加载不同模型。将待加载区域名称作为参数传入场景，场景中脚本以此为键，从根据可通过编辑器修改的xml文件导入的键值对中读取所需信息，并在场景中生成模型。待加载模型既可以是程序内置的人体结构模型，也可以是对外部obj模型解析，通过对ascll编码的obj模型以文本文件的形式进行逐行读取，将所得的定点、法线等信息储存为数组的形式在运行时绘制出其他模型。

模型在场景中生成后，程序会根据不同模型的要求加载不同的shader文件，以实现正常、高亮、半透明等不同状态的显示。程序在接受用户命令后，根据命令内容的不同调用相应函数，对模型进行调整，实现拖动、旋转、选中、分解等功能，同时使同一模型具有多种用途，节约了程序占用资源。在模型的拼接方面，首先对肌肉和骨骼模型之间按照预定的正常解剖位置进行编排，当相邻的结构彼此接近的时候，使模型关键的坐标一致，形成一个整体。

3D打印技术是把计算机中产生的三维模型，通过软件分层离散和数控成型系统，利用激光束、热熔喷嘴等方式将特殊材料进行逐层堆积黏结，叠加成型，制造出实体产品，它是一种新兴的快速成型技术，在医学领域关注度日增。其个性化、精准化、远程化等优点适合医学领域应用［5］。该软件中，我们通过代码以Stl格式将模型导出进行3D打印，模型以其高保真、高仿真、高精确度重现解剖结构，在临床实践特别是外科手术中有较大临床意义。

在模拟手术操作中，传感器将获取的外部数据传入unity程序，并将其抽象为肢体的精细运动，最后以这些运动数据为参考，控制屏幕中模型的移动与旋转［6］。具体的方法是记录每帧肢体运动所产生的肢体位移，并按照x，y，z轴分别对应至模型的x，y，z轴，在进行一定的放缩后将模型进行位移，并设计模型的物理、生理参数，实现模型在手术过程的变形，模拟手术过程中的切割、出血、神经损伤等情况。

3 应用效果

为验证在平台上进行操作学习能否对学习过程和效率有明显的积极影响［7］，我们模仿进行了对比试验。任意选择10个解剖结构，抽取大学一年级医学生50名（未经过解剖学习），将其平均分为两组，在规定时间内（10min）用软件教学记忆（A组，A组已熟悉软件操作）和用常规书本记忆（B组），两组在临时记忆和中期记忆以及长期记忆的对比如表1所示。

表1 记忆对比表

由表1可知，在短期和中期记忆里，两组差别不大，但是长期记忆中，通过软件学习的组（A组）比常规书本学习组（B组）成绩要好，记忆更牢固。

4 软件意义

4.1 学习高效性

该软件改变了传统解剖课堂枯燥、抽象的学习状况。学生能自主拼接和立体感受人体的各部分肌肉和骨骼等结构，并在屏幕左侧对各部分结构进行了专业的注释，通过编辑器键入自己的笔记和学习体会

4.2 自主开放性

该软件打破了课堂和材料的限制，节约成本，在解决尸源不足等问题的同时，使学生在任何时间、任何地点都可以学习解剖知识。其次，学生是通过自主地拼接和切合肌肉和骨骼，注意力容易集中，记忆也更加深刻。

4.3 内容拓展性

首先，软件可以导入患者个体的三维重建图像，有利于学生更直观地了解人体实际的结构，甚至可以用于医师的辅助诊断。其次，结合3D打印技术可以将模型进行3D打印，便于更加清楚地了解病灶结构，进而辅助外科手术入路选择、降低手术风险、缩短手术时间。最后，软件通过嵌入虚拟现实技术，利用肢体的运动来控制场景中的模型运动，可进一步进行模拟切割和模拟手术。

该软件主要着眼于解决解剖学习过程中存在的知识不够直观，外科手术过程中操作较复杂、风险较大等问题。通过在计算机虚拟实验室中重现人体三维结构，同时辅以合理学习的方法，帮助学生更好地掌握人体解剖学知识。在此基础上，通过添加解析外部模型的功能，结合3D打印和虚拟现实技术，使其完成从教学到教学与临床并重的转变。

随着目前我国医疗事业和现代计算机技术的不断发展，虚拟现实技术必然会在医学教学中越来越普及、越来越深入，虚拟现实技术在临床中的应用也将愈加多样、愈加广泛［8］。

［1］王正国.中国数字医学：进展与展望［J］.中华医学信息导报，2016，31（15）：18

［2］刘尚辉，娄岩，刘佳，等.基于医学教学的虚拟实验室建设与应用［J］.中国医学教育技术，2015，29（6）：639-641

［3］于敏，张曙光，邵海波.3D打印技术在医学领域中的应用［J］.解剖科学进展，2016（3）：351-354

［4］黄坪，李红松，潘克俭，等.基于MOOC的医学虚拟仿真实验室建设探讨［J］.实验技术与管理，2014，31（12）：104-106

［5］周伟民，闵国全，李小丽.3D打印医学［J］.组织工程与重建外科杂志，2014，4（1）：1-3

［6］张荻.Kinect应用领域的探讨［J］.物流工程与管理，2012，34（6）：39-41

［7］覃京燕，邓袁圆.基于虚拟现实的交互式数字教学模式研究［J］.教育与职业，2010（32）：177-179

［8］崔梦舸.医学虚拟现实技术发展与应用［J］.电子世界，2015（18）：188-189

Design and app lication of the 3D human virtual anatom y jigsaw p latform

Hu Xing1，Yan Junyi1，Zhang Bingzhe1，Zheng Fen2

1Cadet Brigade；2Computer Teaching and Research Department，the Second Military Medical University，Shanghai200433，China

In order to enhance medical students＇and clinical workers＇learning and review of anatomical knowledge aswell as realizing themodel reconstruction and simulated operations on the virtual platform，we designed a 3D human body anatomy jigsaw software based on Unity platform.With levelmode，sandbox mode and extension mode as the framework，300 models of human body structure as the basis，and 3D printing and virtual reality technology，we realized anatomy learning，model reconstruction and cutting on the virtual platform.Practice proves that the platform is of great practical significance in basic medical education and surgery teaching.

human anatomy；medical teaching；digitalmedicine；virtual laboratory

G434

：A

：1004-5287（2017）04-0465-03

：10.13566／j.cnki.cmet.cn61-1317／g4.201704028

2017-03-08

胡星（1995-），男，安徽滁州人，本科在读，主要研究方向：临床医学。

郑奋（1976-），男，上海人，讲师，硕士，主要研究方向：数据库程序设计，虚拟现实技术。电话：13816708490；E-mail：zhengfenfly＠163.com