应用增强现实技术于医疗器械课本的研究与设计*

孟祥军 马志庆* 赵文华 孟 美

应用增强现实技术于医疗器械课本的研究与设计*

孟祥军①马志庆①*赵文华①孟 美②

目的：应用增强现实(AR)技术，改进医疗器械课本中二维图片的诸多缺点，进行形象具体可交互的三维(3D)图片展示，便于学生更加清楚、透彻地理解课本内容。方法：比较Vuforia、ARToolKit、Easy等AR解决方案，利用Unity 3D作为开发平台，利用C#计算机语言作为开发语言，采用识别准确率更高的Vuforia AR技术，设置虚拟按钮进行交互；利用智能终端设备完成医学课本的相关应用程序(APP)设计。结果：基于AR技术的医学课本APP开发设计，在原有医学课本的基础上实现了观察某些特定医学二维图像，可以实时展示单个或多个3D立体模型，可直接使用设计的虚拟按钮功能与虚拟3D立体模型进行交互。结论：利用AR技术的APP学习方案，能够显著提高医疗器械的学习效率，使学生学习兴趣极大增强，并可将该技术移植到其他课本中进行研究。

增强现实；医疗器械；课本

增强现实(augmented reality，AR)[1-2]即为利用相关技术在原有场景中构建新的虚拟模型或场景并使其与现实场景融为一体，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频和三维(threedimensional，3D)模型的技术。在医疗器械课本中，传统纸质课本只能展示二维图片，相比传统纸质课本，研究基于增强现实技术的“增强现实课本”可带来新的应用体验，增强学习医疗器械相关知识效果，而且可以推而广之，扩展到整个教育领域使用。本研究应用AR技术，对原有医疗器械课本二维图片的诸多缺点进行改进，实现其形象具体、可交互的3D图片展示。

1 AR技术的解决方案

1.1 AR技术分类

AR技术目前市场上解决方案大致有PTC公司的Vuforia、开源的ARToolKit、Metaio以及国内的EasyAR等系统软件解决方案，ARToolKit仅仅用于个人电脑(personal computer，PC)平台的开发。此外，Metaio被Apple公司收购后已经不在对外提供服务[3-6]。本研究采用移动平台作为开发平台，本项目采用被广泛应用于移动端AR开发的Vuforia系统作为AR开发的解决方案(如图1所示)。

图1 AR技术主要解决方案示图

1.2 Vuforia系统

Vuforia系统是由PTC公司推出的AR开发工具包，最新版本为Vuforia 6.2，其开发的AR应用能够在现实世界中构建虚拟物体，利用移动终端的显示屏将虚拟对象和摄像头捕捉的现实场景结合到一起，从而实现对现实世界进行增强的作用。Vuforia系统开发工具包(software development kit，SDK)在AR技术之所以被广泛使用，主要有以下优势[7-9]：①AR ToolKit主要针对PC，而Vuforia系统对移动终端有着较好的支持；②应用Vuforia可以同时识别多个物体、同时构建多个3D模型；③支持用户自定义目标；④有着优良的追踪性能，不会因为移动终端设备的移动而受到干扰，无法进行识别；⑤最新版能够支持OpenGL ES 3.X；⑥具备良好的容错性，即使对图像进行遮挡也能够正确识别；⑦能够适应不同的光照环境，即使在非常明亮以及非常暗淡的环境下也能够正确识别；⑧应用Unity 3D开发，其有着良好的兼容性，可以适配不同的移动终端设备。Vuforia SDK主要包含本地识别以及收费的云识别两种方案。

2 Vuforia系统应用于Unity 3D开发

2.1 Vuforia系统总体开发流程

Vufoira系统应用于Unity 3D引擎的整体工作如图2所示。

图2 Vuforia系统应用于Unity 3D开发流程示图

利用专业摄像头拍摄识别物的图像，再应用3D建模与动画软件开发配套3D模型，将拍摄好的图像导入到Vuforia系统中，由系统算出每个图片的特征点以及对应的应用密钥，然后导出为Unitypackage文件，在Unity 3D中导入Vuforia SDK与配套3D模型以及上述导出的Unitypackage文件，然后编写相应的代码逻辑，并对其组件的多个属性进行配置，完成应用的基础开发[10-14](如图3所示)。

2.2 应用Virtual Button进行人机交互

如实现对医疗器械3D模型进行控制，则需要研究其人机交互方案，除直接在UI端设计，如能利用遮挡识别点，对模型进行直接操作，更加方便简单，若实现这种方案需首先下载Vuforia SDK，然后导入Vuforia SDK到Unity 3D工程中[15-16]。在Image Target控件下，新建空对象命名为btn_left、btn_ right并添加VB Plane、Mesh Renderer、Virtual Button Behaviour、Turn Off Behaviour等控件，对Virtual Button Behaviour脚本配置其Name属性为btn_left和btn_right、Sensitivity Setting属性设置为HIGH如图4所示。

图3 应用运行界面图

图4 Virutal Button配置示图

创建名为VirtualButtonEventHandler.cs的C#脚本继承IVirtualButtonEventHandler接口，在Start方法中注册虚拟按钮，其关键代码如图5所示。

图5 注册虚拟按钮示图

对按钮按下和按钮释放(OnButtonPressed和OnButtonReleased)两个方法编写其他逻辑代码实现应用控制功能，需要注意两个方法传入的是Virtual Button Abstract Behaviour对象，其拥有VirtualButtonName属性可以方便调用设计的VirtualButton名称。最后完成界面如图6所示。

图6 虚拟按钮功能运行界面图

3 结论

在医学教育中传统医疗器械课本只能单纯展示文字与图片，一些场景无法形象具体展示出来，不利于学生进行理解，而应用目前流行的多媒体也只能展示部分相关课程要点。以医疗器械课本为例，如学生仅仅依靠课本与多媒体内容很难完全理解，而搭建相应实验室存在一定弊端，虽然一定程度上使学生获得较好的学习体验，但是学生无法随时随地进行在实验室学习[17]。本研究创新之处在于利用AR技术对应开发与应用，极大增强了原有医疗器械课本的生命力，提高了使用者的学习效果。

参考文献

[1]陈泽婵.基于Unity3D的移动增强现实光学实验平台[D].北京：北京理工大学，2015.

[2]顾亚平.基于智能语音交互技术的智慧语音助理系统实现[D].南京：南京邮电大学，2015.

[3]罗永东.基于Unity3D的移动增强现实技术与应用研究[D].青岛：青岛科技大学，2015.

[4]王志强.基于移动增强现实的虚拟机械臂系统研究与实现[D].邯郸：河北工程大学，2015.

[5]王晓雨.沉浸式虚拟3D敦煌莫高窟场景重现技术研究[D].西安：西安工程大学，2016.

[6]王阳.基于Android的室内WiFi定位系统设计与实现[D].南京：南京大学，2016.

[7]黄贤立，罗冬梅.基于讯飞语音技术的智能家居控制APP设计[J].福建电脑，2016，32(8)：112.

[8]张宇.现实亦虚拟虚拟亦现实[J].机器人产业，2016(2)：46.

[9]徐德华，张雪艳.中国VR技术发展现状、应用前景与对策研究[J].经营管理者，2017(1)：271.

[10]王延可.增强现实几何一致性相关问题研究[D].济南：山东大学，2014.

[11]孙鹏飞.移动综合网络应用客户端和服务器的研究与开发[D].北京：北京邮电大学，2014.

[12]宋杰银.以社会责任为己任的民族语音品牌[J].质量与标准化，2013(8)：11-12.

[13]陈向东，曹杨璐.移动增强现实教育游戏的开发—以“快乐寻宝”为例[J].现代教育技术，2015(4)：101-107.

[14]康帆.增强现实技术支持的幼儿教育环境研究—基于武汉市某幼儿园的调查与实验[J].电化教育研究，2015(7)：61-65.

[15]罗永东，张淑军.一种基于Unity3D的移动增强现实自动导览方法[J].计算机与数字工程，2015，(11)：2024-2028.

[16]赵建宏.VR中碰撞响应的一种解析解及对FCPF算法的改进[D].太原：太原理工大学，2003.

[17]杨露.基于云计算的嵌入式系统输入法研究与设计[D].合肥：合肥工业大学，2012.

Research and design of augmented reality technique applied in medical apparatus and instrument textbook/

MENG Xiang-jun, MA Zhi-qing, ZHAO Wen-hua, et al//China Medical Equipment,2017,14(9):120-122.

Objective: To improve the shortcomings of the two-dimensional image in the book of medical apparatus and instrument, and to display visual, specific and interactive 3D image so that students can clearer and more thoroughly understand content of the textbook through applying augmented reality (AR) technique. Methods: By comparing different solutions of AR included Vuforia, ARToolKit, Easy and so on, using Unity 3D as development platform, using C# computer language as development language, adopting Vuforia AR technique with higher accurate, installing virtual button to achieve interaction and using intelligent terminal equipment to complete the design for relative application progress of medical textbook. Results: The development design of APP for medical textbook that based on AR technique has achieved the observation for some specific medical 2-dimentional images on the basis of original medical textbook, and it could real-time display single or multiple 3D spatial model, and could directly use virtual button function to achieve interaction with virtual 3D spatial model. Conclusion: The APP learning plan based on AR technique can significantly increase learning efficiency for medical apparatus and instrument, and can enhance the learning interest, and this technique can be transferred to other textbooks to research more APP according to above results.

Augmented reality; Medical apparatus and instrument; Textbook

College of science and engineering, Shandong University of Traditional Chinese Medicine, Ji'nan 250355, China.

1672-8270(2017)09-0120-03

R-058

A

10.3969/J.ISSN.1672-8270.2017.09.033

孟祥军,男,(1990- ),硕士研究生。山东中医药大学理工学院，研究方向：医学图像处理、医学增强现实与虚拟现实。

2017-04-13

山东省研究生教育创新计划(SDYY16069)“基于《生物医学图像处理与分析》课程群移动学习资源的研究与设计”

①山东中医药大学理工学院 山东 济南 250355

②中国海洋大学信息科学与工程学院 山东 青岛 266100

*通讯作者：mazhq126@163.com