多模态膝关节腔镜微创手术虚拟仿真实训系统的构建

摘要：目的：研究精准建模和碰撞检测与力反馈技术构建多模态膝关节腔镜微创手术虚拟仿真实训系统的构建，满足医学人员实训训练。方法：以目前国内外相关研究的局限性为出发点，在符合工程实践的假定条件下，进行VR、PC、WEB三端架构研究，并以关键技术3D打印膝关节模型与数字模型高精度匹配，让骨骼模型起伏和纹理细节最大程度还原，在碰撞物体中增加标签的方式及模糊算法有效解决物体穿面，增强力反馈，通过力反馈和电磁技术在精确实时定位方法的深入研究，可对关节视觉形态和物理属性的精准模拟。结果：多模态膝关节腔镜微创手术虚拟仿真实训系统性能优良，仿真度高，能够满足实训要求，达到设计目标。结论：系统为医学手术演练实训起到了重要的作用，提供了良好的平台，这种构建模式和技术拓展虚拟仿真系统的应用范围和受益人群，同时也为我国医学教育技术创新与进步起到了抛砖引玉的作用。

关键词：多模态；膝关节腔镜微创手术；虚拟仿真技术；高精度匹配；力反馈

人类膝关节受到不同原因的影响会引起膝关节病变，目前最有效治疗膝关节疾病的方法就是微创外科关节镜手术，膝关节腔镜微创手术的需求很大，此类医生的培养时间和培养规模都受到很大局限。因此，大规模培养具有理论与技能于一身的高水平专业医生非常迫切。

近年来，膝关节虚拟仿真训练平台应用非常广泛，中国人民解放军总医院与国防科技大学开始手术仿真训练系统研究，也有虚实结合通过操纵键盘和鼠标控制手术器械进行膝关节镜手术中的半月板修复手术学习和模拟训练。在基于网络和虚拟现实的虚拟仿真医学研究中，Davis、Matthew Christopher等创建了增强现实VIPAR平台，允许外科医生通过无线网络查看3D合成影像，提供术中实时远程虚拟协作［9］等。

通过信息技术的发展，基于VR、PC、WEB的架构，均有各自优势和特点，但单一输出方式不能符合当代人群的获取知识方式，达不到多模式训练的效果，网络传输速率已经不是束缚多模态大规模输出的阻碍，国内外膝关节仿真系统的应用模态能够实现B/S应用架构，但是应用方式以PC机为主，终端单一受限。在使用过程中，应用数据需要下载到本地，并且要用高端计算机环境来支持渲染计算，其他终端无法承载，达不到数字化泛在学习的要求。另外，许多系统只适合一对一训练，且实时交互效果差，卡顿情况严重，基于一种引擎的开发导致程序无法复用，这些弊端日趋突显。因此，在数字化的今天，支持多模态应用在在校教育、手术实训和终身学习等方面非常重要。

本研究提出多模态构建膝关节腔镜微创手术虚拟仿真实训系统，将交互数据视频流作为服务器向终端呈现的创新计算的方案，再根据GPU并行加速的特性，提升网络服务器部署中的资源优化性能和加速效率的算法和策略，优化硬件体系结构设计，通过改进资源调度策略，摆脱系统运行时对高端PC平台支持的依赖，同步架构VR版、WEB版模式，进而将3D打印技术与数字模型进行高精度匹配，再以碰撞检测技术与器械传感器获取标签数据进行模糊算法，较好地解决碰撞穿面的问题，减少影响和碰撞错误率，实现较好的效果，最终搭建基于网络的多模态膝关节虚拟仿真教学实训平台。实验表明该模式优于单一训练方式，有效解决平台单一、多人训练、价格昂贵等问题，真正用于国内医学生教育与医生的培训，填补社会对医生巨大需求的缺口，拓展虚拟仿真系统的应用范围和受益人群。

1 方法

1.1 系统总体结构设计

本研究通过UE4、C++编写程序三层架构兼顾视觉渲染、触觉反馈、触觉硬件、5G云开发的需求，研发膝关节腔镜微创手术虚拟仿真实训5G云在线系统。系统结构设计基础模块、实操模块、展示模块、模型库/知识库模块、虚拟规范化培训场景5个部分，其中基础模块主要包括集合建模、物理建模、碰撞检测、形变计算、力反馈计算等单元；实操模块主要包括模型（骨科）、手术器械等单元；展示模块主要包括三维重建、可视化、声音系统等单元，向受训者提供一个直观逼真的操作视野，提供一个“所见即所得”的操作环境；模型库/知识库模块提供模型资源和知识帮助；虚拟规范化培训场景模块提供一个操作界面和平台，包括开机登录界面、用户注册、培训（包括用户登录信息、病例信息、CT等影像资料、互动式操作，具备信息提示、操作过程录制、评价等功能）、管理等功能，提供单机版和网络版等多种输出模态。

1.2 VR、PC、web输出模态融合搭建

基于Wi-Fi6和万兆交换机的高速局域网传输环境和5G的互联网传输环境，将膝关节虚拟仿真系统中VR程序部署到局域网的服务器上，多终端供多用户同时使用，突破基于VR技术的教育平台实时培训人数和时空限制；通过基于5G云的线上可视化和实时交互的Web版实现，构建Web交互服务器程序，其功能是将仿真程序部署在5G网络环境下的云服务器上，优化终端功能，提供网络连接、视频解码和人机交互，摆脱需要高端PC平台支持的依赖，用户通过HTML5浏览器访问云端，利用不受时空限制的共享，实现膝关节仿真系统网络化。多模态膝关节腔镜微创手术虚拟仿真实训系统支持VR版、PC版和Web版三种输出方式。

采用平均请求等待时间等于服务器平均请求处理时间乘以并发用户数的算法，通过多任务轮流使用系统资源的策略，提升服务器并发处理能力和GPU的并发计算能力。通过优化应用层接口API虚拟化重定向算法，采用编写应用程序的方式在应用层拦截与GPU相关的应用程序编程接口API，利用重定向算法解决显示卡时间片分配问题。通过对软件底层代码和算法的优化，使用Hook方式接管系统API调用，解决GPU分时同步运算，使单一显卡虚拟化为供多用户同时使用的数个虚拟显卡，优化H.265编码，提高GPU工作效率，降低服务器视频编码流计算量，解决因交互请求过多引起的高并发与因服务器响应延迟出现的卡顿等问题，非常具有挑战性，实现GPU虚拟化，节省硬件开销。通过硬件、引擎和驱动三个层面优化访问并发数量的算法研究。

1.3 高精度匹配3D打印膝关节模型与数字模型

应用虚拟仿真技术了解病灶环境，研究人员先后尝试开发虚拟关节软件系统，应用3D MAX对人体膝关节腔建模，并以关键帧技术设计相关动态模型，有助于显示解剖结构，模拟病变结构。首先，将重建的膝关节三维模型导入stl格式，匹配与人类1∶1比例。同时，对于仿真器械的3D打印通过Dadymesh实现高精度匹配，精度控制在±0.01mm。通过对CT和MR提取dicom影像数据，形成中高精度模型。其次，导入Zbrush中进行高精度模型的复原式雕刻，原因是提取出来的骨骼模型不包含粗隆、内外侧髁、髁间隆起等起伏和纹理细节，在Zbrush中完善细节后，通过Zrebuild拓扑成标准的输出模型，数量5000三角面一下，用以适应Web缓存量，并带有UV分布信息。然后，将模型导入UE4中，将substance painter输出的PBR材质贴图给予引擎的shader，将灯光中的reallignts关闭（Web不支持实施光照），并将带有动画骨骼的fbx文件集成给骨骼模型，进行运动测试。将shader模式调整成H5模式，在此模式下进行视觉渲染。

根据3D建模数据，用3D打印机打印出手术器械和定制的假体，可精确和程序匹配，做到虚实同步，由此极大地提高了仿真度，这种方式不仅可以还原模型本身，并且让骨骼模型起伏和纹理细节最大程度还原，在训练手术过程更加精确。

1.4 验证碰撞检测与器械传感器

在使用UE4构建膝关节三维模型与多功能手柄CLAW的交互场景，需要进行二者的碰撞检测。通过控制手的位置和反馈力的大小，可以根据解剖或手术操作将手柄模拟成不同的物体，如内窥镜镜头、探钩等构建解剖或手术等场景。

通过在碰撞物体中增加tag及模糊算法的方式能够较好地解决碰撞穿面问题。首先明确网络数据接口，在用户验证时使用XJWT标准，此标准基于JSON Web Token（JWT）开发。XJWT包含三个参数：header，payload，signature。Token的组成结构是based64（raw header）+'.'+base64（raw payload）+'.'+base64（raw signature），使用base64解码signature，通过secret key验证，如果验证失败，则token失效。使用base64解码header，将得到的过期时间（expiry）和当前时间进行比较，如果已过期，则token失效；如果没有提供header type，则token失效；使用base64解码，并使用aes key进行解密，得到的数据前8 byte和aes padding数据将被丢弃，返回剩余的数据json。各实验教学训练项目取得用户数据后，能够自行进行保存，其碰撞测试精度001mm。VR输入设备能够实时捕捉操作者的动作并通过传感设备向计算机系统报告，计算机便会检测虚拟手术器械与研究对象模型间的碰撞，并在符合切割的条件下进行模型分裂，计算柔性体的形变，通过反馈装置将组织器官、血供等形变的反作用力实时反馈给操作者。

1.5 融入力反馈定位技术

在研究中，将该系统手术器械采用医学真实设备，并在虚拟现实系统里真实还原设备的造型和运动。通过不同的电流大小来控制不同的力度，采用基于几何意义的高斯分布模型，来模拟组织内部的力反馈形变，同时，通过电磁技术，实时获取定位传感器在磁场发生器的磁场空间内的电磁定位系统坐标系，从而获取手术器械在电磁定位系统坐标系的位置，用户操作设备手柄控制力触觉渲染接口的6自由度空间位置姿态，包括x、y、z三个轴向的移动和旋转，并能够多向自由力输出，通过坐标映射得到虚拟环境中代理点的同步位姿，代理点与虚拟模型之间进行碰撞检测和反馈力计算，使虚拟场景中的物体根据需要实时交互，做到虚实同步，从而提高仿真度。

本研究基于高速的网络传输，结合VR技术、电磁定位技术、力反馈技术，建构三维虚拟仿真模型，通过WebRTC技术实现实时视频通信进行视频解码，采用VR视角匹配，多模态输出，最终达到膝关节内组织的可视化、建立关节内组织的动态模型、组织的应力形变仿真、柔性体实现、模拟关节科微创手术案例展示、力反馈和定位系统应用、高速图形显示与图像处理。

2 结果

基于VR、PC、WEB输出模态，具有三维可视化和实时交互功能的网络实训平台环境，将复杂的GPU渲染和编码任务全部交由服务器端处理的算法和策略，通过优化硬件体系结构设计和改进资源调度，使学习者通过HTML5浏览器、笔记本、电脑、PAD和智能手机等设备直接与虚拟仿真程序进行实时交互，摆脱其对高端PC平台支持的依赖。VR版可通过VR头盔和手柄进行个性学习，PC版可在PC端进行可视化多人小组学习，Web端可通过浏览器线上可视化学习。VR版帧率达到60fHmhIr4WhtP4mL8hfJWAdNA==ps，PC版虚拟仿真系统的帧率达到120fps，WEB版帧率达到90fps。

3 讨论

优化WebRTC（Web Real-Time Communication）的算法，突破实时发送视频流时造成大量延时，且难以克服的瓶颈。通过优化CUDA编程模型和H.265帧内编码算法，改进H.265预测算法，提高编码效率。通过设计和优化硬件结构体系，改进资源调度策略强化终端通用性和使用效率，解决网络中实时视频传输容易引起的画面失真问题，使兼容HTML5的浏览器可在无须安装任何插件或者第三方软件支持的情况下，实现音视频交互实时传输功能。

多模态构建不同输出系统设计方式，具有技术优势，支持VR版（SDK输出）、PC版（DX11输出）和Web版（国际Web 3D标准输出）三种模态输出方式，能够满足不同应用范围和受益人群。

3D打印数字模型的高精度匹配能够最大限度还原手术案例模型，在手术仿真演练过程中，操作者可以手持力反馈设备的3D打印手柄控制虚拟手术器械的运动，通过高频率的触觉刷新线程来保证二者的空间位置和姿态达到同步。系统具备较好的人机交互设计流程，为更多的学生及医生提供了训练条件，有效提升手术专业度，有很高的应用和推广价值。

力反馈利用机械表现出反作用力，提供真实的阻力，力触觉交互设备为用户提供了和虚拟环境进行触觉交互的工具，则需要大激励器和重结构，在手术器械里面植入高精度传感器和电磁铁。当虚拟环境遇到阻力的情况下，现实的器械也会有阻力反馈，用户感觉到机械带宽即力的频率和转矩的刷新率。

综上所述，构建多模态膝关节虚拟仿真系统为医学教学、新生规划培训、技能测试、技术学习、手术规划等诸多方面提供了重要的平台，降低学习成本，提升训练效果，提高学习兴趣，助力医学创新型人才培养，系统也能够为临床手术提供更加科学的方案，为患者提供精准安全的手术。

参考文献：

［1］朱晓俊，甄莉.对进行膝关节镜手术的膝关节疾病患者实施临床路径护理的效果探析［J］.当代医药论丛，2019，17（17）：169-170.

［2］谭珂，郭光友，潘新华，等.膝关节镜手术仿真训练系统设计［J］.计算机仿真，2009，26（12）：290-293+324.

［3］韩双景．交互式虚拟膝关节镜手术中半月板修复术的研究与实现［C］.中国图象图形学学会.第十五届全国图象图形学学术会议论文集.中国图象图形学学会：中国图象图形学学会，2010：471-474.

［4］Davis MC，Can DD，Pindrik J，et al.Virtual Interactive Presence in Global Surgical Education：International Collaboration Through Augmented Reality［J］.WORLD NEUROSURGERY，2016，86：103-111.

作者简介：程巍（1983—），女，汉族，河南新乡人，硕士，讲师，研究方向：教育技术学。

通讯作者：娄岩（1961—），男，汉族，沈阳辽宁人，博士，教授，研究方向：计算机应用。