5G云与VR结合的肾小球疾病实验教学系统建设

李 然， 娄 岩， 黄 和

（1.大连海洋大学信息工程学院，辽宁 大连 116023；2.中国医科大学智能医学学院，沈阳 110122；3.沈阳医学院医学信息工程学院，沈阳 110043）

0 引 言

肾脏病的发病率在全球逐年上涨，已成为威胁人类健康的重大健康问题之一。在我国已达到10.8%，肾脏病的预防及诊疗已成为国家和患者的沉重负担，培养更多更优秀的肾脏科医生显得尤为重要。

原发性肾小球疾病是临床的常见病、多发病，且原发性肾小球疾病的种类繁多，病变复杂，是病理教学的重点和难点。现有肾小球疾病的实验教学中，多使用文字、病理切片进行教学，这些镜下看到的病理切片是二维图像，对于肾小球这种由多种细胞构成、空间比邻关系较为复杂的组织，学生通过观察病理切片不能建立正确的三维立体组织学形态，掌握疾病导致的组织破坏机理难度较大，教学效果欠佳。不同的肾脏疾病临床表现和病理类型存在交叉性以及矛盾性，学生缺乏临床实践经验和相关的感性认识，学习过程比较枯燥，大多数实验教学没有提供教学实时反馈机制，无法及时了解学生的学习情况。

目前国内外已有一些虚拟仿真系统网络化的应用方案，但仍存在一些不足，虽然实现了基于B/S的应用模式，但在使用过程中的数据还是下载到本地，其中的计算和渲染等依然需要使用本地的硬件资源，需配置高端PC支持。因此，没有解决硬件终端的限制瓶颈；同时学习人数受限，只提供VR端，不提供PC端和Web端，使学习过程只能一对一开展；一些网络平台只可展现VR程序，而不支持实时交互操作，仿真度低，实操效果差，经常出现卡顿现象。另外，基于某一种引擎开发的特性导致非基于此系统的程序无法复用。因此，此类方案并没有突破软硬件兼容性的瓶颈［1］。

5G技术作为科技前沿领域，为医学实验教学实现三维可视化提供了技术基础，5G的超高速率能够急速畅享360°全景VR；更高的带宽可以显示高清的VR视频画面，超低延时使高保真内容更加清晰无卡顿。本研究将5G云与VR技术应用到肾小球疾病实验教学中，构建虚拟的肾脏、肾小球、肾小球病理模型，将相关的组织结构、发病机理等教学重点和难点融入虚拟仿真教学中，并以全新的视角将仿真系统部署到5G云，给出虚拟仿真实验教学系统网络化的解决方案，为虚拟仿真实验教学网络化开辟了新的思路和技术支持［2-3］。

本系统中肾脏、肾小球、病理模型均可通过鼠标进行360°自由旋转，多视角观看。结合课后练习，使学生对肾脏结构、肾小球病理改变等有全面、深刻的认识和理解，获得更多练习机会和接近实际的临床体验，达到传统教学中无法达到的教学效果；将虚拟实验教学系统部署到5G云上，在云端完成渲染、计算过程，终端无需配置高端PC，达到“精简”终端设备的目的，不仅能够降低运维成本，还能实现多终端供多用户无时空限制同时使用，系统不仅能够展示虚拟实验教学内容，而且具有实时交互功能，在高仿真情况下，运行流畅，无卡顿，实现将基于VR技术的优质资源，真正用于教育培训中［4］。

1 肾小球疾病实验教学系统结构设计

肾小球疾病实验教学系统分成2个模块：课堂交互学习和智能考评（见图1）。课堂交互学习模块通过虚拟操作，实现360°观看肾脏组织构造和不同肾小球肾炎的病理改变，并通过病变动态模型观看病情演变过程，使镜下微观结构能够生动逼真地显现，学生通过反复虚拟训练，掌握知识点，培养临床思维，达到传统教学中无法达到的教学效果。智能考评模块集成了相关题库和通用型医疗网站的相关案例，包括病理切片、中国医科大学多家附属医院提供的个性化案例、临床经验等，达到多维度巩固知识点的目的。

图1 肾小球疾病实验教学系统

系统实现了VR版、PC版和Web版，VR版可通过VR头盔和手柄进行单人一对一操作的个性学习和实训，PC版可以通过单人或小组演示操作，同时通过局域网进行大班教学或可视化观摩学习，Web端可以通过浏览器完成线上学习，实现多用户无时空限制同时使用［5-6］。

2 关键技术

2.1 肾脏建模及渲染

肾脏数据的采集主要通过标本的拍摄和CT影像获取［7］（见图2）。通过超声和资料查阅获得肾脏各部的正常数值。使用MIMICS软件将CT数据转换成3D模型文件。

图2 肾脏数据采集

肾脏三维建模采用肾脏二维横断面数字影像，将其导入到医学影像处理软件MIMICS中，利用图像分割功能将感兴趣的目标区域从整体背景中单独勾画出来，获得周围组织器官。通过测量实际人体模型大小比例，利用软件3DMax，使用多边形建模方法制作模型，实现边缘与轮廓自然过渡。将生成后的3D模型导入数字雕刻和绘画软件中，进一步进行模型细节制作与模型等级细化。为了制作近似真实的纹理与贴图效果，需在UVLayout软件中进行模型拆分与展开；在专门烘培法线贴图的xNormal软件中进行模型匹配和法线的烘培工作，产生细节贴图；在图像处理软件Photoshop和3D贴图绘制软件Substance Painter中完成模型整体的颜色和贴图工作，完成最终的模型制作，最后导入VR引擎中。实现控制模型的变化与动态效果，通过采集的数据，进行三维重建，然后再通过C＋＋语言使材质体现医学模型，实现低性能的媒介能够得到主机端的实时优质画面效果［8］。

模型可视化渲染使用高动态范围图像（HDR）模式实现，相比普通的图像，提供更多的动态范围和图像细节，更好地反映出真实环境中的视觉效果［9-10］（见图3）。

图3 肾脏模型

2.2 服务器端设计开发

2.2.1 服务器编程解决方案

图形处理器（Graphic Processing Unit）虚拟化处理是实现服务器部署的关键之一。本研究通过对软件底层代码和算法的优化，使用Hook方式接管系统的应用程序接口（Application Programming Interface），通过重新分配显卡时间片解决GPU分时同步的计算，使得单一显卡扩展成供多用户同时使用的数个虚拟显卡，实现GPU虚拟化（见图4）。

图4 GPU虚拟化

在保持基本隔离机制的前提下最大限度地共享GPU资源。使用进程隔离技术，并在进程级别共享对于图形应用来说更为稀缺的GPU资源。主要流程如下：

（1）图像捕获。基于软件Direct3D或OpenGL，拦截Direct3D’s的Present API来获取图像，拦截OpenGL的glutSwapBuffers来获取图像。

（2）声音捕获。音频数据的捕获是和平台相关的，在Windows上使用Windows Audio Session APIs来捕获声音数据。

（3）应用服务器完成编码传输到客户端。GPU资源是共享的，但完成一帧的渲染需要CPU和GPU进行协同，CPU运行应用，提交渲染命令到GPU，应用服务器完成编码传输到客户端。

对于渲染完的每帧，有一个专门的提交函数用于把渲染结果进行输出，对于软件OpenGL，该函数是glutSwapBuffers（），对于软件Direct3D，该函数是交换链中的Present（），可以通过关联Present函数来实现图形的捕获功能。

2.2.2 视频流实时编码设计

GPU是并行编程模式，其应用方式有两种：应用程序通过图形库接口调用GPU设备；应用程序通过GPU提供的API编程接口直接调用GPU设备。实验表明虚拟仿真程序通过GPU提供的API编程接口，直接调用GPU设备渲染出的画面真实度较高，且细节丰富。研究通过建立层次化的并行性对应关系模型，利用GPU高并行性特点去除冗余信息，降低视频数据量的传输，提高系统实时性和传输速率。

本研究制定的提高视频流传输效率的解决方案是当终端通过键盘鼠标或模拟器械发出交互信息后，由直接或中转网络传输到GPU服务器，由服务器后台运行的主程序计算结果，再将渲染的图像以90 f/s速度进行实时编码。将GPU渲染的画面实时硬编码为H.265格式，可以实现在保持画质清晰的前提下，传输文件的数据量大幅压缩。编码后的数据回传到终端显示设备上，终端再对数据进行实时解码，同时等待再次接受交互数据。

视频流实时编码实现的技术路线首先通过算法对GPU编码进行优化。其次优化H.265编码器，即对视频流编码程序实现视频和音频的H.265实时编码。通过重写实时编码程序API接口，对多用户请求与多GPU虚拟化运算单元进行适配，使多用户调用成为可能。音频实现通过调用Windows Audio Session API完成。

2.3 虚拟仿真程序网络传输策略

2.3.1 构建局域网传输环境

为实现局域网中多用户同时访问服务器并获取实时视频流数据，需要将部署完虚拟仿真程序的服务器置入高速、稳定性好、并发和低延迟局域网环境中。研究采用万兆技术组建局域网，通过两层扁平化结构，中高端以太网交换机进行组网，两台核心交换机进行冗余备份负载分担设计。通过万兆级连、千兆多桌面的组网方式，从根本上解决网络的带宽问题，为每个用户提供最大千兆的网络带宽，使局域网内直接开展IP组播视频业务成为可能。可以实现虚拟仿真H.265视频实时传送教学等多种基于IP组播协议的视频应用。配合WiFi 6高速无线路由器，增加学习者数量，在非机房环境也可进入仿真程序。选择使用WiFi 6，将在5G时代与5G技术形成互补，成为室内网络传输技术的核心，尤其适合校园局域网络的虚拟仿真网络化。

2.3.2 5G互联网传输的部署与应用方式

研究采用视频流作为云端向终端呈现处理结果的一种云计算方案。应用程序在云端服务器上运行，将视频输出和音频输出编码后经过网络实时传输给终端，终端进行实时解码后可视化输出。

在云服务器上部署虚拟仿真程序，采取全部云主机的方式，将GPU渲染程序、GPU实时编码程序以及Web交互通信服务器程序全部部署到GPU云主机。实验表明，为满足多户同时访问仿真程序并获取高质量视频流、大量用户高并发的需求，硬件上必须依靠5G传输技术［11］（见图5）。

图5 基于5G云传输部署图

2.4 Web前端设计

前端Web程序主要解决实时解码和各种用户仿真操作输入请求，实现输入输出操作同步。本研究在用户端的HTML5浏览器上对服务器发送过来的H.265数据进行实时解码，通过C＋＋实现渲染编程，完成在HTML页面运行仿真软件，把GPU渲染的清晰画面呈现给学习者。另一方面需要将学习者输入信息，转化为虚拟空间的操作并发送回服务器。对于学习者而言，形成一个集视听感知输入、控制输出和实时反馈于一体的闭环。最终完成整个虚拟仿真程序学习体验环境的网络化。研究采用HTML5页面＋定位手柄的方法实现对操作的模拟，将输入设备API的C＋＋源代码移植到Web页面，通过延迟处理和GPU编程优化，实现对现有输入方式——触摸屏、键盘、鼠标和游戏手柄等全方位适配，解决了客户端通用性的问题，最终实现在网络平台体验交互学习。

3 系统功能实现

本研究以“虚实结合、正常-异常递进，基础-临床融合”为理念，用虚拟现实技术模拟的立体肾小球结构为载体，结合传统临床病理切片，从多层次、多角度开展实验教学实践。促进学生自主学习能力，全面培养学生科学的临床思维。

系统使用三维模型、视频、音频、文字等形式进行阐释和展现，每部分配有旁白音频和名称互动点，能够全面而清晰地展示肾脏从宏观到微观的解剖结构，并通过肾脏、肾小球及病理的三维模型、病变动态变化动画使学生充分理解、掌握肾小球内几种细胞的空间构成、各种肾小球肾炎的发病机制。三维模型均可通过鼠标进行360°自由旋转，实现场景的放大，缩小；并可改变当前视角和位置。课后练习除了客观题，还集成了病理切片和临床病例，让学生多维度掌握相关知识点，形成科学的临床思维［12-13］。

（1）可进行肾脏总论内容的学习。使用者进入系统，选择学习模式，进入课堂交互学习模块，点击“肾脏的位置和毗邻”了解肾脏在腹腔内的位置，毗邻关系（见图6）。

图6 肾脏的位置和毗邻

（2）进一步了解肾脏的解刨结构，掌握肾脏的功能。点击选项中的“冠状剖面”“外部形态”“内部形态”，可以看到肾脏的三维结构，包括肾的形状、肾门、肾动脉、肾静脉、皮质、髓质、肾乳头、肾小盏等。通过多角度反复观看，掌握该部分知识点［14］（见图7）。

其中，肾脏的血液循环是掌握肾脏功能的重要环节，系统以三维立体形式形象地展示了肾脏的血管走向，相比传统教学更加直观生动。血管走向包括：节段动脉起自肾动脉前支或后支，分支形成叶间动脉；在皮-髓质交界处，形成弓形动脉；沿锥体底部弯曲走行，与肾表面平行，发出指向肾表面的放射状小叶间动脉；向上进入皮质，进入外层皮质后，分支形成入球小动脉（见图8）。

图8 肾脏的血管

（3）掌握肾脏的显微结构——肾小球的构成。在这一部分，重点展现肾小球的组织结构，为后续学习病理改变奠定基础。点击肾小球会出现相应组织名称：如内皮细胞、基底膜、足细胞裂孔膜、系膜、肾小囊等，见图9。通过三维模型，展现肾小球的正常显微结构，体现“正常-异常递进”的教学理念。其中滤过膜的结构特点和功能既是肾小球实现过滤功能的重要组成部分，也是各种病变发生的主要位置，传统教学多以图片展示，学生感觉抽象，难以理解，本系统以三维立体呈现该部分内容，提供了更加生动丰富的呈现形式［15］（见图10）。

图9 肾小球三维模型

图10 滤过膜三维模型

传统肾小球肾炎的病理学习多通过观看镜下切片完成，本系统将各种类型的肾小球肾炎的病理做成三维模型，将病变的组织状态展现在三维模型中，如：点击膜性肾病，能看到钉状突起、基膜增生、上皮下沉积物等病变状态（见图11）。通过鼠标进行360°自由旋转，实现视角和位置的改变，多角度展现了该病症的病理状态。系统还增加了“病变动态模型”，以动画的形式展示了病理的变化过程，帮组学生理解、记忆复杂的肾小球肾炎的病理改变，提高学习效果。

图11 肾小球肾炎病理的三维模型

（4）智能考评。智能考评模块能够根据题目的知识点、难度、教学要求、分数等指标智能组卷；提供多种形式题型，帮助学生掌握各种类型肾小球疾病的特点，题目既有文字题，也有真实的病理切片题，典型临床案例等（见图12）。涵盖了肾小球肾炎、肾病综合症等多种类型的肾脏疾病的知识点。体现出“虚实结合、基础-临床融合”的教学理念。

图12 智能考评模块题型

根据考试情况，进行全面、多维度的统计分析，提供纠错反馈信息，让学生知错、改错，自主提升临床技能；同时，学生的考评数据也会形成报告，发送给老师，帮助老师实时了解学生对知识掌握的情况，实现精准指导，打通课前、课堂、课后训练评价各环节，让教学良性循环，让评教、评学更准确［16-17］。

4 虚拟实验教学系统推广与服务

目前，该系统已取得软件著作权，并在中国医科大学、暨南大学、西南医科大学、新乡医学院、中国医科大学附属盛京医院等推广试用，反馈良好。

系统首先面向医学院校（医院）开放，方便学生深度理解，及时回顾知识点，提高学生对肾小球疾病的学习效果，培养科学的临床思维。还可服务于各级临床医学生毕业后专科教育、继续教育，共享优质的虚拟仿真教学资源以及面向社会开放并持续提供在线服务，为各种科普活动、肾病学术交流等活动提供丰富的仿真演示案例。

5 结 语

本文介绍了5G云与VR技术结合的肾小球疾病实验教学系统的构建方法和关键技术，将5G云、VR技术引入虚拟实践教学中，构建了集交互学习、考评一体化的教学平台。系统利用VR技术，逼真地模拟肾脏解剖结构、肾小球滤过膜的构造、肾小球肾炎的病理状态，将临床技能融入虚拟教学实践中，让学生在虚拟环境下实现反复训练，完成知识点掌握，弥补传统教学中的不足。通过考评模块，实现智能、高效的评价反馈，提高教学效果，实现教学相长；系统将虚拟实验教学内容部署到5G云上，突破目前虚拟仿真实验教学系统对同时受训人数和时空上的限制，实现了多终端供多用户无时空限制流畅使用，使医学仿真系统应用更加广泛；彻底摆脱医学虚拟仿真系统对高端PC和昂贵VR设备等硬件的依赖，降低应用门槛和使用成本，更利于普及推广。

对于医学生而言，岗前培训以及临床实践是必经之路。借助VR技术可以进行模拟培训，弥补传统教学的短板，可为学生提供生动、逼真的学习环境，提高学习兴趣和效果。这种创新型的实验教学模式，将基于VR技术的优质资源，真正用于教育培训中，利用医工融合，有效地促进了医学教育技术向数字化转型，拓展了虚拟仿真系统的应用范围和受益人群，具有重大社会效益和经济效益。