基于混合现实技术的超声影像传输系统

张致诚，倪 勇，张 玥，王丽娜，聂莉翔，周 麒，严兆阳，赵贤达

（1.赣南医科大学医学信息工程学院，江西 赣州 341000；2.苏州大学第二附属医院；3.苏州睿酷医疗科技有限公司，江苏 苏州 215004；4.浙江省温岭市第一人民医院，浙江 温岭 317500）

超声引导下穿刺技术的应用近年来已经日益增多，其已被证明可提高穿刺成功率，减少并发症发生，减轻患者痛苦，节约医疗成本，提高经济效益［1-6］。但在临床使用超声引导治疗过程中，受超声体积的限制、设备移动不便等相关问题，如：⑴医师视野问题：超声设备不在医师正前方。医师操作时，需频繁扭头，同时关注患者、穿刺位点、超声屏幕等。过程中很有可能会导致针无意识地移动，损伤周围结构，对医师的手眼协调能力提出挑战［7-8］。⑵移动问题：国内临床工作繁重，短时间需治疗多例患者。医师需根据不同患者治疗靶点不同，在有限空间的治疗室中频繁移动超声设备，使工作效率降低［7］。⑶医师理解解剖问题：在使用超声探头扫查患者侧面时，图像已旋转一定角度，但仪器屏幕无法跟随旋转，医师需通过在脑中想象自行再次加工理解，对医师理解解剖和图像能力提出极大挑战。限制超声引导治疗在临床中的应用。

为了克服传统超声的这些弊端，最早就有人提出使用智能手机或平板安装于探头上，显示超声图像，期望在一定程度上减少手眼协调问题。但其存在显示屏幕较小，与探头连接后的冗余电缆易污染无菌区等问题［7］。近年来，随着科学技术的进步，混合现实逐渐进入外科手术导航领域［9］。已有研究［8，10-16］表明此技术的可行性，运用此技术可以缩短医师手术穿刺时间，更准确地穿刺到靶点，提高成功率，减少穿刺次数。其可能原因是改善了医师的手眼协调能力，帮助医师更好地进行空间理解［13］。

本研究开发了基于混合现实技术的超声影像传输系统（Mixed reality ultrasound in helmet-mounted displays，MRUS-HMD），并以标准的工作模式（标准正视超声和标准斜视超声）为对比，探讨其对不同经验医师在穿刺时间和脑力负荷等方面的影响和帮助。

1 材料与方法

1.1 系统硬件软件开发将开发的系统命名为：MRUS-HMD系统。硬件设施包括1台HMD，使用微软Hololens2；1台笔记本电脑，使用联想R7000P；1台便携式超声诊断仪，飞依诺超声（VINNO，9000033，U0142GK007）。通过图像采集卡将超声仪器中的超声图像画面采集至笔记本电脑。基于Web RTC的网络协议，搭建1个笔记本和HMD的局域网，将超声图像画面从笔记本电脑中传输至HMD。局域网的图像传输，基于微软的开发工具Visual Studio 2017，使用C++语言编写，使用软件开发工具包（Software development kit，SDK）。软件的 开 发 在Unity平 台（Unity Technologies，San Francisco，CA，USA）进 行，应 用 程 序 版 本 为Unity2019.4.21f1c1（64-bit）。在图像显示方面和人机交互方面，基于的工具包是混合现实工具包（Mixed reality toolkit，MRTK）和微软的开发工具Visual Studio 2017，使用C++语言编写。迭代后的最终版本MRUS-HMD可将超声图像直接呈现在眼镜中，用户可根据自身习惯进行放大缩小，并旋转拖动至合适位置。

1.2 研究方法

1.2.1 系统性能评估通过3个指标对系统性能进行评估：图像分辨率、传输帧率和传输延迟。图像分辨率，通过查阅图像采集卡参数获得。图像传输帧率，使用HMD微软工具包MRTK中的内置Unity组件的可视化分析工具完成获取。图像传输延迟，路径A和路径B之间时间上传输的差值则为原图像和HMD投影出图像之间的传输延迟（图1）。通过另1台笔记本电脑画面代替超声设备图像的画面。最左边为代替超声设备的笔记本电脑，中间的计算机作为处理传输画面的中转站，最右边为HMD投影出的画面（图2）。启动左侧笔记本电脑的秒表计时功能后，3个界面均将显示秒表运行画面。HMD支持录屏，即混合现实捕捉功能（Mixed reality capture）。录制视频包括3个画面：原视频画面、中转站PC画面和HMD投影出画面。暂停查看视频，在同一时间点下原图像中秒表和投影出图像中秒表的差值，则为传输延迟。由测试员模拟用户，分别在较为整洁的室内环境、较为嘈杂的室内环境、医院中较为整洁的治疗室环境和医院中较为嘈杂的治疗室环境中录制视频文件。每1个视频文件分别连续测试10次，即随机暂停10次，共测试40次。

图1 传输延迟测量技术路径

图2 传输延迟测试设备图

1.2.2 系统实用性评价

1.2.2.1 志愿者12名志愿者参与实验，以是否有25次的超声引导穿刺经验作为临界点，分为有经验者组和初学者组，各6名。纳入标准：⑴拥有基本的超声技能；⑵以前没有使用AR或MR经验或经历；⑶知情同意参与研究。

1.2.2.2 系统可用性评估向志愿者介绍并演示MRUS-HMD的使用方法和功能后，允许其随意模拟穿刺练习。填写系统可用性量表（System usability scale，SUS）［17］，评估系统的可用性。

1.2.2.3 穿刺时间及脑力负荷评估模拟临床环境，利用猪肉制作穿刺模型（图3），在10 cm×20 cm大小的猪肉中，约5 cm深度处埋入穿刺针并接入电路，使用另1根只有针尖可导电的穿刺针进行穿刺。在此模型中，穿刺针必须以针尖部分接触到目标针轴，电路才可形成回路，灯泡亮起。志愿者在模拟的手术环境中，以“准备”姿势开始，即手持超声探头和手术穿刺针在目标靶点的上方。当接收到开始指令后，开始穿刺，同时启动秒表。当电路中的灯泡能够稳定且持续亮起时，结束穿刺并计时。

图3 穿刺模型

志愿者分别在标准正视超声状态下（超声在志愿者面前约0.5 m处）、标准斜视超声状态下（超声在志愿者左侧方向90 °）（图4）和MRUS-HMD状态下（HMD观察超声）进行穿刺。穿刺顺序随机设置，一种状态下采取2种穿刺方式，平面内穿刺和平面外穿刺。每种穿刺方式对目标进行3次成功穿刺，共18次穿刺。每种状态穿刺结束后使用脑力负荷量表（National aeronautics and space administration-task load index，NASA-TLX）［18］进行评估。收集18次穿刺时间及3次脑力负荷数据。

图4 标准斜视状态下穿刺图

按照Δx=x标准正视-xMRUS-HMD、Δx=x标准斜视-xMRUS-HMD，计算MRUS-HMD状态下与标准正视超声状态和标准斜视超声状态下时间上的差异。Δx的差值大于0，则表示用户使用MRUS-HMD的表现更好，反之表示用户在标准状态下更好。

1.2.2.4 使用评价采取口头会话和半结构化访谈进行系统使用评价。口头会话会贯穿整个实验的全过程，要求志愿者在试用MRUS-HMD的过程中说出自己的想法和感受。休息期间进行半结构化访谈，包括MRUS-HMD使用体验、MRUS-HMD对工作的帮助和影响、未来应用规划等。

1.3 统计学处理数据采用SPSS 27.0软件进行分析，计数资料以均数±标准差表示，组间比较采取配对样本t检验。检验水准α=0.05。

2 结果

2.1 系统性能参数图像分辨率为600×800，图像传输帧率为30 FPS，图像传输延迟平均（73.69±14.56） ms。

2.2 系统可用性评估MRUS-HMD的SUS评分为72.33分。

2.3 穿刺时间初学者使用MRUS-HMD对比标准正视超声，穿刺时间显著缩短（P=0.022），缩短了15.25%。初学者使用MRUS-HMD对比标准斜视超声，穿刺时间显著缩短（P=0.002），缩短了25.18%。有经验者使用MRUS-HMD对比标准正视超声，穿刺时间无显著缩短（P=0.378）。有经验者使用MRUS-HMD对比标准斜视超声，穿刺时间无显著缩短（P=0.101）（图5）。所有志愿者在MRUS-HMD状态下的穿刺时间均比标准斜视超声的穿刺时间短，4名志愿者在MRUS-HMD状态下的穿刺时间比标准正视超声状态下的穿刺时间长，其中1名初学者，3名有经验者。

图5 2组在3种状态下穿刺时间比较

2.4 脑力负荷初学者组在MRUS-HMD状态下和标准正视超声状态下对比，脑力负荷TLX分数无显著变化（P=0.105）。初学者组在MRUS-HMD状态下和标准斜视超声状态下对比，脑力负荷NASA-TLX分数显著减少（P=0.050），下降了22.08%。有经验者在MRUS-HMD状态下和标准正视超声状态下对比，脑力负荷TLX分数无显著变化（P=0.522）。有经验者组在MRUS-HMD状态下和标准斜视超声状态下对比，脑力负荷TLX分数有显著减少（P=0.012），下降了14.13%（图6）。

图6 2组在3种状态下的脑力负荷比较

2.5 系统使用评价⑴硬件。10名志愿者报告HMD设备过重，影响佩戴体验。⑵软件。①软件操作逻辑上被认为比较简单快捷，符合日常的操作使用习惯。但实际操作时部分情况下手势识别仍不灵敏，无法准确识别出用户的手势操作。②目前限制MRUS-HMD在临床应用的一大问题就是软件的开启速度和开启后的运行速度欠缺。⑶对工作的帮助。志愿者报告虽然刚开始可能需要专业人员指导，上手有一定难度和门槛。并认为其是一个好的想法和开端，可以先用于教学和训练等。⑷未来规划建议。手术针和超声探头实现同时追踪识别，二者进入人体后可视化并规划一个最佳理想的穿刺路径等。

3 讨论

在本研究中，由于新奇效应或社交期望影响，存在潜在的偏倚可能。为尽量避免研究人员对实验结果的影响，志愿者的采访和数据的记录收集由没有参与技术开发的研究人员进行，数据分析文本的编码分类由没有参与实验的研究人员进行。由未参与技术开发的人进行采访和数据分析的定性研究，对结果不易产生影响。

MRUS-HMD图像传输延迟仅为（73.69±14.56） ms，主观上几乎察觉不到。VR游戏中，100 ms是关键性的阈值，大于100 ms的情况下，才会严重影响游戏体验［19］，故认为本研究的图像传输延迟基本可以令人满意。

系统可用性评估中，MRUS-HMD已达到一般产品可用的最低标准70分［20］，是一个合格且可用的产品。但限制其分数进一步提高的原因一方面可能是混合现实技术的操作逻辑有一定的门槛，需要一定的学习成本。另一方面SUS评价针对包括硬件和软件的整个系统，志愿者对系统的不满主要集中于系统硬件本身。系统可用性评价部分使用了SUS量表评估系统的可用性。样本量较小，迭代次数较少，还缺少更广大用户对于系统可用性的评价。同时，志愿者来自不同岗位的医师和医学生，每个人在工作中使用超声引导穿刺的目标和操作等也不相同，使得每个人对MRUS-HMD的要求和标准也不同，以至于最终数据的标准差较大。

穿刺时间及脑力负荷评估中，MRUS-HMD对有经验者组穿刺时间的提升整体相对较小。一方面这是因为有经验者已经拥有比较熟练的超声技能，在临床长时间工作中对超声操作能熟练做到手眼协调。另一方面，可能是因为有经验者组中志愿者为年龄较大的医师，接受或学习新鲜事物较慢，不能像初学者一样对MRUS-HMD的操作可以快速上手。

本研究只注重于对志愿者的工作时间和脑力负荷的评价和判断，缺乏其对于穿刺准确性、进针角度、工作习惯是否改变的研究，这应是未来进一步研究的方向。

混合现实技术与超声的结合远不止于此，未来还有2个发展方向。一方面，目前大多研究只渲染出了二维的超声图像，而3D超声对于2D超声或许更有优势［12］。另一方面，下一步研究中应注重手术针路径的可视化，并与超声图像进行匹配，便于在超声深度成像时快速确定针尖及靶点等。

4 结论

本研究通过混合现实设备显示超声画面，以一种新式的画面呈现方式展示，拥有可以接受的图像传输速率和延迟，可以帮助医师减少一定的穿刺时间和脑力负荷。这是一个具有光明前景，可以继续研究发展的项目和方向。