基于信息物理融合的骨折复位机器人系统构建

傅卓鑫，孙 昊，陈建文，郭 悦，陈 金

（1.河北工业大学人工智能与数据科学学院，天津 300130；2.国家康复辅具研究中心附属康复医院骨外科，北京 100176；3.天津市人民医院康复科，天津 300121）

（*通信作者电子邮箱chenjin630715@163.com）

0 引言

将人的主观能动性因素考虑在内的信息物理融合系统（Cyber-Physical and Human System，CPHS）是一个人、机、物以及环境共融的系统模型［1］，连接起了物理系统与信息系统［2］，充分考虑了人的情感、动作、思维等状态在整个系统中的作用，将面临的多信息、多维度、干扰不确定等因素融入了系统中，使系统有了感知分析能力。CPHS是考虑了人的因素在内的集感知、计算、通信、控制于一体的控制模型［3］，应用于医疗保健大数据的构建［4］，解决了医疗设备与社交网络的高效融合［5］。以数据驱动寻找网络物理系统的状态轨迹［6］。作为医疗设备，安全稳定性是重要的临床因素，人因工程的研究为医疗领域的安全性提供了保障，也为医疗设备的可用性做了评估［7］，对设备的研发和市场监管部门的约束提供了保障依据，最终的受益群体还是设备相关者，包括制造商、医护人员及患者，同时为当前高度智能化、自动化的研究提供了新思路、新方案，更好地从传统系统向智能系统过渡。

如图1所示，CPHS由人-机-物-环境交互组成，信息感知模块、决策控制模块、动作执行模块以及具有主观能动性的人共同驱动完成任务。信息感知模块将感知系统所在的内外部环境因素、系统本身的变化及人的主观干扰，将信息传入决策控制模块，经过计算处理将执行命令传至动作执行组，系统执行相应的动作，整体模块的要素构成一个不断循环的交互系统。

图1 CPHS构成Fig.1 Composition of CPHS

目前国内外的手术机器人层出不穷，但是用信息物理融合系统的思路研究手术机器人的整体控制还比较少。在颅额面部手术中，Duan等［8］提出了一种新颖的手术机器人系统，重点研究基于导航技术的机器人系统的建模和实验，建立基于光学导航的手眼协调模型，以控制机器人的末端执行器沿规划路径移动到目标位置。为了提高系统的定位精度，提出了闭环控制方法“运动学+光学”混合运动控制方法，整体研究思路属于普通的控制系统，在病情判断和治疗决策上仍然依靠医生的经验。达芬奇手术机器人在医疗上的应用最根本也是辅助医生，提高了医生手的灵活性和精确性，减少了由于医生的疲劳或心理因素造成的操作失误；但是达芬奇手术机器人并没有深层次的感知和分析能力，只是将手术周围的视野放大、清晰地呈现给医务人员，代替医生的手深入到细微的部位，但判断病情症状及作出治疗方案还得依靠医生判断［9-10］。

以信息物理融合思想构建的手术机器人系统，能够感知患者病情、感知环境、具有分析判断能力、控制执行能力及医学伦理道德，更加智能化帮助医生为患者服务，极大地减少医生因经验及思想情感等因素造成对病情的误判。CPHS 将信息系统和物理系统融合在了一起，上层规划包含的信息更多，将医学库和实际病历数据进行结合，进行虚实交互、模拟复位，随着病例的增加，CPHS的知识感知库更加完善，辅助医生判断病情会更加精确。将人结合到了系统中，不仅仅体现人机交互，更重要的是将人作为系统中的一部分，医生患者融入了医疗系统的整个过程，从医生的判断到患者的知情及伦理道德都体现在CPHS中。

1 骨折复位机器人CPHS模型架构

骨折复位机器人信息物理融合系统模型架构如图2 所示，由感知监测层、数据资源层、虚拟仿真层、网络传输层、决策控制层、用户接口层和硬件执行层构成［11］。感知监测层是整个CPHS 的感官，充当起系统自身认识了解周围事物的眼睛，用于感知患者的身体状况、医生的病情判断、医院的环境及医疗条件、机器人状态及人因工程等的影响。数据资源层是整个CPHS 自身资源的储备及认知能力的体现，用于建立医学知识库，保存病历数据，同时不断加强自身学习提高系统的分析能力，帮助分析患者目前的状况及其他并发症的影响。虚拟仿真层是CPHS 的思维扩展和认知构思，体现整个系统的分析预测能力，用于结合数据资源层的储备数据及传感检测数据用于模拟患者的病情，对系统预演预判、与数据资源层虚实交互、协调引导［12］、提前对病情的状况及治疗手段进行分析评估，模拟治疗过程，推断病情发展。网络传输层是整个CPHS 的神经血管，构建起了数据传输的中间桥梁，保证了数据信息的完整可靠，使各个层级的数据互相传输，使信息能够在各部分畅通无阻、互相交流、共享共建，为未来远程医疗［13-14］CPHS 的运行奠定良好的实践基础。决策控制层是CPHS 的大脑，对整个CPHS 进行布局控制，高效协调各层级之间的关系，将有效数据资源进行分析整合，利用人工智能算法进行计算决策，通过各个层级之间互相配合，使系统稳定快速运行。用户接口层是CPHS 的对话窗口，使人机交互更加方便，保证了人机的高效对话。在窗口显示机器人的状态、患者病情数据及手术方案模拟预演和对机器人控制发布操作命令等。硬件执行层作为CPHS 的肢体，是实现系统想法的关键部位，系统整体的协调组织、计算分析、误差精度等思维信息最终都将通过硬件执行层来体现。

图2 骨折复位机器人CPHS模型架构Fig.2 Model architecture of fracture reduction robot CPHS

人-机-物-环境构成的信息物理和人融合的系统最终在7个层级之间的配合下协调运行。

2 6-UPU并联机器人信息物理系统构成

2.1 数字孪生

研究CPHS 就必然会涉及数字孪生，数字孪生是构成CPHS整体不可或缺的一部分，骨折复位机器人数字孪生模型由骨折复位机器人实体物理空间、物理空间映射的虚拟空间及虚实之间双向映射、实时交互的通信数据构成。如图3 所示，物理实体为6-UPU（Universal-Prismatic-Universal）并联结构，物理实体与虚拟模型数据交互，互相映射。虚拟模型能反映物理实体的状态，基于传感器的数据，不断传入虚拟空间，使虚拟模型不断更新，能时刻描述当前的系统状态；同时根据控制要求，在虚拟空间也能预先模拟物理实体的状态，达到理想效果后用于指导物理实体的运行，实现骨折处的复位。

图3 数字孪生模型Fig.3 Digital twin model

2.2 系统集成

骨折复位机器人CPHS 集成软件和硬件两部分。硬件包括控制器、传感器、伺服电机、并联六自由度机器人平台及双目相机。控制方案采用运动控制器+HS（Hollysys）伺服驱动器的多轴集成控制方案；数据交互采用UDP（User Datagram Protocol）通信协议，在传输距离上适合长距离传输，且传输速度和信号保证度有了很大的提高［15］；工程布线也较为简单，而且在后续的扩展中也灵活方便，这些特点在不同程度上降低了系统的安全隐患，更加适合医疗信息物理系统的安全可靠性需求。HS 伺服驱动器是具有32 位浮点数运算能力的双核数字信号处理芯片，可以满足位置、速度、力矩控制，具有很好的动态跟随性，内置动态制动控制和自动降载算法，可以参数化配置是否过载保护，从硬件上为CPHS 提供了额外的安全保障［16］，可以配合解决Altawy 等［17］提出的非授权访问安全机制。如图4 所示机器人复位装置采用并联Stewart 结构［18］，它的控制精度高、承载能力强，六根连杆的电缸采用滚珠丝杠，无间隙、高刚性、启动力矩极小，可实现微进给运动，能有效克服肌肉组织之间的拉力，每根杆的误差呈相互抵消趋势，末端执行机构移动惯性较低，不会造成串联的误差累积，对于骨折复位的高精度要求来说并联结构恰能体现它的优越性，在骨折复位的高精度小微运动空间比较适合，而且滚珠丝杠的运动效率高、发热小，对系统整体性能的提升在硬件上有很大的保障。

图4 骨折复位机器人实体Fig.4 Fracture reduction robot entity

软件系统基于Qt开发的图形化界面［19］，部署手术机器人的控制要求及可视化的显示［20］。双目相机能够检测骨折模型及医疗环境的状态，很好承担CPHS的环境感知作用。

2.3 信息感知

如图5 所示，双目相机用于检测骨折远近端的姿态［21-22］，为手术复位前的配准及术中的监控提供定量的参数化指标，利用外部Marker跟踪定位可以在术中很大程度上减少X光的拍摄次数，减轻患者和医护人员的辐射损伤，X 光机只需要在术前检查、相对位置确定和术后确认的过程中拍摄，实时姿态显示如图6所示。

图5 骨折远端近端MarkerFig.5 Marker of the distal and proximal sites

图6 双目位姿识别结果Fig.6 Result of binocular pose recognition

经过信息感知阶段数据的建立，最终驱动机器人的行为，CPHS中信息感知和行为实现是一个相互促进的过程，信息感知得越准确越能够促进机器人行为的准确执行，机器人行为的执行满意度在系统的评价指标中不断优化，反过来又可以指导信息感知阶段更加有针对性地进行语义感知，促进感知发育［23］，驱动传感器根据系统学习记忆进行主动感知，使传感器根据需求调动，自动融合，这样既可以保证需要工作的传感器性能充分发挥，又可以节省运算功耗开销。

2.4 CPHS手术机器人系统中人因工程的融合

人因工程将人、机器、环境相互作用结合在一起提升治疗效果的同时还要从心理、生理上创造一个舒适、安全、没有恐惧的医疗环境。加入了人的主观能动性及思想感情因素的信息物理融合系统将人在系统中的作用上升到了重要的位置，CPHS将人的融合体现到手术流程中，如图7所示。

图7 CPHS手术流程Fig.7 Surgical procedure of CPHS

系统中加入了人的感知判断及伦理道德思想感情，使信息物理系统与人融合了起来，人因工程能够将人的因素考虑在内，更加人性化地服务患者和医生。另外，在设备和网络数据的交换中需要对患者的信息数据进行加密传输［24-25］，注重其完整性和私密性的保护。

2.5 CPHS手术过程的模拟

将骨折实体映射成等比例模型在测量界面进行骨折部位畸变参数的测量［26］，如图8 所示，确定其正位、侧位、轴位3 个方向的移位和成角矫正值。

图8 骨折部位畸变值测量Fig.8 Distortion value measurement of fracture site

CPHS 骨折复位机器人复位过程提供预先的骨折模拟复位，如图9 所示，根据骨折三维模型中确定的测量值，预先在交互界面进行模拟复位，根据骨折的不同情形选择不同的复位步骤进行复位效果的观察，最终确定一套行之有效的复位方案和手术步骤，最后将规划的手术执行命令发送给机器人进行执行。在执行的过程中模型和实体实时映射，能够时刻反映当前机器人执行复位的情况，在可控可观保证安全的条件下进行复位操作［17］。

图9 骨折复位模拟Fig.9 Simulation of fracture reduction

3 骨折复位实验

手术机器人复位的流程如图10 所示，首先根据患者的骨折情况对骨折部位进行三维重建，经过图像处理提取骨折复位信息，然后将数据信息输入计算机进行计算，对复位过程中存在的各种风险情况进行模拟比对，最终确定可行的复位方案，在机器人辅助下对骨折进行复位。复位过程参考中医的理念［27］，在复位过程中先判断骨折的情况，计算骨折畸变成角，对其进行成角矫正，保证骨折周围的神经血管等软组织尽可能处于原位，不被骨折处的锋利裂骨破坏；然后对其进行适当的牵引拉伸，克服肌肉拉力对骨折造成的重叠错位；接着机器人进行侧位移位矫正，将骨折处恢复到轴向上，为最后的轴向旋转微调及最终对位做准备，减小二次损伤；最后进行轴向的旋转和移位矫正，将骨折部位完好对接。整个运行过程要缓慢平稳。

图10 机器人复位流程Fig.10 Process of robotic fracture reduction

在实验中采取如表1所示的5个不同位姿的模拟病例，以病例1为例，按照图10所示的矫正步骤进行矫正，矫正过程的期望轨迹位姿按照表2 分步确定，机器人骨折末端的分步骤矫正轨迹如图11所示，其他4个病例矫正过程同理。

表1 骨折复位模拟病例Tab.1 Simulated cases of fracture reduction

表2 模拟骨折复位轨迹矫正值Tab.2 Correction values of simulated fracture reduction trajectory

图11 机器人复位轨迹姿态变化Fig.11 Postural change of robotic reduction trajectory

在每组模拟病例的实施过程中用计算机自动计时，记录每次实验所用时间，每组实验结束后用游标卡尺及角度测量器测量骨折复位后缝隙误差距离，包括轴向残余、侧位残余、轴向旋转角度、内外翻角度。记录结果如表3 所示，其中轴向残余为3.44±0.56 mm，旋转角度为3.22±0.77°，侧位残余为3.62±0.45mm，内外翻角度为3.34±0.94°，复位时间为18.4±3.2 min。

表3 模拟病例骨折复位实验结果Tab.3 Experimental results of fracture reduction of simulated cases

从数据可以看出复位后的效果可以满足术后功能恢复的要求。骨折复位注重复位后的肌能协调、筋骨并重，传统方法有一定的疗效，但是恢复期仍需要较长时间，西医微创复位方法可以减轻患者疼痛，改善临床症状。在传统的复位方法中，手法复位、牵引复位、手术复位虽然奠定了良好的医学基础，为机器人复位找到了可以参考的例子，但是均存在各自的缺点，对于它们的优缺点比较如表4所示。

表4 不同复位方式比较Tab.4 Comparison of different reduction methods

从表4 可以看出，采用CPHS 机器人复位从治疗效果、康复时间、辐射影响、复位精度及手术效率等方面都有较大的改善。从图12 中可以看出机器人六根伸缩杆的长度和速度变化，从4 个阶段的速度可以看出每个阶段启动和停止的速度都是零，能够缓慢过渡，分步启停，进行柔顺的轨迹规划。

图12 机器人复位过程中六轴长度及速度变化Fig.12 Speed and length change of six axes in robotic reduction

4 结语

在信息高度发达的人工智能时代，人们对人工智能带来的体验感、舒适度与智能设备的性能存在一定的差距，人们对服务于自身的智能设备的满意度提出了更高的要求：更加紧密地将人参与到系统中，让自身成为智能系统的一部分，和系统协调配合更好地服务于人类。融入了人的因素的信息物理融合手术机器人系统更加符合现实需求，更能体现以人为中心的思想，更深层次地将患者、家属、医护人员的诉求结合了起来，人机关系更加和谐。信息物理系统最终的目的是使系统具有感知分析及学习能力，能够进行进化演变，随着系统自身的实践次数增多，不断丰富自身的知识储备和经验积累，具有感知发育、协同进化的能力。同时手术机器人复位的精度还有待提高，与临床的高精度复位要求还有一定的距离，信息物理融合的理论体系正在萌芽发展中，CPHS 涉及的技术广、领域多，各个层面的发展不均衡，实际可参考的例子有限，都不同程度制约着CPHS 的发展，在技术飞速发展的同时，不断探索，补齐各方面的短板，推动CPHS 在医疗领域达到一个新的水平，将会带动整个医疗体系的建设，将是一个充满前景的研究方向。信息物理融合系统（CPHS）为解决人与物理世界的交互及人机互动提供了开创性的思路，是引领下一代智能领域的新技术。