基于体感交互的骨折复位机器人控制方法实验研究

苏永刚 孙志彬 朱 罡 王 豫#*

1(北京积水潭医院创伤骨科，北京 100035)2(北京航空航天大学生物与医学工程学院, 北京 100191)

基于体感交互的骨折复位机器人控制方法实验研究

苏永刚1孙志彬2朱 罡2王 豫2#*

1(北京积水潭医院创伤骨科，北京 100035)2(北京航空航天大学生物与医学工程学院, 北京 100191)

将基于体感交互的控制方法引入骨折复位机器人，通过实验研究验证该方法的控制精度以及学习曲线，从而评估该方法的控制效果和学习的难易程度。利用Kinect采集操作者的手势以及手臂的运动状态作为控制参数，经计算机程序识别处理后生成机器人控制指令，从而控制机器人在模型骨上完成骨折复位操作。由6位操作者进行共计60次复位实验，得出复位精度和学习曲线数据。 6位操作者的复位平均距离误差为(4.10±0.77)mm，角度误差为3.25°±1.11°。通过学习曲线分析发现，从第6次实验开始，操作所用时间显著缩短。将基于体感交互用的控制方法用于骨折复位机器人控制，不仅能够满足复位精度要求，而且操作学习时间短。该方法可为手术机器人的人机交互提供一种新的有效方法。

手术机器人；体感交互；骨折复位；人机交互

引言

随着社会现代化进程的不断加快，因车祸等高能量损伤和老年骨质疏松造成的骨创伤已经日益成为严重影响人类生命和健康的突出问题[1-2]。

骨折复位是将骨折后断裂错位的骨骼恢复到正常解剖位置，是骨创伤手术治疗的第一步，也是至关重要的一步，其效果会直接影响手术的效果及术后的恢复。目前，骨折复位存在费时、费力的问题，需要大量使用术中透视，而且复位效果并不令人满意[3]。

机器人相比人类，具有操作精度高、稳定性好、不受辐射伤害且不会疲劳等优势，因此将它用于骨折复位已成为骨科手术机器人研究的一个热点方向。

德国的Westphal等在这一领域开展了深入的研究[3-4]，他们使用一台6自由度串联机器人、配合6自由度的被动臂进行骨折复位，使用一个游戏操纵杆对机器人进行本地遥操作控制。Füchtmeier等也同样使用一台串联机器人，开发了叫做RepoRobo的复位机器人，完成了体外尸体骨实验[5]。日本的Warisawa等开发了一种通过牵拉足部进行间接复位的机器人，并对该机器人的控制逻辑进行了研究[6]。

近年来，还有不少学者尝试使用并联结构的机器人进行骨折复位，以实现较大的复位力和力矩输出，以及较高的运动精度[7-9]。

但是，目前上述骨折复位机器人的研究仍处于实验室样机阶段，一般只能完成模型骨或尸体骨的实验，难以在真正的手术室临床环境中进行应用。究其原因，除了骨折复位这一操作本身的复杂性之外，骨折复位机器人在手术室环境中的交互控制也是一个重要的技术瓶颈。

目前，常用的骨折复位机器人控制方法分为两类：一类是主从式控制，机器人完全处于医生的控制之下，由医生依赖经验对复位运动量和路径进行控制；另一类是自动控制，由医生进行复位规划，之后机器人自主完成复位运动。

依据临床经验，本研究选择临床接受度更高的主从式控制方式，并尝试将最新的体感交互技术引入骨折复位机器人控制，以期为骨折复位机器人在手术室环境中的交互控制提供一种新的方法。

体感交互是指用户直接使用其肢体动作与机器进行的交互，一般需要手势识别、运动跟踪、体势识别、表情与语音识别等计算机技术的支持[10]。体感交互的设备使用更加简单、直观、易学，有效减少了用户与计算机硬件间的约束，对降低用户的认知负荷[11]、提高用户的参与度和情感体验具有积极作用；更重要的是，体感交互方式下用户不必与机器直接接触，更符合手术室对消毒灭菌的要求。

综上所述，将体感交互用于骨折复位机器人控制，有助于提升系统的临床适应性，使临床医生更容易使用。本研究的目的在于验证基于体感交互的骨折复位机器人控制方法能否达到令人满意的复位效果，并通过对其学习曲线进行分析，从而对其易用性进行评估。

1 材料和方法

1.1 实验材料准备

实验中使用的材料为人工合成股骨(以下简称“模型骨”)，如图1所示。在实验材料准备阶段，首先在模型骨中段与其长轴大致平行的方向标记3条线段(如图1中圆圈标示)，作为复位角度测量依据，这3条线段在圆周上呈120°均匀分布。在实验中，使用光学定位跟踪系统(NDI Polaris Spectra，定位精度为0.25 mm)来测量骨折复位的精度。因此，在模型骨的中段两侧距标记线段中心8～10 cm的位置分别钻一个直径3 mm的通孔，这两个孔的轴线近似平行，在这两个孔上固定两个定位用跟踪器。接着，在模型骨远端打一个直径4 mm的通孔，这个孔的轴线与之前两个孔的轴线近似平行，用于将模型骨固定在机械臂末端。以上3个孔的轴线要求近似平行，原因是方便光学定位跟踪系统在实验过程中对定位用跟踪器进行实时跟踪，避免出现遮挡和脱离视野的情况。最后，将模型骨在标记线的中间位置锯开，一端固定在机械臂末端，另一端用台钳固定。

图1 人工合成股骨及其处理方法Fig.1 Artificial femur and its treatment method

1.2 体感交互控制方法

如图2所示，采用一台Motoman MH5S六自由度机械臂来完成复位操作。该机械臂的性能指标为：工作空间最大半径706 mm，重复定位精度0.02 mm，末端最大负载5 kg。

图2 骨折复位机器人系统(A—六自由度机械臂；B—计算机；C—体感采集设备；D—机械臂控制柜)Fig.2 Robot assisted fracture reduction system(A-6 degree of freedom robot arm; B-Computer; C-Kinect; D-Control cabinet of robot arm)

本研究使用一台Microsoft Kincet 2作为体感采集设备，其功能是识别操作者的手势并实时捕获上肢的运动状态；使用一台计算机来接收Kincet 2输出的体感信号，并经体感交互控制程序处理后生成机械臂控制指令，发送到机械臂控制柜，进而控制机械臂做出相应的动作。

为保证体感数据采集的稳定性，使用The Kinect for Windows Software Development Kit (SDK) V2.0中的BodyBasic模块来读取人体上肢的运动数据，该模块可识别手掌的状态(张开或握拳)，并且实时反馈手部中心点在Kinect相机坐标系下的三维坐标，且数据更新速度可达30 Hz。

在实验中，通过光学定位跟踪器，预先标定Kinect坐标系与机器人基座坐标系的变换关系，从而将Kinect反馈回的位置参数转化为机器人的运动参数。具体控制方法是：先将Kinect反馈的手掌状态(张开或握拳)作为开关控制量，左手握拳代表开始复位操作，右手握拳代表平移，右手张开代表旋转；然后利用Kinect实时反馈右手中心的坐标pi(xi,yi,zi)，计算两次坐标的位置差值[(xi-xi-1),(yi-yi-1),(zi-zi-1)]，再变换到机器人坐标系下，得到机器人在各方向的平移或转动参数。在本研究中，之所以将平移和旋转运动解耦控制，是为了更好地控制复位精度，同时也更加符合临床操作习惯。

1.3 复位精度测定

在实验材料准备的过程中，将模型骨锯开，模型骨上做的3条标记线分别与两个断面α和β形成3个交点，即(A1,B1,C1)和(A2，B2,C2)(见图3)。两块模型骨上都安装光学定位跟踪器。在实验开始前，在光学定位跟踪系统上标定出每块骨骼上3个交点相对于其定位跟踪器的位置关系。因此，只要通过光学定位跟踪系统得到两块模型骨上定位跟踪器的坐标，则上述6个交点的坐标也就确定了。

图3 模型骨断面Fig.3 The section of artificial femur

理想的复位后，每个骨折面上的3个标记点应该与另一个骨折面上的对应标记点重合，即A1与A2重合，B1与B2重合，C1与C2重合。所以，定义这3组对应点之间距离的平均值作为复位的距离误差d，即d=(|A1A2|+|B1B2|+|C1C2|)/3。

两个断面α和β的夹角作为本次复位的角度误差θ，即θ=〈α,β〉。

1.4 实验操作步骤

本实验有6位被试参与，包括3名男性和3名女性，年龄为22～26岁，各项身体状况正常，在实验进行前均没有接触过体感交互设备和本实验所用控制程序，并且事先对实验中的复位操作方法完全不了解，受试者均签署知情同意书。

每位被试进行10次复位操作，共计进行了60次骨折复位操作，主要包括6个步骤。

步骤1：启动计算机和机械臂，打开体感交互机器人控制程序。

步骤2：由主试人员向被试讲解骨折复位操作方法和复位要求，然后被试体验复位操作过程，10 min后结束。

步骤3：让机械臂运动到预先设定好的初始位姿，使两块模型骨分离。初始位姿时两块骨骼的位移与夹角为：dx=40 mm，dy=50 mm，dz=80 mm；θx=10°,θy=30°,θz=15°。

步骤4：启动控制程序，被试开始复位操作，同时开始计时。

步骤5：当被试完成复位操作后，记录操作时间，断开机械臂伺服，被试休息5 min。

步骤6：由光学定位跟踪系统导出复位后模型骨上两个定位用跟踪器的坐标，并记录下来。

将步骤3～6重复10次。

在每一次操作实验前，机械臂都回到相同的初始位姿，以确保每次操作实验的工作量都相同；同时也保证在复位过程中调整所有方向的位置和角度。

1.5 数据处理方法

对实验获得的复位距离误差和角度误差数据，分别统计平均值和标准差，以获得对该交互控制方法下复位精度的评价。

为了分析复位时间的变化规律，将操作次数作为分组依据，将每次复位操作看作一个独立的数据组(包含6个被试的数据)，以第1次操作数据作为对照组，第2～10次操作数据作为实验组进行统计分析。首先利用F检验进行方差齐性判定，然后依据判定结果分别采用等方差t检验和异方差t检验，评价随着操作次数的增加、复位时间是否有显著性的降低。

2 结果

实验发现，所有操作者均能有效地利用实验中的体感交互控制方式控制机械臂完成骨折复位操作。如图4所示，操作者利用手势控制机器人完成骨折复位操作。在这个过程中，被试靠肉眼直接观察复位的效果。实验中的一组复位前后情况如图5所示，复位前两段折骨处于固定的初始位姿，复位后基本实现解剖复位。

图4 被试进行复位操作Fig.4 Operator performs fracture reduction

图5 实验中复位情况。(a)复位前；(b)复位后Fig.5 Reduction status in experiments. (a) Before reduction; (b) After reduction

分别计算6位被试各10次复位操作的平均距离误差和平均角度误差，如表1所示。6位被试的复位操作平均距离误差为(4.10±0.77)mm，复位操作的平均角度误差为3.25°±1.11°，误差偏大，但从临床角度考虑仍在可接受范围内。

表1 复位误差Tab.1 Errors of fracture reduction

对6位被试每次复位所用的时间进行统计，并制作如图6所示的学习曲线。可以看出，几乎对于每位被试来说，随着实验次数增加，复位时间有显著下降。

图6 基于体感交互的骨折复位机器人控制方法学习曲线Fig.6 Learning curve of somatosensory interaction based control method for fracture reduction robot

对复位时间的统计分析结果如表2所示。从F检验结果可知，除第8和第10组结果P<0.05，不满足等方差假设以外，其他组与对照组相比均满足等方差假设。从t检验结果可以看出，从第6次操作开始，t检验结果P<0.05，操作时间显著性缩短。说明操作者通过前5次操作后，就能较好地掌握这一控制方法。

表2 复位时间统计分析结果Tab. 2 Reduction time analysis

3 讨论

通过实验可以发现，使用基于体感交互的骨折复位机器人控制方法，操作者均能够有效完成骨折复位操作，复位精度可以满足临床要求，并且操作者可以在短时间内掌握该控制方法。

采用基于体感交互的骨折复位机器人控制方法，操作者不需要同机器人直接接触，既符合手术室临床环境对消毒灭菌的要求，又减少了交叉感染的风险；由于体感交互具有很强的直观性，因此易于学习。另外，引入体感交互控制后，医生可以远离手术床，通过观看透视图像进行遥控复位操作，可以显著降低医生所受的辐射伤害。

关于本实验的设计，也存在一些不足之处。首先，操作者是通过肉眼直观地观察复位的整个过程，与临床上通过X射线透视来观察有些不同，实验时操作者距离模型骨较远，也难以判断复位距离特别是角度，这也是导致本实验所测得的复位误差较大的直接原因。在未来的工作中，可以使用光电定位跟踪器来实时获取骨骼的位置，并结合术前CT与术中X光的配准，建立三维模型来用于引导医生完成更精确的骨折复位操作。其次，本实验中的骨折模型较为简单，与实际临床上的骨折情形有一定差距，这主要是为了简化复位精度的测量而设计的。最后，为了统一每次复位操作的难度和工作量，以便于统计操作时间，每人每次操作都是从相同的初始状态开始，这也有利于操作者通过几次练习后缩短操作时间。但从总体的统计数据来看，基于体感交互的控制方法易于学习掌握的结论还是可以成立的。

4 结论

基于体感交互的控制方法具有直观、易学、符合手术室临床环境等优点，可以为骨折复位机器人以及其他的手术机器人提供一种新颖有效的人机交互控制方法。

[1] 王军强, 赵春鹏, 胡磊, 等. 遥外科机器人辅助胫骨髓内钉内固定系统的初步应用[J]. 中华骨科杂志, 2006, 26(10): 682-686.

[2] Wang Y, Yun C, Hu L, et al. DEA-based efficiency evaluation of a novel robotic system for femoral neck surgery[J]. The International Journal of Medical Robotics and Computer Assisted Surgery, 2009, 5(3): 207-212.

[3] Gosling T，Westphal R，Hufner T，et al． Robot-assisted fracture reduction: A preliminary study in the femur shaft [J]． Medical and Biological Engineering and Computing，2005，43(1): 115-120．

[4] Westphal R, Winkelbach S, Wahl F, et al. Robot-assisted long bone fracture reduction[J]. The International Journal of Robotics Research, 2009, 28(10): 1259-1278.

[5] Füchtmeier B, Egersdoerfer S, Mai R, et al. Reduction of femoral shaft fractures in vitro by a new developed reduction robot system ‘RepoRobo’[J]. Injury, 2004, 35(1): 113-119.

[6] Warisawa S, Ishizuka T, Mitsuishi M, et al. Development of a femur fracture reduction robot[C]//Proceedings of IEEE International Conference on Robotics and Automation. New Orlean: IEEE, 2004, 4: 3999-4004.

[7] Lin H, Wang JQ, Han W. Parallel Manipulator Robot assisted Femoral Fracture Reduction on Traction Table[C]//35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Osaka: IEEE, 2013: 4847-4850.

[8] Du H, Hu L, Li C, et al. Preoperative trajectory planning for closed reduction of long-bone diaphyseal fracture using a computer-assisted reduction system[J]. The International Journal of Medical Robotics and Computer Assisted Surgery, 2015, 11(1): 58-66.

[9] Ye R, Chen Y, Yau W. A simple and novel hybrid robotic system for robot-assisted femur fracture reduction[J]. Advanced Robotics, 2012, 26(1-2): 83-104.

[10] 庞小月，郭睿桢， 姚乃埌，等. 体感交互人因学研究回顾与展望[J]. 应用心理学，2014，20(3): 243-251.

[11] Ren Z, Yuan JS, Meng JJ, et al. Robust part-based hand gesture recognition using Kinect sensor [J]. IEEE Transactions on Multimedia, 2013, 15(5): 1110-1120.

Experiments Research of Somatosensory Interaction Based Control Method
for Fracture Reduction Robot
Su Yonggang1Sun Zhibin2Zhu Gang2Wang Yu2#*

1(DepartmentofOrthopedicTrauma,BeijingJiShuiTanHospital,Beijing100035,China)

2(SchoolofBiologicalScienceandMedicalEngineering,BeihangUniversity,Beijing100191,China)

surgical robot; somatosensory interaction; fracture reduction; human-computer interaction

10.3969/j.issn.0258-8021. 2016. 03.018

2015-10-17， 录用日期:2016-04-11

国家自然科学基金(61201313)；北京市科技计划(Z141100000514003)

R318

D

0258-8021(2016) 03-0380-05

# 中国生物医学工程学会会员(Member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail:wangyu@buaa.edu.cn