基于EM-GRA方法的机器人辅助手术操作技能评价

邢 元 ，牛顺康 ，金 奎，梁 科 ，张 冲，赵 頔

(1. 天津大学机械工程学院，天津 300350；2. 天津大学机构理论与装备设计教育部重点实验室，天津 300350；3. 解放军火箭军特色医学中心，北京 100088；4. 苏州大学医学院，苏州 215123)

机器人辅助微创外科手术被广泛地应用于腹腔、胸腔、盆腔和泌尿外科等各类外科手术[1-3]．高清图像和7自由度手术器械增强了医生对手术的操作能力[4]，不仅使得患者受益[5]，而且手术机器人学习曲线短，减少了医生的前期学习成本[6]．结合5G技术，还可以挖掘机器人远程手术的能力[7]．

作为人机系统操作中最重要的一个环节，医生的操作技能水平将直接决定整个机器人系统的运动性能，并对手术质量与疗效起到决定性的作用[8]．相对于传统腹腔镜手术，在机器人辅助手术中，医生不与器械直接接触，缺少触觉感知以及主从运动情况有差异，需要对3D畸变视野适应，传统腹腔镜的手术技巧在机器人辅助手术上的转移效率并不是很高．目前，手术操作技能的培训与评估主要依靠专家的主观判断，经济性低且研究周期较长，缺乏公正、客观、有充分数据支撑的评价标准[9-11]．因而，如何为外科医生在机器人辅助微创外科手术培训及操作技能评估方面提供更为有效的理论指导，确保手术过程的规范性和安全性具有十分重要的作用．

近年来，研究者通过对手术器械的运动轨迹等运动数据的收集和分析，为自动、客观的技能评估提供了良好的方法[12-13]．随着计算机技术的发展，机器学习和深度学习等[14]自动评估算法也应用于评价体系当中，极大地提升了评价效率．以往的研究表明，从操作任务中提取的运动数据可用于进行操作技能的量化评价，这种建立在运动数据分析上的手术操作技能评价方法大致可分为两类：基于描述性统计的技能分析方法及基于语言模型描述的技能分析方法[15].前者通过对手术环境中的运动或施加力进行较为直观的数据统计．Handelman等[16]开发的软件基于标准偏差、圆切面积、偏度和峰值数量等指标对学员的圆切割操作最终表现进行自动评价，但应用场景比较单一．帝国理工学院的研究人员所研发的基于描述性统计数据计算的ICSAD系统[17]可自动识别并读取操作者的任务完成时间、动作次数、运动路径长度等数据以用于技巧评估．而基于语言模型描述的技能分析方法在统计性描述的基础上力求于对运动数据进行深层次的探究，构建了分难度等级的操作动作模型，可用于提取运动数据中的关键特征，并从动作细节中区分出不同测试人员之间的操作技巧差异性，不仅有助于医生改进手术操作技能，对于指导医务人员进行有针对性的手术操作培训也具有十分重要的指导意义，例如，Rosen等[18]将微创外科手术中的缝合打结动作分解成15种不同的工具和组织间交互动作并建立相应的数据集，应用离散马尔科夫模型进行建模成功地识别出医生随工作年限变化而反映出的操作技能差异. Peng等[19]使用连续型隐马尔科夫模型识别套环操作中的不同动作，并基于轨迹相似度对操作技巧进行评价，然而在实际手术中，不同医生的手术操作技巧和思维方式不同，难以找到轨迹模板．

目前，可用于反映操作人员技能水平的运动特征指标仍未在现有研究方法中完全发掘出来，如何真实地反映医生间的操作差异，客观综合地评价医生的技能水平尚未明确．本文以实验室研发的“MicroHand S”系统作为应用平台，简要介绍了人机操作下的控制过程，并在此基础上构建了机器人操作技能评价模型．以机器人器械末端输出的一些运动参数作为评价指标，通过与专家打分结果的相关性分析验证了指标的有效性，使用熵值法(entropy method，EM)确定各评价指标的权重，然后结合灰色关联分析(grey relation analysis，GRA)计算医生的最终得分与薄弱指标增长空间，以期望给予机器人辅助手术培训过程一些指导建议．

1 “MicroHand S”系统

本次实验所用平台为“MicroHand S”微创外科手术机器人系统[20]，该主-从式机器人系统如图1所示，由一个主手控制台、图像显示设备和从手机械臂系统组成，从手机械臂搭配3+1自由度手术器械，可以模仿人体腕部运动．主刀医生坐于主手控制台侧，通过操作两个操纵杆及控制面板使手术器械与外科医生的双手同步运动，同时，由内窥镜及显示设备组成的图像系统为医生实时提供患者体腔内的三维立体高清影像信息．

图1 “MicroHand S”机器人Fig.1 “MicroHand S” robot

“MicroHand S”系统采用了包括运动一致性控制、相对式控制及比例控制为主的主从控制策略[21].系统由主操作端手柄输入的位置变量及姿态变量可通过正运动学求解得出，该输入量经从手端逆运动学求解后得到机械臂各关节所需运动量，最终通过控制电机输出所对应的器械末端位置与姿态变量．该系统的主从运动控制使得主从手控制点之间的相对位置(运动比例)发生了变化，而主从控制点之间的姿态对应关系始终保持严格的一致，由此可使得手术器械末端与操作手柄指向始终保持一致，避免手术器械因主从姿态不对应导致手眼不协调问题．从而解决了传统腹腔镜手术中存在的“支点效应”和主手操作端与从手机械臂执行机构运动学结构及工作空间不一致等问题．

2 基于运动特征的评价模型的构建

2.1 实验任务拟定与评价指标提取

该研究在天津大学和中国人民解放军火箭军特色医学中心进行．笔者从解放军火箭军特色医学中心招募了7名有3～5a临床经验的受试者．所有的受试者都是右利手，之前均没有手术机器人操作经验，也没有参与过相关培训．机器人主从映射比例选择为3∶1，使用NDI公司生产的电磁追踪装置Aurora系统(如图2所示)作为实验训练任务的运动数据采集设备，采集频率为40Hz，可采集6自由度姿态信息．

图2 Aurora电磁追踪装置Fig.2 Aurora electromagnetic tracking system

为了测试单手操作和双手协调能力，本研究设计了两项任务，并基于“MicroHand S”系统在一个人体模拟平台上完成．在任务开始前，每个受试医生都有15min左右的时间适应手术机器人的3D视觉效果和主从分离操作方式．为了保证实验的客观公平性，受试者的实验设置和操作条件完全相同，都是当天首次进行任务操作．任务过程中有两名医学专家全程观察，并基于打分项进行评判．

任务1：环转移，如图3所示．实验人员用右手将位于柱子1上的5个软环依次夹取并移到柱子3上，然后取回；之后左手将位于柱子2上的5个软环夹取并移到柱子4上，然后取回放到初始位置．

图3 环转移Fig.3 Experimental scence of pick-and-place

任务2：缝合打结，如图4所示．实验人员在模仿伤口的硅胶上进行一次缝合打外科结操作．由电磁追踪系统采集到的两个任务的轨迹分别如图5(a)、(b)所示．

图4 缝合打结Fig.4 Experimental scence of stitch-and-knot

图5 在Python和Matlab环境下的输出轨迹示例Fig.5 Examples of output trajectory under the environment of Python and Matlab

对于“环转移”任务，从手术机器人器械末端提取的运动指标参数选取如下．

(1) 完成时间(completion time，CT)：定义为从准备夹第一环到放置最后一环的时间，不包括术前准备时间，左右手分别记录．

(2) 轨迹冗余度(trajectory redundancy，TR)：冗余度描述了受试者的真实操作与最优操作之间的拟合度．两者的拟合度越大，则对应的冗余度就越低．

式中：LA为任务过程中真实的操作轨迹长度；LI为理论最优路径长度．

(3) 平均速度(average speed，AS)：从机器人左右器械腕关节处采集到的平均运动速度，左右手器械分别采集．

(4) 最大速度(maximum speed，MS)：定义为操作过程中速度分布前2%较大值的平均值．

(5) 运动跃度(motion jerkiness，MJ)：定义为某一点运动加速度的变化率，即该时刻位移对时间的三阶导数，本文中使用的是整个任务过程中运动跃度的平均值，即

式中x、y、z分别表示器械末端该时刻位移在3个坐标轴方向上的分量．

对于缝合打结任务，提取的运动指标参数定义 如下．

与任务1类似，选取了完成时间(CT)、最大速度(MS)、运动跃度(MJ) 3项指标，另外增加3个指标如下．

(1) 双手路径比(path ratio，PR)：双手协调能力是一个手术过程中应该考虑的问题，适度协调运动有利于缩短手术时间，提高手术效率．

式中LL和LR分别是机器人左右臂器械末端扫过的路径长度．

(2) 轨迹均方差(standard deviation，SD)：轨迹点相对于轨迹重心的偏离程度，操作者执行任务过程中，器械末端操作轨迹相对集中，其均方差值越小．

式中xj、yj、zj为运动轨迹的三维坐标值；分别为xj、yj、zj的平均值；n为采样点数．

(3) 轨迹包络体积(envelope volume，EV)：包含所有轨迹点的最小闭合凸面体积，如图5(c)所示．

2.2 基于EM-GRA方法的综合评价

熵是信息论中对不确定性的一种度量．信息量越大，熵也就越小．权重是能够反映各指标在评价体系中价值地位的系数，机器人辅助外科中医生的最终评分受指标的权重大小影响．灰色关联度分析法是一种多因素统计分析方法，从样本中确定一个最优样本，通过计算各样本序列与最优样本的关联度，对参与测试的测试者做出综合比较和排序．

本研究使用熵值法对提取的医生在机器人辅助手术过程中运动指标进行权重确认，然后进行灰色关联度分析得到每名医生的最终得分．理论上应该使用手术机器人操作专家的运动特征数据作为灰色关联度分析中的参考序列，本研究用参与测试医生的最优表现集作为参考序列．

2.2.1 熵值法过程

(1) 将实验中得到的机器人器械末端运动特征构造为样本矩阵，即

式中：xij为实验得到的原始数据；m与n分别指代样本数量与评价指标数量．

(2) 原始数据标准化．

由于评价指标的单位和量纲不同，直接计算会导致结果差异，对所有指标进行标准化处理．

对于正向指标

对于逆向指标

(3) 计算第j项指标下第i个数据占该指标的 比重

(4) 计算第j项指标的信息熵值．

对于第j项指标，医生间差异越大，对操作能力评价的作用越大，熵值就越小．

(5) 计算各指标权重．

2.2.2 灰色关联度分析过程

(1) 对EM分析过程中的样本矩阵用初值化方法进行无量纲处理，记为yij．

(2) 计算关联系数．

式中：y0j应该为机器人辅助手术操作中专家的运动特征数值，此处取测试者各指标最优数据，正向取最大值，逆向取最小值；；；ρ为分辨系数，0＜ρ＜1，此处取值为0.5．

(3) 计算加权后的关联度值Ri作为最终得分及指标可提升空间值fij，可提升空间值指某个指标在总评上可以提高的分值．

所有数据使用MATLAB R2018a和Python3.2进行分析．

3 实验结果与分析

3.1 指标有效性分析结果

为了验证评价指标的有效性，与专家传统方法打分结果进行了相关性分析．研究邀请两名专家全程对实验过程进行观测，并按照从OSATS[22]和GOALS[23]表中的打分原则对时间与动作、器械操作能力、效率和双手协调能力4项进行打分，评分表如表1所示．每个任务的项目得分是两位专家打分的均值，其中任务1没有双手协调能力的评判．

表1 专家手工打分项Tab.1 Items of manual scoring

相关系数是反映评价指标和专家打分的关系密切程度的统计指标，相关系数的绝对值越大表明相关性越强．其计算方法为

式中：rxy表示两者相关系数；sxy表示协方差；sx、sy表示标准差．

2个任务中提取的指标与专家打分的相关性如表2和表3所示，除任务1中最大速度(MS)这项指标，其余指标都与专家打分存在强相关性．笔者推测，最大速度是局部意外出现的点，而环转移操作相对简单，路径近似于3段平移，在机器人采用了3∶1的主从运动映射比下，专家不易观察到这项局部变化．而在缝合打结中，任务比较复杂，运动轨迹多变，意外运动易于观测并成为专家打分的参考项．

表2 任务1的相关性分析结果Tab.2 Results of correlation analysis regarding task 1

表3 任务2的相关性分析结果Tab.3 Results of correlation analysis regarding task 2

在2个任务中，完成时间(CT)与专家评分中时间与动作、效率，表现了很强的负相关性，完成时间越短，人工打分评价结果越好；运动跃度(MJ)与器械使用之间有很强的负相关性，运动过程越平稳，表示医生器械使用越熟练．

在缝合打结任务中，轨迹均方差(SD)与器械操作能力呈现很强的相关性，包络体积(EV)与时间与动作存在很强的相关性，两个指标都反映了器械末端的运动空间，机器人执行器末端的运动空间大，说明存在试探性或者无效的运动．双手路径比(PR)与双手协调性之间表现出很强的负相关，左右手路径比值一定程度上表示了双手的协作能力．

评价指标与专家打分的强相关性，验证了评价指标反映操作技能的有效性．手术时间一定程度上反映了一个医生操作的熟练程度，是手术任务中的重要组成部分，手术时间延长会增加手术的风险．时间过长会导致外科医生产生疲劳和注意力下降，此外增加手术感染等并发症发生的可能性．考虑到腹腔镜手术的复杂人体内部组织器官环境，器械的意外运动可能会非常危险．手术机器人系统增加了器械的灵活度和运动空间，但对于不熟悉主从映射关系并且不善于从3D视觉获取深度信息的手术机器人使用新手来说，器械末端普遍存在偏离预期轨迹的情况，可能导致与人体组织发生意外碰撞并造成破坏，影响患者的生命安全．微创手术过程中器械运动过快会增加不安全状态的概率，导致器械末端与病灶周围的组织碰撞并造成伤害．机器人辅助手术操作过程中，操作的范围越小，手术操作越安全．更小的轨迹均方差和包络体积，意味着操作更为集中，不容易与病灶附近的细胞组织发生误触，降低术中并发症和术中中转的概率．

3.2 EM-GRA分析结果

3.2.1 任务1分析结果

环转移任务旨在考查实验人员单手操作机器人的运动控制能力，评价指标的权重如表4所示，轨迹跃度(MJ)和平均速度(AS)两项指标的权重较大，总占比达到55%，表明7名医生在操作速度和平稳度上的差异性较大．笔者推测是由于首次使用机器人辅助手术操作，医生无法快速熟悉手术机器人的主从操作，缺少触觉感知，在运动平稳度方面控制不佳．根据图6可知，医生的左右手综合评分结果不存在明显差异，我们发现一个有趣的现象，任务1中部分医生的左手在完成时间上的表现优于右手，但在最大速度(MS)和运动跃度(MJ)两项指标上处于劣势，左手的稳定性较差．

表4 任务1的评价指标权重结果Tab.4 Results of metrics weight regarding task 1

图6 任务1中医生加权灰色关联度得分结果Fig.6 Weighted grey relation analysis score of task 1

如图6、图7所示，2号医生的综合水准最佳，在各项指标上表现优秀．值得注意的是5号医生在双手稳定性上表现优异，但在完成时间和速度上有些欠缺，应该是初次接触机器人辅助操作，谨慎细致的体现，在经过培训熟练之后，技能水平可能会有很大 提升．

图7 任务1中医生各评价指标的可提升空间Fig.7 Metrics potential improvement space for surgeons of task 1

3.2.2 任务2分析结果

缝合打结任务旨在考查实验人员在有限的空间内的双手协调能力，6项指标权重如表5所示．与任务1相似，运动跃度(MJ)的权重占比最大(24.6%)，反映了不同医生手术机器人辅助操作时的运动轨迹的平稳度差异较大．轨迹均方差和包络体积两项指标的权重代表了不同医生对器械末端的约束能力的差异．

表5 任务2的评价指标权重结果Tab.5 Results of metrics weight regarding task 2

图8描述了每名医生各指标得分和综合得分.在缝合打结操作中，5号医生表现优于其他人员，4号医生表现最差与其具有明显差异．值得注意的是4号医生在双手路径比(PR)指标上表现极优，但其余指标得分很低，说明他虽然充分使用了双手协调操作，但在准确性、稳定性和运动约束能力方面表现不佳．路径比值一定程度上能够反映左右手的协作过程，但在反映协作结果上还有一定不足．

图8 任务2中医生加权灰色关联度得分结果Fig.8 Weighted grey relation analysis score of task 2

EM-GRA分析框架可以反映操作者在机器人辅助操作过程中各项指标的差异并能在学习过程中给予详细的指导．根据图9，在缝合打结任务中2号医生应该着重在操作空间紧凑和缩短时间上做出努力，而3号医生在器械末端的运动跃度方面表现不佳，应该在未来着重提高双手控制运动稳定性的能力．

图9 任务2中医生各评价指标的可提升空间Fig.9 Metrics potential improvement space for surgeons of task 2

3.3 EM-GRA分析结果的有效性

为了验证本文构建的评价框架的有效性，笔者将两个任务中的EM-GRA评分结果与专家根据客观评价表打分的结果进行了相关性分析，分析结果如图10所示．

图10 EM-GRA方法和客观评价表打分结果相关性分析结果Fig.10 Correlation analysis results of EM-GRA method and objective evaluation form scoring results

两者相关性系数达到0.841(p＝0.000)，说明本文提出的评价体系与传统客观评价表打分具有很强的正相关性，可以有效代替专家打分评判，减少了人力成本，提高了经济性．另外，以运动特征数据为评价指标提升了评分的客观性、公平性．

机器人辅助操作过程中运动平稳，器械运动约束能力强且时长短，应该是机器人辅助操作熟练的评价准则．本文所提取的运动特征可以有效描述上述准则，并根据指标差异大小进行了权重分配，评分结果与传统打分具有高度正相关性，基于运动数据的评价方法不仅客观有效、经济性高，而且还可以在细节上给予操作者直观的指导，使学习过程更具针对性．

4 结 语

作为“医生-机器人-患者”系统中最重要的环节，医生的操作技能水平将直接决定整个机器人系统的运动性能，并对手术过程的安全起到决定性的作用．本文使用了一种基于运动分析的机器人辅助微创外科手术操作技能评价方法，该方法构建了机器人操作技能评价模型，通过对实验人员进行操作任务时机器人末端执行器输出的运动特征参数有效识别出不同操作人员的技能水平差异，使用熵值法对实验人员进行操作任务时机器人末端执行器输出的运动特征参数进行权重确认，结合灰色关联分析对医生的操作水准进行评分．实验结果验证了所提方法的有效性．本文研究重点是通过客观全面的运动学特征分析和数学模型来评价医生操作的水准和过程的安全性，对医生的术前培训提供一定的指导．

本文的研究仍然有一些局限性，由于住院医生时间有限，实验样本量较少，此外，该框架的有效性仅在部分手工评分项目中得到验证．其他项目，如踏板使用、尊重组织等方面应进一步考虑．该评价方法的适用范围并不局限于当前有限的实验样本，后续的研究工作应是建立在充分调研医生操作需求与手术操作安全性要求的基础上，继续发掘能够反映医生操作技能水平的运动特征参数，优化与完善评价模型的各项功能，进一步完善现有评价体系．