陈钰,李帅,冯庆敏,刘胜林,付艳,谢勤岚
1.中南民族大学 生物医学工程学院,湖北 武汉 430074;2.华中科技大学同济医学院附属协和医院 生物医学工程研究室,湖北 武汉 430022;3.华中科技大学 机械科学与工程学院,湖北 武汉 430074
微创外科手术以其手术创口小、利于患者恢复、手术并发症少等优点已经逐步取代了传统开放式外科手术。在传统的外科手术下,医生的手能直接与患者病灶部分接触,可以通过触觉直接判断组织相关信息;但在微创手术中,医生主要依赖视觉,缺乏了对组织的力感知。对于当前微创手术系统而言,其构型与控制等关键技术已经较为成熟,但仍存在缺少力反馈的缺点[1]。力感知作为力反馈系统中力信号的获取环节,研究其精密加工、生物相容性等问题具有重要意义,但目前大多数研究仍处在实验室阶段。本文主要针对现有的微创手术器械力感知方法进行综述,并进行误差分析,旨在提出提升手术器械力感知可能的解决办法,并对其发展趋势进行展望。
微创手术中获取力信号的方式有直接和间接2种,直接测量是在手术器械上外置传感器,与手术器械本身的设计构型无明显相关性,而间接测量是通过手术器械本身的驱动信息或传输特性来间接获取力信息,或通过与手术器械接触物体的形变、纹理等动态信息获取相互作用力[2]。本文根据力信息的获取方法,将微创手术器械力感知分为外体感知、本体感知与动态感知。外体感知是将力传感器直接安装到手术器械上,依靠力传感器来获取力信息;本体感知是根据手术器械的设计与驱动方式,利用动力学建模或传输特性建模估计力信息;动态感知则是通过与手术器械进行交互的物体的形变等动态信息,利用三维重建,形状识别等方法估计出物体的受力,间接得到手术器械的受力。自1987年第1例微创手术以来,微创手术器械就一直存在缺乏力感知与力反馈的缺点,在2010年之前,外体感知与本体感知的力感知方法占据主流,但由于本体感知的动力学建模比较复杂且摩擦影响的非线性严重,因此外体感知方法占据大多数;近几年,受计算机视觉中图像分类技术的启发,动态感知的力感知方法才在微创外科领域得到广泛应用[3]。
目前,用于微创手术器械中的力传感器大多数是基于电信号的力传感器和基于光信号的力传感器。基于电信号的传感器可分为以下2种:压阻式力传感器,其是利用半导体材料的应变效应;压电式力传感器,其是利用电介质的极化现象和电容式力传感器。基于光信号的力传感器可分为光强调制、波长调制和相位调制力传感器,是利用光纤将力信息从检测区域传递到光学设备,其原理是把光源入射的光束通过光纤送入调制器,与外界被测参数相互作用,使光的光学性质如光的强度、波长、相位等发生变化,变成被调制的光信号;经过解调后,就可以获得被测参数[4]。以上2种传感器的基本原理归纳如图1所示。
图1 力传感器基本原理
Trejos等[1]利用应变片设计了一个可测量腹腔镜手术器械五自由度的力和力矩的传感器,连接了电磁传感器提供位置反馈,其轴向测量精度为±25 N,横向测量精度为±5 N,均方根误差在0.35 N左右。李坤[2]利用应变片基于Stewart平台结构开发了一款具有弹性铰链的微型六维力/力矩传感器。采用非支配序列遗传算法对传感器参数进行优化。但是在多自由度手术器械中,由于采用钢丝传动,会产生误差。Zhang等[3]利用压电陶瓷板,螺旋金属板和探头设计了一种用于测量软组织硬度的触觉传感器,该传感器仅使用了一片压电薄膜作为传感元件,该传感器可测得的弹性模量范围在500 kPa以内。Sharma等[4]开发了一种Smart-touch细针的压电系统,可直接安装在传统的活检针上,通过定量实时测量针头穿透组织时组织刚度的变化来评估异常组织。正常的甲状腺样本硬度为0.06±0.02 mN/mm,该活检针检测精度可以达到0.02~0.41 mN/mm。Peng等[5]采用聚二甲基硅氧烷为结构材料设计了一种柔性触觉传感器,通过改变电容器内传感膜的尺寸,可以获得不同刚度的传感膜。该传感器能够在0.1~0.5 MPa的弹性范围内测量,精度为0.1 MPa。表1归纳了其他基于电信号的力传感器[6-14]。
表1 基于电信号的力传感器
基于电信号的力传感器电路输出信号微弱,一般在微伏级,需要外接放大电路。但是放大电路是一种弱电系统,具有高灵敏度,易受到外界和内部一些无规则信号的影响,其中包括:① 电磁噪声,由于某些医疗器械设备功率大,电压高,在某些情况下,会导致供电线路电流瞬间切换,产生工频电磁干扰[15];② 印制电路板(Printed Circuit Board,PCB)内部的干扰,在设计的过程中,由于布线布局等原因,大电流通过的电源线或地线等对器件产生感应耦合和信号传导干扰[16]。此外由于应变片贴在手术器械的细长杆上用长导线与电桥中其他电阻相连,长导线对外界的干扰极其敏感,会导致误差。噪声的干扰大多数为高频信号,需设计滤波器将高频信号滤除,也可以在PCB布线完成后覆铜,增加散热面,也可起到一定的电磁屏蔽作用。而且通常半导体材料的温度系数都比较大,环境温度会引起晶体管参数变化,导致静态工作点不稳定,使电路动态参数不稳定,非线性比较严重。为解决温度漂移的问题,可以添加补偿电路,在电桥的供电上,一般采用恒流源供电方式,提高制作工艺,使电桥中的电阻相等,进而减小温度误差。在电桥电路中串联、并联热敏电阻可解决零点漂移问题[16]。
基于电信号的力传感器应用最广、设计简单,但是存在生物相容性较差、难于集成、易损坏等缺点,且不能进行高温高压灭菌,这限制了其进一步发展。由于光纤具有尺寸小、柔性大、生物相容性好、不易受到电磁干扰等优点,使得光纤在手术器械力感知研究有了较广泛的应用。如Xie等[17]根据光强调制(Light Intensity Modulation,LIM)的原理,用摄像机捕捉检测元件的光强变化,设计了一种光纤触觉阵列,其在体模和器官上做了触觉诊断实验,该传感器可测量0~5 N的接触力,精度为0.05 N,但是该传感器无法检测到处于组织深处的肿瘤。Yip等[18]开发了一种基于反射光强度调制的光学力传感器,该传感器由三对放置成三角形结构的光纤组成,每对光纤包括了耦合到光源的发射光纤和连接到光电晶体管电路的接收光纤。该传感器测量范围为0~2 N,但是在高频信号中存在明显的滞后现象。Lai等[19]利用光纤布拉格光栅(Fiber Bragg Grating,FBG)设计了一个可用于腱鞘驱动的外科手术机器人的新型力传感器,该力传感器由1个1 mm的FBG和1个3 mm的镍钛合金管组成,当肌腱受到牵拉,镍钛管压缩,FBG产生应变。另一个FBG用于温度补偿,该传感器可实时反映肌腱张力,误差为0.37 N。Zarrin等[20]开发了用于腹腔镜器械可消毒的夹持器,采用不锈钢制造。设计为T形结构,FBG传感器贴在T形弹性体的凹槽内,以测量钳口的夹持力;但是由于T形钳口在夹持物体时会有向外弯曲的形变,无法测量轴向力,为解决此问题,将T形结构换成了工字形结构[21],工字形抓钳可提供更大面积的第二力矩,从而减少钳口向外弯曲的不良影响。Fontanelli等[22]将青铜环贴在可变形结构上,当受力时,青铜环相对套管针轴线产生位移,引起弹性体形变,利用4个FBG光学传感器测量,此传感器可以测量横向力,无法测得轴向力分量,但是采用了基于残差的估计方法来估计轴向力分量,该传感器静态误差小于12%。
Mo等[23]提出了一种用于针插入的相位调制(FPI)力感知系统。2个FPI传感器平行安装在内径为1.54 mm的穿刺针尖端,其中1个FPI传感器用于测量尖端的轴向力和温度,另一个FPI传感器进行温度补偿。该系统在0~8 N测力范围内及23.0~37.5 ℃范围内有良好的准确性。表2中总结了其他基于光信号的力传感器[24-35]。
表2 基于光信号的力传感器
在基于光信号的力传感器的使用中,存在测量信号的系统误差,还存在一些随机误差,需要使用一些误差修正技术。在实际测量中,可采取傅里叶变换或离散频谱分析的方法,分离出周期累计的误差,使用低通滤波方法去除。同时为了保证测量信号系统误差减小,需采取相应的补偿措施,主要有以下2种方法:① 归一补偿,适合在无绝对零点的光栅测量系统中,但是如果测量系统的误差较大,会因为补偿精度不够,导致补偿不彻底。② 分段补偿,分段越多,补偿越精确,所以会占用较多存储空间,还会降低测量速度[34]。
理论上,施加在力传感器上某一方向单独的力不会影响其他方向的受力。但是由于手术器械操作杆本身的性质,感应元件粘贴精度等因素,实际上力传感器在不同的维度(X、Y、Z)上受力存在耦合,输出信号存在失真。
解决耦合的方法主要有以下2种:① 硬件方面,增加感应元件粘贴精度,可以减小耦合的影响,缺点是加工精度困难,成本太大且不利于重复实现;② 软件解耦,通过算法对采样得到的信息进行处理,节约成本且较为准确,例如,利用神经网络解耦,因神经网络的自学习、自组织、自适应性强,利用神经网络可以充分逼近任意复杂的非线性系统,且神经网络具有很强的鲁棒性和容错性,能同时处理定量和定性的信息,可以很好地协调不同维度的力信息,或根据实验情况采集大量数据,将整个传感器系统看成黑盒,根据输入数据与输出数据的对应关系,建立数据模型,利用插值法不断计算寻找到最终解。此外还有一些利用经验值进行模糊推理的静态解耦方法,或利用最小二乘法,通过最小化误差的平方和寻找数据的最佳函数匹配,但是只适用于求解线性系统[35]。
以上研究表明,利用外体感知力的方法结构简单易于实现,具有普适性,但是会增加手术器械成本,且在灭菌性、生物相容性以及小型化等方面存在巨大挑战。现阶段研究更趋向于本体感知方法。
微创手术器械末端由驱动机构进行驱动,所以末端的受力与驱动端的力/力矩直接相关,但是由于机械内部摩擦等非线性的影响,且器械末端空间狭小,大多数采用丝传动传递动力,钢丝绳的张力变化也会影响力矩传递。想要精确检测外力/力矩,就需要对器械进行动力学建模,建模的优劣也直接影响检测精度。
Su等[36]提出了一种基于深度卷积神经网络回归算法的无模型方法来实现刀具的动力学辨识,并利用双边遥操作验证了其有效性,该方法与传统的长短时记忆网络(Long Short-Term Memory,LSTM)、前馈神经网络方法相比,提高了鲁棒性以及计算时间。Wang等[37]使用粒子群算法优化BP神经网络学习空载状态下的钢丝绳张力与电机运动之间的关系,通过实时测量钢丝绳的张力与神经网络的结果差值来计算关节的力矩干扰,从而估计夹持力。薛人峰[38]对微创手术机器人的丝传动进行分析来估计夹持钳的夹持力,考虑运动中滑轮之间的摩擦、滑轮与支撑轴之间的摩擦、钢丝绳在导向滑轮上的弯曲刚度以及腕部偏转导致耦合运动的影响。利用绳轮系统传输特性建模,夹持力估计值只有在钢丝绳全部拉紧阶段比较准确,这是因为夹持钳在进行开合运动时,驱动端改变运动方向,钢丝绳的松紧会突然改变,导致夹持力估计值出现抖动,有明显的突变。而且丝传动系统有迟滞特性,可以根据延迟时间将突变部分滤除,用前一时刻的估计值代替钢丝绳突变和延迟时刻的估计值来解决迟滞问题。或者根据闭环绳轮系统力矩传递特性来分段建模。如图2所示,闭环绳轮系统传输有以下3个阶段:① 工作阶段(Ⅲ),该阶段力矩的输出几乎呈线性关系;②延迟阶段(Ⅰ),是在系统运动方向发生改变后,力矩的输出由于迟滞特性不随输入变化;③ 过渡阶段(Ⅱ、Ⅳ),是在延迟阶段进入到工作阶段或工作阶段进入延迟阶段的过渡阶段,该阶段中力矩输出变化基本呈线性[39-40]。
图2 闭环绳轮系统力矩传递特性
Rucker等[41]从概率角度讨论了连续体机器人的内在力传感,通过给定机器人形状和末端执行器的姿态,获得机器人上外部载荷的概率分布,用扩展卡尔曼滤波的方法估计机器人末端施加的力。他们开发的力传感方法可以适用于任何具有p=g(τ, F)模型的柔性机器人(τ代表执行器的矢量值,F代表末端执行器的外部作用力,p代表机器人末端执行器的姿态),但该研究中只在X、Y平面内进行了实验,还应考虑机器人的多处负载,并扩展在多平面上。
Guo等[42]利用深度学习的方法来测量手术器械的夹持力,该方法只需要现有的传感器数据,以及电机的位置、速度和电流。首先研究了输入数据帧,从原始传感器数据中提取7个数据,利用基于反向学习二进制蝴蝶优化算法形成合适的数据帧,基于此数据帧提出了一种具有注意力机制的前馈卷积神经网络来估计手术器械夹持力。实验的均方根误差仅为0.1233 N。表3总结了其他基于本体感知的方法[45-51]。
近年来,受计算机视觉中图像分类技术的启发,受力信息可以表示为图像,通过人工智能方法处理从接触图像中提取的原始数据或特征,利用三维重建、形状识别、硬度检测等方法间接反映手术器械受力。
Aviles等[43]提出一种有监督的神经网络视觉方法,通过提取心脏表面运动的几何形状,使用基于LSTMRNN的深度网络来学习提取的视觉几何信息与施加的力之间的关系,均方根误差为0.02 N,这种方法可以避免生物相容性和集成问题。Lin等[44]提出了一种利用实时图像来重建3D模型计算组织形变的方法,使用图像跟踪,在内窥镜场景中定位手术器械,然后确定图像场景中的变形区域。对变形的组织表面进行建模,利用变形数据获得仪器尖端附近的接触力。力信息可以反馈到触觉设备,使外科医生能够感受到,并在监视器上为外科医生显示力值。表3总结了其他基于动态感知的方法。
表3 其他本体感知与动态感知方法
利用本体感知的力感知技术虽然不受手术环境的影响,但是手术器械中关节摩擦、机械间隙等对力学建模有较大的影响,且这些参数都是根据手术器械位姿实时变化的,同时复杂的模型会导致泛化能力变差。因此需要尽可能提高加工工艺,同时优化辨识方法,选择最优的激励轨迹表达式。利用动态感知技术的力感知一般利用深度学习框架,需要大量的训练数据,而且在没有采集过数据的环境或组织上,无法很好地感知力信息,但是可以通过多采集训练数据或调整神经网络结构,增加系统的鲁棒性。
本文对微创手术器械的力感知技术进行了总结与分析,将力感知技术分为了外体感知、本体感知以及动态感知,讨论了各种方法的优缺点,分析了其基本原理以及误差来源,随着力感知技术的发展,外科医生可以更好地感知到手术器械与组织的交互力,增加外科手术的安全性。外体感知的方法可以较为精确的感知到末端的力,但是在小型化和生物兼容性等问题上仍是一个巨大的挑战;本体感知的方法不必考虑上述问题,但是这种方法是根据器械传动系统、位姿等信息,需要精确的力学模型才能较好的估计力;而动态感知的方法多数还处于离体动物组织的实验,在真实的手术过程中,操作空间小、组织出血等因素都会影响采集图片的质量,而内镜摄像头的运动会导致图片运动模糊、增加力估计等困难。随着传感器的小型化以及高度集成化,未来对于力的感知可以直接在手术器械末端集成力传感器;同时人工智能的普及对于图像的处理也越来越精细,利用人工智能的方法进行力感知也会逐渐用于真实的手术过程中。随着传感器技术,医学图像信息技术等的发展,未来对于力感知的要求越来越高,且对于组织的形状、纹理、硬度、温度等物理属性的感知越来越有必要,有望利用传感器与人工智能相结合进行力感知。