寿佳瀛,付 庄,梅琼风,李康安,李茂林,谢荣理,张 俊,费 健
(1.上海交通大学机械系统与振动国家重点实验室,上海 200240;2.上海市第一人民医院,上海 200080;3.上海交通大学医学院附属瑞金医院,上海 200025)
乳腺癌病症筛查中常采用磁共振成像结合介入采样的诊疗方案[1-2]。目前,人工穿刺方案存在穿刺点位置与穿刺角度难以把控的问题,且受限于磁共振扫描仪的开放孔尺寸,难以开展手术。因此,采用具有高穿刺定位能力的机器人辅助乳腺穿刺手术方案已成为研究热点。
设计核磁环境下工作的手术机器人时,涉及几点兼容性问题:电磁兼容,磁共振仪工作时对手术环境施加1.5~3.0 T的强磁场,会与机器人电控系统相互产生不可忽视的电磁干扰,致使机器人控制失效与磁共振成像质量下降[3];材料兼容,常用钢、铁等铁磁性材料受强磁场作用,具有对患者及其他设备的攻击风险;大量使用铜合金等非磁导材料会造成伪影,影响成像质量[4];尺寸兼容,磁共振仪开放孔尺寸有限,除去患者所占体积,仅有高度约350 mm的空间供机器人布置[3]。这些限制条件需在机器人的设计中考虑。
结合以往穿刺机器人方案的优点[5-7],本文设计了一种五自由度、通过传动软轴方式驱动的乳腺穿刺手术辅助机器人。
本文设计的穿刺手术辅助机器人总体结构如图1所示。采用直角坐标构型,共具有5个自由度,包括水平移动与竖直抬升的2个平移自由度、俯仰角与偏航角姿态调整的2个旋转自由度,以及执行手术的穿刺针进给自由度。
图1 穿刺机器人整体结构
从模块分解角度来看,机器人大致可以分为2自由度位置调整模块、2自由度姿态调整模块和穿刺针进给模块,如图2所示。
图2 穿刺机器人模块分解示意
2自由度位置调整模块通过丝杆传动,带动穿刺针进行竖直平面内的定位移动。2自由度姿态调整模块可对穿刺针的姿态进行调整,旋转轴相互垂直,构成万向节运动副。穿刺针进给运动单独由末端穿刺针进给模块负责,无需依靠多关节耦合实现穿刺运动,能从结构层面保证穿刺路径的平直。为更清晰地描述机器人各运动自由度的布置,绘制如图3所示的机构简图。
图3 穿刺机器人机构简图
上述所涉及的丝杆导程为3 mm。机器人各运动关节均通过传动软轴接入减速器的方式,与置于远端的电机相连,进行驱动。
根据标准D-H方法建立穿刺机器人各关节坐标系,以齐次坐标变换的形式描述其正运动学方程,为
(1)
图4 穿刺针末端在关节5坐标系的坐标
由于本文所设计的穿刺机器人为直角坐标构型,各关节耦合情况较少,因此可根据几何法,得到逆运动学方程为
(2)
θpitch,θyaw分别为穿刺针的俯仰角与偏航角。
考虑核磁兼容的性能要求,本文所设计的机器人结构材料均为不影响磁共振成像的核磁兼容材料。主体结构选用DSM 8000光敏树脂材料;承受较大应力的关键结构件选用POM 500P聚甲醛树脂;螺丝、螺母等紧固件选用尼龙材料;轴承选用氧化锆陶瓷材料。实物样机如图5所示。总体结构的尺寸为长度230 mm,宽度360 mm,高度270 mm,满足空间上的约束条件。
图5 穿刺机器人实物
为获取工作场景信息,从而实现穿刺机器人基础的路径规划,本文在机器人的控制环节中引入了摄像机的视觉信息。在执行体侧穿刺任务时,乳腺器官置于夹具中,通过定位栅格标识其空间位置信息;机器人位于人体的一侧,距定位栅格较近。这种场景单一摄像机视角有限,难以覆盖完整的机器人末端点工作空间;同时相对于栅格平面的倾角过大,在视角的边缘位置处栅格分布过于密集,使得图像识别任务的难度增加。
因此,在本课题中采用了汇聚式双目视觉方案[8]。如图6所示,在机器人的两侧各固定1个相机,调整相机位姿直至2个相机的光轴均通过栅格的中心点,令每个相机的视场至少覆盖一半的工作空间,使得同一时刻下至少能在1个相机中检测到穿刺针的末端点。
图6 工作场景描述
控制过程中,需要通过图像获取定位栅格坐标在机器人坐标系中的映射坐标,作为穿刺目标点,从而根据逆运动学进行路径规划。
首先,需要对2个相机采集到的图像做透视变换,得到拼接后的图像。本文中采用计算单应矩阵的方式进行处理[9],具体方法为:标定相机内外参矩阵,根据对极约束方法分解得到2个相机之间的旋转矩阵R与平移向量t。此过程中2个相机的相对位置并未发生改变,因此,透视变换所需的单应矩阵为[8]
(3)
n为空间点P所在平面的法向量;d为相机坐标系原点到平面的距离。
2个相机采集的画面存在光照条件不同,且标定过程仍存在一定误差,因此变换后的图像往往在边界处拼接时有明显的错位,可以使用加权叠加的方式消除影响。
接着,本文在计算栅格坐标之前加入了标定环节:初始时刻,穿刺针在两侧摄像头的监视下进行进给运动;当穿刺针末端在2个相机的透视变换图像中的像素坐标距离小于一定阈值时,可认为穿刺针已到达栅格所在平面,此时在透视图中的末端点像素坐标即为穿刺针实际指向的栅格位置。记此时末端点在机器人坐标系下的位置为Probot=(px,py,pz)T,末端点在透视图中的像素坐标为Ppixel=(sx,sy)T,则像素坐标为(x,y)的栅格在机器人坐标系的坐标为
(4)
由此建立了图像中的像素坐标与实际机器人坐标系之间的映射关系,可按照基本路径规划算法进行控制。
为确保穿刺针的可达范围足以满足手术要求,需要对机器人末端点的运动空间进行分析。
本文采用蒙特卡洛方法进行工作空间的求解。首先通过标准的D-H方法,对所设计的穿刺机器人建立正运动学方程;再根据各关节的行程范围确定关节输入值的约束条件,如表1所示;之后采用蒙特卡洛方法,随机生成满足约束的关节输入值,并代入正运动学方程映射至解空间,循环100 000次获得点云形式的解空间;最后求取空间点云的包络面并作平滑处理,得到如图7所示的机器人工作空间,可见足以覆盖穿刺手术空间。
表1 各关节运动行程
图7 机器人工作空间求解
为验证穿刺机器人的定位能力,搭建如图8所示的穿刺机器人验证实验平台,该平台包括穿刺机器人末端执行机构、相机、电机及屏蔽腔体、电机控制柜、PC及用户控制界面。穿刺机器人末端执行机构通过减速器和传动软轴与电机相连;电机控制柜内部包含电机驱动器与下位嵌入式设备,通过Modbus总线执行对电机的控制,并接入机器人关节处的光电开关,作为各关节运动的限位保护机制;急停开关直接与电源串联,负责在紧急时刻切断回路;PC上位机通过RS485串口线与控制柜中的下位机相连,用于下发用户指令。按照实际栅格尺寸制作了模拟穿刺定位栅格,并绘制坐标网格以测量机器人末端点的空间坐标。
图8 实验平台
在实验平台基础上进行了穿刺机器人的空间定位实验。多视角拼接图像的处理过程如图9所示。
a.首先通过两侧的相机拍摄得到如图9a和图9b所示的定位栅格图像。
b.再根据标定得到相机旋转矩阵与平移矢量,计算两侧图像的单应矩阵,进行透视变换,并实现图像初步拼接,如图9c所示。
c.为消除边界处的拼接痕迹,采用渐入渐出算法对2幅图像加权融合,得到图9d中的拼接图像。
d.最后,对拼接图像进行二值化处理,并提取轮廓,即可得到栅格的中心像素坐标,如图9e和图9f所示。
图9 多视角拼接图像处理流程
在获得多视角拼接图像中栅格的像素坐标后,使穿刺针向前做进给运动;在穿刺针移动过程中可通过视频差分的方式获取末端点位置的像素坐标信息。当2个视差图中的穿刺针末端点足够靠近时,可认为已接近栅格平面,此时将该栅格的中心像素坐标与机器人坐标系构成联系,则可获得栅格图像像素坐标与机器人坐标系之间的映射关系。
如图10所示,圆点为识别得到的各栅格中点在机器人系下的坐标;点a为中心栅格点,其坐标如图10标识,可作为网格的坐标原点以测量机器人末端点空间坐标;选择栅格中点c作为目标穿刺点,基于逆运动学方程进行路径规划,控制机器人自点b出发开始移动;过程中机器人末端点的运动路径如图10中粗轨迹线所示。由图10可见,所设计的穿刺机器人能带动穿刺针末端点到达目标穿刺点,具备空间定位与路径规划能力。根据坐标网格测量得知其误差约为±1.5 mm。
图10 机器人末端点轨迹线与栅格坐标信息
研制了5自由度乳腺穿刺手术辅助机器人,并提供基于多目视觉的路径规划方案,最后通过搭建实验平台对其定位能力做了验证。此机器人具有以下特点:
a.材料不受强磁场作用,并且不影响磁共振成像;结构紧凑,尺寸较小,符合工作场景需求,具备磁共振环境下的兼容性能。
b.穿刺机器人末端点的可达范围能够覆盖手术工作空间。
c.采用基于多视角图像拼接的图像引导方案,具备空间定位能力与基础的轨迹规划能力。