基于点云三维重建技术的甲状腺超声穿刺三维导航研究

王子灿,付 庄,卢晨卓,赵艳娜，谢荣理，张 俊，费 健

(1.上海交通大学机械系统与振动国家重点实验室，上海200240;2.上海市瑞金康复医院，上海 200023;3.上海交通大学医学院附属瑞金医院，上海 200025)

0 引言

甲状腺穿刺手术作为一种体表下手术，为了正确定位甲状腺结节的位置，医生在手术的同时需通过超声扫描仪获取手术位置的截面信息，从而了解体表下的组织情况[1]。这种通过提供额外的体内视觉信息的手术辅导技术称为手术视觉导航技术[2-4]。当前甲状腺手术的导航系统大多依赖于超声截面图像，但其空间姿态信息不明确的弱点导致医生通过超声截面视图获取结节相对手术穿刺针位置的难度增加，限制了系统的导航能力[5-6]。

通过甲状腺自动超声扫查机器人，可以获得带有准确空间和时间信息的超声扫描图像。将图像重建成为甲状腺三维模型，并和CT重建模型进行融合后，可组建甲状腺穿刺手术导航模型[7]。以此为基础，将传统的甲状腺超声截面导航穿刺机器人系统与三维导航模型融合，可以为医生提供穿刺时针尖相对于甲状腺结节和周边组织的位置和姿态，提升导航的直观程度。

1 自动超声扫查与图像分割

1.1 甲状腺自动超声扫查机器人

超声扫查机器人的扫查范围如图1所示。扫查机器人平台基于文献[8]的工作进行了修改，在增加超声穿刺探头的前提下，根据甲状腺附近颈部扫查部位的皮肤表面几何形状进行了运动轨迹重新规划，保证了甲状腺的所有区域均能被扫描探头扫查到。

图1 自动超声扫描区域规划

为了获取带有附加空间时间精密数据的超声截面图像，可将如图2所示的超声扫描仪器和自动扫查机器人运动控制平台相结合，每当运动控制模块更新机器人关节角度和末端位置姿态信息时，会同时纪录当前的扫查图像，从而获得高时间空间精度的甲状腺扫描图像。

图2 扫查图像采集-运动控制联合系统

1.2 甲状腺图像分割算法

获得带有空间姿态和时间信息的甲状腺原始扫描图像后，需要对超声图像进行图像强化和区域分割，才能获得适应于建立三维模型的甲状腺图像。三维重建算法的总流程如图3所示。

图3 超声模型三维重建算法结构

其中，甲状腺图像分割算法分为经典图像学算法和基于深度学习网络UNet架构的图像分割算法。经典图像学习算法包含增强图像特征成分的图像增强流程和提取最大联通甲状腺区域的洪泛算法。

通过图像学分割算法获得的各个步骤的甲状腺图像如图4所示。由图4b可见，经典图像分割算法选取甲状腺组织位置的效果有限:一方面不能获取扫描图像内分离的甲状腺区域；另一方面在图像较为嘈杂时不能区分甲状腺与周边组织信息，生成图像不利于点云重建。因此系统引入了UNet深度学习图像分割算法[9]。UNet的网络架构如图5所示。

图4 甲状腺图像

图5 UNet深度网络结构

作为有监督的机器学习算法，UNet网络需要研究者提供作为学习目标的分割图像作为训练集。可以从经典图像算法分割结果图像中选择分割效果较优的5%比例的图像作为训练集，并且通过图像训练集增强(image train set augmentation)的方法将训练集合扩大为原有大小的10倍，降低了模型的过拟合，提升了模型的泛化能力。最终通过UNet分割的甲状腺图像如图4c所示，可见UNet成功将甲状腺轮廓提取出来，可以进入点云重建的算法步骤。

2 甲状腺超声三维重建与CT模型数据融合

2.1 甲状腺超声三维重建算法

甲状腺超声三维模型的方案建立在点云融合算法的基础上，将单张甲状腺的分割后的二值图像通过式(1)采样并表达为空间点云，则有

(1)

xscanner、yscanner、zscanner分别为生成点云在扫描头坐标系下的表示；xpixel和ypixel为像素坐标系表示；wscanner和hscanner分别表示扫描头扫查宽度和深度；wpixer和hpixel分别表示图像的像素宽度和高度。

将二值图像表达为扫描头坐标系下的点云后，再将点云根据图像附加的空间位置姿态信息统一表达在机器人基座坐标系下，即可完成将多张点云融合成为一个三维点云模型。

由于甲状腺扫描运动和通信过程的不稳定，实际得到的点云面片之间的间距是不均匀的，导致最后点云成像的结果不佳。基于曼哈顿距离相邻点云切片插值增强算法，通过分析2张二值图像之间的差距，在二者间插入指定张过渡图像，实现图像的平滑过渡，从而使得点云变得稠密均匀。

现将起点图像称为Gstart，其中值为1的像素集合为Pstart；终点图像称为Gend，值为1的像素集合为Pend。如图6所示，将图像重叠后，可以发现2张图像值为1的区域根据交叠关系形成了3个子集，分别为Pstart∩Pend，Pstart-Pend，Pend-Pstart。

图6 二值图像的曼哈顿距离表生成算法图解

Pstart∩Pend为图形变化中不会发生改变的区域；Pstart-Pend为起始图像包含而终点图像不包含的区域，即消失的像素的集合，记为Pvanish；而Pend-Pstart为终点图像包含而起始图像不包含的像素区域，即新生成的像素的集合，记为Pemerge。

算法为了保证中间插入的图像具有渐变效果，根据L1距离，从Pvanish部分远离Pstart∩Pend的区域开始置0，而Pemerge从靠近Pstart∩Pend的区域开始赋值为1。最终生成的点云融合效果如图7所示。

图7 甲状腺超声扫描点云面片融合效果

获得甲状腺三维点云模型后，为了加速渲染，可对甲状腺模型使用VTK库中的高斯溅水法(Gaussian splatter)和等值面重建算法(iso-surface reconstruction)，获得了甲状腺外壳的面片三维模型[10]，从而大大减少了同一个模型几何单元数量，在不损失模型精度的情况下提升了模型的渲染效率。形成的面片模型效果如图8所示。

图8 甲状腺三维重建结果

2.2 甲状腺模型与CT模型配准融合

寒假里，爸爸妈妈带我去了盼望已久的长白山。在南方长大的我，还从没见过北方这么壮观的雪景。放眼望去，白雪皑皑，到处都像铺了一层厚厚的白色地毯。远处的雪道上，人们一起一伏，悠闲地滑着雪。我顿时被吸引住了，拉着爸爸、妈妈直奔服务台，办手续、领道具。

(2)

通过CT贴片的方式可以确定人体在CT坐标系下的坐标，再通过穿刺机器人针尖定位在贴片部位的方式，可以获得定位点在机器人基座坐标系下的坐标，从而可以使用最少6个定位点确定CT模型和超声模型的空间配准关系。配准后渲染效果如图9所示。

图9 甲状腺超声、CT模型配准重建结果

3 穿刺手术导航系统和实验分析

根据上述理论和算法研究，在自动超声扫描机器人的基础上构建穿刺导航机器人系统，将机器人姿态与甲状腺混合模型渲染在同一模型空间中，为医生提供全面的空间位置姿态信息。

在搭建完成的扫描穿刺导航手术机器人平台上，可进行以甲状腺超声数据三维重建为目的人体自动扫查实验，以及以检验机器人导航准确性的人体模型实验，如图10所示。

图10 自动扫描人体实验及导航穿刺人体模型实验

自动扫描实验结果如图11所示。在0.001 s的数据采集周期下，其核心伺服扫查运动流程运动速度不大于0.30 mm/s，标准差不大于±0.01 mm/s，证明甲状腺自动扫查运动速度均匀，和扫描区域皮肤贴合紧密，能够满足后继三维重建和手术导航的要求。

图11 自动扫描流程速度曲线分解

对于甲状腺的图像处理和三维重建算法实验，由表1可以观察到UNet图像分割算法极大提升了可用图像数量，且最后和精确的CT重建数据配准时，甲状腺重建生成的可用体素数量占总个数的95%以上，证明了三维重建算法的有效性和精确性。

表1 UNet分割算法生成可用图像比例与CT配准有效体素比例

图12 模型运算穿刺针空间x坐标位置与真值对比

由图12可以看出，模型运算结果与真值之间的差距主要由不大于100 ms的通信时延造成，并且由此产生的最大控件误差不大于±0.1 mm，说明模型能够准确反映物理空间中针尖位置。

4 结束语

基于甲状腺自动超声扫查机器人获得的图像，设计并实现了一套集三维重建、模型融合、实时渲染的甲状腺超声扫查穿刺手术导航机器人方案。根据人体自动扫查实验的三维重建结果和导航模型空间配准结果，可以获得如下结论：

a.提出的甲状腺模型重建算法可以有效生成高质量的、准确直观的甲状腺模型。

b.提出的CT、超声数据融合方法能有效提升模型的直观程度和信息量。

c.所建立的甲状腺超声穿刺导航系统能够精确反映穿刺针在空间中的位置和姿态，以及相对穿刺目标之间的位置关系，其空间绝对误差不大于±0.1 mm。