一种骨骼轮廓连续三维重建方法

邓玉萱，屈 赟，刘建林，栾 宽，刘景隆

（哈尔滨工程大学智能科学与工程学院，黑龙江 哈尔滨 150001）

1 研究背景

临床常用的超声图像是二维断面图，对于医生来说想要精确地找到病灶有一定难度，所以在骨外科手术导航系统中，三维可视化技术是至关重要的一部分。

虽然基于X 光的三维成像能够较好地解决这一问题，但术中应用成本较高还未被广泛使用。此外，无论是二维还是三维X 光成像都会产生一定的电离辐射，这会对医生和患者的身体造成伤害。

1.1 基于超声图像的三维重建

针对二维或三维X 光成像的问题，使用超声成像来提供无辐射的实时骨骼三维成像不失为一个较好的选择。以超声图像为基础的实时三维重建图像引导手术，主要运用自由臂超声将空间定位传感器安装在超声探头上，通过注册过程计算出超声图像与空间定位传感器间的位置关系[1]；并且采用深度学习的方法将超声图像中的骨骼轮廓分割出来；同时实时获取超声图像的空间信息，将获得定位数据实时引入系统，计算出图像点的空间位置；最后将得到的空间点进行整合，形成空间曲面轮廓。

1.2 系统改善之处

超声成像系统趋于完善，但是仍有可改善之处。目前该系统在扫描骨骼时，每一帧超声图像间会产生空隙，这些空隙如果较大会使得重建的骨骼轮廓不连续，影响重建效果，甚至干扰诊断。而基于视觉的三维重建正好能够填补这样的空白，微软公司曾推出一个交互性重建系统，系统实时从移动着的Kinect 摄像头中获得深度数据，实时创建一个高质量、几何精确的3D 模型，用户手持标准相机，可在室内任意移动，并在几秒内重建出实物场景的3D 模型[2]。

基于以上技术，对超声断面图像进行断层重建，使骨骼轮廓在垂直图像方向进行延伸，以便提升三维重建效果。

2 研究方法

2.1 Kinect Fusion 三维重建算法

Kinect Fusion 是基于RGB-D 相机三维重建的开山之作，首次实现实时稠密的三维重建，也可在只用深度图的情况下就能实时地建立三维模型[3]。

Kinect Fusion 包含2 个核心技术，即迭代最近点（ⅠCP）算法注册和基于截断符号距离函数（TSDF）。它的思路是一边注册，一边融合。主要步骤如下：①将读入的深度图像转换为三维点云，计算每一个点云的法向量；②找到当前时刻和前一时刻的有向点之间的对应关系，所有深度测量值都能从二维图像坐标转化到一个单一连续的全局坐标空间内；③根据前一步骤的位姿，将当前帧的点云融合到网格模型中去；④根据当前帧相机位姿将模型中的点云投影到当前帧并且计算其法向量，用来在之前步骤中对下一帧的输入图像配准。

2.2 图像处理方法

首先对骨骼图像进行预处理，包括中值滤波和图像阈值处理。对图像中的骨骼轮廓进行图像滤波处理，在尽量保留图像特征的前提下对目标图像的噪声进行抑制，该步骤处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。为了滤除孤立的噪声像素，例如椒盐噪声、脉冲噪声等，保持图像的边缘特性，使图像不会产生显著的模糊，选择非线性滤波器中的中值滤波进行图像处理。

具体处理方法为：用一个奇数点的窗口在图像上移动，窗口中心与图中某个像素位置重合；按大小顺序依次读取窗口下的像素灰度值；选取灰度序列中的中间一个像素灰度值赋给模板中心位置的像素，从而消除孤立的噪声点。

其次对经过滤波后的图像进行分割处理。作为最基本和最常用的图像分割方法之一，图像阈值化分割具备实现简单、计算量小、性能较稳定的特点，它主要利用图像中要提取的目标物与其背景在灰度特性上的差异，通过设置合适的灰度阈值，将图像的灰度划分为2 个或多个灰度区间，以确定有意义的区域或分割物体的边界[4]。该方法不仅可以极大地压缩数据量，而且也大大简化了分析和处理的步骤。

对于读入图像中骨骼轮廓和外界环境的分割采用了全局阈值处理中的低阈值零处理方法，即：

式（1）中：dst（x，y）为处理完成后得到的目标图像；src（x，y）为需要进行阈值处理的原始图像；thresh为需要设定的阈值。

2.3 骨骼重建的技术创新

鉴于系统的输入是断层超声图像而不是相机拍摄的深度图像，在算法上去除了与摄像头的相关代码；又因为ⅠCP 算法主要用于点云配准，而在该系统中运用坐标转换进行此项工作，处理图像包括像素与毫米之间的转换、超声探头坐标系到定位仪的世界坐标系的转换，根据超声图像到超声探头的图像坐标，就可以得到由图像坐标转换到双目定位仪下的世界坐标的转换方程，即可获取到所有像素点的空间坐标，所以也去除了ⅠCP 匹配的相关代码。

该算法主要包括以下内容：①初始化参数为默认值，设置TSDF 体积的初始姿势；②创建KinFu 类的对象，并且将循环次数置为0；③对读入的图像进行预处理，将超声图像中的伪影滤除以达到更好的三维重建效果；④结合双目光学定位仪及器械注册技术，得到配准后的统一的世界坐标系下的将辅助探针与超声探头的空间坐标，再使用TSDF 点云融合算法将当前帧的3D 点云融合到现有模型中；⑤如果没有将新帧与当前场景对齐就清除当前模型并重置姿势；⑥使用光线跟踪的方法，根据现有模型和预测出的当前可观察到的环境点云，以达到一边扫描一边重建的效果；⑦每次循环后循环次数加1，用于判断是否完成设定帧数的重建，在渲染完现有模型后通过按键判断是否立即退出。

算法流程图如图1 所示。

图1 算法流程图

3 实验过程

3.1 实验操作

该系统的整体工作流程为：①首先由光学定位仪来对超声探头上的定位装置进行实时追踪以获取其坐标，并将该坐标通过串口通讯的形式传输至计算机；②计算机则使用开发的软件对该坐标进行处理，计算出各个器械在定位仪世界坐标系下的位置信息与姿态信息，并将其呈现在三维可视化的界面中；③同时将位置与姿态信息记录并输出为文本文件。

与此同时，通过图像采集卡来获取超声图片，利用图像处理程序对超声图像中的骨骼轮廓进行中值滤波和图像阈值处理，并转化到空间坐标系下，再结合配准后的统一的世界坐标系下的将辅助探针与超声探头的空间坐标，使用TSDF 点云融合算法将当前帧的3D 点云融合到现有模型中；通过光线跟踪的方法，根据现有模型和预测出的当前可观察到的环境点云，以达到一边扫描一边重建的效果；最后对获取到的骨骼表面空间像素点集进行表面重建，将最终结果显示在三维可视化界面中。

3.2 实验结果

输入的二维原始超声图像如图2（a）所示，通过本文设计的图像处理方法，滤除背景并获得骨骼轮廓，如图2（b）所示，最后使用三维重建算法进行重建，如图2（c）所示。其他部位骨骼轮廓重建结果如图3所示。

图2 当前帧分步重建图像

图3 其他部位骨骼三维重建图像

4 结论

想要实时重建多帧骨骼图像，需要将获取超声图像中骨骼的位置信息和深度信息融合到程序中。本文在理论上指出扫描骨骼的新方向，不再执拗与传统的X 光成像和CT 成像。但是不足之处是无法活动骨骼内部结构，为了解决这个问题，接下来本项目的重要突破点是将CT 图像与之融合。

通过在现有的实验基础上的理解，这个项目具有很强的可行性，具有延时低、快捷方便等特点。更多的是不仅能够扫描骨骼，还可以使用图像处理的方法提取出来想要的一些组织，从而达到成像的目的。