王文赛,邢恩铭,王 韬,周 榴,王晓春,周 盛,宋学东,杨 军
(中国医学科学院北京协和医学院生物医学工程研究所,天津 300192)
高频超声三维成像可以直接提供浅表器官的立体结构特征,显示病灶与周围组织的空间位置关系,从而提高临床诊断的准确性[1]。三维超声成像分为三维数据采集、三维重建和三维图像可视化3个阶段,三维数据采集的质量直接影响三维重建图像的效果[2]。在三维数据采集过程中,三维超声探头自身的振动、操作者和受试者不自主的运动均会造成图像的抖动,给图像采集带来误差,严重影响三维重建的效果。本文的高频超声皮肤三维成像系统中的换能器频率为50 MHz,其焦点处波束宽度约为50 μm,成像精度较高,但也易受到外部干扰的影响,一般的运动会带来比普通B超更严重的后果。因此,在采集到高频超声三维数据后,首先要进行图像配准,尽可能降低三维数据采集过程中带来的误差,提高三维重建图像的精度。
图像配准是指对图像序列中的2幅图像,通过某种空间变换把一幅图像映射到另一幅图像,使得2幅图像中同一空间位置的点相互对应,即实现2幅图像在空间和灰度上的映射。医学图像有多种配准方法,大致可分为基于灰度的配准方法、基于特征的配准方法和基于变换域的配准方法三大类。基于灰度的配准方法是利用图像灰度值的统计信息来度量图像的相似程度,通常不需要对图像进行复杂的预处理,实现较为简单,应用较广;基于特征的配准方法首先要根据待配准图像的特点进行特征提取,利用提取到的特征进行图像配准;基于变换域的配准方法中最常用的是傅里叶变换域配准方法,图像的平移、旋转等一系列变换在变换域中都有相应的体现[3-5]。
基于图像的灰度进行配准的方法能避免特征提取带来的误差,也无需复杂的预处理,是目前医学图像配准领域广泛应用的配准方法[6]。本文为了提高高频超声皮肤三维重建图像的精度,以C++语言为基础,结合图像处理工具包ITK(insight segmentation and registration toolkit)中基于灰度的配准方法对高频超声三维数据进行配准,并从配准速度、配准精度方面尝试对配准算法进行评价,找出适用于高频超声皮肤三维成像的配准算法。
ITK源于美国的可视人计划,是一个开源的、面向对象的、跨平台的医学影像分析工具[7]。其封装了大量基于C++实现的图像分割和图像配准以及图像统计的算法,并用CMake软件管理编译过程以保证编译过程独立于平台。ITK开源和算法复用性强的特点,使得程序开发工作简化,因此在医学图像处理领域广泛应用[8]。
ITK图像配准的框架如图1所示,主要由2幅输入图像、相似性度量、优化器、校对机、变换函数组成。图像配准过程就是寻找最优的变换,使得变换后的待配准图像和参考图像之间的相似度达到最大[7]。
图1 ITK图像配准的框架
基于ITK进行配准时,首先,准备好待输入的2幅图像,即参考图像和待配准图像;其次,利用变换函数将参考图像进行坐标变换得到新的区域,利用校对机得到待配准图像在上一步新区域内的坐标;然后,使用相似性度量计算待配准图像和参考图像之间的相似度,相似性度量得到的结果输入到优化器中,优化器通过迭代进行最优化计算,得到最终的变换参数;最后,输出在最优变换下得到的图像,即配准后图像。
配准过程就是一个寻求最优解的过程,配准过程中每迭代一次,得到一个相似性度量值,将此参数和设定的参数进行比对,如果达到预期效果则停止迭代;若设定的参数选取不合适,迭代就会无休止进行。一般进行配准时需要设置迭代次数,以便观察配准结果。
ITK图像配准支持二维图像配准、三维图像配准以及单模态图像配准、多模态图像配准。本文在二维单模态图像配准情况下,以均方值为相似性度量函数,保持其他配准组成部分不变,仅改变变换函数,选取平移变换函数、刚性变换函数、二维相似变换函数、仿射变换函数以及B样条可变形变换函数对高频超声皮肤图像进行配准实验。
(1)平移变换函数是最简单、有效的变换函数,表示输入空间中点的简单变换,虽然仅有水平和垂直方向上的位移,但平移变换速度较快,能减少配准时间。在开始进行配准实验时,平移变换函数是最佳变换函数。平移变换可用矩阵表示为
其中,(x0,y0)为待配准图像上的点,(x1,y1)为变换后坐标,tx为水平位移量,ty为垂直位移量。
(2)刚性变换函数可以分解为图像在一个二维平移变换后,围绕一个固定的中心点进行旋转,这个转动中心一般选择图像的中心位置。图像中任意两点的距离在刚性变换配准前后保持不变。刚性变换可用矩阵表示为
其中,θ为旋转角度,(Cx,Cy)是转动中心的坐标。
(3)二维相似变换函数可以认为是刚性变换和各向同性的缩放系数的结合,表示围绕一个固定的中心点对二维图像进行均匀缩放、旋转和平移。二维相似性变换可用矩阵表示为
其中,λ是缩放因子。
(4)仿射变换函数是图像配准中应用最普遍的变换,图像中的直线在仿射变换配准之后仍为直线,能保持二维图像的平直性。仿射变换表现为在各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均匀尺度变换和剪切变换[9-10]。仿射变换可用矩阵表示为
可以通过调节参数m00~m12实现图像的平移、缩放、剪切、旋转等操作。
(5)B样条可变形变换函数可以解决变形配准的问题。在图像采集过程中,由于操作者和受试者不自主的生理运动或者微小的移动会造成皮肤等浅表器官或其组织内部局部发生形变,这时刚性配准不能满足配准要求[11]。为了兼顾B样条函数配准的速度和精度,本文使用三阶B样条可变形变换函数对采集到的高频超声皮肤三维数据进行配准实验。
本文选用相关系数(correlation coefficient,CC)、结构相似性(structural similarity,SSIM)及余弦相似度(cosine similarity,Cos)算法尝试对5种变换函数进行定量评价[12-13]。
CC算法通过配准后图像M和参考图像F之间的线性关系的强度和方向来评价图像的相似度,公式如下:
其中,Mi表示配准后图像M的第i个像素值,Fi表示参考图像F的第i个像素值,N是图像的像素点数目,μM是配准后图像M的灰度平均值,μF是参考图像F的灰度平均值。CC取值范围为[0,1],其值越接近1,表明配准后图像M和参考图像F的相似度越高,配准效果越好。
SSIM算法通过比较参考图像与配准后图像的对比度、亮度、结构3个方面的相似程度来评价图像的相似度,公式如下:
其中,σ2表示图像的方差,σMF表示配准后图像M与参考图像F的协方差,C1与C2为常数。SSIM取值范围为[0,1],其值接近于1,表明配准后图像M和参考图像F的相似度越高,配准效果越好。
Cos算法通过将图片表示成向量,计算向量间的余弦距离来表示配准后图像M与参考图像F的相似度,公式如下:
其中,Mm和Fn分别代表由配准后图像M和参考图像F构成的向量。Cos取值范围为[-1,1],其值越接近1,表明配准后图像M和参考图像F的相似度越高,配准效果越好。
本文中高频超声皮肤图像配准精度需要结合以上评价指标进行综合评价。
本文使用高频超声三维数据采集系统采集了10组皮肤三维超声数据,每一组由标准三维数据和增加干扰后的三维数据组成,每一个三维数据由100帧每帧间隔100 μm的皮肤二维超声图像组成,三维数据的体素大小为768×576×100[14],三维数据对应皮肤的尺寸为 15 mm×11 mm×10 mm(长×宽×高)。在标准三维数据采集过程中尽可能减少三维探头的振动,在同一位置采集4次进行叠加平均,以减少随机干扰,获取较好的标准三维数据;标准三维数据采集完成后三维探头回到数据采集初始位置,再通过添加抖动三维探头干扰,采集干扰后的三维数据。
本文采集图像所用的超声换能器为中心频率50 MHz的单阵元超声换能器,高频超声三维数据采集系统主要由该换能器组成的机械定位线性三维扫描探头构成。如图2所示,在进行数据采集时将待测部位放入水中或者在待测部位增加水囊,超声换能器不接触待测部位,可以较好地获得待测部位的原始形态。在工作时将三维探头固定在机械臂上,这样可以最大程度地降低人为影响。三维数据采集的主要干扰来源于三维探头的振动,该振动产生的皮肤位移会给图像质量带来影响,本文配准实验的目的就是尽可能消除这种影响,增加的抖动干扰是为了模拟实际应用中三维探头可能出现的干扰因素。
本文配准实验以C++语言为基础,结合ITK图像处理工具包对采集到的高频超声三维数据进行配准,然后利用可视化工具包VTK(visualization toolkit)对配准前后的三维数据进行三维重建显示。
图2 皮肤超声三维数据采集图
本文以均方值为相似性度量函数,分别使用平移变换、刚性变换、二维相似变换、仿射变换以及B样条可变形变换5种变换算法对采集到的皮肤二维图像序列进行配准,并比较皮肤超声图像中的配准效果。利用VTK对配准前后的高频超声三维数据进行三维重建,显示皮肤的三维立体图像,图3显示了其中一组的配准效果。
由图3可以看出,高频超声三维数据经过5种变换算法配准后,其重建结果有相应变化,皮肤表面的抖动有一定程度的消除,但仅从三维图像的表面情况不能准确判断配准变换函数的优劣。基于此,本文在皮肤三维图像的相同位置选取切面,通过观察三维图像的内部情况来比较变换函数的优劣,如图4所示。
由图4可以看出,经过平移变换、刚性变换以及仿射变换的配准后图像质量比配准前有明显改善,而二维相似变换和B样条可变形变换对图像质量的改善并不理想。
为了对变换函数进行定量评价,在使用每种变换函数配准后,统计CC、SSIM、Cos及配准时间。10组三维数据配准时间的平均值以及相似性度量的平均值取值见表1。
从表1中的3种相似性度量(CC、SSIM和Cos)的取值可以看出,与配准前比较,几种变换函数配准方法都使图像质量有了改善,且刚性变换函数的配准效果最好,平移变换以及仿射变换的配准效果相似,二维相似变换和B样条可变形变换配准效果较差。由此可见,虽然皮肤是软组织,在数据采集过程中可能存在变形,但由于皮肤受呼吸等不自主生理运动的影响较小,可近似看作刚体。综上,在高频超声皮肤三维重建过程中,三维超声数据配准最理想的变换函数是刚性变换。
图3 高频超声皮肤图像配准前和5种变换算法配准后的三维重建图
虽然刚性变换函数的配准效果最好,但是其配准皮肤超声三维数据的时间较长,不利于高频超声皮肤三维成像系统的实时性。从表1中可以看出,平移变换的效果和刚性变换很接近,但是平移变换的时间还不到刚性变换的十分之一。考虑到高频超声皮肤三维成像系统的实时性,在临床使用中选用平移变换函数进行图像配准是较好的选择。
本文基于C++语言与ITK医学图像处理工具包在配准框架的其他组成部分一致的情况下,通过改变变换函数进行图像配准实验。实验分别选取了平移变换函数、刚性变换函数、二维相似变换函数、仿射变换函数以及B样条可变形变换函数对高频超声皮肤三维数据进行配准,结果发现人体皮肤在数据采集过程中可以近似看作刚体,5种变换函数中刚性变换的配准效果最佳,但是考虑到其配准时间较长,为了兼顾配准速度与精度,建议在高频超声皮肤三维成像系统中使用与刚性变换配准效果接近且配准时间较短的平移变换。
图4 高频超声皮肤图像配准前和5种变换算法配准后三维重建的切面图
表1 变换函数配准效果比较
本文中基于图像的灰度值进行配准的方法能避免特征提取带来的误差,且无需复杂的图像预处理。在皮肤超声三维数据的配准中刚性变换函数的配准效果较好,但是所需时间较长,为了平衡时间与精度要求建议选用平移变换函数。未来研究内容主要是配准算法的加速研究,其中GPU(graphics processing unit)加速可以有效提升配准的运行速度,大大节省配准时间,达到配准方法的实时性要求,更好地应用于高频超声皮肤三维成像系统,提高临床诊断的准确率。