刘振颖张永寿
基于控制点图像配准方法的研究
刘振颖①张永寿①
图像配准是图像融合等其他图像处理应用的前提,是目前图像处理中的热点。如何在MATLAB环境下利用特征点对图像进行配准,简述了图像配准的方法,具体应用MATLAB提供的人机交互的方法在参考图像与浮动图像之间进行匹配控制点的选择确定几何变换关系,对比分析了不同的插值技术对配准的影响并确定了相对较优的方法对图像灰度赋值,对输入图像进行空间几何变换,获得配准图像。仿真实验表明,该方法简便易行,获得的配准效果较好。
图像配准;插值;几何变换;匹配控制点;MATLAB
图像配准在遥感图像处理、计算机视觉、运动估计、医学图像分析等领域有着广泛的应用,是图像融合,特别是图像数据层融合技术中需要预先解决的问题。不同传感器、不同成像模式和不同时间得到的同一个对象或者不同对象的图像数据之间存在着相对的平移、旋转、不同比例缩放甚至畸变关系,对其进行综合分析和利用时,首先要解决图像间的配准问题[1]。
目前,图像配准方法主要分为两类[2]:基于像素[3]与基于特征[4]的配准。前者不需进行分割和特征提取等预处理, 避免了由这些预处理所造成的精度损失。其内部特征可由原始图像提供的灰度信息表示,并且直接对不同成像模式所得到的灰度信息的统计特性进行匹配,用像素对之间几何相似性的全局最优化实现图像配准。基于互信息(MI)的配准方法[5]是其中最典型最广泛的应用,主要特点是实现简单,但应用范围窄,不能直接用于校正图像的非线性形变。由于用到了图像全部的像素信息,计算量的庞大使得配准速度难以满足临床的要求。此外,由于测度函数的不平滑性与插值方法的缺陷,使得优化搜索容易陷入局部极值从而导致误配准[6]。
控制点[7]的方法是基于特征配准的一种。该类方法主要共同点首先要对待配准图像进行特征提取,再利用提取到的特征建立匹配映射变换,再将其应用于畸变图像从而得到配准结果。这类方法的优点在于它提取了图像的显著特征,大大压缩了图像的信息量,计算量的剧减使得在有效配准的前提下同时兼顾了实时性。
基于特征点的配准方法,近年来越来越引起研究者的重视,各种新颖的特征点提取算法不断涌现,该方法相对来说具有较强的适用性。本文采用人工交互方式选择控制(特征)点,操作简单,匹配速度快,配准精度高,并且对图像灰度信息的缺失有较强的鲁棒性。在MATLAB平台下利用半自动的方式获得配准图像,并用相关融合技术对配准之后的图像进行融合显示[8]。
图像配准的关键问题是图像之间的空间变换,确定使图像对准的空间几何变换参数,对于图像配准来说是非常重要的。在数字图像处理中,几何变换由2个基本操作组成:一是空间变换,它定义了图像平面上像素的重新安排;二是灰度级插补,它处理空间变换后图像中像素灰度级的赋值。
设在二维空间中A(x,y)和B(x,y)分别为待配准图像和参考图像(也称作浮动图像和基准图像)。图像配准的目的就是寻找一个最佳映射关系f,首先将待配准图像A进行f变换,设变换后的图像为Af(x,y),即变换关系为Af(x,y)= f(A(x,y)),根据配准定义,希望变换后的图像Af(x,y)与参考图像B(x,y)的对齐度最大。
常见的空间变换[1]有刚性变换、仿射变换、投影变换和非线性变换。刚性变换是指图像中任意两点间的距离在变换前后保持不变,只发生坐标轴的平移和旋转;如果直线映射成直线后只保持了平行性而没保持垂直性,则这种坐标变换是仿射变换;若直线的平行性也不能保持,则仿射变换蜕变为投影变换;非线性变换则把线性变换映射成了非线性。空间变换最常用的形式是仿射变换,可以用下面的矩阵形式表示:
其中w,z表示变换前的坐标值,x,y表示变换后的坐标值,f表示变换结构。该变换可以做到按比例缩放、旋转、平移或者剪切等,具体实现何种变换要取决于f中元素的取值。
图像经过几何变换后,像素的坐标不会和原来的采样网格完全重合,这就需要对变换后的图像进行重采样和插值处理[9]。传统的插值方法都有各自的优缺点,例如最邻近插值(NN)、双线性插值(BL)、双三次插值(BC)都是利用了邻近像素的灰度值,计算量小且误差小,但这些算法都没有考虑到图像的全局特性,插值后往往出现方块效应和边缘模糊;而B样条插值、分形插值等计算误差小,插值结果清晰但计算量很大。仿真实验进行了不同插值方法所消耗的时间与插值图像的对比,并选取了一种相对较优的插值方法运用于配准过程。
如图1所示是利用特征点进行点配准的流程图:
点配准方法包括确定不同图像或物理空间的对应点坐标和利用这些对应点确定匹配变换两个过程。一个既标准又简单的提取参考点的方法是在两副图像中用手工交互地选择并分割出一些对应的解剖标志点对。基于控制点对的图像匹配是根据变换模型由这些控制点来计算几何变换参数,进而根据这些变换参数确定几何变换进行图像配准。配准点的选取有以下限制:(1)两幅图像上的匹配点其特征必须一致,该特征包括共同拥有的标记,比如几何拐点或者是解剖标志点;(2)选择的配准点相对要分散;(3)控制点的数量要恰当,不能过多也不能过少,太少会影响配准精度,太多则影响配准速度。
图1 IPT特征点选取配准流程
I P T提供了一个交互式选择控制点的函cpselect,可以利用该函数采取手动的方法在两幅图像的对应部分选取配准控制点,并自动进行亚像素分析。可以将所有的变换步骤编写一个脚本文件(前提是对多种图像做同一种配准时),该脚本文件就可以利用选择的这些控制点产生一个相应的几何变换结构(如图1所示的tform结构),并用该结构进行变换匹配,得到配准图像。在MATLAB工作空间读入同一患者脑部产生畸变的CT图像和标准的MR图像,运行cpselect命令就会出现如图2所示的图形界面。可以看到,整个图形窗口分为4块,同时显示了待配准图像、基准图像以及这2个图像的视图,还可根据需要进行图形的缩放。图形界面中左上角为待配准图像,下为其视图,右上角为参考图像,下为其视图。
根据已选择的控制点对,可调用函数cp2tform来计算出浮动图像与基准图像之间的几何变换关系。cp2tform是一个数据拟合函数,其输入参数除了确定的控制点对外还要求输入变换类型,该变换类型还限制了控制点的数目。MATLAB利用控制点进行图像配准的功能之所以如此完善和强大主要在于函数cp2tform所支持的变换类型的多样性。
图2 选择控制点的交互工具
表3 插值方法时间对比
图4 不同插值方法得到的插值图像的对比
由上述步骤得到针对图像畸变产生的特定空间变换结构,并将该结构与待配准图像作用于空间变换函数,运行函数imtransform实现图像配准。经过实验的对比分析,选择NN法,使用较少的时间获得了质量较高的配准图像。
图5 利用双线性插值配准及融合图像
实验一,对同一幅图像分别运用不同插值方法,分别得到表3所用时间的对比和图4插值图像质量的对比。
由实验结果可知,NN法作为最简单的近似方法其计算速度最快,误差也最大,出现的“块状”伪影最明显;BL法克服了NN法的缺点,速度也比较快;BC的效果和双线性插值法在插值后图像的显示上没有明显区别但耗时巨大。显然,在保证插值图像质量的前提下尽可能使用较少的时间,BL具有比较突出的优势。因此,实验二,就可以很放心地运用双线性插值法对图像灰度赋值。如图5所示为对同一患者脑部MR_T1、MR_T2图像进行配准。由于颅脑畸变被认为是刚性变换,因此将公式(1)中变换矩阵f的元素设置为满足刚性变换的参数即可。其中,图像融合采用多尺度分解的小波模极大值的融合方法[8]。
利用人工提取控制点,并根据这些特征点对结合图像畸变类型产生相应的空间变换,进而将其作用于待配准图像实现匹配。实验证明该方法过程清晰,实现容易,选择恰当的空间变换与合适的插值方式将得到良好的配准效果,其中,控制点的选取是配准的关键。因此,研究一种快速自动的算法以获得精确的匹配点对,将基于特征点的图像配准方法向自动化与高精度方向推进的同时考虑算法的鲁棒性是进一步要探索的方向。
[1](美)冈萨雷斯.数字图像处理[M].第二版.北京:电子工业出版社,2007.
[2]Xianyi Chen, Kaili Zhou. Common methods and classification of medical image registration[J],Inform Technol,2008,3(7).
[3]黎骏,彭启民,范植华.亚像素级图像配准算法研究[J].中国图象图形学报,2008(11).
[4]Wang Jianwen, Li Qing. Combination of point and edge featureextraction based image registration algorithm[J].Computer Eng Design, 2009,30(4).
[5]W Jacquet, E Nyssen, P Bottenberg, et al. 2D image registration using mutual information for application in dentistry[J].Computers Biol Med, 2009,39:545-553.
[6]Bo Ye, Xuesong Lu, Su Zhang, et al. Study on local extremum of object function in mutual information based image registration[J].Computer Engin Appl, 2007,43(6):58-61.
[7]田伟刚,郭雷,黄雷.一种应用于图像配准中的点特征匹配算法[J].微电子学与计算机,2008,25(3).
[8]Tao Ling, Qian Zhiyu, Chen Chunxiao.Medical image fusion technology based on wavelet transform maxima of modulus[J].J Hunan Univ Technol (Natural Science Edition), 2008,36(8).
[9]黄光东,管建和.基于MATLAB平台的插值法技术实现与应用[J].编程语言,2006(2).
Research of image registration based on control points
LIU Zhen-ying,ZHANG Yong-shou// China Medical Equipment,2011,8(3):6-9.
Image registration is the premise of image fusion and other image processing applications. It is also the hot spot in the image processing. This paper describes image registration based on characteristic points under MATLAB environment. Firstly, we represent the methods of image registration, and then select the matching points using human-computer interaction methods provide by MATLAB between the reference image and the floating. Comparative analysis of different interpolation techniques for alignment are offered. Meanwhile, we determine the better methods to assign gray values,then make use of these control points to confirm geometric transformations. Finally, we perform the geometric transformation in connection with the input images to obtain registration results. Simulation results show that the method is easy to implement and we can obtain effective registration results.
Image registration; Interpolation; Geometric transformation; Control point; MATLAB
1672-8270(2011)03-0006-04
TH 774
A
2010-12-21
刘振颖,女,(1986- ),研究生在读,济南军区总医院医学工程科,主要从事医学图像处理。
[First-author's address]Department of Medical Engineering, Jinan General Hospital of Jinan Command, Jinan 250032, China.
①济南军区总医院医学工程科 山东 济南 250032