基于加速鲁棒特征的木材显微图像自动配准方法

张广群， 吴伟志， 汪杭军，3

（1.浙江农林大学 信息工程学院，浙江 临安 311300；2.浙江省森林资源监测中心，浙江 杭州 310020；3.中国科学技术大学 自动化系，安徽 合肥 230026）

由于显微镜的视野局限，在保证一定分辨率的前提下，常常只能得到局部的图像，而无法采集到全局的图像。这对木材图像识别造成了一定的困难，也为木材图像的后续分析处理带来了一定的问题。解决该问题的方法是图像拼接，但传统的手工拼接方法效率低，拼接精度与人为的因素、图像或照片的明暗、深浅程度和色彩紧密相关，拼接后的图像往往不协调，不利于图像的后续处理。为了解决这个问题，必须实现图像的自动拼接。图像配准与拼接技术已经广泛应用于航空航天、虚拟现实、计算机图形学和计算机视觉等领域[1]。图像配准和图像融合是图像拼接的2个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。图像拼接按配准方式主要分为2类[1]：基于区域的拼接方法和基于特征的拼接方法。前者存在计算复杂度高、对图像灰度敏感等缺点，而基于特征的拼接方法，主要通过提取图像的点、线、轮廓等特征进行拼接，可以克服这些缺点，具有速度快、精度高等优点，成为近年来研究的热点。SIFT（scale-invariant feature transform，尺度不变特征转换）[2-3]是其中之一。SIFT作为一种优秀的算法已经被很多文献应用于图像配准与拼接领域[4-8]。但传统的SIFT方法数据量大、计算耗时长。为了进一步提高木材图像配准的运算速度和精度，本研究提出一种基于SURF[9]（speeded up robust features，加速鲁棒特征）的木材图像配准算法。

1 研究方法

SURF 是由 Herbert Bay[9]在 2006 年提出的一种特征提取算法，包括兴趣点检测和兴趣点描述2个部分。该算法提取的特征具有尺度不变、旋转不变的性能，对光照变化和仿射、透视变换具有部分不变性为标准。SURF在重复度、独特性、鲁棒性3个方面，均超越或接近以往提出的同类方法，并且在计算速度上具有明显的优势[10-13]。SURF 已经被成功地应用于基于视觉移动机器人导航及识别处理等[14-15]。本研究提出的基于SURF算法的木材图像配准算法描述如下：①输入参考和待配准的木材图像；②用SURF方法提取特征点，用最近邻匹配得到2幅图像的匹配点对；③利用最小二乘法和②中的匹配结果进行模型参数估计；④利用③中得到的模型参数对待配准图像进行重采样和插值，获得配准结果。算法流程图如图1所示。

图1 基于SURF的图像配准算法流程图Figure1 Block graph of image registration algorithm based on SURF

1.1 SURF检测及描述

1.1.1 兴趣点的检测 检测的目标是找到尺度不变点，SURF检测器是基于计算近似的Hessian矩阵检测兴趣点，图像I中X=（x，y）的点，在尺度σ上的Hessian矩阵定义为：

式（1）中， Lxx（x，σ）表示高斯二阶偏导在 x 处与图像 I的卷积。 Lxy（x，σ）和 Lyy（x，σ）有相似的含义。

接着用方框滤波近似代替二阶高斯滤波，用积分图像[16]来加速卷积以提高计算速度。在原始图像上，通过扩大方框的大小形成不同尺度的图像金字塔。构建9×9的方框滤波模板值，若一个模板的尺寸是N×N，则该模板所对应的尺度为S=1.2×9/N。依次用不同尺度的模板对原始图像做卷积，在卷积过程中用公式（2）：

计算在每一点的响应，把这些响应记录下来，就得到了由不同尺度σ对应的响应图，从而构成了3维尺度空间。

1.1.2 兴趣点定位 根据Hessian矩阵求出尺度图像在（x，y，σ）处的极值后，在极值点的3×3×3的立体邻域内进行非极大值抑制。只有比临近的26个点的响应值都大的点才被选为兴趣点。为了使兴趣点具有亚像素的精度，利用文献[17]的中3维2次函数拟合方法进行精确定位。至此已经得到兴趣点的位置、尺度信息（x， y， S）。

1.1.3 兴趣点的描述 与SIFT等算法类似，SURF的兴趣点描述算子所描述依然是兴趣点某个小邻域内的灰度分布信息。SURF使用一阶Haar小波在x，y方向的响应作为构建特征向量的分布信息。把相对于主方向的水平和垂直方向的Harr小波响应分别记作dx和dy，同样赋予响应值以权值系数，以增加对几何变换的鲁棒性；然后，将每个子区域在水平和垂直方向的Harr小波响应及响应的绝对值分别进行相加形成Σdx，Σdy，Σ|dx|，Σ|dy|。对每个子区域生成一个四维的描述符向量Vsub=（Σdx，Σ|dx|，Σdy，Σ|dy|），因此，对每一特征点，则形成4×（4×4）=64维的描述向量，再进行向量的归一化，去除光照变化的影响，得到特征点的描述符。如果dx，|dx|求和时分成dx＜0，dy≥0等2种情况，相应的在对dy，|dy|求和时分成dx＜0，dx≥0等2种情况，就会得到128维的描述子向量。

1.2 兴趣点匹配

1.2.1 兴趣点匹配 检测出图像的兴趣点之后，就要在2幅图像之间完成这些兴趣点的匹配，也就是把反映相同物理位置的兴趣点之间建立起对应关系。因为只有建立起这种对应关系之后，才能计算出2幅图像间的几何变换模型，从而完成后面的配准工作。匹配兴趣点的依据就是SURF算法为每个兴趣点所构建的特征向量。利用2幅图像中特征向量间的欧氏距离的相似性来判断特征点是否匹配。为提高特征点匹配的稳定性，一般采用最近邻匹配方法。假设需要对给定的图像I1和图像I2进行匹配，抽取图像I1特征向量X{x1，...，xn}和其SURF描述子向量D={desc1，...，descn}，对任一个关键点Xi，查找该特征点在图像I2中的2个最近邻关键点，假设d1表示最近的距离，d2表示次近距离，如距离之比d1/d2＜T（T=0.6），则接受这一对匹配点。

1.2.2 双向匹配和随机采样一致算法（RANSAC）剔除误配点对 计算SURF特征向量时，同一个点可能有多个方向，因此，被提取为不同的特征点，它们中间的全部或者部分可能产生正确的匹配点对，但是实际上是同一点，此时就会产生重复匹配现象。由于上述方法中的单向匹配，提出双向匹配的方法，基于第1次匹配结果，反过来求第2个特征集中已被匹配的关键点在第1个特征集中的匹配，若为同一点则保留，否则去除。最后，将在去除误匹配点方面取得较大成功的RANSAC（random sample consensus）算法应用于剩下匹配点对，进一步提高匹配精确度。随机采样一致算法是目前广泛采用的一种剔除误配点的方法。该过程可分为3步：①随机选取若干组最小点集估计参数，这里是选取2个。②用每次估计得到的参数，计算每组假设对应的距离d，通过与门限值比较，判断出内点和外点，把每次得到的内点数量记录下来。③找出内点数量最多的估计（内点数目相等时，选择标准方差最小的点集）。然后把该估计所判断出的外点剔除。然后用所有内点来做最后的参数估计。

1.3 变换模型估计

在2幅图像相互对应的兴趣点之间完成匹配之后就可以通过这种对应关系估计它们之间的几何变换模型，假设图像间存在着放射变换关系：

将算法得到的匹配点代入式（4），进行迭代计算，利用最小二乘法解出参考图像和待配准图像间的变换模型参数。

1.4 坐标映射与图像插值

在完成几何变换模型的估计之后，就要利用得到的单应矩阵H把待配准图像中的每一点映射到参考图像的坐标系中去，待配准图像在完成坐标映射之后，其像素点有可能落在非网格位置，这就需要图像插值。最近邻插值，双线性插值，双三次插值是最常用的3种插值方法。其中，双线性插值法折衷精度和计算量是最常用的插值方法，也是本研究中采用的方法。

2 结果分析

图2和图3中的阔叶材显微参考图像和待配准图像。首先，将彩色图像转化为灰度图像，然后再用SURF和SIFT方法分别提取各自的特征点，配准结果如图2和图3所示。图2a为参考图（300×300）；图2b为待配准图（300×300）；图2c为SURF配准后图像；图2d为SIFT配准后图像。图3a为参考图（200×200）；图3b为待配准图（200×200）；图3c为SURF配准后图像；图3d为SIFT配准后图像。

图2 有平移图像配准结果图Figure2 Registration results with translated images

图3 有旋转图像配准结果图Figure3 Registration results with rotated images

由图2和图3可知，使用基于SURF的图像配准方法与基于SIFT的图像配准方法，在精度方面处于同一个等级，2种方法都可以达到亚像素的配准精度。SURF方法用在图像配准中的优越性主要在于运算速度上，2种方法的时间比较如表1所示。

表1 SURF与SIFT的耗时比较Table1 Comparision of time of SURF与SIFT

比较表1兴趣点个数和匹配点对以及所需时间可知：比起SIFT，用SURF得到的兴趣点数量更少，由于方框滤波和积分图像的近似代替，运算速度更快，总的匹配速度提升了5倍左右，缩短了整个配准过程的时间，算法更具有实时性。

同时，从图4中看出，在木材的微观结构图像中提取的特征点主要分布在管胞中，而在导管中则较少（导管内像素变化较均匀所致）。虽然图像上具有很多管胞，但是每一个管胞在大小和形状上均存在着一定的差异。因此，配对的管胞具有唯一性，不会造成误匹配的问题。

图4 特征点提取图Figure4 Extracted feature points

3 结束语

针对显微镜观测木材图像视野狭小等特点，本研究提出了一种基于加速鲁棒特征（SURF）特征的显微图像自动配准方法，并与基于尺度不变特征转换（SIFT）算法的木材显微图像配准方法进行准确度、实时性和鲁棒性的比较，实验结果表明，本方法在精确度上和基于SIFT算法的木材图像配准方法相当，但速度有极大提高，更具实时性，并表现出较强的鲁棒性。

[1]ZITOVÁ B， FLUSSER J.Image registration methods： a survey [J].Image&Vision Comput， 2003， 21 （11）： 977-1000.

[2]LOWE D G.Object recognition from local scale-invariant features [C]//JOHN K T.International Conference on Computer Vision.New York： IEEE， 1999： 1150-1157.

[3]LOWE D G.Distinctive image features from scale-invariant keypoints[J].Int J Comp Vision， 2004， 60 （2）： 91-110.

[4]赵向阳，杜利民.一种全自动稳健的图像拼接融合算法[J].中国图象图形学报，2004，9（4）：417-422.ZHAO Xiangyang， DU Limin.An automatic and robust image mosaic algorithm[J].J Image&Gr， 2004， 9 （4）： 417-422.

[5]邓熠，李智勇，粟毅.仿射不变特征提取算法在遥感影像配准中的应用[J].中国图象图形学报，2009，14（4）：615-621.DENG Yi， LI Zhiyong， SU Yi.Extraction of affine invariant feature for remote sensing image registration [J].J Image&Gr， 2009， 14 （4）： 615-621.

[6]李芳芳，肖本林，贾永红，等.SIFT算法优化及其用于遥感影像自动配准[J].武汉大学学报：信息科学版，2009，34 （10）： 1245-1249.LI Fangfang， XIAO Benlin， JIA Yonghong， et al.Improved SIFT algorithm and its application in automatic registration of remotely-sensed imagery [J].Geom&Inform Sci Wuhan Univ， 2009， 34 （10）： 1245-1249.

[7]梁栋，颜普，朱明，等.一种基于NSCT和SIFT的遥感图像配准算法[J].仪器仪表学报，2011，32（5）：1083-1088.LIANG Dong， YAN Pu， ZHU Ming， et al.Remote sensing image registration algorithm based on SIFT and NSCT[J].Chine J Sci Instrum， 2011， 32 （5）： 1083-1088.

[8]王玉亮，沈建新，廖文和.基于尺度不变特征的眼底图像自动配准与拼接[J].南京航空航天大学学报，2011，43（2）： 222-228.WANG Yuliang， SHEN Jianxin， LIAO Wenhe.Automatic fundus images registration and mosaic based on SIFT feature [J].J Nanjing Univ Aeron&Astronaut， 2011， 43 （2）： 222-228.

[9]BAY H， ESS A， TUYTELAARS T， et al.Surf： speeded up robust features[J].Comput Vision Image Underst， 2008，110 （3）： 346-359.

[10]BAY H， TUYTELAARS T.SURF： speeded up robust features[C]//KOSTAS D.Proceedings of the European Conference on Computer Vision.Berlin： Springer， 2006： 404-417.

[11]CHRISTOFFER V， ACHIM L.SIFT， SURF and seasons： long-term outdoor localization using local features [C]//WOLFRAM B.Proc.European Conference on Mobile Robots.Amsterdam： North-Holland Publishing， 2007： 253-258.

[12]ARTURO G， OSCAR M， MONICA B， et al.A comparative evaluation of interest point detectors and local descriptors for visual SLAM [J].Mach Vision&Appl， 2009， 21 （6）： 905-920.

[13]MURILLO A C， GUERRERO J J， SAGUES C.Surf features for efficient robot localization with omnidirectional images[C]//SETH H.IEEE International Conference on Robotics and Automation.New York： IEEE， 2007： 3901-3907.

[14]FRONTONI E， ASCANI A， MANCINI A， et al.Performance metric for vision based robot localization [C]//WOLFRAM B.Lecture Notes of the Workshop on Experimental Methodology and Benchmarking in Robotics Research，Robotics Science and Systems Conference,Workshop on Good Experimental Methodologies.New York： IEEE， 2008：1-6.

[15]DAYOUB F， DUCKETT T.An adaptive appearance-based map for long-term topological localization of mobile robots[C]//RAJA C.Proc of the IEEE/RSJ Intern Conf on Intelligent Robots and Systems.York： IEEE， 2008： 3364-3369.

[16]VIOLA P， JONES M.Rapid Object Detection using a Boosted Cascade of Simple [C]//PAUL A V.Proceedings of the 2001 IEEE Computer Conference on Vision and Pattern Recognition.New York： IEEE， 2001： 511-518.

[17]BROWN M， LOWE D G..Invariant features from interest point groups[C]//DAVID M.Proceedings of the 13th British Machine Vision Conference.Malvern： British Machine Vision Association， 2002： 656-665.