基于亮度质心不变矩的配准描述子方向

吴伟平，金龙旭，闫得杰，王 栋

（1.中国科学院 长春光学精密机械与物理研究所，吉林 长春130033，2.中国科学院大学，北京100039）

0 引 言

图像配准技术主要可以分为基于灰度的方法和基于特征的方法两大类。后者由于提取特征后仅对特征进行计算，相对前者其计算量较少，对噪声、光照、视角和尺度变化不敏感，算法效率及配准精度高，具有很好的鲁棒性，因而成为当前图像配准领域的主要研究方向。早期基于特征的算法包括Morvec、Harris［1］等方法。

Bay等 提 出 了 著 名 的SURF （speeded up robust features）［2］算法，SURF受滑动角度的影响，当配准图像间的旋转方向是滑动角度的整数倍时，SURF的表现略有下降。为改进这一问题，本文通过优化不变矩系数矩阵提高了描述子方向计算精度，分别设计了两种基于图像亮度质心不变矩的描述子方向计算方法，并将其与SURF 描述子方向的计算精度和效率做了详细地比较。

1 亮度质心不变矩配准原理

为保证计算精度，描述子方向的计算一般采用以特征点为 中 心 的 圆 形 图 像 区 域。E.Rublee 等 在 设 计ORB［4］（oFAST and rBRIEF）描述子中采用了Rosin对图像矩的定义：mpq＝∑xpyqI（x，y），其中p、q取0或1，其亮度质心为：c＝（m10／m00，m01／m00），从特征点o到亮度质心c建立一个代表图像片方向的向量oc，则向量oc与X 轴的夹角可以表示为：c＝arctan （m01／m10）。当m10接近0时，该方法将不具备稳定性。因此，当m10小于文中设定的阀值时，该特征点不具备方向性，将该点丢弃不参与配准，在实验过程中这种情况是非常罕见的。由θ的定义可知θ∈ （－π／2，π／2），而特征点描述子的方向区间需要达到 （－π，π）。由于特征点是极值点，因此m00＝∑xyI（x，y）＞0。可以根据m01的符号将θ扩展到 （－π，π），即可分为如下3种情况计算

在ORB配准方法中，图像片直接选取特征点（xc，yc）为圆心，半径为r以内的所有完整的像素点 （（x，y）｜（x－xc）2＋ （y－yc）2≤r2且x，y ∈R）进行图像矩计算，而忽略了像素大小和圆周边缘上的点对图像矩的影响。这种忽略方式简化了计算但损失了较多方向精度。文中对这种方向矢量计算方法进行了改进，设计了轴向密集插值法和面积积分法。

2 两种改进的图像矩配准方法

2.1 轴向密集插值法

当图像旋转不同角度进行亮度质心矩计算时，图像矩的定义可知图像圆周上点的权重比内部像素点的权重大，对图像矩的影响也最大，因此圆周上像素是图像片中最需要精确计算的部分。图像片圆周上的点可通过插值的方法得到［5］，这些点的像素值不仅和圆周内部的点有关，还和圆周外相邻近的点有关。轴向密集插值法正是基于这种突出圆周像素的思想而设计的。将整个圆周从0°开始每间隔π／4分为一个区域 （如图1所示），（π／4，π／2）圆弧所对应X 轴的长度为X0，对应Y 轴的长度为Y0，由于X0＞Y0，在相同插值间隔条件下，选择插值点更密集的轴向可以使插值结果更均匀。因此采用X 轴方向插值计算，先用式（1）求出所有插值点横坐标，再用式 （2）求得相应点的纵坐标；同理，在 （0，π／4）圆弧上则采用Y 轴方向插值计算，按照这种方式将整个圆周进行分段插值，得到圆周上的全部插值点

图1 半径为9的轴向密集插值法

则圆弧上的插值点亮度用轴向线性插值的方法计算，如式 （3）所示

2.2 面积积分法

由于轴向密集插值法的计算点在圆域上分布并不绝对均匀，且该方法将像素点看做有亮度无大小的点。这样做在计算时很容易区分该点是否在圆域内外，但其本质并不符合成像原理。数字图像中的像素代表了一定面积物体的总亮度，是有大小的。因此本文设计了考虑像素大小的面积积分法来计算描述子方向。面积积分法将每个像素看成1＊1的正方形，并假定每个像素的亮度在其正方形域内均匀分布。本方法将方向矢量计算的圆域中心设为坐标轴原点，则特征点坐标为x＝－0.5，x＝0.5，y＝0.5，y＝－0.5四条直线围成的面积。如图2所示，设点 （x，y）的积分系数为Qxy，代表该点在圆域中所占的面积，则面积积分法图像矩公式变为mpq＝∑QxyxpyqI（x，y）。

图2 面积积分法阴影区

每个像素对应的系数为该像素在圆域中的面积。其中圆域内非阴影区方格的系数为1，其坐标 （x，y）与该方格代表的像素坐标一致。而阴影区方格的系数为该阴影区的面积，坐标为该阴影区的亮度质心的坐标。阴影区的面积和坐标均在配准前计算得到，然后将相应项的乘积组成系数矩阵保存在配准程序中，因此不占用配准时间。如表1所示半径为4的圆域所对应的面积积分法系数矩阵，该矩阵采用定积分的方法计算得到。

表1 半径为4的面积积分法系数矩阵

阴影区坐标 （xi，yi）采用几何形心的计算方法，先利用分割法将阴影区分割为矩形和弓形，采用定积分得到弓形面积，再加上矩形面积得到阴影区面积。以图3中阴影区域的xi坐标的求解过程为例，应用式 （4），其中dS表示积分变量dx 所对应的阴影区面积，S 为整个阴影区的面积，积分精度选择10－7。

图3 阴影区坐标求解

3 实 验

3.1 硬件结构与参数配置

配准的硬件结构如图4所示，实验采用2台DALSA 公司的Falcon 4M60彩色面阵相机拍摄图像，采用加拿大IO Industries公司的CLSAS图像处理卡同时采集两台相机输出的图像。该采集卡可同时采集两个数据流，最大采集速度可达到450 MBps，并将采集的数据直接存储到4TB 的SAS高速磁盘阵列中，可通过程序选择部分图像数据通过PCI总线上传至计算机进行配准处理。配准使用的计算机采用Intel 4960X，3.6GHz的CPU、4GB 内存和XP SP3的操作系统，配准软件采用C＋＋语言编写［6－8］。

图4 配准硬件结构

在配准算法的实现中，首先构建积分图和金字塔，采用Hessian矩阵滤波器对图像进行特征点检测，Hessian矩阵H（x，σ）定义为

式中：σ为当前尺度，Lxx（x，σ）是高斯二阶偏导数与图像I在点X 处的卷积，Lxy（x，σ）和Lyy（x，σ）也以此类推。构建5组不同尺度的金字塔数据，每组由4层构成，各层由大小不同箱式滤波器近似Hessian矩阵滤波器，具体滤波器大小如表2所示。这样保证了除第一组的第一层和第五组的第三、四层以外，每层图像刚好既作为中间层有作为边缘层参与特征点检测计算，这样可以减少重复计算次数，提高配准效率。然后对每组的第二、三层进行3＊3＊3邻域的非极大值抑制得到候选点。利用阀值法根据候选点二阶梯度筛选得到特征点集合。采用半径为9σ的轴向密集法和面积积分法计算特征点的方向。在不同尺度σ下计算计算描述子方向时，将以σ为边长的正方形作为1个伪像素，正方形内全部像素的平均值作为该伪像素的亮度值进行方向计算，这种方式恰好可以利用SURF 的积分图加快计算速度。

表2 金字塔构建参数

得到描述子方向后，以特征点为中心，描述子方向为主方向，选取边长为20σ 的正方形区域，并将其划分为4＊4个子区域，对每个子区域计算x、y方向的Haar小波响应dx和dy（小波模板大小为2σ＊2σ），并累加得到4维向量V（∑dx，∑dx，∑｜dx｜，∑｜dx｜），所有的子区域连接起来得到64维的特征描述子进行配准。

3.2 实验结果

在实时配准实验中，对两台视角基本相同的相机采集的图像进行配准实验，相机2在0－90°区间每隔15°旋转一次［9，10］。整个实验过程中，采用轴向密集插值法和面积积分法计算描述子方向矢量的配准过程可稳定高效地进行配准工作。配准 过 程 采 用RANSAC （random sample consensus）方法随机抽样一致方法对配准结果进行筛选，并根据RANSAC方法计算出的内点数计算配准的可重复率。

面积积分法配准实验效果如图5所示。

图5 面积积分法配准实验效果

设在基准图像和待配准图像中探测到的特征点个数分别为n1和n2。n＝min （n1，n2）。m 是被证实匹配成功的点对数，即文中采用RANSAC 方法计算出的内点数［11］。则可重复率R＝m／n。计算n个方向矢量的时间为t。表3中是对相机1与相机2所采集图像的配准结果。实验表明，采用面积积分法和轴向密集插值法的方向矢量计算时间大约是SURF方法的1／4，其配准可重复率方面，如图6 所示，轴向密集插值法在45°角上的表现为3 种方法中最好的，而其它一些角度的表现则为三者中最差的，反映出了该方法在整个圆周上的表现不够均衡，参数仍有很大的优化空间。面积积分法在各个角度上的表现具有很强的一致性，且平均重复率与SURF 法相当，较好地克服了SURF法在30°和60°的性能下降，并且获得了较高的计算效率。

表3 实验各旋转角度配准结果

图6 不同方向的配准重复率比较

为了检测文中设计的方向计算方法在抗噪声、视角变化、图像压缩等方面的表现，通过测试标准库中的Trees、Leuven、和Ubc等图像，表明采用亮度质心不变矩计算描述子方向在上述干扰条件下的总体表现可以达到SURF 算法的水平。其中，面积积分法的精度和稳定度都要好于轴向密集插值法，对视角变化和图像压缩的表现略好于SURF，而对强噪声干扰方面略逊于SURF。

4 结束语

文中比较了两种基于亮度质心不变矩的描述子方向改进计算方法和SURF方法的配准性能，两种不变矩配准方法的计算速度均达到SURF 方法的4倍。在角度计算精度方面，面积积分法在整个圆周的表现要比SURF 和轴向密集插值法更加均衡。文中采用的系数矩阵的计算方式，在具有浮点型计算精度的同时，极大地优化计算速度，使得很多复杂的计算可以再配准前完成，不占用配准时间。文中轴向密集插值法的不均衡性说明系数矩阵仍有提升的空间，是下一步需优化的主要问题。

［1］LV Xuan，DUAN Huichuan.Multimodality medical image registration by mutual information and Harris corner detector［J］.Computer Engineering and Design，2008，29 （4）：998－1000 （in Chinese）.［吕煊，段会川.基于Harris角点和最大互信息的多模医学图像配准 ［J］.计算机工程与设计，2008，29 （4）：998－1000.］

［2］Bay H，Ess A，Tuytelaars T，et al.Gool，SURF：Speeded up robust features ［J］.Computer Vision and Image Understanding，2008，10 （3）：346－359.

［3］Morel JM，Yu G.Asift：A new framework for fully affine invariant image comparison ［J］.SIAM Journal on Imaging Sciences，2009，2 （2）438－469.

［4］Rublee E，Rabaud V，Konolige K，et al.ORB：An efficient alternative to SIFT or SURF ［C］／／IEEE International Conference on Computer Vision，2011：2564－2571.

［5］FU Xiang，GUO Baolong.Overview of image interpolation technology［J］.Computer Engineering and Design，2009，30（1）：141－144 （in Chinese）.［符祥，郭宝龙.图像插值技术综述 ［J］.计算机工程与设计，2009，30 （1）：141－144.］

［6］MIAO Ligang.Image mosaicking and compositing algorithm for video surveillance ［J］.Chinese Journal of Scientific Instrument，2009 （4）：857－861 （in Chinese）.［苗立刚.视频监控中的图像拼接与合成算法研究 ［J］.仪器仪表学报，2009（4）：857－861.］

［7］PENG Bo，HE Bin.Application and realization of FPGA in video mosaicking ［J］.Computer Engineering and Design，2013，34 （5）：1635－1639 （in Chinese）. ［彭勃，何宾.FPGA 在视频拼接中的应用与实现 ［J］.计算机工程与设计，2013，34 （5）：1635－1639.］

［8］LI Jian，KONG Lingyin.Research and implementation of stereo match algorithm based on OpenCV ［J］.Computer Engineering and Design，2013，34 （2）：566－569 （in Chinese）.［李健，孔令寅.基于OpenCV 的立体匹配算法的研究与实现［J］.计算机工程与设计，2013，34 （2）：566－569.］

［9］LIU Tao，YU Zhongqing，MA Qianli.Target distance calculation based on parallel binocular vision ［J］.Qingdao University （Natural Science），2009，22 （1）：59－62 （in Chinese）.［刘涛，于忠清，马千里.基于平行双目视觉的目标距离计算［J］.青岛大学学报 （自然科学版），2009，22 （1）：59－62.］

［10］TU J，TAO H，HUANG T.Online updating appearance generative mixture model for mean－shift tracking ［J］.Machine Vision and Applications，2009，20 （3）：163－173.

［11］ZHOU Jianjun，OUYANG Ning，ZHANG Tong，et al.Image mosaic method based on RANSAC ［J］.Computer Engineering and Design，2009，30 （24）：5692－5694 （in Chinese）.［周剑军，欧阳宁，张彤，等.基于RANSAC 的图像拼接方法 ［J］.计算机工程与设计，2009，30 （24）：5692－5694.］