基于邻域加权与RGB色彩分量的图像匹配算法

金广智，石林锁，刘均超，司海峰，牟伟杰



基于邻域加权与RGB色彩分量的图像匹配算法

金广智1，石林锁1，刘均超2，司海峰3，牟伟杰1

（1.第二炮兵工程大学五系，陕西 西安 710025；2.中航工业西安航空动力控制科技有限公司，陕西 西安 700077；3.西安思源学院，陕西 西安 710038）

为了提高彩色图像的立体匹配精度，结合格式塔心理学和像素的色彩信息，提出了一种基于RGB色彩空间的改进误差绝对值累积匹配算法（SAD）。首先，通过相似性和邻近性规则获取邻域窗内的像素权值，并同预先生成的线性查找表相结合来加快权值的计算速度。然后，利用RGB色彩分量的像素分布特点，生成对应的分量权值，来进一步增强匹配代价函数的稳定性。经实验验证表明，改进后的匹配算法较灰度SAD及标准彩色SAD算法在精度上有明显的提高。

邻域权值；色彩分量；彩色立体匹配；误差绝对值累积；线性查找表

0 引言

基于区域的立体匹配算法[2]使用最为广泛，该类算法对参考点局部邻域窗口的像素信息进行操作，通过图像对之间窗口匹配代价函数来搜索对应点，常用的匹配代价函数有SAD（sum of absolute differences）[3]、SSD（sum of squared differences）[4]和NCC（normalized cross correlation）[5]等。为了提高窗口匹配代价函数描述像素特征的准确性，人们提出了大量改进算法，文献[6]使用窗口尺寸自适应的方法来区别对待位于不同纹理强度区域的像素；文献[7]使用可以改变形状的邻域窗口来适应位于不同位置的像素；文献[8]提出的基于格式塔原则的权值算法，精度提高明显，但由于权值计算过程中使用了大量的指数运算，算法计算复杂度较高，实时性较差。文献[9]、[10]使用了动态规划的方法来加速匹配搜索过程，虽能在一定程度上加速，但加速效果有限。

采用根据设定参数预先生成查找表的方式，有效降低了立体匹配过程中大量指数运算量的负担，同时统一采用RGB色彩空间来进行像素操作，减少了色彩空间转换带来的效率损耗，并且通过分量权值进一步描述像素特征，以充分利用彩色图像包含的丰富颜色信息，最后通过RGB色彩空间的分布特性来生成对应权值，来进一步改进匹配代价函数，最终有效提高了匹配精度。

1 基于邻域像素加权的立体匹配代价函数

基于像素灰度的SAD代价函数如式(1)，代表像素的灰度值。对于RGB色彩色空间，SAD代价函数可以改写为公式(2)，、、分别代表RGB三通道值。该函数将邻域窗内的所有像素以相同的权值进行误差累积计算，未考虑像素间的差异信息：

图1 基于局部邻域窗口立体匹配示意图

1.1 结合格式塔理论的邻域像素加权

为了利用邻域窗口像素之间的差异信息来进一步提高匹配的准确性，文献[8]引入了格式塔心理学。格式塔心理学[11-12]是人类感知系统的研究领域，指人类视觉系统在未获得先验图像内容时，从图像中获取相对的聚类和结构的能力，即人能从随机分布的图像元素中检测出元素的对称性、共线性、平行性和连通性等特性。在图像立体匹配领域，通常是利用格式塔心理学的相似性和邻近性规则及颜色空间正态分布特性，预先给邻域内的像素赋予不同的权值[13]。

在相似性规则的指导下，邻域像素与中心像素之间的色彩差异作为窗内权值的计算方法，如下：

式中：与为待匹配的像素区域。

以文学之舟涉渡：《巨流河》的女性成长主题探析………………………………………………… 袁玲丽（4．94）

在邻近性规则的指导下，邻域像素与中心像素之间的距离信息作为权值的计算方法，如下式：

可得归一化后的改进匹配代价函数如下，对应的匹配算法称为邻域像素加权匹配算法：

式中：代表对应像素对的权值。

1.2 “线性查找表”加速的权值计算

立体匹配过程中最耗时的步骤是匹配代价函数的运算[13]，其需要将每个待匹配像素与右图中对应行的预置视差范围内的所有像素进行邻域窗口的匹配计算；邻域分量加权算法首先需要根据当前图像数据为每一个待匹配像素生成对应的权值矩阵，采用先生成后使用的方法可以减少重复计算，但即便如此，该计算过程大量的指数和开方运算仍将消耗过多运算资源。为了提高匹配代价函数的运算效率，本文采用了预先生成线性查找表的方法。

根据RGB色彩空间的定义可知像素RGB三个分量的值域都在0～255，且都为整数值，因此对应分量差值平方和的值域为0～195075，且全为整数，如式(6)、(7)：

D＝(Dc)2＝(r－r)2＋(g－g)2＋(b－b)2(6)

DÎ[0,195075]Ü[(02＋02＋02),(2552＋2552＋2552)] (7)

因此，可以将式(3)改写成式(8)：

式中：(D)表示线性查表过程。

仅需预先生成195076个对应的计算结果，即可以在使用时通过查表得到对应的浮点数值。生成查找表的计算可以放在算法初始化阶段进行，这样一个复杂的开方及指数运算就转化为了一个快速的内存查表运算。

距离权值也可以采用类似的方法获得，只是距离信息所需要的表数据更少，因此可以直接使用二维查找表的方式来得到，其中二维查找表的尺寸对应邻域窗口的大小。

为了直观地比较这个加速过程，我们将四种尺寸的图像对分别用直接计算和查找表的方式进行匹配代价函数计算（仅测试权值生成过程，不考虑计算代价最小匹配过程，邻域窗大小设定为11），由于查找表可以预先生成，故图中耗时不需包括生成查找表的时间。耗时测试结果如图2所示，可见该优化方法能在不损失精度的情况下大大减少计算耗时。

图2 权值生成耗时对比

2 色彩分量权值改进的匹配代价函数

为了提高图像的匹配精度，充分利用图像的色彩信息[14-15]，本文利用色彩色分量权值对像素的累积误差计算公式进行改进，对每一个像素色彩分量根据该分量的大小分配权值。

2.1 RGB色彩分量特征

图像中的像素因其各自呈现的颜色不同而形成一幅色彩图像，较之灰度图像，人们可以从色彩图像获取更多的视觉信息。对于单个像素而言，RGB三个分量的取值情况决定了其在RGB色彩空间的位置，比如明显偏红色的像素点，其G和B两个通道的像素值就会远远小于红色的值。因此，在匹配代价函数计算时，就可以根据这个特征来对颜色差异进行加权计算，而这个权值则由三通道的绝对比例决定，且有R＋G＋B＝1。同时设置了权值下限以防止因噪点像素而产生权值过小的情况，计算方法如下式：

2.2 色彩分量权值改进的匹配代价函数

色彩分量权值的计算一般放在匹配搜索之前，只需对左图进行计算，预计通过该方法来进一步提高像素匹配的精度。色彩分量加权后的匹配代价函数为：

式(10)中的下式代表待匹配像素的色彩分量加权后的平均期望，式(10)与式(5)的区别仅体现在下式，通过引入各分量的权重可更真实体现相应像素的真实情况，避免误差的不断累积。

3 实验验证

3.1 算法流程

整个立体匹配算法主要包含以下3部分：

1）根据用户输入或预置参数生成色彩差异权值查找表与像素距离权重二维查找表，为增强实验对比针对性，实验过程中邻域窗口统一设定为11×11。

2）载入图像数据，并根据两幅图像生成各自的邻域窗口权值与色彩分量权值；

3）利用改进后的匹配代价函数（式(10)），对后续输入图像数据逐一像素进行搜索匹配，以匹配代价函数最小的位置，作为最终匹配结果。

3.2 算法中参数的选择

由于加入了邻域窗口权值，其中的C，G两个参数对于匹配结果影响很大，实验过程中设置C为35，G为45，并统一采用尺寸为11×11的邻域窗口进行匹配搜索。

3.3 实验结果

实验硬件条件为Intel 4核、CPU主频为3.2GHz的电脑，通过安装有OpenCV2.4.3的Visual C＋＋ 2010的软件环境进行测试。对基于灰度的SAD（SAD_ GRAY）、标准RGB彩色空间的SAD（SAD_RGB）、邻域窗加权的彩色（SAD_WCG_RGB）和综合邻域窗加权和色彩分量加权的SAD（SAD_WCG_WRGB）4种算法在450×375分辨率下分别进行了实验测试。表1为4种算法的计算耗时及精度情况，采用的测试图像由标准测试图像中选取，故其真实视差已知，经与其逐一对比便可知平均视差正确率。图3是各算法得到的深度图。

表1 对比算法的计算耗时及深度获取正确率

图3 视差图测试对比

Fig.3 Results contrast disparity map

通过表1与图3可看出，SAD_WCG_WRGB算法在视差获取精度上有较大的提高，有效地消除了无纹理区域的视差噪声。SAD_WCG_RGB算法和SAD_WCG_WRGB使用查找表加速后的耗时明显减少，说明查找表技术的使用在不损失精度的情况下有效的提高了算法效率。而SAD_WCG_WRGB算法虽然在计算耗时上有所增加，但其匹配精度较前3种算法有大幅提升，如图3(f)，视差图中的物体轮廓更加清晰准确，且误匹配和无匹配点明显减少。

4 结论

提出了一种基于邻域加权与RGB色彩分量的图像匹配算法。针对色彩图像的特点，使用格式塔理论的相似性和邻近性规则构造了颜色差异权值和像素距离权值，通过线性查找表技术加速了权值的计算过程，可有效节省计算耗时；引入RGB色彩分量通道加权，进一步增强了匹配代价函数描述像素差异的能力。实验结果表明，该算法相比灰度SAD以及标准彩色SAD算法在精度上有较大提高。同时注意到，虽然使用线性查找表加速，但改进算法的耗时仍大大高出灰度SAD算法，可从GPU加速方面考虑以实现实时的彩色图像立体匹配。

[1] Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]., 2012, 47(1): 7-42.

[2] Ambrosch K, Kubinger W. Accurate hardware-based stereo vision[J]., 2010, 114(11): 1303-1316.

[3] Yoon S, Park S K, Kang S, et al. Fast correlation-based stereo matching with the reduction of systematic errors[J]., 2013, 26(14): 2221-2231.

[4] Adhyapak S A, Kehtarnavaz N, Nadin M. Stereo matching via selective multiple windows[J]., 2007, 16(1): 013012-013012-013014.

[5] Stefano L Di, Mattoccia S, Tombari F. Speeding-up NCC-based template matching using parallel multimedia instructions[C]//, 2005: 193-197.

[6] Veksler O. Fast variable window for stereo correspondence using integral images[C]//, 2013: 556-561.

[7] Hirschmüller H, Innocent P R, Garibaldi J. Real-time correlation-based stereo vision with reduced border errors[J]., 2012, 47(1): 229-246.

[8] Yoon K J, Kweon I S. Adaptive support-weight approach for correspon- dence search[J]., 2006, 28(4): 650-656.

[9] Wang L, Liao M, Gong M, et al. High-quality real-time stereo using adaptive cost aggregation and dynamic programming[C]//3D,,, 2006: 798-805.

[10] Yang N C, Chang W H, Kuo C M, et al. A fast MPEG-7 dominant color extraction with new similarity measure for image retrieval[J]., 2013, 19(2): 92-105

[11] Nguyen V H, Nguyen T H B, Kim H. Reliable detection of eye features and eyes in color facial images using ternary eye-verifier[J]., 2012, 56(8): 254-266.

[12] Von Gioi R G, Delon J, Morel J M. The collaboration of grouping laws in vision[J]., 2012, 12(3): 289-301.

[13] Yoon K J, Kweon I S. Locally adaptive support-weight approach for visual correspondence search[C]//, 2014: 924-931.

[14] 陆凯, 李成金, 赵勋杰, 等. 一种快速的亚像素图像配准算法[J]. 红外技术, 2013, 35(1): 27-30.

LU Kai, LI Cheng-jin, ZHAO Xun-jie,et al. A fast sub-pixel image registration algorithm[J]., 2013, 35(1): 27-30.

[15] 王新华, 黄玮, 欧阳继红. 多探测器拼接成像系统实时图像配准[J]. 中国光学, 2015, 8(2): 211-219.

WANG Xin-hua, HUANG Wei, OUYANG Ji-hong. Real-time image registration of the multi-detectors mosaic imaging system[J]., 2015, 8(2): 211-219.

Stereo Matching Algorithm Based on Neighborhood Weights and RGB Color Components

JIN Guangzhi1，SHI Linsuo1，LIU Junchao2，SI Haifeng3，MU Weijie1

(1.,’710025,；2.’’,’700077,；3.’,’710038,)

In order to improve the accuracy of color image stereo matching, an improved sum of absolute differences (SAD) algorithm in color space is proposed in RGB color space employing Gestalt psychology and color information of pixels. Similarity of color and proximity of distance between pixels in the neighborhood window is adopted to produce the weight, and linear look-up table method is also used to accelerate the computing speed. The distribution characteristics of RGB components are considered to produce the component weights for every pixel, which furthermore improves the stability of the matching cost function. The result of the experiment shows the proposed algorithm significantly improves the precision compared with gray SAD and standard color SAD.

neighborhood weights，color components，color stereo matching，SAD，linear look-up table

TP391

A

1001-8891(2016)03-0225-05

2015-08-09；

2015-10-09.

金广智（1987-），男，河北沧州人，博士研究生，主要从事模式识别、机器学习及计算机视觉方面的研究。E-mail：azhide1025@163.com。

国家自然科学基金项目（61501470）；多目主动相机智能监控关键技术研究（61501470）。