基于双权重聚合的立体匹配算法

何 凯，朱程涛，姚静娴

（天津大学 电子信息工程学院，天津300072）

0 引 言

立体匹配算法主要是通过建立一个能量代价函数，通过此能量代价函数最小化来估计像素点视差值［1］。由视差图得到深度信息，再将深度信息用于三维场景的重建。立体匹配算法的实质就是一个最优化求解问题，通过建立合理的能量函数，增加一些约束，采用最优化理论的方法进行求解，这也是目前病态问题常用的求解方法。

目前国内外学者已经提出了许多立体匹配方法，如基于局部约束的立体匹配算法［2－5］以及全局约束的立体匹配算法［6－7］。局部立体匹配算法是利用兴趣点周围的局部信息进行计算，涉及信息量较少，相应的计算复杂度较低；其优点是算法速度快、效率高；缺点是其对噪声较敏感，对低纹理区域、深度不连续区域效果不理想。

本文将所有邻近像素的匹配代价与权值相结合，得到参考像素的聚合匹配代价；并采用文献［8］中提出的SWS 方法进行快速匹配代价聚合减少计算复杂度。同时，在视差精炼阶段，提出了基于聚合匹配代价平滑的精炼策略。

1 传统局部立体匹配算法

传统算法通常采用AD、AG、NCC［9］等匹配代价：

式中：x、y 分别为像素点P 所在的列数、行数；d为视差；IL、IR分别代表左、右图；∇IL、∇IR分别代表左、右两图的梯度图。

代价聚合则通常采用窗口聚合，即

式中：N（x，y）为参考像素（x，y）的邻近区域；ek（i，j，d）代表某种类型的匹配代价；wk（i，j）为相应的权重。

2 本文算法

提出了一种新的权重匹配代价聚合方法，以及基于该匹配代价的视差精炼方法。

2.1 匹配代价计算方法

式中：n 代表图像R、G、B 三个通道；∇xILn、∇yILn分别代表左图R、G、B 通道的水平、竖直方向梯度图；∇xIRn、∇yIRn分别代表右图R、G、B 通道的水平、竖直方向梯度图；TD、TG是截断阈值。与传统方法采用灰度信息做匹配代价相比，本文采用3个通道的亮度信息，以提高匹配效率。

2.2 匹配代价聚合

为了提高匹配精度，必须采用一定的权重匹配代价方法进行聚合［10－12］。本文将参考像素周围所有像素的匹配代价加以适当权值，以得到参考像素的聚合匹配代价。

灰渣粒径 60～100 目、投放量 2.5g·L-1、温度 20℃，改变pH值，按1.3试验方法对染液进行吸附处理。实验结果见图3。

权重的设置根据双边滤波的原则，即与参考像素亮度越相近的像素，TAD 聚合代价权重Wix、Wjy设置得越大；与参考像素梯度值越相近的像素，TAG 聚合代价权重Tix、Tjy设置得越大。此外，双边滤波中权重还考虑到空间信息，即离参考像素越近权重越大；任意一点像素到参考像素的聚合代价权重可以分解为横向和纵向的权重乘积，即总权重是随着空间距离的增大而减小。

本文将两种不同聚合匹配代价的权值分开来考虑，即TAD 匹配代价的聚合权重依赖于亮度信息的差异，TAG 匹配代价的聚合权重依赖于梯度信息的差异，这样的聚合权重设置更能反映不同权值对不同匹配代价的影响，且权重的设置使用R、G、B 三个通道的信息，较使用单一通道信息更为可靠。

类似地，Wjy、Tjy可分别参考Wix、Tix。匹配代价聚合的计算相当于二维卷积，为了减少计算复杂度，可根据文献［8］提出的降维算法，利用SWS（Successive weighted summation）将每个二维卷积运算分解为4个一维卷积，分别为匹配代价由左至右卷积、由右至左卷积、由上至下卷积、由下至上卷积。

2.3 视差精炼

视差值的计算一般采用WTA（Winner takes all）策略，即为

式中：S（d）是搜索视差集合，即S（d）＝｛0，1，…，dmax｝。

得到初始视差图后，利用左右一致性检测方法检测视差异常值点，不满足式（12）的点即为视差异常值点。

式中：Drl（x，y）是以左图为参考图得到的视差图；Dlr（x，y）是以右图为参考图得到的视差图。通常绝大多数异常点均为背景遮挡点，因此采用简单的遮挡点视差填充方法［3］即可。

每个像素点对应的视差值均为离散的整数，将这些离散值直接用于三维重建会导致重建场景表面出现断层，因此，必须对每个像素点聚合匹配代价函数进行平滑，以得到连续变化的视差值。

本文提出了一种新的平滑函数，采用式（13）所示的双曲线函数对视差值进行平滑。

k1，k2，k3∈R 且k1＞0，k2＞0

根据双曲线函数的性质可知：f（d）在d1＊处取得极小值。由上式可解得：

3 实验结果及分析

3.1 测试图实验结果

为了测试本文算法的匹配精度，选用Middlebury网站提供的测试图进行测试。各参数设 置 分 别 为｛λ，TD，TG，α，β｝＝｛0.4，25，50，35，25｝，利用不同算法获得视差图如图1所示。

利用不同算法获得视差图的误匹配率如表1所示。其中，SNCC、RTCensus、AdaptWeight代表传统局部立体匹配算法，FeatureGC、AdaptingBP为全局立体匹配算法。误差阈值取为0.5。

从图1中可以看出，本文算法在低纹理区域能够获得更好的效果，如‘Venus’黑色板区域、‘Teddy’屋顶区域等；由于在视差精炼阶段采用了视差平滑策略，由4张测试图的视差图均可看出，视差过渡平滑，有效减少了视差图中“波纹”现象，整体视差图的匹配效果较好。

从表1 中可以看出，SNCC 算法在图‘Tsukuba’视差边缘处（如灯的边界和支架处）误匹配率较高；虽然在图‘Cones’非遮挡区域误匹配率低于本文算法，但平均误匹配率明显高于本文算法。RTCensus算法虽然在图‘Cones’非遮挡区域误匹配率比本文算法略低，但在其视差边缘处误匹配率高于本文算法，RTCensus算法平均误匹配率为14.4%。

从表1中可以看出，与采用固定窗口聚合匹配代价的AdaptWeight算法相比，本文算法采用的权重聚合匹配代价，在视差边缘处及非遮挡区域的匹配性能均优于传统算法，平均误匹配率最低。

图1 视差图效果比较Fig.1 Comparison of disparity maps results

表1 几种算法的误匹配率比较Table 1 Comparison of error rate of different algorithms %

相比较于计算复杂度较高的全局立体匹配算法，如：FeatureGC、AdaptingBP，本文算法也有较大的优势。两种算法分别基于图割理论和置信度传播理论进行分割，采用平面拟合的方法进行视差精炼。FeatureGC算法对图‘Tsukuba’前景与背景分割的效果好，匹配性能稍好于本文算法，但图‘Cones’平均误匹配率高达11.5%，本文算法只有6.04%。而AdaptingBP算法误匹配率明显过高；究其原因是由于分割与平面拟合的精度不够，影响了整体视差精度。

3.2 实际场景的立体匹配与三维重建

实际场景立体匹配效果如图2所示。从图2可以看出，本文算法在画作边框附近处误匹配点明显少于SNCC，在树枝及花的位置处，本文算法的误匹配点也少于SNCC 算法；从三维重建结果可以看出，利用SNCC 算法进行重建，画作边框有较多的突刺现象，在画作树枝及花的位置处突刺也比较多，而本文算法则较好地避免了这一现象，较为真实的重建了画作的立体信息。

图2 画作的匹配与重建Fig.2 Stereo matching and reconstruction for picture

4 结束语

提出了一种基于双权重聚合的立体匹配算法，利用双边滤波器的特性设置匹配代价聚合的权重获得每一点的聚合匹配代价，并将匹配代价聚合过程分离开来，利用不同聚合权重进行匹配代价聚合。在视差精炼阶段，采用双曲线函数对聚合匹配代价平滑，得到稠密视差图。通过对比一些优秀的局部立体匹配算法和全局立体匹配算法，证明了本文算法优越性。

［1］Sharstein D，Szeliski R.A taxonomy and evaluation of dense two－frame stereo correspondence algorithms［J］.International Journal on Computer Vision，2002，47（1－3）：7－42.

［2］Yoon K J，Kweon S.Adaptive support－weight approach for correspondence search［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（4）：650－656.

［3］Min D，Lu J，Do M.Joint histogram based cost aggregation for stereo matching［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（10）：2539－2545.

［4］Humenberger M，Zinner C，Weber M，et al.A fast stereo matching algorithm suitable for embedded real－time systems［J］.Computer Vision and Image Understanding，2010，114（11）：1180－1202.

［5］Einecke N，Eggert J.A two－stage correlation method for stereoscopic depth estimation［C］∥International Conference on Digital Image Computing：Techniques and Applications，Sydney，New South Wales，2010：227－234.

［6］Saygili Gorkem，van der Maaten Laurens，Hendriks Emile A.Feature－based stereo matching using graph－cuts［C］∥Conference on Asian Society of Cardiovascular Imaging，Hong Kong，2011：14－15.

［7］Klaus A，Sormann M，Karner K.Segment－based stereo matching using belief propagation and a selfadapting dissimilarity measure［C］∥The 18th International Conference on Pattern Recognition，Hong Kong，2006：15－18.

［8］Cigla Cevahir，Alatan A Aydin.Information permeability for stereo matching［J］.Signal Processing on Image Communication，2013，28（9）：1072－1088.

［9］Mattoccia S，Tombari F，Di Stefano L.Fast fullsearch equivalent template matching by enhanced bounded correlation［J］.IEEE Transactions on Image Processing，2008，17（4）：528－538.

［10］Hosni A，Rhemann C，Bleyer M，et al.Fast costvolume filtering for visual correspondence and beyond［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（2）：504－511.

［11］赵岩，刘静，陈贺新，等.用于单视加深度视频编码的快速立体匹配算法［J］.吉林大学学报：工学版，2012，42（4）：1032－1036.Zhao Yan，Liu Jing，Chen He－xin，et al.Fast stereo matching algorithm used in stereo video coding based on video plus depth［J］.Journal of Jilin University（Engineering and Technology Edition），2012，42（4）：1032－1036.

［12］门朝光，边继龙，李香.基于限制搜索空间的快速立体匹配方法［J］.吉林大学学报：工学版，2012，42（2）：423－428.Men Chao－guang，Bian Ji－long，Li Xiang.Fast stereo matching algorithm based on limited search space［J］.Journal of Jilin University（Engineering and Technology Edition），2012，42（2）：423－428.