立体视觉中的图像立体匹配方法

陈爱华，高诚辉，何炳蔚

（福州大学 机械工程及自动化学院，福建 福州 350002）

近年来，立体视觉技术在三维重建、视觉测量、目标检测与跟踪、目标识别、工业控制以及三维场景感知等领域得到了广泛应用，成为机器视觉领域的研究热点.立体视觉是在不同视角下获取同一个物体的两幅或者多幅图像信息，利用三角测量原理获得图像像素间的位置偏差，从而恢复物体的三维几何信息.在逆向工程中，立体视觉技术的实现可分为图像获取、摄像机标定、特征提取、立体匹配、三维重建等几个主要模块，其中立体匹配是立体视觉中最重要、最困难的技术.图像立体匹配实质上解决了不同时间或空间位置下获取的同一物体的两幅或多幅图像信息在位置空间或灰度空间上寻找对应匹配像素点的问题.目前，图像立体匹配方法已广泛应用于许多研究领域，满足了应用领域的准确性、实时性等方面的要求，立体匹配技术得到了进一步的研究和发展，出现了许多新技术和新方法.根据匹配约束信息和方式的不同，现有的图像匹配技术可分为两大类［1］：局部立体匹配方法和全局立体匹配方法.近年来又出现了介于两者之间的半全局立体匹配方法［2－3］.

1 局部立体匹配方法

这类匹配方法主要是利用对应点本身以及邻近的局部区域的约束信息来进行匹配计算，其优点是信息量小、计算效率高，在高纹理区域能够很快得到视差图，实时性较高.但是在遮挡区域和视差不连续区域的匹配精度不高，易于存在误匹配.根据匹配基元的不同，可分为基于灰度的区域立体匹配方法、基于特征的立体匹配方法和基于相位的立体匹配方法.

1.1 基于灰度的区域立体匹配方法

该方法直接利用图像的灰度信息实现图像匹配，以邻域匹配窗口内的灰度值作为匹配基元，通过计算两幅待匹配图像间的灰度相似性，在待匹配图像上寻找最佳匹配区域.这类算法重点在于构建、选择合适的匹配代价计算统计的匹配窗口，窗口大小的设置直接影响匹配的精度和速度.文献［4］对不同尺寸参数的匹配窗口进行了分析比较，提供了不同适用范围的窗口大小和形状.常用的匹配窗口主要是尺寸参数固定的窗口和自适应窗口.使用尺寸参数固定的窗口进行匹配，视差不连续区域将容易产生误匹配.KANADE等［5］首先提出了自适应匹配窗口的概念，窗口尺寸主要是通过高斯模型估算窗口范围内视差分布的不确定度来确定的.YOON等［6］则在自适应权值窗口选择方法的基础上，通过色彩相似性和空间几何逼近对相关窗内的区域像素进行加权，以获得可变的自适应匹配窗口.卢思军等［7］在区域匹配的多窗口选择和自适应窗口尺寸缩减中应用了模糊颜色相似性测度，利用SSD（Sum of Squared Differences）方法实现了彩色图像的立体匹配.文献［8－9］则在自适应窗口中引入非参数变换来实现快速精确的图像立体匹配，即使在噪声、光线等因素影响下也能获得精确的视差图，很好地满足了工程应用中的硬件要求.

基于灰度的区域立体匹配方法简单直观，易于实现，匹配精度较高，可直接获得稠密的视差图，主要用于表面纹理特征明显的图像.但该方法计算量大，匹配窗口大小的选择直接影响匹配精度，对绝对光强、对比度和照明条件敏感，在图像纹理区域弱和深度信息不连续的情况下，无法获得精确的视差图，容易产生误匹配，往往需要人为介入指导匹配.

1.2 基于特征的立体匹配方法

该方法是在灰度图像中提取抽象的几何特征（边缘轮廓、角点及几何基元形状）进行匹配，充分利用空间场景结构信息来解决立体匹配中的歧义性问题，而不是基于简单的图像纹理信息进行相似度的比较.该方法在20世纪80年代得到了快速发展，PRINCE等［10］通过利用局部能量法识别多个方向的各种亚像素级特征，实现了立体匹配，不需要建立提取图像特征先验模型，这种方法不会因为放大高频噪声而导致虚假的特征提取.霍智勇等［11］以点为匹配特征，提出了一种基于线性生长的区域立体匹配算法.该算法包括确定生长区域的根点和为每个根点的生长区域预先确定规则，在生长过程中，判断某个点与根点之间关联度的差错能量是否小于预先设定的阈值，从而实现从立体图像中提取深度信息，获得更可靠的视差图的方法.KIM等［12］利用立体图像的特征链接的长度和颜色的信息来实现立体匹配，即为特征链接匹配.该算法能有效地确定正确的匹配，利用内部分割法来插值这些特征，以提高视差值的准确性.同时通过快速提取点特征，确定3个特征链接约束（极线、排序和长度），以实现该算法的实时性.李海超等［13］则利用匹配的角点引导边缘匹配，可获得更多的匹配信息量.通过角点约束和边缘约束，极大地减少了匹配边缘点的搜索范围，同时利用8个方向的区域扩张思想，实现快速精确的匹配.

基于特征的立体匹配方法以物体的几何特征为匹配基元，可提取亚像素级的几何特征，参与匹配的特征少于区域匹配所需的特征，因此该方法匹配精度高、速度快，且对照明变化不敏感.但由于图像几何特征本身的稀疏性和不连续性，因而只能获得稀疏的视差图，需要各种插值方法才能完成整幅视差图的稠密特征提取.在插值过程中忽略了物体实际的几何结构特征，从而导致插值的盲目性.另外，这种匹配方法需要对两幅图像进行特征提取，计算量较大，对特征提取精度的依赖性强.

1.3 基于相位的立体匹配方法

该匹配方法以图像中对应点的局部相位作为匹配约束条件，用带通滤波器对两幅图像滤波输出的相位差信息来表示视差图，以获得稠密的视差图，从而实现图像的立体匹配.其实质是寻找局部相位相等的对应点.徐彦君等［14］针对多尺度滤波器的构造问题提出了一种基于频率响应积分面积相关的选择规则，采用质数序列作为Gabor滤波器组的波长，实现了多尺度自适应匹配算法，视差估计精确，视差范围大，计算效率高.ZADEH［15］首次应用多小波变换立体图像对获得带通信号间（基带与子带）的相关度.根据基带信息对多小波变换的变化不太敏感，其生成的视差图可以产生更准确的结果，从而利用全局误差能量最小化技术来生成每对立体图像基带的视差图.结合模糊算法构造致密的视差图，再通过过滤处理获得平滑的视差图，从而减少其误匹配，提高匹配质量.MUQUIT等［16］则提出了基于相位相关函数的相位匹配方法，从而实现了任意形状的表面重建，并利用多尺度的搜索策略来检测和校正图像中不确定的点，以获得亚像素精度.姜宏志等［17］通过极线校正算法将立体视觉几何结构转换成极线标准几何结构，利用投影栅相位法相位值建立左右图像对应点匹配关系，从而实现物体的三维重建，匹配速度快，满足视觉测量的实时性要求.

基于相位的立体匹配方法利用多尺度的空间频率分析方法，提取图像不同频段的信息进行匹配，适用于并行处理，对图像几何畸变和高频噪音具有很好的抑制作用，能获得亚像素级精度的稠密视差图.但该方法收敛范围取决于带通滤波器的波长，需要考虑相位卷绕即相位多值的问题，随着视差搜索范围的增大，其匹配精度会有所下降.如果带通滤波器输出信号的幅度偏低，将出现相位奇点的问题.

2 基于全局的立体匹配方法

这类匹配方法主要是基于能量最小化的思想，通过构建具有全局最优的视差函数，计算对应扫描线或整幅图像信息，从而获得视差图像的匹配方法.实质上是将对应点的匹配问题转换为寻找能量函数全局最优的问题.该方法有可能跳过匹配代价的计数统计阶段，可获得精度较高的视差图，但相应参数设置难度大且较为复杂，计算效率低，不能满足工程应用的实时性要求.根据最小匹配代价构建的不同，基于全局的立体匹配方法主要分为：动态规划立体匹配方法和图割立体匹配方法.

2.1 动态规划立体匹配方法

该方法实质上是把求解整个图像视差值的过程分解为一些子过程，在左右两幅图像的对应扫描线上寻找最小匹配代价路径的匹配过程.视差空间图像表述的全局优化问题即为根据图像扫描线从左到右搜寻最优路径的问题.针对水平方向和垂直方向的连续性约束不能有效融合而产生明显的条纹状瑕疵的问题，BOBICK等［18］把事先确定的正确匹配点作为控制点，提出了控制点修正算法，用于指导寻优过程，从而减少视差图的条纹瑕疵.张世辉等［19］则根据扫描线信息中所包含的视差不连续性和遮挡现象，提出了一种同时考虑行列双向约束的动态规划立体匹配算法，建立了全局能量代价函数，并设计了全局优化策略，在保证扫描线行方向上视差平滑性的基础上，解决了扫描线列方向上的视差不连续性问题，通过动态规划搜寻最优路径，以得到匹配点和遮挡点的视差，从而获得稠密视差图.GONG等［20］将可靠度引入双向动态规划匹配方法，通过对匹配路径进行可信度的计算和阈值的比较分析，获得光滑、可靠的视差图.LEI等［21］则将树形结构应用于动态规划的搜索路径，利用二维区域树建立能量函数，以搜寻最优的匹配路径，将区域算法和动态规划算法相融合，获得了可靠的视差图.DONATE等［22］对基于路径的动态规划立体匹配算法进行改进，提出了一种计算立体图像对匹配以实现精确的亚像素匹配的算法.

动态规划立体匹配方法的优点是可以很好地处理因局部纹理单一而造成的误匹配，且算法复杂度不高.但该方法在水平方向和垂直方向上的连续性约束不能得到有效融合，后续像素点的匹配会受到先前像素点的误匹配影响，从而在视差图上产生明显的条状瑕疵，匹配的精度比较低.

2.2 图割立体匹配方法

该匹配方法根据匹配问题中的约束条件建立相应的能量函数，利用能量函数构造一个图网络，以最小化能量函数，通过最小图割方法寻找网络的最大流，从而实现立体匹配.

在立体匹配的图网络中，网络的结点表示匹配像素对，边表示相邻两结点的邻接关系以及保证最小图割的相关约束.在图网络中每个像素只能与一个匹配像素相对应，因此立体匹配中的遮挡问题无法得到解决.文献［23］首次在图割匹配方法的能量函数构建上考虑了遮挡情况.文献［24］通过设计一种新型的构图方法，对能量函数进行改进，从而较好地解决了遮挡问题.文献［25］对可用的构图框架和能量最小化函数类型进行了总结和分析.

针对图割匹配方法的计算效率低的问题，张令涛等［26］先利用区域匹配算法得到每个像素的初始视差值，只保留完整网格图的部分可能的视差值，建立简化的网格图，从而缩减了网格图的容量，提高了匹配效率.FEZZA等［27］则提出了立体匹配问题的一种新的方法，通过改进图割法中的全局能量最小化函数，构建一个简化网格图，只选择一些网格图内每个像素可能存在的视差值，这些视差值可以通过立体匹配的分析方法获得，从而缩短匹配时间，扩大了视差范围.周自维等［28］通过吉布斯随机场模型描述空间点与其邻域之间的关系，采用改进的图割匹配方法对空间点的邻域进行匹配来获取场景的致密视差图，得到不同的场景视差图，具有良好的一致性，匹配速度快.

图割匹配方法可以有效地融合水平和竖直方向上的连续性约束，能够有效去除条纹瑕疵，是目前处理效果最好的立体匹配算法.但需要考虑每个像素的最低值和最高值之间的所有视差，多次迭代，复杂度较高，计算量大.

此外，还有置信传播匹配方法［29－30］、基于马尔科夫随机场（MRF）的匹配方法［31］和基于神经网络的匹配方法［32］等立体匹配方法.

3 结论与展望

评价匹配方法的性能指标主要包括匹配精度、匹配概率和匹配速度.目前多数立体匹配算法只能单方面地满足其中一个性能指标，匹配精度和匹配速度永远是一对矛盾体.每种匹配算法有各自的适用范围，相同的算法在处理不同的场景和应用环境图像时，表现出的精度、概率和速度也是不同，需要根据不同的图像情况选择算法.图像模式和成像畸变的多样性是图像匹配问题的难点所在.目前要提高立体匹配算法的三大性能指标，可以从以下几个方面开展研究：

（1）图像匹配是计算机视觉基础图像处理领域的研究热点，当前主要应用于医学图像、航空图像分析等静态图像处理领域，但许多计算机视觉任务需要处理实时的动态视频信息，在这种情况下，研究适用于动态视频信息处理的复杂背景图像立体匹配的可靠性和实时性算法具有重要意义.

（2）立体匹配在视觉检测、视觉导航、机器视觉等研究领域中得到了广泛应用，但目前多数立体匹配方法仍然利用计数统计理论来解决视觉的不确定问题，还存在许多未知的理论依据.因此可以从生物视觉机制上对立体匹配问题进行实质性研究.

（3）可探索新的适用于立体视觉的计算理论和匹配策略，选择有效的匹配准则和算法结构，以解决存在灰度失真、几何畸变、噪声干扰、特殊结构和遮挡等匹配问题，达到完全的正确匹配.

［1］SEHARSTEIN D，RIEHAR D S.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms ［J］.International Journal of Computer Vision，2002，47（1）：7－42.

［2］HIRSEHMULLER H.Stereo proeessing by semiglobal matching and mutual information［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（2）：328－341.

［3］SIMON H，SANDINO M，REINHARD K.Half-resolution semiglobal stereo matching［C］∥ KLAUS D.IEEE Intelligent Vehicles Symposium，Piscataway：IEEE，2011：201－206.

［4］VEKSLER O.Fast variable window for stereo eorres Pondence using integral images［C］∥ ERIC M.Proeeedings of IEEE Conference on Computer Vision and Pattern Recognition，Madison：IEEE，2003：556－561.

［5］KANADA T，OKUTOMI M.A stereo matching algorithm with an adaptive window：theory and experiment［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1994，16（9）：920－932.

［6］YOON K J，KWEON I S.Adaptive support-weight approach for correspondence search ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（4）：650－656.

［7］卢思军，唐振民，郭龙源，等.采用模糊判别的自适应多窗口立体匹配［J］.工程图学学报，2009，（9）：115－120.

LU Sijun，TANG Zhenmin， GUO Longyuan，et al.Adaptivemulti-windows stereo matching based on fuzzy identification［J］.Journal of Engineering Graphics，2009（9）：115－120.

［8］ZABIH R，WOODFILL J.Non-parametric local transforms for computing visual correspondence［C］∥JOHN T.IEEE International Conference on Computer Vision，Vancouver：IEEE，1994：151－158.

［9］SAMADI M，OTHMAN M F.A new fast and robust stereo matching algorithm for robotic systems［J］.Advances in Intelligent Systems and Computing，2013，209：281－290.

［10］PRINCE S J D，EAGLE R A.Weighted directional energy model of human stereo correspondence［J］.Vision Research，2000，40（9）：1143－1155.

［11］霍智勇，朱秀昌，刘天亮，基于线性生长的区域立体匹配算法研究［J］.仪器仪表学报，2011，32（4）：819－824.

HUO Zhiyong，ZHU Xiuchang，LIU Tianliang.Region based stereomatching algorithm using line growing method［J］.Chinese Journal of Scientific Instrument，2011，32（4）：819－824.

［12］KIM C I，PARK S Y.Fast stereo matching of feature links［C］∥International Conference on 3D Imaging，Modeling，Processing，Visualization and Transmission （3DIMPVT），Vancouver：IEEE，2011：268－274.

［13］李海超，张广军.一种基于角点引导的快速立体边缘匹配方法［J］.北京航空航天大学学报，2007，33（5）：557－560.

LI Haichao，ZHANG Guangjun.Fast stereo edge-matching algorithm based on corner-guidance［J］.Journal of Beijing University of Aeronautics and Astronautics，2007，33（5）：557－560.

［14］徐彦君，杜利民，侯自强，等.基于相位的尺度自适应立体匹配方法［J］.电子学报，1999，27（7）：38－41.

XU Yanjun，DU Limin，HOU Ziqiang，et al.A scale-adaptive phase-based stereo matching method［J］.Acta Electronica Sinica，1999，27（7）：38－41.

［15］ZADEH P B，SERDEAN C V.Stereo correspondence matching using multiwavelets［C］∥PETRE D.Fifth International Conference on Digital Telecommunications（ICDT），Athens：IARIA，2010：153－157.

［16］MUQUIT M A，SHIBAHARA T，AOKI T.A high-accuracy passive 3D measurement system using phase-based image matching［J］.IEICE Transactions on Fundamentals of Electronics，Communications and Computer Sciences，2006，E89－A（3）：686－697.

［17］姜宏志，赵慧洁，梁宵月，等.基于极线校正的快速相位立体匹配［J］.光学精密工程，2011，19（10）：2520－2525.

JIANG Hongzhi，ZHAO Huijie，LIANG Xiaoyue，et al.Phasebased stereo matching using epipolar line rectification［J］.Optics and Precision Engineering，2011，19（10）：2520－2525.

［18］BOBICK A F，INTELLE S S.Large occlusion stereo［J］.International Journal of Computer Vision，1999，33（3）：181－200.

［19］张世辉，杨志荣，孔令富.基于行列双向约束的动态规划立体匹配算法［J］.仪器仪表学报，2010，31（10）：2186－2191.

ZHANG Shihu，YANG Zhirong，KONG Lingfu.Dynamic programming stereomatching algorithm based on bidirectional constraints of row and column［J］.Chinese Journal of Scientific Instrument，2010，31（10）：2186－2191.

［20］GONG Minglun，YANG Yehong.Fast unambiguous stereo matching using reliability-based dynamic Programming［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（6）：998－1003.

［21］LEI Cheng，SELZER J，YANG Yehong.Region-tree based stereo using dynamic programming optimization［C］∥FITZGIBBON A.IEEE Conference on Computer Vision and Pattern Recognition，New York：IEEE，2006：378－385.

［22］DONATE A，LIU Xiuwen，COLLINS E G.Efficient path-based stereo matching with subpixel accuracy ［J］.IEEE Transactions on Systems，Man and Cybernetics，2011，41（1）：183－195.

［23］COX L J，ROY S.A maximum-flow formulation of the ncamera stereo correspondence problem［C］∥SCHEIRER W.IEEE International Conference on Computer Vision，Washington：IEEE，1998：492－499

［24］DENG Y，YANG Q，LIN X Y，et al.Stereo correspondence with occlusion handling in a symmetric patch-based graph-cuts model［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（6）：1068－1079.

［25］KOLMOGOROV V，ZABIN R.What energy functions can be minimized via graph cuts［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2004，26（2）：147－159.

［26］张令涛，曲道奎，徐方.一种基于图割的改进立体匹配算法［J］.机器人，2010，32（1）：104－108.

ZHANG Lingtao，QU Daokui，XU Fang.Animproved stereo matching algorithm based on graph cuts［J］.Robot，2010，32（1）：104－108.

［27］FEZZA S A，OUDDANE S.Fast stereo matching via graph cuts［C］∥SADOUN R.The 7th International Workshop on Systems，Signal Processing and their Applications（WOSSPA），Moncton：IEEE，2011：115－118.

［28］周自维，樊继壮，李戈，等.支撑点扩展快速立体匹配方法的设计与应用［J］.光学精密工程，2013，21（1）：207－216.

ZHOU Ziwei，FAN Jizhuang，LI Ge，et al.Design and application of fast matching method based on support point expansion［J］.Optics and Precision Engineering，2013，21（1）：207－216.

［29］YANG Q，WANG L，AHUJA N.A constant-space belief propagation algorithm for stereo matching ［C］∥MORTENSEN E N.Computer Vision and Pattern Recognition（CVPR），Washington：IEEE，2010：1458－1465.

［30］周自维，赵杰，樊继壮.基于置信传播的立体匹配并行算法研究［J］.光学精密工程，2011，19（11）：2774－2781.

ZHOU Ziwei，ZHAO Jie，FAN Juzhuang.Research on fast stereo matching algorithm base on Propagation［J］.Optics and Precision Engineering，201l，19（11）：2774－2781.

［31］SUN Jian，ZHENG Nanning，SHUM H Y.Stereo matching using belief propagation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（7）：787－800.

［32］王尧，余祖俊，朱力强，等.基于脉冲耦合神经网络和Markov随机场的立体匹配研究［J］.仪器仪表学报，2013，34（7）：1539－1545.

WANG Yao，YU Zujun，ZHU Liqiang，et al.Study on stereo matching based on pulse-couple neural network and Markov random field［J］.Chinese Journal of Scientific Instrument，2013，34（7）：1539－1545.