基于极线约束的双目图像匀光校正方法

任宏　刘培勋

摘 要：因受光不均、成像系统电子学、光学特性不一致等因素影响，双目图像间会存在亮度差异，导致立体匹配错误。针对这一问题，本文提出了一种新的全局——局部相结合的双目图像匀光校正算法，该方法参考全局信息校正亮度的增减，参考局部信息确定亮度的离散。通过减少无关匹配点对亮度校正的干扰，使相关性更强的参考量参与计算。首先用标定获得双目相机内外参数，并对图像进行极线校正使对应行对齐，再根据对应行间的亮度特征用最小二乘法计算出图像全局的亮度差异，最后对全局校正后的图像进行行亮度校正。与几种传统的全局匀光校正方法进行对比实验，结果表明，该方法在对整幅图像亮度校正的同时，能够保持被校图像的细节信息，同时可有效提高立体匹配准确度。处理后实验图像平均匹配误差比未处理图像降低约70%。

关键词：亮度校正;Wallis变换;极线几何;双目立体

【中图分类号】G【文献标识码】B【文章编号】1008-1216（2018）07B-0034-03

双目立体视觉是计算机视觉的重要组成部分，高精度的双目视觉在自主导航、目标跟踪、三维重建等领域被广泛应用。对于大部分立体视觉系统，立体匹配是决定精度的最关键步骤。像素灰度作为图像的最基本特征，广泛应用于多种立体匹配算法，它是一种对亮度变化比较敏感的特征。受光照不均、成像系统电子学、光学特性不一致等因素影响，使得同一物点在不同相机获得的图像上灰度有一定的差别，这样的图像作为立体匹配输入会引起误匹配。一般立体视觉标定技术只能修正图像的几何误差，不能消除灰度差异，因此，本文提出了一种针对双目系统的图像匀光校正方法，用于校正圖像上对应像素间的灰度差异。

一、匀光算法研究现状

多幅图像亮度一致化方法大体可以分为三类，包括基于直方图的匀光方法、基于模型的匀光方法，还有基于统计学的匀光方法。基于直方图的方法通过一致化直方图分布来降低图像间的亮度差异，如Sridharan提出的一种直方图匹配算法，常淑华等提出的一种直方图均衡化方法，王密等提出当图像差异较大时，基于直方图的匹配方法会改变原有的图像内部特征，容易造成偏色现象。基于模型的匀光方法采用基于照度或反射模型的原理，常用的方法有Mask和Retinex匀光算法，Mask方法会降低图像较暗区域的对比度，增强亮区域的对比度，Retinex方法对图像边缘有增强效果，但会降低图像对比度。基于统计的匀光方法从整体上考虑亮度一致性，但不能很好地反映细节亮度分布，在局部区域仍存在亮度差异，具有代表性的包括基于Wallis变换的匀光算法，信息熵匹配。

以上方法计算的参考特征都是通过全局图像计算得到的，虽然通过整幅图像计算得到结果能够反映全局亮度信息，但会导致局部灰度信息淹没于全局信息中，产生全局亮度差异减小而局部差异增大的结果。因此，如何能够在降低图像间亮度差异的同时，尽量保持图像的原有信息是双目匀光校正算法研究的重点。

不同于其他匀光校正应用，双目视觉系统本身存在无关光照变化的极线几何约束，这是一种行对行的约束。因此提出了一种使用全局——局部相结合的双目匀光校正方法，通过全局校正亮度的增减，局部确定亮度的离散，通过降低无关匹配点对亮度校正的干扰，使相关性更强的参考量参与计算。

二、两步匀光校正方法

（一）极线校正方法和原理

双目成像系统由两个针孔成像系统组成，如图1（a）和（b）所示。双目成像系统中左相机的光心C在右相机像平面上的投影称为右极点e，左极点同理记作e'，3D点X被投影到两个图像平面上，分别记作x、x'， XCC'构成的平面称为极平面，CC'C称为基线，xe称为左极线，x'e'称为右极线，极线约束定义为某相机像点的共轭点一定在另一相机对应的极线上。

当左相机光心位于右相机的焦平面内，同时右相机光心 位于左相机的焦平面内，此时左右极点分别投影到无穷远处，基线 位于两个相机焦平面内，同时与像面平行。在这种情况下，两相机的极线均为水平的平行线。极线校正可以将图像对应的极线水平方向共线，消除垂直方向的视差。通过极线约束可以使立体匹配的运算量从搜索整个像面降低到只搜索极线对应的行，在匹配时只需要搜索对应行就可以确定匹配点，极大地提高了匹配效率。

假设通过标定得到的相机坐标系间的旋转矩阵为R，平移矩阵为T，极线校正可以通过以下步骤实现：

（1）左右相机分别旋转±R1/2，使两相机的光轴平行，但像面与基线不平行;

（2）构造旋转矩阵Q=[q1T q2T q3T]T使两像面与基线平行：

（a）通过平移向量确定基线方向向量q1，q2=（C-C'）/‖C-C'‖=T/‖T‖;

（b）通过q1与图像光轴方向向量k确定图像竖直方向向量，q2=k×q1;

（c）新的光轴方向向量q3与q1、q2正交，q3=q1×q2。

通过上述两次旋转，左右相机的坐标系能够实现像面与基线平行，并且水平轴共线，达到了极线校正行对齐的目的。

（二）极线约束下的匀光变换方法和原理

图像的灰度均值能够反映其亮度和色调，标准差能够反映灰度的动态范围。一般情况下，同一空间点在双目相机中成像灰度应该一致，具有近似的色调、亮度和灰度动态范围，即应该具有近似的灰度均值和标准差。因此，以标准图像为基准，匀光校正的结果应该是两幅图像均值和标准差一致，这是灰度一致的必要条件。以极线亮度特征为基准，校正对应极线上像素的亮度，能够降低无关匹配点对亮度校正过程的干扰，突出相关性更强的参考量在局部匹配中的作用。极线约束下的匀光校正方法步骤如下：

（1）双目标确定相机内外参数;

（2）通过标定参数对输入图像做极线校正，使对应行对齐;

（3）将双目图像间的亮度关系定义为线性模型

Ig=b0If+b1             （1）

以对应极线亮度均值为基准，通过最小二乘法计算图像间的亮度系数

（2）

其中，式（2）中为待校正图像第行的灰度均值， 为基准图像第i行的灰度均值，线性方程的最优解为b=（ATA）-1ATY，通过式（1）校正图像亮度，得到图像I'f;

（4）计算I'f第i行图像的均值m'f（i）和标准差std'f（i），Ig的标准差stdg（i）。

（3）

（5）根据公式（4）将对应行（极线对）间的均值和标准差一致化：

（4）

其中，I'f（i，j）为被校图像灰度值，I''f（i，j）为变换之后的灰度值，mg（i）和stdg（i）分别为参考图像的行灰度均值和标准差，m'f（i）和std'f（i）分别为被校图像的灰度均值和标准差均值。c∈[0，1]用于调节方差的一致程度， b∈[0，1]用于调节图像均值的一致程度。

三、实验与结果分析

为了验证本文匀光算法的有效性，采用Middlebury 2014标准图像进行测试。标准图像已经进行极线校正，垂直方向视差小于一个像素，可以认为对应行严格对齐。原始左右图像拍摄时相机积分时间不同或环境光照不同，图像亮度有明显的差异。直方图均衡化方法会改变参考图像的灰度信息，全局Wallis变换会改变被校图像的灰度分布如图2（c）-（e）所示。本文匀光算法2（f）与传统方法图像图2（c）-（e）相比较后发现，2（f）与2（a）间亮度差异明显减小，并且图像亮度均匀，同时无明显的突变。

（a）原始左图;（b）积分时间不同的右图;（c）和（d）直方图均衡化图;（e）全局Wallis匀光变换图;（f）本文算法的图

计算测试图集中的ClassroomE、MotorcycleE、MotorcycleL、DjembeL和PianoL（E代表积分时间不同，L代表环境光照不同）的结构相似性SSIM。SSIM是一种衡量校正后图像与标准图像的差异的指标，计算公式如式5所示。SSIM是一种全参考的图像评价指标，分别从亮度、对比度、结构三个方面度量图像的相似性。

（5）

其中x为以左图作为参考，对不同积分时间或环境光照采集的右图进行匀光校正得到的图像，y为与左图一样积分时间和环境光照拍摄的右图，即真值图像，ux为y的平均值，uy为y的平均值，σ2x和σ2y分别为x和y的方差，σxy为协方差，c1=（K1L）2，c2=（K2L）2是用来维持稳定的常数，L为像素值动态范围。k1和k2分别为0.01和0.03。SSIM取值范围（0，1），当两图像一样时SSIM等于1。

从图3可以看出，对于积分时间不同的图像，三中匀光校正方法差别不大，但对于环境光照不同的图像，本文算法校正后的图像SSIM值高于其他两种方法，说明和真值图像一致性更强。

为了进一步说明本文算法的有效性，采用传统的方法和本文的方法，对实验图像分别进行了立体匹配，获得视差图，如图4（a）-（e）所示。从图4（b）-4（d）可以看出，未经处理的原始图像匹配效果很差，甚至难以进行，直方图均衡化和全局Wallis方法虽然能减小图像对的亮度差异，但错误匹配较多。本文算法平衡了局部和全局亮度差异，有效降低了误匹配。

（a）標准视差图;（b）未经匀光校正;（c）直方图均衡化;（d）全局wallis; （e）本文算法

通过对比真值视差图，将视差差值过大的像素视为误匹配，如式6所示，同时计算平均匹配误差，如式7所示，得到结果如表1所示。从表1可以看出，本文算法与其他算法相比，能够有效减少误匹配并提高匹配准确性。

（6）

（7）

dC（x，y）为计算得到的视差图，dT（x，y）为时差真值，N为图像像素数，σd为2。

四、结论

本文提出了一种新的双目匀光校正算法，该方法以极线一致性作为约束，通过对应行亮度信息使被校图像和基准图像的灰度分布近似一致。同传统的双目匀光算法相比，本文方法用于校正亮度的参考特征和待求量相关性更高，在将局部的细节亮度特征一致化的同时，减小图片间全局亮度差异，符合局部立体匹配算法局部特征一致性的思想，并与传统的几种典型的双目匀光校正算法进行了对比实验，证明了本文算法的有效性。

参考文献：

[1] 常淑华，宋艳秋，杨永敏.双目立体视觉匹配的预处理技术[J]. 吉林大学学报，2012，（1）.

[2]王密，潘俊. 面向无缝影像数据库应用的一种新的光学遥感影像色彩平衡方法[J]. 国土资源遥感，2006，（4）.

[3]姚芳，万幼川，胡晗.基于Mask原理的改进匀光算法研究[J]. 遥感信息，2013，（3）.

[4]刘家朋，赵宇明，胡福乔.基于单尺度Retinex算法的非线性图像增强算法[J]. 上海交通大学学报，2007，（5）.

[5]朱巧云，答星. 基于Wallis滤波器的异源遥感影像匀光方法[J]. 测绘与空间地理信息，2012，（10）.

[6]倪章松，顾艺，柳庆林. 大视场双目立体视觉柔性标定[J]. 光学精密工程，2017，（7）.