改进的双目视觉三维尺寸测量系统

张顺岚，唐望平，莫建文

(桂林电子科技大学 信息与通信学院，广西 桂林 541004)



改进的双目视觉三维尺寸测量系统

张顺岚，唐望平，莫建文

(桂林电子科技大学 信息与通信学院，广西 桂林 541004)

根据双目视觉原理，开发了基于双目视觉的三维尺寸测量系统。利用图像帧差法实现目标物体自动检测；并在此基础上利用立体匹配算法计算出目标物体区域的视差，对生成的初步视差采用基于最小二乘法的视差优化算法，获取目标物体区域的完整视差图；再将三维点云重投影到二维平面，利用最小外接矩形完成目标物体尺寸的自动测量。实验表明，在合适的测量距离下，系统测量精度达到了较好的效果，验证了该系统的可行性。

双目视觉；视差优化；最小外接矩形；三维测量

近年来，机器人自导引、无人驾驶、隐蔽式军事侦察、医学诊断及工业检测等领域的应用日趋广泛，双目立体视觉逐渐成为机器人技术研究中最为活跃分支之一，也是后续技术发展的重要基础。相比于传统的激光、红外等其他测量技术，基于双目立体视觉的测量技术是一种高效的被动式先进检测、测量、识别技术，发展前景可观，应用范围广泛[1-3]。

当前，双目视觉测量的应用大部分集中在测量距离[4]，有一定的局限性；而在测量空间物体的大小尺寸应用方面，需要手动获取目标像素点或者设置特殊的特征点，不能实现物体的自动提取、自动测量，这样阻碍了工业生产的智能化、机械化；而且传统的测量方法中的人工操作步骤，不仅增加了劳动成本而且使步骤更加复杂；在工业检测方面实现的零件合格检测[5]，也只是固定场景下的检测，不能实现相对运动物体尺寸大小的自动测量；而且对运动的物体，手动的点取目标像素是很不准确的，也不能实现实时性。更重要的是，由于平滑表面的镜面反射、投影缩减、透视失真、低纹理和重复纹理等对双目匹配的影响，导致手动点取的目标像素点不一定存在有效三维信息[6]。

为克服上述技术的不足，开发了一套基于视差优化算法的双目立体视觉自动测量系统，这种方法不仅简化了双目测量的操作步骤，更能较准确地自动获取目标物体的测量信息，并且对其匹配后产生的视差进行优化，减少平滑表面的镜面反射、投影缩减、透视失真、低纹理和重复纹理等外界影响，使目标物体的三维点云信息更加完整。再将三维点云重投影，利用最小外接矩形法提取目标的包围尺寸，实现自动化智能化测量，极大限度地扩展双目测量的应用范围，为后续的机器人双目视觉提供技术支持。

1 双目测量系统结构

双目立体视觉作为计算机视觉的重要分支，由不同位置的2台或者1台摄像机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，来获得该点的三维坐标。本系统采用双目相机结构，如图1所示。在利用立体视觉获取物体的三维几何信息之前，首先需要对视觉传感器进行标定，计算摄像机的内外参数。双目测量系统流程框图如图2所示。

图1 双目相机几何关系

图2 系统框图

根据系统框图所示，本系统的设计步骤可分为以下7步：

步骤1：通过简单的双目相机同时获取两路RGB彩色图像，利用棋盘标定法对双目摄像头进行标定，获得两个摄像头的内外参数，根据这些参数对双目摄像头进行校正，去除镜头的鱼眼效应以及位置误差等影响，得到校正后的双目视图(左视图和右视图)。

步骤2：对步骤1校正后得到的左右视图，利用立体匹配算法(如BM、SGBM算法)以左视图为基图进行匹配，得到初步的视差图，该视差图由于镜面反射、投影缩减、透视失真、低纹理和重复纹理等影响产生突变视差或者局部无视差。对于产生的突变误差可以进行阈值筛选，滤除视差中的噪声干扰点；对于局部无视差问题会在接下来的步骤中进行解决。

步骤3：对步骤1校正后的左图，利用背景相减法(也叫帧差法，在简单背景下，前景和背景亮度和色彩等相差比较明显，可以用包含前景的后一帧减去只包含背景的那一帧，获得完整的前景区域)提取目标物体，其他非目标区域全为黑。

步骤4：根据步骤3提取出来的目标物体区域，对步骤二生成的初步视差图，利用最小二乘法直线拟合对局部无视差区域进行填充，实现视差优化，获得目标物体区域的完整视差图，其他非目标区域不优化，为全黑无效区域。

步骤5：对步骤4获得的目标物体区域完整视差图，根据投影模型获得三维点云(包含点的三维坐标、特征信息等信息量)。

步骤6：对步骤5生成的三维点云，进行坐标重投影，将三维坐标投影到二维平面，并通过图像处理的方法，把二维平面的世界真实坐标与图片的像素坐标关联起来，用灰度图片具体的显示出重投影后的二维坐标信息。图片中将能看到目标物体重投影后的形状(白色区域)，其像素宽度、长度将直接反映出物体的真实宽度和长度。

步骤7：对步骤6中生成的坐标关联像素图，利用形态学的方法，采用最小外接矩形将像素图片中的轮廓框住，最小矩形的长度和宽度就是目标物体的长度和宽度。

系统框图具体展示了整个系统的实现原理，该系统能有效提取出目标物体，并对其匹配后产生的视差进行优化，三维信息重投影后生成的平面映射图经过形态学处理，能很好地框出目标物体的最小外接矩形，能较准确地自动获取目标物体的测量信息，极大限度地扩展了双目测量的应用范围，并简化了双目测量的操作步骤，基本实现自动化智能化测量，为后续的机器人双目视觉提供技术支持。

2 基于前景检测的视差优化算法

本文采用的视差优化算法是在传统匹配算法所得视差图的基础上进行优化，所以与一般的双目测距相比，包括以下共性：

1)相机标定与校正：通过已知的参考点来求取摄像机的内外参数，从而校正图片。基于便捷性和可操作性考虑，本文采用张正友平面标定法标定相机，也称棋盘法。张正友提出的针对径向畸变标定方法，通过多幅(不同相对位置的)平面模板(棋盘格)图像，利用棋盘格上的角点与图像平面上的像点之间的单应性矩阵来约束对应摄像机的内参，详细介绍见文献[7]。

2)立体匹配获取视差：通过一定的约束条件找出空间同一点在左右图像平面上的两个投影点，然后利用三角测量原理，计算视差。本文基于实时性考虑采用局部匹配算法。文献[8]介绍的局部立体匹配(BM)算法主要是采用局部优化方法进行视差值估计，利用局部的信息进行能量最优化，所以得到的视差估计是局部最优，而不是全局最优。

该算法是在前景区域内，按行检测出有效视差和无效视差，并记录存取。有效视差作为最小二乘法的已知条件，对无效视差部分进行直线拟合，而有效视差保持不变，达到整个目标物体区域有完整的视差图，并分离出这区域的视差图。该算法是实现自动测量的关键。算法的实现分为两部分，分别是前景区域提取和最小二乘法优化视差。

2.1 前景区域提取

本文涉及的前景检测和提取，采用简单的背景帧差法。背景帧差法具有简单，运动速度快，对缓慢变换的光照不是很敏感等优点，但同时也会有空洞等缺点。基于实时性考虑，帧差法的基本原理就是将前后两帧或者当前帧与固定背景帧图像的对应像素点的灰度值相减，得到帧差灰度图。如果对应像素灰度相差很大就可以认为此处景物为前景。

针对帧差法会产生空洞的缺点，以及能更好地提取前景物体，本文将得到的帧差灰度图二值化后利用形态学的取最大连通域法进行处理。

1)利用轮廓提取算法[9]找出二值化图片的所有轮廓；

2)对比各轮廓的面积，选择最大的轮廓，并记录当前最大轮廓；

3)填充轮廓内部，去除连通域中的离散黑色斑块，形成较干净的最大连通域(二值化图像中以白色区域呈现)。

在基本去除空洞现象后，得到感兴趣区域二值化前景图，最后用掩模法(mask)抠出目标物体，利用生成的前景二值化图与对应时刻的原始RGB图进行掩模处理，黑色区域保持不变，白色区域替换成原始RGB图片的对应区域。

前景提取效果如图3所示，由此可见，该方法可以较好地提取出前景区域，并保证前景目标的完整性，是后面视差优化算法的前提条件。

图3 前景提取过程

2.2 最小二乘法优化视差

视差优化算法是在传统匹配算法计算得出的视差基础上，在前景区域内利用最小二乘法直线拟合，对前景区域内的无效视差进行优化，得到一个比较完整的前景区域视差图。

算法实现过程如下：

1)设定前景感兴趣区域内每行白色像素点个数阈值n；

2)按行扫描，寻找连续白点个数m；

3)如果m

4)记录这m个连续边白色点的坐标，构成点集V；

5)在视差图中按行读取点集V中对应坐标的视差值d；

6)如果d有效，记录有效视差点位置和视差，转向8)；

7)记录无效视差点集，用最小二乘法直线拟合生成无效视差点的视差；

8)感兴趣区域没有扫描完，返回2)继续扫描；否则结束算法。

算法主要利用无效视差点位置的前后几个(可以根据需求设定)有效视差点作为已知条件，完成直线拟合对无效视差点填充替换成估计值，有效视差点保留原视差值。重复以上步骤，按行优化感兴趣区域的视差，得到较为完整的前景区域视差图。

此算法运算复杂度低，能克服纹理性差等因素造成的影响，生成完整的感兴趣区域视差。算法只对视差进行优化，对前面的匹配等过程不造成影响。

对比图4a和4b可见，该视差优化算法完全实现了上述要求，而且效果明显。

图4 算法优化对比图

3 双目测量实现

测量的实现，首先需要求取目标区域的三维空间坐标，然后利用空间两点间的距离公式计算出空间真实距离，对于测量距离(离摄像机的距离)来说，只需要知道该点的深度信息。目前的测量应用大多集中在距离测量，本文利用前景提取、视差优化、空间重投影、形态学等方法，不仅实现了测距、手动点取测量空间两点的距离，还实现了自动识别提取目标物体，自动测量其长、高信息。常见的获取三维空间坐标的方法有两种，一种是基于最小二乘法求解三维坐标[10]，另一种是利用视差法求取三维坐标[11]。本文采用视差法求取三维坐标。

在获取三维信息(即三维点云)后，本文首先对三维点云进行重投影，生成二维平面信息；然后将二维平面信息(即真实平面坐标信息)以一定的转换关系生成二值化像素图像，本文称作坐标关联像素图；最后利用形态学、最小外接矩形、像素转坐标信息等方法实现自动测量。自动测量的实现最重要的两方面为：三维重投影和计算最小外接矩形。

3.1 三维重投影

在不考虑空间旋转角度的情况下，即以上摄像机图像平面与物体表面平行(可以根据三脚架上面的水平仪确定这种平行关系)。根据空间三维投影到二维平面的简单几何关系，在空间物体的z(厚度)分量与世界坐标系的z(光轴方向)分量平行的情况下，三维重投影问题就变成简单的选取三维坐标xyz分量问题。这里取x、y分量，组成二维xy平面，该平面与图像平面重合，在这个过程中必须利用滤波器过滤一些噪声点。

为了让xy平面可视化，必须把这些坐标信息与像素坐标关联起来，本系统采用的关联准则是：1个像素点对应真实世界的1 mm(这个对应关系是可以根据所测物体和所需精度设置的)，那么如果定义一个640×480像素的图片，那么就可以对应640 mm×480 mm的矩形大小。在可视化的过程中，x、y分量的值为多少毫米就将图片对应像素坐标位置的像素值置255(呈白色)，如图5c中xy平面二维坐标图转换为图5d坐标关联像素图所示。

图5 重投影及转换演示图

针对前面提到的过滤噪声点，本文以深度(z分量)信息为阈值，深度超过阈值的点全部滤除，如图5b所示，如果深度阈值设为150，那么深度大于150的散乱的点将被全部滤除，对于深度信息小于150的散乱杂点，暂时不管，在将过滤后的二维坐标信息生成坐标关联像素图后，二值化图片上深度小于150的噪点将产生白色的小斑点，这些白色小斑点就是其噪声点，可以通过图像处理方法处理：寻找最大轮廓，去除周边散斑，形成较完整的二值化图，如图5d所示。

图5中，图5a为前景区域三维点云重建的效果图，其中包含噪声散点；图5b和5c分别为重投影到侧平面(xz平面)和正平面(正对摄像机的xy平面)的效果图。在OpenCV中将二维平面的坐标信息以一定的转换关系(上面提到的关联准则)转换为二值化的坐标关联像素图，如图5d所示，对比图5c可以看出滤除了部分噪声点。

3.2 计算最小外接矩形框

对前面生成的二值化坐标关联像素图，计算其最小外接矩形主要包括两部分：先建立二维点集的凸包，凸包的求取参考文献[12]，然后利用旋转卡壳算法求取最小外接矩形，最小外接矩形的求取参考文献[13]。

本系统基于OpenCV计算其最小外接矩形，其实现过程如下：

1)利用2.1节介绍的方法提取二值化图片的最大连通域。

2)利用前面提到的旋转法计算出最大连通域外轮廓的最小外接矩形的4个角点(矩形随着平面轮廓的不同有角度变化)，并保存其4个角点像素坐标(这些坐标值可以直接用来计算外接矩形的旋转角度)，最后根据这4个角点画出矩形的4条边。在图5d中还画了其最小外接椭圆[14]作为对比。

3)在画出最小外接矩形后，矩形的长和宽分别是多少个像素将变得很清晰，因为其4个角点像素坐标在前一过程已经求出，所以为了反映物体的真实长和宽，按照3.1节所提到的真实坐标信息与像素坐标关联准则，将矩形的长宽像素反转换为真实的长宽信息，并显示在图片上，这样整个自动测量方法完成。

本文采用1个像素点对应真实世界的1 mm的关联准则，由于像素点是离散的，而尺寸信息是连续的，所以当不满1 mm的部分将不能以像素点显示出来，这样会带来一个1 mm以内的误差。

4 实验过程与结果分析

4.1 半自动测量

半自动测量需要鼠标点击目标点，包括直接测距(目标点离摄像机的距离)和测量空间两点的距离。图6中左视图中红色框里面的小车为检测的最近物体，视差图和匹配图中黑色部分为无效视差和非匹配区。

手动点击图6d中小车后轮的水平直径，测量两点间的距离。手动标尺测量小车轮胎直径是10 cm，双目测量系统软件测量结果为9.987 0 cm。表1是多组测量数据及误差。

从表1分析可知在一定范围内，测量精度较高，可以满足需求，在取两点求取空间距离时，两点可以是深度接近的两点，也可以是深度相差比较大的两点，其误差都在可接受范围内。产生的误差原因可能有以下方面：

1)摄像机标定误差的大小会直接影响后面一系列的过程，包括校正、匹配等；

2)摄像头的分辨率也是主要原因，像素太低会导致匹配不准得不到准确视差；

3)匹配算法的缺陷导致匹配不够精确；

4)本身标尺测量就存在误差。

表1 数据分析

4.2 自动测量

自动测量无需鼠标点击目标点，当目标物体进入视图后，系统会自动检测和提取目标物体(前景区域)。如图7中的匹配图区域只显示前景的小车，而且对比图6，可以发现前景区域没有黑色无效视差，视差图得到明显优化。

图7 车辆侧面自动测量长度、高度效果图

小车实测(直尺)长度557 mm,宽度280 mm,高度177 mm，通过第3节介绍的自动测量方法，其自动测量结果显示如图7～8所示，目标物体的实际尺寸大小跟踪显示在坐标关联像素图中。其中L表示宽度，H表示高度，单位为mm。“左视图”窗口方框为检测到的最近物体，中间的数字为小车离摄像机的距离，单位为cm。

表2为通过图7所示方式从车侧面测量长度、高度所得结果。表3是通过图8所示方式从车正面测量宽度、高度所得结果。

从表2～3数据分析可知，自动测量准确度在可接受范围内，能过达到自动测量的目的。自动测量中误差产生的原因主要有：光照强度影响目标物体的提取进而影响测量精确度，坐标信息转化为像素图片的过程中存在一定误差，对二值化坐标关联像素图的处理以及计算其最小外接矩形过程中存在误差。

图8 车辆正面自动测量宽度、高度效果

表2 从车侧面自动测量数据分析

小车离摄像头距离/cm系统测量小车长度/mm误差/%系统测量小车高度/mm误差/%67 0555 00 35180 01 69120 0556 00 18177 00145 0558 00 18178 00 56

表3 从车正面自动测量数据分析

5 结语

本文在研究双目立体视觉的基础上提出了一种将三维点云重投影到二维平面，利用最小外接矩形完成目标物体尺寸自动测量系统，利用最小二乘法的视差优化算法改善了立体匹配效果。对所提出的方法进行了实际验证，实验结果表明，在合适的测量物体到摄像头距离下，其测量精度达到了较好的效果，即验证了所设计系统的可行性。在实际应用中，可通过提高摄像头分辨率，调整合适的测量距离，以及调整两摄像头间基线距离，得到跟好的测量效果。

[1]岳亮.一种基于双目视觉的安全车距测量方法[J].电视技术， 2013，37(15)：194-197.

[2]张顺岚， 莫建文.基于双目视觉的三维人脸识别算法[J].电视技术， 2014， 38(9)：214-217.

[3]SHIH S， TSAI W H.Optimal design and placement of omni-cameras in binocular vision systems for accurate 3D data measurement[J].IEEE Trans.Circuits and Systems for Video Technology， 2013， 23(11)：1911-1926.

[4]ZHU J， YUAN L， ZHENG Y F， et al.Stereo visual tracking within structured environments for measuring vehicle speed[J].IEEE Trans.Circuits and Systems for Video Technology，2012，22(10)： 1471-1484.

[5]MONTILLA M， ORJUELA-VARGAS S A， PHILIPS W.State of the art of 3D scanning systems and inspection of textile surfaces[C]//Proc.IS&T/SPIE Electronic Imaging.[S.l.]：International Society for Optics and Photonics， 2014： 180-185.

[6]MIN D， LU J， DO M.Joint histogram based cost aggregation for stereo matching[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2013， 35(10)：2539-2545.

[7]ZHANG Z Y.A flexible new technique for camera calibration[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22(11)：1330-1334.

[8]HIRSCHMULLER H，SCHARSTEIN D.Evaluation of cost functions for stereo matching[C]// Proc.IEEE Con.Computer Vision and Pattern Recognition.[S.l.]：IEEE Press， 2007：1-8.

[9]ZHANG Y， HAN J， YUE J， et al.Weighted KPCA degree of homogeneity amended non-classical receptive field inhibition model for salient contour extraction in low-light-level image[J].IEEE Trans.Image Processing， 2014，23(6)：2732 - 2743.

[10]DUAN Z， YUAN Z， LIAO X， et al.3D tracking and positioning of surgical instruments in virtual surgery simulation[J].Journal of Multimedia， 2011， 6(6):671-679.

[11]CHIANGJ S， HSIA C H，HSU H W.A stereo vision-based self-localization system[J].IEEE Trans.Sensors Journal， 2013，15(5)： 1677 - 1689.

[12]GAO S，YANG J.Saliency-seeded localizing region-based active contour for automatic natural object segmentation[C]//Proc.IEEE 21st International Con.Pattern Recognition.[S.l.]：IEEE Press，2012：3644-3647.

[13]JIANG N， YANG W， DUAN L， et al.Acceleration of CT reconstruction for wheat tiller inspection based on adaptive minimum enclosing rectangle[J].Computers and Electronics in Agriculture， 2012(85)： 123-133.

[14]CUI J W， LEI X Q， TU X P， et al.Reacher on ellipticity error by use of minimum circumscribed ellipse and maximum inscribed ellipse algorithm[J].Applied Mechanics and Materials，2013，333(6)： 1461-1464.

张顺岚(1974— )，女，讲师，硕士，主研图像信号处理；

唐望平(1988—)，硕士，主研立体视觉、双目立体测量；

莫建文(1972—)，博士，副教授，主研图像信号处理。

责任编辑：闫雯雯

Improved 3D Size Measurement System Based on Binocular Vision

ZHANG Shunlan, TANG Wangping, MO Jianwen

(SchoolofInformationandCommunicationEngineering,GuilinUniv.ofElectronicandTechnology,GuangxiGuilin541004,China)

The 3D size measurement system is developed according to the principle of binocular vision.Firstly, the target is automatically detected based on frame difference method.And the stereo disparity is calculated from the image target area by using stereo matching method.Secondly, the initial disparity map is improved by utilizing the least square method.The complete disparity map of the image target area is obtained.And then, the three-dimensional point cloud is re-projected onto a 2D plane.Finally, the size of the target can be automatically measured by making use of the minimum circumscribed rectangle.Simulation results show that the improved system can achieve good results, and it is feasible.

binocular vision; disparity optimization; minimum circumscribed rectangle; three dimensional measurement

TP391.4

A

10.16280/j.videoe.2015.07.030

2014-12-15

【本文献信息】张顺岚，唐望平，莫建文.改进的双目视觉三维尺寸测量系统[J].电视技术,2015，39(7).