物流纸箱三维尺寸测量系统的研究①

肖 鹏 王金龙 周志峰

(上海工程技术大学机械工程学院)

物流纸箱三维尺寸测量系统的研究①

肖 鹏 王金龙 周志峰

(上海工程技术大学机械工程学院)

基于OpenCV视觉函数库，开发了一个物流纸箱三维尺寸测量系统。首先，利用双目视觉棋盘格点进行摄像机标定，求出摄像机的内外参数；然后，采用Canny算子对图像进行边缘处理，得到合适的边缘特征；最后，在对极几何和极线约束的条件下，对强特征点进行插值处理，完成图像的立体匹配，并计算出世界坐标系下的三维坐标。实验结果表明：该系统的物流纸箱三维尺寸测量精度可以控制在2mm以下，满足分类精度要求。

三维尺寸测量系统 物流纸箱 摄像机标定 OpenCV Canny算子

计算机视觉测量理论与技术是一种根据装置目标图像获取实时物理过程参数，从而求解目标相关信息的方法。近年来，传统的接触式测量设备因效率低、速度慢，已无法适应现代制造业的发展需要。而双目视觉测量技术作为一种新型非接触式测量技术，在工业产品的加工、检测等领域具有重要的应用意义，在物流箱的分类过程中，可以减少人为测量时间，提高分类速度[1]。在此，笔者采用一种双目视觉测量方法：首先，利用双目视觉的棋盘图像对摄像机进行标定；然后，采用Canny算子测量图像边缘，在极线约束的条件下完成图像的立体匹配，计算出世界坐标系下的三维坐标，最终实现物流纸箱的三维测量和全自动分类。

1 立体视觉测量原理

双目视觉测量原理是：分别用两台摄像机采集同一物体的左右图像，根据图像之间的像素匹配关系，计算空间点在两幅图像中的视差并获得该点的三维坐标值[2]，进而得到两点的距离信息，如图1所示。需要注意的是，在进行三维测量之前必须对摄像机的模型进行标定，计算出摄像机的内外参数。

摄像机标定主要是为了找出图像坐标系、空间坐标系和像素坐标系之间的关系，进而获取相机的内参(焦距、图像中心、畸变系数)和外参(旋转、平移矩阵)。笔者采用OpenCV中的张氏标定算法对双目视觉系统进行摄像机标定，张氏标定法只需要利用相机从多个视角采集固定靶标的数幅图像，而后通过标定板上各特征点与之在成像平面上的投影点之间的映射关系[3]，利用矩阵运算即可求出相机的内外参数。

图1 双目立体视觉中的几何关系

2 边缘特征点提取

图像的边缘是图像重要的特征之一，相对于整幅图像冗杂的信息来讲，边缘用极少的数据量即可反映出更多的图像信息[4]。OpenCV中常用的边缘提取算子有罗伯特边缘检测算子、Sobel边缘提取算子、Canny边缘检测算子[5]及Laplace边缘检测算子等。在此，笔者选用Canny算子，Canny边缘检测分为4步：

a. 采用高斯平滑滤波器卷积降噪；

b. 计算梯度幅值和方向；

c. 非极大值抑制，保留一些细线条作为候选边缘；

d. 滞后阈值若高于高阈值则保留为边缘像素，低于低阈值则被排除，若介于两者之间，则保留连接高于高阈值像素的像素。

3 立体匹配与测量

根据选择的基元，双目立体匹配算法可以分为3种：基于区域、基于特征和基于相位的立体匹配算法[6]。

笔者运用Canny算子对图像进行边缘特征提取，之后在提取的边缘特征的基础上，进行特征点(边缘点、角点及拐点等[7])匹配。特征点匹配通常包括匹配特征点、计算匹配点深度、对稀疏深度进行插值获取深度图3方面。OpenCV中采用的是块匹配立体算法，该算法运用绝对误差累计方法来寻找左右图像间的匹配点。块匹配过程是在整幅图像中滑动SAD窗口[8]，当图像校正之后，每一行就是所要寻找的极线。如果检测纹理较多，可以在右侧摄像头中找出相对应的匹配位置，再通过最小二乘法对场景进行三维点的云计算[9]。

假设某世界坐标系中物点在左右两个摄像机的图像坐标系中的投影点的图像坐标分别为(uL，vL)、(uR，vR)，左右两个摄像机的投影矩阵分别为ML、MR，则有：

(1)

(2)

由解析几何可知，三维空间的平面方程为线性方程，因此可以利用最小二乘法求出矩阵X、Y、Z[10,11]。

4 实验结果分析

在光线合理的情况下，实验采用左右各11幅图像(像素点数为2340×1728)对双目相机进行标定，得到的左、右相机内参数分别为：

则摄像机外参数旋转矩阵R和平移矩阵T分别为：

标定完成后，利用物流纸箱三维尺寸测量系统通过双CCD获取的三维纸箱立体图像对如图2所示。

图2 三维纸箱立体图像对

对该立体图像对进行边缘特征提取，运用Canny算子中的双阈值优势，调整最佳的最大阈值和最小阈值，得到实验结果如图3所示。

图3 三维纸箱边缘化图像对

运用SAD窗口对左右图像进行特征匹配，效果如图4所示。为了便于图像显示，所有图像均经过直方图均衡化处理。可以看出，图像整体的匹配准确度较高，选择能够代表物体长、宽、高的4个特征点，按基于最小二乘法的点的三维坐标的确定方法求解4个特征点的世界坐标，并与测得的实际值进行比较，结果见表1、2。

图4 特征匹配效果

表1 4个特征点的世界坐标和像素坐标

表2 测量数据对比 mm

通过双目视觉立体匹配与测量方法测量物流箱体的三维尺寸，可以减少人为测量时间，实现传输带的自动化，提高物流的传输效率。在测量过程中，摄像机系统误差、光照、对基线的距离控制、物距及光强等因素对实验结果影响较大，因此这将是今后继续研究和改进的方向。

5 结束语

笔者以双目视觉技术、图像处理与精密测量等技术为基础，设计了一个物流纸箱三维尺寸测量方案。实验结果表明，基于OpenCV的立体视觉三维测量系统稳定性较好，在特征点提取准确的情况下，对物体的三维尺寸测量精度可以控制在2mm以下，满足分类精度要求，可以应用到物流自动分类系统中。但是实验过程中，三维测量时加入了人为操作，并且只对长方体纸箱进行了测量，因此后续需对其他形状包裹的测量方法和全自动检测方法进行更深入的研究。

[1] 罗世民,李茂西.双目视觉测量中三维坐标的求取方法研究[J].计算机工程与设计,2006,27(19):3622～3624.

[2] 李克国,李大运,陶学恒.一种双目立体视觉技术中三维坐标点的改进求取算法[J].机电产品开发与创新,2008,21(5):31～32.

[3] 马颂德,张正友.计算机视觉——计算理论与算法基础[M].北京:科学出版社,1998.

[4] 霍智勇,朱秀昌.基于区域的立体匹配算法研究[J].南京邮电大学学报(自然科学版),2011,31(3):44～49.

[5] 陈胜勇,刘盛.基于OpenCV的计算机视觉技术实现[M].北京:科学出版社,2008.

[6] 任重,邵军力.双目立体视觉的匹配方法研究[J].军事通信技术,2001,22(2):46～49.

[7] 周东翔,蔡宣平,孙茂印.一种基于特征约束的立体匹配算法[J].中国图象图形学报,2001,6(7):653～656.

[8] Marapane S B,Trivedi M M.Multi-Primitive Hierarchical(MPH) Stereo Analysis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1994,16(3):227～240.

[9] Reich C,Ritter R,Thesing J.White Light Heterodyne Principle for 3D-measurement[J].SPIE Proceedings,1997,3100:236～244.

[10] Richard H,Andrew Z,著,韦穗,杨尚骏,章权兵,等译.计算机视觉中的多视图几何[M].合肥:安徽大学出版社,2002:171～173.

[11] 孟磊,邹志云,郭宇晴,等.机器视觉在化工过程液位检测中的应用研究[J].石油化工自动化,2015,51(4):39～43.

ResearchonThreeDimensionalMeasurementSystem
forLogisticsCartons

XIAO Peng, WANG Jin-long, ZHOU Zhi-feng
(CollegeofMechanicalEngineering,ShanghaiUniversityofEngineeringScience)

Having OpenCV visualization toolkit based to develop a three-dimensional measurement system for logistics cartons was implemented, including having binocular vision checkerboard used to calibrate the camera and determine its intrinsic and extrinsic parameters; making use of Canny operator to measure edge of the image so as to obtain a proper edge feature and finally, under the condition of epipolar geometry and line constraint, having character points interpolated to complete stereo matching of the image and calculate three-dimensional coordinate of the world coordinate system. The experimental results show that, the system’s measurement accuracy can be controlled less than 2mm and satisfy the requirements of classification accuracy.

three-dimensional measurement system, logistics carton, camera calibration, OpenCV, Canny operator

肖鹏(1994-)，硕士研究生，从事硬件系统开发设计和机器视觉的研究。

联系人周志峰(1976-)，副教授，从事卫星北斗导航定位的研究，zhousjtu@126.com。

TH862

A

1000-3932(2017)12-1155-04

2017-07-13，

2017-09-03)