基于双目视觉的工件测量研究

潘 琪， 秦襄培， 尹 雄， 武胜超， 曾 诚

(武汉工程大学 机电工程学院， 武汉 430205)

引言

近年来，随着数字图像处理与计算机智能学科的飞速发展，机器视觉也逐渐广泛应用于各个方面，而且采用机器视觉来代替人眼进行测量与判断能较大地提高了生产柔性和自动化程度，在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度[1-3]。由于机器视觉中的主动测距技术在人为添加辐射源时往往需要工件处于离线状态，此时工件的拆卸和装配也会容易造成磨损，影响测量结果。故在机械加工检测时适合采用被动测距。而单目视觉由于难以准确标定摄像机的离焦模型，多目视觉又由于结构复杂、计算量大，导致成本较高。所以采用折中的双目视觉来进行工件的尺寸测量，即在一定程度上满足了效率高、精度高、自动化程度高等要求，进而又呈现出成本低、计算简约等优点[4]。

1 双目视觉测量原理

双目立体视觉是计算机视觉的一个重要分支，即由不同位置的一台或者两台摄像机(CCD)经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值[5]。其原理如图1所示。

图1 双目视觉测量原理Fig. 1 The principle of binocular vision measurement

由图1可知，点P为世界坐标系中的待测点；xlOlyl和xrOryr分别为左、右相机所在位置的坐标系；pl和pr分别为点P在左、右相机的像平面中所对应的位置。

在整个成像过程中，为了计算出点P的空间坐标，需要先了解到图像坐标系、摄像机坐标系和世界坐标系三者之间的关系。通过三种坐标之间的转换关系，便可以将点P在图像坐标系中的坐标来计算得到世界坐标系中点P的坐标[6]。

首先，需要知道图像中任意一点以像素为单位的像素坐标与以ms为单位的图像坐标系之间的关系，推得关系表达式为：

(1)

其中，(u,v,1)为P的投影点在图像坐标系中以像素为单位的齐次坐标；(x,y,1)为P的投影点在图像坐标系中以mm为单位的齐次坐标；dx、dy为像素在x轴与y轴方向上所对应的物理长度；(u0,v0)为摄像机的主点坐标，位于图像中心。

由于摄像机的位置是根据被测对象而安置的，所以需要通过世界坐标来作为一个基准坐标系来确定摄像机的位置，同时也可以确定被测物体在该坐标系中的位置。而世界坐标系与摄像机坐标系可以通过旋转矩阵R和平移向量T来进行转换，数学表达式为：

(2)

其中，(xc,yc,zc,1)为点P在摄像机坐标系下的齐次坐标；(xw,yw,zw,1)为点P在世界坐标系下的齐次坐标；R为3×3的旋转矩阵；T为三维平移向量。

接着，再只需要知道图像坐标系与摄像机坐标系之间的关系，便可以推算出图像坐标系、摄像机坐标系与世界坐标系之间的关系。由于点P在图像上的成像位置可以用针孔模型近似表示，存在如下的比例关系：

(3)

其中，f为等效焦距。

将式(3)用矩阵表示，即为：

(4)

将式(1)、(2)、(4)联立便可以得到点P的世界坐标系与该点投影点的坐标关系，计算公式如下：

(5)

其中，令αx=f/dx，αy=f/dy；M1为摄像机的内部参数，由αx，αy，u0，v0决定；M2为摄像机的外部参数，由旋转矩阵R和平移向量T决定；M则为3×4的投影矩阵。

由于点P在2个摄像机Ol与Or上的投影点可以从2个图像中分别检测出来，再加之摄像机Ol与Or已经标定，其投影矩阵分别为Ml与Mr，则有：

(6)

(7)

其中，(ul,vl,1)和(ur,vr,1)分别为点P在左、右图像上投影点的齐次坐标；(xw,yw,zw,1)为点P在世界坐标系中的齐次坐标。将式(6)和式(7)展开并分别消去zcl和zcr后，则可得到关于xw,yw,zw的线性方程，如(8)、(9)所示：

(8)

(9)

将式(8)和式(9)联立，便能求出点P在世界坐标系下的坐标(xw,yw,zw)。

2 测量与分析

本次实验测量对象为双机头成型机生产加工出来的一块钢板，由于钢板底部和下方的工作台会有一部分贴合，为了便于比较和分析双目视觉的测量精度，所以本次仅就钢板上方的特征点进行测量。工件待测点的分布即如图2所示。其中，待测点实际测量的数据则可见表1。

图2 工件待测点Fig. 2 The workpiece to be measured point

表1 待测点实际值Tab. 1 The actual value of the measurement points

2.1 相机的标定

本次测量采用维视图像的2台型号为MV-EM120M摄像头进行采集。接着对双目视觉的摄像机进行标定[7]，标定结果可展示如下。

左相机的内参矩阵：

右相机的内参矩阵：

左、右两摄像机之间的旋转矩阵：

2.2 边缘检测的比较与改进

由于摄像机采集得到的二维图像包含了各种随机噪声与畸变，这就需要对所得的图像进行预处理，来改善图像质量。其目的主要有2个：一是改善图像的视觉效果，提高图像的清晰度；二是使处理后的图像便于计算机的后续特征分析与提取[8]。

传统的Canny边缘检测算法是一种有效设计，在大部分情况下可以获得良好结果[9]。但是在实际场合中，Canny边缘也会存在缺陷。本次对工件的测量是基于Matlab设计展开的，对于Canny算法通常需要指定敏感度阈值参数的上下限，而对于不同的图片需要自行选取数值，如果并未指定阈值参数，Matlab中的该算法会自行确定敏感度阈值的上下限。不同图像其双阈值亦会不同，难以选取，选取不当会导致边界丢失；而若不提供选择，该算法自行确定的双阈值的结果也难能尽如人意，会产生边界丢失等现象。

Sobel边缘检测算法比较简单，在某些实际应用中则比Canny边缘检测的效率要高[10]。Sobel边缘检测通常带有方向性，可以只检测竖直边缘或垂直边缘，还可都检测。所以对于规则的工件，Sobel边缘检测成为了研究首选，但在放大后图像的像素宽度却显粗疏，因此为了最后更加精确地测得工件尺寸，就可以对此引入形态学运算，将边缘进行一像素化。综上研究可得，算法运行效果则如图3、图4所示。

(a) Sobel算法结果 (b) 局部放大后

(a) Results of Sobel algorithm (b) Local amplification

图3Sobel算法边缘检测结果

Fig.3Sobelalgorithmedgedetectionresults

图4 基于形态学运算将边缘一像素化Fig. 4 Edge unit of a pixel based on morphological operations

2.3 坐标的测量与分析

对预处理的图像进行角点检测便可以得到测量坐标，可见表2。

表2 使用本文方法计算得到的坐标Tab. 2 The coordinates calculated using this method

得到角点的世界坐标系之后就可以求得角点之间的距离，便可以用两点之间的距离来验证本次测量对于角点的定位精度。其中，研究得到的多个主要方向的测量尺寸可见表3。

表3 使用本文方法与实际值的对比Tab. 3 The comparison of this method and actual value

2.4 对比验证

为了验证前文结果精度上的可行性，接着又在后面对传统的Canny算法设计尝试了实验测量比较研究。同时，将50和100作为Canny算子的双阈值对工件进行测量。

图像中会存在边界丢失，效果呈现如图5所示。

由于Canny存在着边界丢失，在角点检测时会产生误匹配点，故在去除掉误匹配点后便可以得到如表4所示的坐标数据以及如表5所示的结果数据。

结合图像并由表4、表5分析可以看出2种方法中点B和点E所造成的误差相对较大，由此推得工件的内转角处相对于外转角处较难定位，究其原因主要在于摄像机分辨率不高以及内转角处更为模糊所致。但整体误差率都未超过5%。研究至此，即证明了采用先通过Sobel算法来检测边缘，再使用形态学进行一像素化来实现工件的双目测量设计方法的现实可行性。

(a) 直线上的边界丢失 (b) 圆上的边界丢失(a) The boundary missing on the line (b) The boundary missing on the circle图5 [50,100]作为双阈值时使用Canny算法存在的边界丢失

Fig.5Theboundarymissingbyusing[50,100]asdoublethresholdinCannyalgorithm

表4 使用Canny算法计算得到的坐标Tab. 4 The coordinates calculated using Canny algorithm

表5 使用Canny算法与实际值的对比Tab. 5 The comparison of Canny algorithm and actual value

3 结束语

实验表明，相对于传统Canny算法来进行工件的双目测量，采用先通过Sobel算法来检测边缘，再使用形态学进行一像素化的整体设计方案，即具有如下研究优势：

(1)计算简单，速度快。

(2)在精度上也能达到Canny算法的定位精度。

(3)能较好地提供边缘图像，不会出现边界丢失现象。

通过分析可知，本文的方法存在一定误差，还有待提高。可以采用分辨率更高的摄像头，并改善背景环境和添加光源，使得工件的角点更加明显，从而使得特征点的检测定位也更趋精确。

[1] 张铮，徐超，任淑霞， 等. 数字图像处理与机器视觉：Visual C++与Matlab实现[M]. 2版. 北京：人民邮电出版社，2014.

[2] 朱正德，杨虹，方琳，等. 机器视觉:质量监控的第三只眼[J] . 现代零部件，2010(10): 56-63.

[3] 刘亚菲. 大型工件焊接双目视觉测量及精度研究[D]. 上海：华东理工大学，2012.

[4] 肖志涛，张文寅，耿磊，等. 双目视觉系统测量精度分析[J]. 光电工程，2014,41(2):6-11.

[5] 隋婧，金伟其. 双目立体视觉技术的实现及其进展[J]. 电子技术应用，2004(10):4-6，12.

[6] 马颂德，张正友. 计算机视觉[M]. 北京：科学出版社,1998.

[7] 杨景豪，刘巍，刘阳，等. 双目立体视觉测量系统的标定[J]. 光学精密工程，2016,24(2):300-308.

[8] 高宏伟. 计算机双目立体视觉[M]. 北京：电子工业出版社，2012.

[9] 林卉，赵长胜，舒宁. 基于Canny算子的边缘检测及评价[J]. 黑龙江工程学院学报，2003,17(2):3-6，16.

[10]郭彤颖，陈策. 基于Sobel算子的边缘检测算法研究[J]. 科技广场，2015(2):17-20.