视觉信息下输电铁塔螺栓直径自动测量系统*

范荣全，邬才斌，刘友波，贾 玻，柳 剑，刘俊勇，张力涓，文 嘉

(1.国网四川省电力公司，四川 成都 610041； 2.国网南充供电公司，四川 南充 637003； 3.四川大学电气工程学院，四川 成都 610065)

0 引言

为便于输电铁塔上螺栓的安装，往往调整螺栓孔直径略微大于螺栓直径[1]；实际的固件安装常出现尺寸安装不适配的疏漏，直接对铁塔的安全性能造成影响，可能引发螺栓滑移等[2]。选择合适的方法对其尺寸进行精确测量，对铁塔的安全性能评估具有重要意义。

目前，相关研究人员普遍采用图像处理加分析的方法对螺栓进行定位测量[3]。武占福[4]对螺栓、螺母等微小零件尺寸进行精确测量，提出了一套涉及图像处理的微小零件尺寸测量方法，所测得的螺栓螺纹大径、小径和螺距的测量结果与实际偏差均在±0.01mm以内，平均测量速度为 0.97s/个；李白萍等[5]利用软件Sherlock设计图像检测算法及特殊的尺寸测量法，实现了对螺栓的非接触测量，其对螺栓总长度、头部直径、内径、外径、螺距和牙高的测量精度可达到0.03mm；JIAN等[6]在利用双目相机立体视觉模型获取螺栓3D坐标的基础上根据螺栓平面的点云信息，采用最少方形方法获取螺栓的姿态信息，该方法在500mm测量范围内螺栓的位置测量误差率<0.8%， 试装平面的角度测量误差<14°；刘志峰等[7]利用虚拟相机技术3D CAD模型生成2D模型数据库,通过高斯金字塔分层方法与贪婪算法对处于开放环境中的螺栓与 2D 模型数据库进行搜索与模型匹配,得到最优匹配结果,完成对开放环境中螺栓的姿态信息测量，其测量准确性较为突出。

1 基于视觉信息的螺栓直径自动测量系统

基于视觉信息提出了一套螺栓直径自动测量系统。由于螺栓直径与螺栓型号一一对应，因此，通过对螺栓直径的自动测量，实现对螺栓的尺寸测量。本系统分为3个部分：首先基于Faster-RCNN目标检测网络实现图像中螺栓的自动检测；然后通过Mask-RCNN分割网络及提出的基于边缘信息的分割算法对目标检测的矩形框区域进行粗分割和精分割，得到螺栓尾部表面区域掩膜；最后，基于双目相机得到的三维信息实现螺栓直径自动测量。整体流程如图1所示。

图1 自动测量系统算法流程

1.1 基于Faster-RCNN网络的螺栓区域检测定位

系统采用双目相机[8-9]作为前端数据采集设备。由于硬件限制，双目相机正常的工作范围为距离相机0.3～10m处。螺栓在采集的图像视野中占比较小，利用传统图像处理的方法难以对其实现精确检测及定位。本系统采用Faster-RCNN[10-12]目标检测网络，检测图像中有无螺栓并实现对螺栓在图像上的定位。本系统选择具有较强图片信息提取能力的ResNet101作为Faster-RCNN网络的卷积层部分。目标检测结果如图2所示。

图2 目标检测结果

1.2 基于Mask-RCNN分割网络的精分割

本系统使用图像分割网络Mask-RCNN实现对定位后螺栓尾部区域的粗分割。Mask-RCNN是由He等[13]于2017年提出的可同时实现物体检测和实例分割的网络。该网络在Faster-RCNN的基础上，将ROI 池化层改为ROI 对齐层，并加入全连接层生成分割部分的掩膜，实现对目标物体的识别与分割。由于试验数据较少，本试验利用迁移学习方法，在MS COCO数据集预训练模型的基础上采用本试验数据训练，从而利用较少的数据获得更高的识别准确率。螺栓尾部表面区域粗分割的结果如图3所示。

图3 粗分割结果

1.3 基于边缘轮廓修正的螺栓尾部表面区域精分割

1.3.1螺栓尾部初始轮廓提取

螺栓尾部表面区域与周围区域有明显的灰度梯度变化，基于边缘特征，实现螺栓表面区域的初始轮廓提取。

1.3.1.1边缘检测

Canny边缘检测能够连接弱边缘与强边缘，通过检测算法提取螺栓尾部表面区域的边缘段。对检测结果进行连通域提取，得到边缘段集合C。Canny检测结果如图4所示。

图4 Canny边缘检测结果

1.3.1.2特征边缘段选择

Canny边缘检测得到的边缘段除了属于螺栓尾部表面区域边缘的圆弧段，还存在干扰边缘段，设置以下规则对特征边缘段进行选择。

1)计算各连通域面积。连通域面积最大的边缘段c_m为初分割结果边缘，属于干扰边缘段。连通域面积小于阈值5的边缘段，由于曲率不明显，也作为干扰边缘段。从集合C中排除以上干扰边缘段后，得到边缘段集合C1，如图5a所示。

2)对C1中的边缘段通过最小二乘法进行圆拟合，由此得到拟合圆集合O1{o1(x1,y1,r1)，…,on(xn,yn,rn)}，其中 (xi,yi)为圆心坐标，ri为圆半径。将初分割结果区域的范围长度记为l。拟合圆半径r>l/2或

l=max(max(Xroi)-min(Xroi),

max(Yroi)-min(Yroi))

(1)

式中：Xroi，Yroi为初分割区域的横纵坐标集合，由此得到边缘段集合C2，如图5b所示。

3)计算C2中由任两边缘段ci，cj得到的拟合圆之间的差异度fij，如式(2)所示：

(2)

当fij小于预设阈值，将ci，cj标记为同一集合。遍历完成后将集合内数量最多的边缘段集作为螺栓尾部表面区域的边缘段集合C3，如图5c所示。

图5 特征边缘段选择过程

4)计算边缘段集合C3的各拟合圆区域内所有像素点的灰度值方差。保留方差<200或方差最小的拟合圆边缘段，作为最后的特征边缘段集合C4。若C4为空集，则将边缘段集合C1作为特征边缘段集合C4。

1.3.1.3初始轮廓计算

通过以上设置规则得到的C4，即为螺栓尾部表面区域边缘的特征圆弧段集合。将C4中所有的边缘段利用最小二乘法进行圆拟合。将拟合圆的圆心和半径取整并分别记为(xc,yc)，rc。将该结果作为螺栓尾部表面区域初始轮廓，如图6所示。

图6 提取的初始轮廓

1.3.2轮廓修正

通过圆拟合的初始轮廓与实际轮廓有一定差距，需进一步修正。将初始轮廓点集按横、纵坐标大小分为4个区域，对4个区域集合坐标分别利用4个卷积核进行卷积操作,如图7所示。

图7 区域划分及各区域核积示意

若轮廓点上卷积值为负，则将该轮廓点八邻域中卷积核权值为1/3所在像素点作为新轮廓点。对所有初始轮廓点进行操作后，得到新的轮廓点集合,再利用Suzuki[14]提出的算法对新的轮廓点集合进行外边界点提取，得到修正轮廓。将修正后的轮廓作为最后分割结果，螺栓尾部表面区域精分割结果如图8所示。

图8 螺栓尾部表面区域精分割结果

1.4 基于三维点云坐标的螺栓直径计算

双目相机可获取图像中每个像素点到相机的距离，通过针孔成像原理即可得到每个像素点的三维坐标。利用螺栓尾部表面区域的三维点云计算螺栓直径。图9为螺栓直径测量示意，算法步骤如下。

图9 螺栓直径测量示意

1)螺栓尾部纵截面平面提取

本文采取基于螺栓尾部纵截面的面积拟合方式，实现螺栓直径的计算。由于双目相机的深度计算有一定的误差，得到的螺栓尾部表面区域像素点的三维坐标并没有严格在同一平面内，如图9a所示。因此，将分割得到的掩膜区域的三维点云，利用主成分分析在最大主成分向量方向投影，将投影结果近似为螺栓纵截面平面。原始三维点云主成分方向投影结果如图9b所示。

2)最小凸包查找

将投影得到的纵截面平面采样点集合，利用Graham提出的凸包检测算法[15]提取纵截面采样点最小凸包顶点，将最小凸包顶点坐标集合记为P{(x1,y1),(x2,y2) ，…， (xt,yt)}。螺栓尾部纵截面采样点的凸包检测结果如图9c所示。

3)尺寸计算

利用向量叉乘，计算最小凸包多边形的面积area，将该值近似为螺栓尾部面积并以此计算螺栓直径D，如式(3)，(4)所示。

(3)

(4)

2 试验结果及分析

2.1 试验数据

本系统采用双目相机作为前端数据采集设备，相机基线距离为12cm，视场110°。在输电铁塔施工现场采集804张铁塔图像及深度数据作为试验数据。

2.2 结果分析

试验共410个螺栓，包含两种型号，类型1直径为18.17mm，类型2直径为20.96mm。应用本文的自动测量系统对该螺栓样本集进行直径测量误差分析，结果如表1所示。

表1 螺栓直径测量误差分析

由表1可知，在测试的410个螺栓中，尺寸最小误差为0.001 3mm，平均误差为1.443 4mm。其中，类型1有120个，测量的最小误差仅为0.041 3mm，平均误差为0.676 4mm；类型2有290个，测量最小误差为0.001 3mm，平均误差为1.519 3mm。从测量误差来看，通过本系统进行螺栓直径测量结果最小误差仅为0.001 3mm，平均误差≤2mm。

螺栓直径测量结果误差分布如图10所示。由图10可知，随着误差值的增大，螺栓数量占比减小。同时，也可看出样本测量误差主要集中在<3mm的范围内，其占比达到了92.5%。

图10 螺栓直径测量结果的误差分布

2.3 螺栓尾部区域精分割前后直径测量结果对比分析

粗分割后的螺栓尾部表面区域与标准区域相比有一定差距，而粗分割的结果会直接影响最后的计算结果。因此，提出了基于边缘轮廓修正的分割方法对粗分割结果进行精分割。精分割前后直径测量结果误差分布对比如图11所示。

图11 精分割前后直径测量结果误差分布对比

在对螺栓尾部区域进行精分割后，系统平均误差从4.882 3mm降低至1.443 4mm。试验结果在一定程度上反映了基于边缘轮廓修正的精分割步骤存在的必要性。

由图11可知，在仅利用Mask-RCNN进行粗分割操作时，直径误差>5mm的螺栓个数占比>40%，在精分割操作后，直径误差分布主要集中在<3mm的范围内，其中<3mm的螺栓个数占比达92.5%。

3 结语

针对输电铁塔建造中由于安装错误尺寸的螺栓带来的安全隐患及人工检测耗时耗力的问题，提出了一套基于视觉信息的螺栓直径自动测量系统。试验结果表明，该系统在实际测量中误差在3mm内的占比为92.5%，且平均误差在2mm以内。