双目立体视觉技术在潜孔钻机钻孔定位中的应用

吴万荣，史 建，徐 智

(中南大学机电工程学院，湖南 长沙 410083)

潜孔钻机主要用于露天矿山的开采、建筑基础开挖、建材、水利、交通以及国防建设等多种工程中的凿岩钻孔工作，具有钻孔深、钻孔效率高、适应范围广等特点，是目前应用最为广泛的大型凿岩钻孔设备之一.钻孔定位是潜孔钻机工作的基础，钻孔之前需先对打孔位置用孔位标识进行标识.目前，国外已研制出模块化的计算机钻车控制系统，定位和钻孔都由RCS(rig control system)自动控制，操作员角色转变为监督员，自动化水平较高［1-3］.随着人力资源成本的提高以及对产品使用性能和质量要求的提高，国内也开始了这方面的研究［4］，目前尚处于初级阶段，还需要大量的研究以及实际应用工作.

笔者将立体视觉技术引入潜孔钻机钻孔定位领域，提出采用隶属度函数为梯形函数的模糊阈值分割方法实现对孔位标识的识别分割，并利用图像的几何不变矩原理提取标识质心，从而获取孔位的三维位置信息，为实现潜孔钻机钻孔自动化钻孔定位提供技术基础.

1 双目立体视觉技术

双目立体视觉是计算机视觉的一个重要分支，它是由两台或一台摄像机经过平移或者旋转拍摄含有目标的两幅图像，通过计算目标在两幅图像中的视差，由三角法测量原理求取目标点的三维坐标信息.最常用的摄像机成像几何模型为透视投影模型［5-6］，如图1 所示.

图1 双目立体视觉几何模型

设Pl(xl，yl)和Pr(xr，yr)为目标点P在两摄像机成像平面上的图像坐标.选取两摄像机中心Cl，Cr为摄像机坐标原点，连线ClCr向右为x轴的正方向，垂直于水平面向下为y轴的正方向，垂直于成像平面并指向目标点P为z轴的正方向.为计算方便，选取世界坐标系OwXwYwZw与左摄像机坐标系Clxlylzl重合.在求取目标点P的世界坐标时，需先将经图像处理得到的像素坐标转换为图像坐标，即

式中:(x，y)为目标点的图像坐标;(u，v)为目标点的像素坐标;(u0，v0)为摄像机的图像中心;dl为摄像机像元尺寸.

则由三角测量原理可求得目标点P的世界坐标(Xw，Yw，Zw)为

式中:(xl，yl)为左摄像机图像坐标;(xr，yr)为右摄像机图像坐标;f为摄像机焦距;b为双目摄像机基线.

2 立体视觉系统组成

立体视觉系统由双目摄像机、1394图像连接线、1394图像采集卡以及工控机组成.摄像机采用PointGrey公司的Bumblebee XB3摄像机，为提高定位精度，采用基线为24 cm的两个摄像机，其分辨率为1280×960.Bumblebee XB3摄像机参数如下:b=0.240125 m，f=3.8 mm，dl=3.75 μm，u0=644.612像素，v0=474.974像素.

由于潜孔钻机钻孔时具有较大的冲击振动，因此采用ECM-945GSE型工控机.双目摄像机通过1394图像连接线与工控机上的1394图像采集卡相连接.

视觉平台结构如图2所示.

图2 立体视觉系统结构图

由图2可以看出，以LabVIEW作为程序的框架，采用PointGrey公司提供的FlyCapture软件包进行双目摄像机初始化设置和数据采集，以及Triclops Stereo Vision SDK软件包进行图像校正，通过读取双目摄像机的内置校正参数，无需棋盘格便可以输出校正过的精确图像，供下一步数据处理以及计算.采用OpenCV函数库进行图像处理程序的编写.

3 标识识别与中心提取

阈值分割法是目前最常见、最简单的图像分割技术，其中阈值的选取直接影响到图像分割的质量.灰度直方图是利用灰度值进行图像分割的理论基础，它表示图像中在某种灰度等级的灰度值i的像素数ni与灰度值i的对应关系.在一幅图像中，背景与目标的边界点属于背景还是目标的模糊性最大.而对于其他点，其灰度值与分割阈值距离越大模糊性越小，这就是模糊集合理论应用于阈值分割的理论基础［7-10］.设μ(imn)为在大小为M×N的图像I中像素(m，n)在L级灰度上的隶属函数，则图像I可表示为

模糊图像分割法是通过计算图像的模糊率γ(I)来反映图像的模糊性度量，进而选取图像分割所需的阈值.模糊率越小，图片中目标与背景分离效果越好.模糊率γ(I)为

选取隶属度函数为梯形函数的模糊阈值分割方法进行图像分割，梯形隶属度函数如式(5)所示，函数图形和分布如图3所示.模糊集合由a，b，c，d确定，区间［0，(b+c)/2］段表示图像中“暗灰度值”像素点的集合，区间［(b+c)/2，L］段表示图像中“亮灰度值”像素点的集合，并按式(6)对图像进行模糊阈值分割.

图3 隶属度函数μ(imn)形状及分布

则可以得出

式中T1，T2为图像的黑白阈值.

将分割后图像的不同连通区域采用8领域标记法进行标记，将像素总数远小于或远大于孔位标识区域的连通区域滤除.分割后图像的质心便是孔位中心.利用图像的几何不变矩原理可求得被分割区域的质心.对于大小为M×N的图像f(x，y)，区域密度的总和即为其零阶矩:

设M10和M01分别为图像对u和v轴的惯性矩，则有

式中f(x，y)可理解为一个像素的质量.则被分割区域的质心坐标为

标识识别与中心提取的结果如图4所示，十字标记处即为孔位中心.

图4 目标分割及特征提取结果

4 试验结果与分析

试验在基于文中所建立的立体视觉系统以及ECM-945GSE型工控机的TD138BM潜孔钻机自动定位试验台上实现，如图5所示.

采用直径为200 mm的白色圆形标识进行孔位标识，摄像机距离地面距离为2 m.进行了30次定位试验，其中一组试验的孔位标识原始图像如图6a，6b所示.经图像分割、像素标记、质心提取等图像处理操作后可提取分割区域的质心坐标信息，如图6c，6d中十字标记处所示，即为所要提取的孔位标识中心.

图5 TD138BM潜孔钻机

图6 孔位识别与提取试验

由图6可见，采用文中提出的图像分割及目标提取方法能够有效分割孔位标识并准确获得孔位标识中心位置信息.需要注意的是，为获得较好的分割效果，选取的孔位标识应尽量与背景有较大的灰度差别.

潜孔钻机自动定位结束后，通过试验定位误差，如图7所示.

图7 立体视觉定位试验误差

由图7可见，采用文中提出的立体视觉系统定位误差主要分布在15 mm到25 mm之间，需要指出的是，此误差中还包含由于潜孔钻机自动定位控制过程带来的误差.此定位误差能够满足潜孔钻机对钻孔定位精度的要求.

5 结论

1)建立了基于立体视觉的潜孔钻机自动定位系统，采用以灰度直方图为基础的模糊阈值分割实现了对孔位标识有效信息的提取.由于潜孔钻机工作环境复杂多变，要实现更为通用有效的图像分割还需要进一步的研究与试验.

2)进行了潜孔钻机自动定位试验，结果表明，建立的潜孔钻机立体视觉定位系统定位误差优于25 mm，可有效地提高潜孔钻机定位的精度.

References)

［1］Ramström M.Atlas Copco drill rigs for mine automation and communication-a totally new technology platform for advanced mining systems［J］.CIM Magazine，2005，98:1088.

［2］Xiong Qingshan，Li Jia，Liu Shuangliang，et al.The computerized simulation software development of the pneumatic DTH［J］.Advanced Materials Research，2011，doi:10.4028/www.scientific.net/AMR.317-319.2113.

［3］Vörde P，Westin J，Sangireddy S，et al.Rig control system:WIPO patent 2012173563［P］.2012-12-21.

［4］陈 志.一种新型旋挖钻机回转定位系统的设计［J］.筑路机械与施工机械化，2013(1):76-77，81.Chen Zhi.Design of new type of rotary positioning system for rotary drilling rig［J］.Road Machinery＆ Construction Mechanization，2013(1):76-77，81.(in Chinese)

［5］顾 勇，何明昕.基于机器视觉的啤酒瓶检测系统研究［J］.计算机工程与设计，2012，33(1):248-253.Gu Yong，He Mingxin.Research on beer bottle detection system based on machine vision［J］.Computer Engineering and Design，2012，33(1):248-253.(in Chinese)

［6］孙 俊，芦 兵，毛罕平.基于双目识别技术的复杂背景中果实识别试验［J］.江苏大学学报:自然科学版，2011，32(4):423-427.Sun Jun，Lu Bing，Mao Hanping.Fruits recognition in complex background using binocular stereovision［J］.Journal of Jiangsu University:Natural Science Edition，2011，32(4):423-427.(in Chinese)

［7］Cuevas E，Zaldivar D，Pérez-Cisneros M.A novel multi-threshold segmentation approach based on differential evolution optimization［J］.Expert Systems with Applications，2010，37(7):5265-5271.

［8］Lopes N V，Mogadouro do Couto P A，Bustince H，et al.Automatic histogram threshold using fuzzy measures［J］.IEEE Transactions on Image Processing，2010，19(1):199-204.

［9］蔡健荣，周小军，王 锋，等.柑橘采摘机器人障碍物识别技术［J］.农业机械学报，2009，40(11):171-175.Cai Jianrong，Zhou Xiaojun，Wang Feng，et al.Obstacle identification of citrus harvesting robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2009，40(11):171-175.(in Chinese)

［10］Liu Dong，Jiang Zhaohui，Feng Huanqing.A novel fuzzy classification entropy approach to image thresholding［J］.Pattern Recognition Letters，2006，27(16):1968-1975.