马敬奇 卢亚 李柳琼 卢杏坚 何峰 钟震宇
基于Canny算子和改进型Hough变换的边缘定位方法*
马敬奇1卢亚2李柳琼3卢杏坚1何峰1钟震宇1
(1.广东省智能制造研究所广东省现代控制技术重点实验室广东省现代控制与光机电技术公共实验室2.广东华中科技大学工业技术研究院广东省制造装备数字化重点实验室3.工业和信息化部电子第五研究所)
针对矩形目标外边框定位问题,提出一种结合Canny算子和改进型Hough变换的边缘定位方法。获取待检测图像后进行亮度补偿,使图像亮度分布均匀;标记标准目标Canny边缘提取时的最佳阈值和Hough变换时的最佳阈值,并将该标记阈值用于动态边框提取,以获取疑似目标外边框的直线;利用外边框之间的线性关系组成目标外边框提取的判定条件,实现目标外边框的准确定位。实验结果表明:该方法能够有效定位目标外边框,所检测到的目标外边框可用于目标定位、测量等。
边缘定位;Canny算子;Hough变换;亮度补偿
图像采集设备获得的图像含有丰富的边缘信息,而直线是组成边缘的重要元素。直线为视觉感知提供重要的引导作用,可用于图像理解并区分物体,有利于后期处理过程中目标的定位、测量、统计等。因此,研究如何准确提取图像中目标的边缘具有重要意义。
针对边缘提取及直线检测,学者们已展开大量的研究工作,并取得一定的成果。文献[1]利用梯度方向直方图提取直线轮廓,该方法无需阈值即可自动提取直线边缘,但对多个直线目标同时检测时失效;文献[2]从时频和空间变换出发,改进图像中直线检测算法,但该算法检测128×128的图像耗时213 ms,检测效率低,不能满足高速检测要求;文献[3]通过边缘连接实现了一种快速直线检测算法,精确度和速度均优于霍夫变换;文献[4]实现一种基于单水平集的多目标轮廓提取算法,但该算法对处理的图像要求非常苛刻,实用性并不强;文献[5]研究了建筑轮廓角点的提取方法,利用轮廓密度估计方法较为准确地提取出建筑轮廓网格;文献[6]利用梯度值降低Hough变换的计算量,但计算误差导致直线方向不确定;文献[7]利用多个水平集函数建立模型实现多目标轮廓的提取,但随着水平集的增多模型的复杂度变大。
实际的直线检测过程比较复杂,目标除了自身边缘直线外还含有其他线性元素,易带来直线干扰。目前缺乏在复杂环境下准确提取矩形目标边缘的有效方法。为此,本文提出一种基于Canny算子和改进型Hough变换的边缘定位方法,首先将原始图像经过亮度补偿得到亮度变化均匀的图像;然后改进Canny算子和Hough直线检测算法;最后采用Canny算子和Hough直线检测算法相结合的方法,实现矩形目标边缘的精准定位。
本文边缘定位方法如图1所示。在获取原始图像后,首先进行亮度补偿,提高图像质量;其次为自适应的获取图像边缘,经过改进Canny算子动态提取图像边缘;接着利用改进的Hough变换初步确定疑似目标边缘的直线;最后通过边缘判定规则实现目标外边框的精确定位。
在检测过程中,光源亮度变化使图像局部亮度、对比度有所差异,需要进行图像亮度补偿[8],以获得高质量图像。
本文采用基于灰度直方图的图像均衡化方法[9]对待检测图像进行亮度补偿。当图像的灰度呈均匀分布时,图像所包含的信息最明显,图像质量也最好。原图像经过灰度级映射,变换成新的接近均匀分布的灰度级,再利用新的灰度级直方图修正原图像,灰度级分布范围为[0,]的离散分布。图像亮度补偿过程:
1) 设原图像灰度级为∈[0,],经过灰度级映射后的灰度级为∈[0,];
图1 算法流程图
考虑到生产过程中,对同一类目标外边框的提取是在相同环境中进行的,本文采用Canny算子与Hough直线检测相结合的方法定位目标外边框,实现目标与背景分离开。
3.1 Canny算子的改进
Canny算子有高信噪比、高定位精度特点[10],对Canny算子做如下改进:
1) Canny算子采用标准目标模板进行边缘检测时的最佳边缘提取阈值、,获取待检测图像边缘;
2) 经Canny算子检测后,统计所获取的边缘图像中的连通域面积,并采用标准目标模板边缘检测时标记的面积阈值,对待检测图像的连通域进行筛选,去除面积小于的连通域。
3.2 改进的Hough变换
经改进Canny算子检测后,得到目标图像的边缘图,包含目标外边框的边缘直线。接着对边缘图像进行Hough直线检测[11],可能检测出其他满足直线特点的线段,这会给外边框的定位带来干扰。为此,本文将Hough变换作如下改进:
1) 在对标准目标模板进行边缘提取时,记录外边框的4个边缘长度、、、,其中,且;
(注:理论上矩形的对边是相等的,但相机所拍摄的图像精度存在误差,在像素级上对边长度存在小范围差异,设误差范围在0.05%之内,同样适用检测图像)
经过以上处理,所获取的边缘图像中含有目标外边框和满足Hough变换条件的直线。为获得精确的目标外边框,设目标外边框上边为,下边框为,左边框为,右边框为。目标边框是正规矩形,因此满足对边相等且斜率相同的特点。故此,对经过改进Hough变换检测到的直线进行如下判定:
目标外边框提取的具体过程如下:
Step1:计算每条直线段的中点坐标,组成中点坐标集合,,其中为直线段总数;
Step5:对于不满足判定条件3的直线,查看是否有相同中点坐标的直线,若有则取下一个点所在的直线段继续进行Step4,直到找到满足斜率判定条件的直线;若没有满足条件的,则返回Step2中的集合,重新选择边界直线,选取方法为:通过判定条件2,若确认所在直线不满足,则加1;若确认所在直线不满足,则减去1;若确认所在直线不满足,则加1;若确认所在直线不满足,则减1,返回Step3;
Step6:确认了边界所在直线后,联立4条直线建立方程组,求出相邻2条直线的交点坐标、、、;
Step7:根据各条直线之间的交点求出4个边框的长度,并与标准的目标4个边框长度、、、对比,若确定的边框长度分别与对应的标准边框长度相同,则结束外边框提取过程;若存在与对应的标准边框长度不同的,则返回Step5,继续进行提取。
为验证本文算法的有效性,选取玩具拼接板图像为实验对象进行外边框的定位。实验所用硬件平台为内存8G 、Intel(R) Core(TM)i7- 6500U CPU、操作系统64位的计算机,软件系统为VS2010。
1) 调节与配置检测软件、相机和光源,并用相机拍摄标准拼接板图像,再利用Canny算子提取标准拼接板图像的边缘,调节Canny边缘提取阈值,记录当拼接板外边框完整地被检测到时的边缘提取阈值;接着Hough直线检测并记录高低阈值,标记4条完整外边框的长度。标准拼接板原图像如图2(a)所示,提取到完整拼接板外边框的图像如图2(b)所示。提取到完整拼接板外边框时边缘阈值、4条边长度如表1所示,其中为左边缘、为上边缘、为右边缘、为下边缘。
图2 (a) 拼接板原图 图2 (b) Canny提取最佳边框
表1 Canny最佳提取阈值和拼接板外边框长度
2) 保持光源环境不变,对待检测的拼接板图像进行亮度补偿,亮度补偿后的图像和补偿后灰度直方图如图3所示。亮度补偿后,拼接板上下边缘靠近光源的强光区域亮度得到弱化,整个图像亮度分布更均匀。对比亮度补偿前后图像的直方图,补偿后灰度级趋近均匀分布,而原直方图灰度分布较为集中。
图3(a) 待检测原图像 图3 (b) 亮度补偿后的待检测图像
3) 采用改进Canny算子和改进Hough直线检测相结合的方法提取拼接板,检测效果如图4所示。经过改进Canny算子提取到的拼接板边缘如图4(a)所示,从图中可以看出外边框完整保留,同时还保留其他边缘细节,并去除了块状、斑点。图4(a)经过改进后的Hough变换检测到的直线如图4(b)所示,图4(a)经过原Hough变换检测到的直线如图4(c)所示。图4(b)与图4(c)相比图中的直线数量明显减少,仅留下符合条件的直线,其中包括目标的外边框。
4) 利用本文所提目标外边框的判断方法得到的目标外边框如图5所示。从图5可以看出所提判断方法准确的定位到拼接板的外边框,将目标区域完整地从图像中分割出来。
图4(a) 改进的Canny边缘检测
图4(b) 改进的Hough直线检测 图4(c) 原Hough直线检测
图5 动态检测到的目标边缘
本文提出一种结合改进Canny算法和改进型Hough直线检测算法的目标外边框定位方法,实验表明:1) 该方法在保证完整提取目标外边框的同时减少了非目标边框直线的输出,提高了Hough直线算法的检测效率;2) 通过直线特征分析和计算,实现目标外边框的准确定位。边缘定位结果可用于目标的定位、测量等。
[1] 张小虎,李由,李立春,等.一种基于梯度方向直方图的直线轮廓提取新方法[J].光学技术,2006,32(6):824-826.
[2] 赵小川,罗庆生,陈少波.改进型图像中的直线快速检测[J].光学精密工程,2010,18(7):1654-1660.
[3] 董晶,杨夏,于起峰.基于边缘连接的快速直线段检测算法[J].光学学报,2013,33(3):220-227.
[4] 龚永义,罗笑南,黄辉,等.基于单水平集的多目标轮廓提取[J].计算机学报,2007,30(1):120-128.
[5] 童礼华,程亮,李满春,等.地面LiDAR数据中建筑轮廓和角点提取[J].中国图象图形学报,2013,18(7):876-883.
[6] Galambos C, Kittler J , Matas J. Gradient based progressive probabilistic Hough transform[J]. Image Signal Processing , 2001, 148(3):158-165 .
[7] Vese L A , Chan T F. A multiphase level set framework for image segmentation using the Mumford and Shah model[J]. International Journal of Computer Vision, 2002,50(3):271-293.
[8] 袁兴生,王正志.亮度补偿变换矩阵的颜色恒常性算法[J].中国图象图形学报,2012,17(9):1055-1060.
[9] 韩殿元.低照度下视频图像保细节直方图均衡化方法[J].计算机仿真,2013,30(8):233-236,300.
[10] 李俊山,马颖,赵方舟.改进的Canny图像边缘检测算法[J].光子学报,2011,40(增刊):50-54.
[11] 张振杰,郝向阳,刘松林,等.基于Hough一维变换的直线检测算法[J].光学学报,2016,36(4):166-173.
Edge Location Method Based on Canny Operator and Improved Hough Transform
Ma Jingqi1Lu Ya2Li Liuqiong3Lu Xingjian1He Feng1Zhong Zhenyu1
(1.Guangdong Institute of Intelligent Manufacturing Guangdong Key Laboratory of Modern Control technology Guangdong Open Laboratory of Modern Control & Optical, Mechanical and Electronic Technology 2.Guangdong HUST Industrial Technology Research Institute, Guangdong Province Key Lab of Digital Manufacturing Equipment 3. CEPREI)
In this paper, an edge location method based on Canny operator and improved Hough transform is proposed to solve the edge localization problem of rectangular object. After obtaining the image to be detected, the brightness compensation is carried out, so that the brightness distribution of the image is uniform. The best threshold values of Canny operator are marked when extracting the standard target edge. The best threshold values of Hough transform are marked when detecting the standard target line. The tag threshold values are used to dynamic extract the border to obtain the suspected outer border lines of the object. After obtaining the suspected lines, use the linear relationship between the outer frames, the decision criteria of the extraction of the target outer frame are constructed and achieve the exact positioning of the target's outer borders. Experimental results show that the proposed algorithm can effectively locate the outer frame of target, and can be used for location, measurement and so on.
Edge Location; Canny Operator; Hough Transform; Brightness Compensation
马敬奇,男,1988年生,硕士,主要研究方向:机器视觉、运动控制。E-mail: majingqiauto123@126.com
广东省科技计划项目(2011A060901026)