王宪,赵前程,谭建平(.湖南科技大学 机电工程学院,湖南 湘潭,40;.中南大学 高性能复杂制造国家重点实验室,湖南 长沙,40083)
应用区域估计的复杂背景多圆快速定位方法
王宪1,赵前程1,谭建平2
(1.湖南科技大学 机电工程学院,湖南 湘潭,411201;
2.中南大学 高性能复杂制造国家重点实验室,湖南 长沙,410083)
针对现有多圆定位方法应用于复杂背景高分辨率工业测量图像实时性差的问题,提出一种应用区域估计的复杂背景多圆快速定位方法。首先,依据Hough变换前2帧图像检测结果及环境噪声经验数据实现各圆特征对应的Sage-Husa滤波器的初始化;接着,应用滤波算法对特征的有效区域进行估计;最后,在有效区域内结合优化的特征定位有效判据及2种图像增强方法实现精确定位。研究结果表明:优化的特征定位有效判据较传统判据更加合理;特征提取速度与基于Hough变换的方法相比显著提高;应用该方法的测试系统可充分发挥视觉测量技术在灵活性及集成性上的优势,测试精度较传统系统提高33%以上。该方法可实现高分辨率图像多圆快速精确定位,具有实用价值。
计算机视觉;多圆检测;自适应滤波;收敛;区域估计
圆检测是许多计算机视觉测量系统的关键步骤之一,在工业测试领域有着广阔的应用前景[1-2]。近年出现的一些测试系统中,要求计算机视觉算法在复杂背景中实现快速精确多圆定位[3]。传统的圆检测方法包括模版法、重心法、矩估计法、曲线拟合法和Hough变换法[4-6]等,其中,只有Hough变换法能在复杂背景下实现多圆定位,但实时性差、精度低。随后出现的随机Hough变换、随机圆检测等算法可在一定程度上提高检测速度,但精度仍然较低。复杂背景下多圆定位是近年来的研究热点,国内外学者提出了许多新的方法,如:周勇亮等[7]提出了一种基于有效继承的随机变换圆检测累计加速算法,该方法通过在每次成功检测圆后不清空参数,并在下次检测中继承上次的有效采样来提升随机Hough变换圆检测算法的速度和抗干扰能力;叶峰等[8]提出了一种基于有序搜索的广义Hough变换快速圆检测算法,该算法利用圆的几何性质和梯度方向信息来有序搜索圆边缘点集,从而提高了Hough变换的速度;JIANG[9]提出了一种应用概率抽样和特征点的高效随机Hough变换,该方法通过优化的确定样本点和寻找候选圆策略来提高随机Hough变换的速度;SHI等[10]提出了一种应用多层分数傅里叶变换的高级随机Hough变换,应用该方法进行直线检测时,在现有Hough变换改进算法中鲁棒性最佳,也可用于多圆定位;王宪等[11]将Hough变换和曲线拟合法相结合,并进一步优化,提出了一种复杂工业环境下激光束中心快速精确定位方法,精度和实时性能满足低分辨率图像工业在线监测的要求。上述工作均是以Hough变换为基础,随着硬件技术的发展,工业检测图像的分辨率越来越高,这些方法用于高分辨率检测图像时耗时将迅速增加,实时性差仍然是比较突出的问题。卡尔曼滤波算法具有完备的理论基础和简便的算法[12-13],近年来,在计算机视觉领域将其应用于目标参数估计[14-15],以提高算法的实时性和鲁棒性。本文作者借鉴这一思想,将Sage-Husa自适应卡尔曼滤波算法应用于圆特征检测参数估计,结合在图像预处理及特征定位领域的其他研究成果[11,16-17],提出一种应用区域估计的复杂背景多圆快速定位方法。该方法给出了优化的特征定位结果有效性判据,对不同质量的检测图像采用不同的预处理方法,从而实现工业测量中实时性和精度较高的平衡。
本文方法是先应用Sage-Husa自适应卡尔曼滤波算法对各圆特征的有效区域进行估计,再在各有效区域中分别对圆特征进行中心定位,从而显著减少计算量,抑制背景及噪声对中心定位的不利影响,实现复杂背景下多圆特征快速定位。
1.1估计原理
由卡尔曼原理可知,线性离散系统状态方程为
式中:X (k )为系统的状态向量;Φ(k, k-1)为由k-1时刻到k时刻的系统状态转移矩阵;Γ (k, k-1)为系统噪声矩阵;W(k)为过程噪声向量。要对圆特征区域进行定位,需要的基本参数包括圆的中心位置坐标和半径。本文方法以平面内的匀加速直线运动来近似替代特征的运动规律,选取中心坐标(x,y)、中心坐标对时间的一阶导数x.,y.和半径r为状态变量,则
其中:T为2次检测的时间间隔。系统观测方程为
其中:Z(k )为系统观测向量;V(k)为系统观测噪声向量;H(k)为观测方程。在圆特征定位检测中,直接观测量为中心坐标(x,y)和半径r,则
确定系统状态方程和观测方程后,按照文献[16]所述简化Sage-Husa自适应滤波算法,根据系统模型和历史检测数据对圆的中心坐标和半径进行迭代估计。依据估计结果确定特征区域方法如图1所示。若k时刻某一特征的特征中心坐标为和,半径为,为确保圆特征全部在有效区域内,设置余量参数w(w为正数),则特征估计区域4个顶点坐标为:
图1 特征区域估计示意图Fig.1 Illustration of region estimation
1.2滤波器的初始化
在应用Sage-Husa自适应滤波算法时,需依据特征的初始状态建立定滤波器的初始条件。本文采用文献[11]中所述方法得到的观测值实现滤波器初始化。假设依据文献[11]中方法得到的前2个位置观测向量分别为和,那么滤波器状态向量初始化为
将特征运动系统视为线性高斯系统,过程噪声W(k )和观测噪声V(k)可处理成具有时变均值和时变协方差阵的不相关高斯随机过程,即
式中:δkj为克罗内克函数。假设过程噪声和观测噪声均是无偏的,即 q(k )=r(k )=0。协方差矩阵Q(k)和R(k)矩阵需要依据离线实验误差幅值和方差的历史统计数据进行初始化。
1.3优化的特征定位有效判据
依据卡尔曼滤波理论,在得到k次检测观测向量Z(k)后,可计算得到滤波器新息向量:
滤波器收敛判据为[18]
式中:γ为储备系数,γ>1;tr为矩阵的迹。圆特征半径参数只与标志大小及物距有关,在工业在线检测等许多特征定位的应用场合,这两者均是固定的,圆特征半径参数也不发生变化;而对特征运动精确建模通常无法实现,特征中心位置与预测值有一定偏差有时属于正常情况。因此,本文在使用滤波发散判据时,对新息向量中不同元素赋予不同权重,从而更好地判定测量野值,定义权重矩阵:
其中:a1,a2和a3分别为圆特征中心x坐标、y坐标及半径在野值判定过程中所占的权重。经研究发现,a1和a2取为1,a3在[2,5]范围内取值,能较好地判定定位结果是否有效。基于滤波器收敛判据,本文的特征定位有效判据定为
为了能快速完成特征定位检测并同时保证算法的抗干扰能力,先尝试简单的预处理后对特征定位。若结果无效,则采用一种强效方法增强边缘图像后再次尝试特征精确定位。
特征初次精确定位采用文献[11]中圆特定位方法,具体步骤为:1)采用Canny算法实现图像的边缘二值化;2)剔除链接长度与圆特征周长差别显著的边缘响应;3)采用最小二乘椭圆拟合法对特征定位。
初次精确定位后,得到新的观测向量Z(k),并按照上述判据判断结果是否有效,若结果无效,则对边缘二值化后图像先应用文献[16]中的极低质量边缘图像修复方法进行修复,再采用最小二乘椭圆拟合法进行定位,并依据结果更新观测向量Z(k)。此时,若新检测结果仍然无效,则认为该检测图像中该特征无法利用,直接将滤波器对k时刻状态估计值作为测量值,将该时刻检测结果排除,从而抑制野值对区域估计的影响。
采用本文方法对某一特征执行定位的检测流程如图2所示。单检测图像包含多个特征时,只需按该检测流程建立多个滤波器并行工作即可。
图2 特征定位流程Fig.2 Processes of feature location
4.1实验系统
本实验的检测图像来自柔性接头摆心现场测试系统,该系统为验证本课题组提出的机器视觉摆心测试方法[19]构建。系统工作时,液压驱动装置驱动安装在接头上的摆动体作摆动周期为3.2 s的平面摆动(为了便于分析系统的检测精度,实验采用标准定心接头代替实际测试的柔性接头)。图像采集元件在正面采集某一组标志物的运动图像,通过多圆定位算法及摆心计算几何模型得到摆心的位置,并可与同时工作的传统多位移传感器摆心测试系统进行精度对比。图像采集元件为德国image source工业相机DFK 23GM021,工作时采集频率为15 Hz,图像分辨率为1280像素×720像素;工业镜头为日本 Computar M3Z1228C-MP型手动变焦工业镜头,焦距调整范围为12~36 mm。图像处理算法是在PC机(主频1.9 G双核处理器、内存2 G)上通过Visual C++6.0编程实现。
4.2多圆定位实验
在现场测试中,在摆动体不同位置布置共计5组标志物,本实验采用的数据为其中圆特征数量最多的第3组标志物测试图像。采用本文方法对该组测试图像定位时,建立4个滤波器对图像中4个标志点分别进行区域估计,余量常数w取值为7.5像素,使用特征定位结果有效判据时贮备系数γ取为3.5,通过物/像比例标定得到单像素大小为 0.190 6 mm× 0.190 6 mm。过程噪声和观测噪声的协方差矩阵依据先验统计数据分别初始化为:
图3 区域估计结果Fig.3 Region estimation results
本文特征区域预测方法半周期特征预测结果如图3所示。由图3可知:本文方法对所有位置的特征区域均进行了有效预测,在某些时刻,滤波器对特征参数的预测出现了明显偏差(如第20帧和第25帧),导致特征没有出现在预测区域的中心,但由于余量常数w取值恰当,特征并没有出现在预测区域之外,且由于Sage-Husa滤波方法能够对观测噪声进行在线自整定,后续时刻特征又逐渐回到了预测区域的中心位置。这表明本文的特征区域方法是有效的。在该过程中,位于图像左上方的圆特征初次定位后依据标准滤波收敛判据和本文提出的特征结果有效判据计算得到的贮备系数γ如图4所示。使用本文判据时,权重矩阵中参数a1=1,a2=1,a3=3。该特征在第17帧检测图像中质量较差,初次定位结果无效,该次定位后采用标准判据计算得到的γ为4.3,本文判据计算得到的γ为7.2。在其他检测图像中,该特征的初次定位结果均是有效的,由标准判据计算得到的γ在2.9以内,由本文判据计算得到的γ在1.7以内。结果表明,采用本文的特征结果有效判据在定位检测结果有效时γ的波动范围更小,而当出现无效检测结果时,本文判据计算得到的γ增加更显著,本文判据更合理。
图4 初次定位后γ计算结果Fig.4 Calculation results ofγafter initial positioning
该组检测图像中各特征的实际中心位置无法得知,实验中确定各特征中心坐标真值的方法如下:人工以特征中心为区域中心对特征有效区域进行定位;在有效区域内按照文献[20]中的人工分割方法对特征边缘真值进行提取;最后采用最小二乘椭圆拟合法定位特征中心。本文方法得到的该组数据180个特征定位均方根误差为2.8 nm,文献[11]中方法得到的该组数据特征定位均方根误差为2.3×10-7m;除了第17帧图像左上方的圆特征以外,本文方法和该方法得到的中心坐标完全一致,第17帧图像质量较差,采用该方法定位误差为0.108 mm,本文方法定位误差为0.002 mm。本文方法集成了文献[16]中提出的激光边缘图像修复方法,对于质量较差的检测图像仍然能获得较高的定位精度。本文方法鲁棒性更好。
采用本文方法和文献[11]中方法的滤波器初始化后各帧图像特征定位耗时平均值如图5所示。从图5可见:对于大多数检测图像,采用本文方法定位耗时在110 ms上下波动,只有第17帧图像四特征定位平均耗时为215.3 ms。这是因为本文方法对第17帧图像左上方的圆特征实施了边缘修复及再次定位操作,而其他帧图像特征均没有实施该操作。文献[11]中方法特征定位平均耗时为632 ms。本文方法用Sage-Husa自适应滤波算法替代耗时的Hough变换实现对特征区域的有效定位,特征提取速度显著提高,表明本文方法可实现高分辨率图像圆特征快速精确定位。
图5 各帧图像特征定位平均耗时Fig.5 Feature location average time of each image
4.3工程应用
将本文方法应用于柔性接头摆心测试系统的标志物中心定位,依据第3组标志物的特征提取结果和文献[19]中的摆心计算方法计算摆心坐标,并取其平均值(减少随机误差)。1个完整摆动周期摆心测试结果与同一过程多位移传感器摆心测试系统得到的测试结果如图6所示。在测试过程中,为便于分析系统精度,采用标准的定心接头代替柔性接头。系统坐标系原点定在理论摆心处,水平向右方向为X轴正方向,竖直向上方向为Z轴正方向。
原有多位移传感器摆心测试系统运行结果表明:测试现场摆动驱动装置工作时的振动会对测试基准稳定性带来不利影响。由图6可知:采用视觉摆心测试方法,可通过选择稳定性较好的位置布置标志物来抑制测试的振动系统误差(第3组标志物所处位置固定最紧固),摆心2个方向的测试随机误差均可控制在±1.6 mm以内;而采用位移传感器的测试系统完成测试需要2个较长的物理基准面,集成性差,不能消除基准振动产生的系统误差;摆心Z轴方向的测试结果大幅度波动,体现出明显的系统误差;摆心X轴方向测试结果虽然没有大幅度波动,但排除测量野值后的测试精度也只能控制在±2.4 mm以内。应用本文方法的视觉测试系统精度较原有多位移传感器摆心测试系统提高33%以上。
图6 测试结果对比曲线Fig.6 Comparison curves of test results
1)将Sage-Husa自适应滤波算法及曲线拟合法相结合,提出了一种复杂背景多圆快速定位方法。该方法给出了优化的特征定位结果有效性判据,集成了图像预处理及特征定位领域的研究成果,对不同质量的检测图像采用不同的预处理方法,从而实现了工业测量中实时性和精度的平衡。
2)本文方法能对复杂背景下多特征的有效区域进行准确定位,其特征定位结果有效性判据比传统的滤波收敛判据更合理,对于分辨率为1 280像素×720像素的高清测量图像,特征定位均方根误差为2.8 nm,平均耗时小于215.3 ms。该方法精度较高,实时性好,鲁棒性强。
3)应用本文方法的柔性接头摆心测试系统可充分发挥视觉测量技术在灵活性及集成性上的优势,测试精度较原有多位移传感器摆心测试系统提高33%以上。
[1]CUNEVT A,CIHAN T.EDCircles:a real-time circle detector with a false detection control[J].Pattern Recognition,2013, 46(3):725-740.
[2]曹健,陈红倩,毛典辉,等.基于局部特征的图像目标识别问题综述[J].中南大学学报(自然科学版),2013,44(S2): 258-262. CAO Jian,CHEN Hongqian,MAO Dianhui,et al.Survey of imageobjectrecognitionbasedonlocalfeatures[J]. Journal of Central South University(Science and Technology), 2013,44(S2):258-262.
[3]ERIK C,VALENTIN O E,FEMANDO W,et al.Automatic multiple circle detection based on artificial immune systems[J]. Expert Systems with Applications,2012,39(1):713-722.
[4]DASGUPTA S,DAS S,BISWAS A,et al.Automatic circle detection on digital images with an adaptive bacterial foraging algorithm[J].Soft Computing,2010,14(11):1151-1164.
[5]卢泉,刘上乾,王会峰.基于残差修剪的激光光斑高精度定位方法[J].光学学报,2008,28(12):2311-2315. LU Quan,LIU Shangqian,WANG Huifeng.Precise location of laser spot center based on residual pruning[J].Acta Optica Sinica, 2008,28(12):2311-2315.
[6]MURILLO E A,MARTINEZ M E,MIRANDA M M,et al. ImplementationofHoughtransformforfruitimage segmentation[J].Procedia Engineering,2012,35(12):230-239.
[7]周勇亮,金燕,何萍,等.随机Hough变换圆检测累计加速算法[J].计算机辅助设计与图形学学报,2014,26(4):574-579. ZHOU Yongliang,JIN Yan,HE Ping,et al.Accelerated randomized Hough transform for circle detection using effective accumulation strategy[J].Journal of Computer-Aided Design& Computer Graphics,2014,26(4):574-579.
[8]叶峰,陈灿杰,赖乙宗,等.基于有序Hough变换的快速圆检测算法[J].光学精密工程,2014,22(4):1105-1111. YE Feng,CHEN Canjie,LAI Yizong,et al.Fast circle detection algorithm using sequenced Hough transform[J].Optics and Precision Engineering,2014,22(4):1105-1111.
[9]JIANG Lianyuan.Efficient randomized Hough transform for circle detection using novel probability sampling and feature points[J].International Journal for Light and Electron Optics, 2014,123(20):1834-1840.
[10]SHI Daming,ZHENG Liying,LIU Jigang.Advanced Hough transform using a multilayer fractional Fourier method[J].IEEE Transactions on Image Processing,2010,19(6):1558-1566.
[11]王宪,谭建平,全凌云,等.复杂工业环境下激光束中心快速精确定位方法[J].湖南大学学报(自然科学版),2012,39(12): 43-49. WANG Xian,TAN Jianping,QUAN Lingyun,et al.Fast and precise location method of the laser beam center point in complex industrial environment[J].Journal of Hunan University (Natural Sciences),2012,39(12):43-49.
[12]NICHOLASA,MARIA A,MARIAK,etal.Optimal decentralized Kalman filter and Lainiotis filter[J].Digital Signal Processing,2013,23(1):442-452.
[13]BHOTTO M Z A,ANTONIOU A.Robust set-membership affine-projection adaptive-filtering algorithm[J].IEEE Transactions on Signal Processing,2012,60(1):73-81.
[14]AMIR H M,ARASH A L.Applying mean shift,motion informationandKalmanfilteringapproachestoobject tracking[J].ISATransactions,2012,51(3):485-497.
[15] 孔军,汤心溢,蒋敏,等.基于多尺度特征提取的 Kalman滤波跟踪[J].红外与毫米波学报,2011,30(5):446-450. KONG Jun,TANG Xinyi,JIANG Min,et al.Target tracking based on multi-scale feature extraction Kalman filter[J].Journal of Infrared and Millimeter Waves,2011,30(5):446-450.
[16] 谭建平,王宪.应用像素邻接特性分析的激光边缘图像修复[J].光学精密工程,2013,21(10):2728-2735. TAN Jianping,WANG Xian.Laser edge image inpainting based on pixel adjacency analysis[J].Optics and Precision Engineering, 2013,21(10):2728-2735.
[17] 王宪,谭建平,陈国强,等.改进的Sage-Husa算法及其在工业在线检测中的应用[J].重庆大学学报,2013,36(12):17-20. WANG Xian,TAN Jianping,CHENG Guoqiang,et al.Improved Sage-Husa algorithm and its application in industrial online measurement[J].Journal of Chongqing University,2013,36(12): 17-20.
[18]石勇,韩崇昭.自适应UKF算法在目标跟踪中的应用[J].自动化学报,2011,37(6):755-759. SHI Yong,HAN Chongzhao.Adaptive UKF method with applications to target tracking[J].Acta Automatica Sinca,2011, 37(6):755-759.
[19]谭建平,王宪,文跃兵.一种基于机器视觉平面摆动的摆心测试方法:201110382185.3[P].2012-07-04. TAN Jianping,WANG Xian,WEN Yuebing.A computer visionbased plane swing center testing method:201110382185.3[P]. 2012-07-04.
[20]HOOVER A,JEAN-BAPTISTE G,JIANG X.An experimental comparison of range image segmentation algorithms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1996, 18(7):673-689.
(编辑陈灿华)
Multiple circle location method using region estimation in complex background
WANG Xian1,ZHAO Qiancheng1,TAN Jianping2
(1.College of Electromechanical Engineering,Hunan University of Science and Technology,Xiangtan 411201,China; 2.State Key Laboratory of High Performance and Complex Manufacturing,Central South University, Changsha 410083,China)
A multiple circle location method using region estimation in complex background was proposed in light of the poor real-time performance of existing circular positioning method applied in high-resolution industrial measurement image with complex background.Firstly,the initialization of the Sage-Husa filter for each circular feature was realized by the first two images testing results through Hough transform and the environmental noise empirical data.Then,the filtering algorithm was employed to estimate the effective area of the feature.At last,precise positioning combined the optimized positioning valid criterion and two image enhancement methods in the feature effective area were achieved. The results indicate that the optimized positioning valid criterion is more reasonable than traditional criterion,feature extraction speed is significantly improved compared with the method based on Hough transform and has better robustness. Moreover,test system employing this method can take full advantages of vision measurement technology in terms of flexibility and integration,and test precision is 33%greater than traditional systems.It can achieve fast and precise multiple circle location of the high-resolution image and has a practical value.
computer vision;multiple circle detection;adaptive filter;convergence;region estimation
王宪,博士,讲师,从事工业在线检测理论与方法研究;E-mail:15111388435@163.com
TP391
A
1672-7207(2016)07-2266-07
10.11817/j.issn.1672-7207.2016.07.013
2015-07-18;
2015-09-22
国家自然科学基金资助项目(51405154,51275169);国家重点基础发展计划(973计划)项目(2014CB049405) (Projects(51405154,51275169)supported by the National Natural Science Foundation of China;Project(2014CB049405)supported by the National Basic Research Development Program(973 Program)of China)