基于改进阈值分割与形态学的螺钉目标检测算法*

冯 娟，万 星

(四川师范大学 工学院，成都 610101)



基于改进阈值分割与形态学的螺钉目标检测算法*

冯 娟，万 星

(四川师范大学 工学院，成都 610101)

为了在外部环境干扰严重的条件下提高螺钉智能装配质量，文章提出了基于改进阈值分割与形态学的螺钉装配质量检查算法。首先，设计了融合最大方差与自适应阈值的分割算法，完成目标分割，防止欠分割与过度分割。其次，考虑去棱角与突出目标中心，改进了形态学结构分子，联合高帽运算，去除噪声干扰，进一步精确分割目标。然后提取目标纹理特征，通过标准特征值，完成螺钉目标检测。最后编程实现整个系统，并且在实际工程环境中使用。实验结果表明：与当前螺钉检测技术相比，文中算法拥有更高的检查正确率与稳定性。

螺钉装配质量检测；阈值分割；形态学；高帽运算；最大方差

0 引言

近年来，在制造业中以智能设备代替人力，从而提高生产效率与制造质量，已成行业的全球革新趋势。智能设备作为工业4.0架构中的基础设施，需具有超越人眼与人脑的功能，来完成原来人力对应的工作[1-2]。在很多制造业大型机械零部件中，都需要用到大量螺丝来固定机构，以往工厂都依靠安排大量工人来完成打螺丝和检查工作，不仅效率低下、成本高，而且螺丝漏打不良高发，严重影响产品质量[3-4]。在这样的背景下，有些自动化设备公司开发出了自动打螺丝与检查设备，设备先自动将螺丝打入螺丝孔，然后用工业相机拍照处理，视觉软件判断是否存在漏打不良。国内也有专家学者对螺钉检查的算法进行研究，并取得了一些成果，但也仍存在一些不足。如陈永清[5]提出的内螺纹图像识别系统中螺钉检测部分，基于自适应阈值分割与形态学开运算，达到螺丝识别检查的目的，但是当图像干扰大时，存在严重欠分割，使其检测精度不佳。如严荣杰[6]提出了基于CCD数字图像校正技术的螺纹检测系统中螺钉检测部分，采用最大方差分割与相对样本标准，达到螺丝识别检查的目的，但是当图像干扰大时，存在严重过分割，从而检查失败。

对此，本文以改善算法分割与识别的精度与稳定性为目的，提出了一种基于改进阈值分割与形态学的螺丝检查算法。通过改进阈值分割技术，避免欠分割与过度分割，提高分割目标质量；然后改进形态学中的结构分子，进一步得到精确分割结果，并提取纹理特征，完成螺钉目标检查。最后测试验证本文算法对螺钉装配质量的检测效果。

1 本文螺钉装配质量检测算法

本文算法对一枚材料中的三处螺丝进行装配质量检查，从而判断前端自动打螺丝设备是否有漏打。如采用三个相机分别对三处螺丝进行拍照检查，虽然硬软件结构开发简单，无过多交互控制，但是三个相机成本高，且占用系统资源。为控制成本，提高系统效率，本系统采用单个相机基于云台与PLC交互控制在三个螺丝上方来回移动检查。本文算法流程如图1所示，首先，材料由传送带移动到系统感应位置，PLC触发传送带停止运动，固定材料。随后，PLC触发读码器移动到材料标签上方，读取ID，并传送给PC端视觉软件。然后，视觉软件接收到ID后，发送信号至PLC，PLC移回读码器，让出空间，触发相机移动到一号螺丝位置，并发送到位信号至视觉软件。视觉软件完成对一号螺丝检查，并发送信号至PLC，PLC移动相机至二号螺丝位置，发送到位信号给视觉软件。视觉软件完成对二号螺丝检查，并发送信号至PLC，PLC移动相机至三号螺丝位置，发送到位信号给视觉软件。最后，视觉软件完成对三号螺丝检查，并发送信号至PLC，PLC移回相机并启动传送带，完成一枚材料检查。其PLC与PC端视觉软件交互图如图2所示，总共3个来回，先后由PLC触发相机到对应的螺丝位置，完成检查后，视觉软件再反馈给PLC进行下一个动作，直到完成3个位置的检查。

每次图像采集后，由于产线环境复杂，本文耦合自适应阈值与最大方差，对螺丝目标粗分割。然后根据螺丝成像形状特点与亮度特征，用改进的形态学结构分子与高帽运算处理，进一步细分割螺丝。最后提取出螺丝目标纹理特征，并经过标准特征值判别，得到鲁棒性强的检查结果，见图3。

图1 系统架构图

图2 交互逻辑图

图3 算法流程图

1.1 耦合最大方差与自适应的分割算子

检查螺丝钉装配大都是在生产车间完成，往往无法避免各种外界光源干扰，而使图像成像杂质干扰，存在局部过亮或过暗的情况。在当前图像分割中，应用最广的两种技术分别是最大方差阈值分割[7]与自适应阈值算法[8]。但最大方差阈值分割[7]在整个图像所有像素都采用相同阈值，当照明不均，有突发噪声或背景灰度变化较大时，整副图像分割时，将没有合适的单一阈值，会将目标区域与背景区域错分。自适应阈值算法虽然是采用每个像素的单位领域内最大与最小值得平均值作为阈值，克服了最大方差分割的缺点；但是该技术的计算量过大，每个像素的阈值都要计算。

对此，本文设计了耦合最大方差与自适应值的分割算子：(1)先采用自适应值思想，将图像分为16个区域，每个区域按照自适应算法计算子区域自适应值：

(1)

T为子区域自适应值，max_value与min_value位子区域最大、最小灰度值。

(2)然后再对整个图像计算最大方差阈值。

首先，计算每个灰度级的像素出现概率：

(2)

i代表0到255这256个灰度级中某个灰度级；N为图像像素总数；ni为i这个灰度级的像素数；pi为灰度级i像素概率。

假设C0代表灰度值在[0，T1-1]内的像素；C1代表灰度水平处于区间[T1，255]内的像素。并以此求解C0、C1的区域概率。其中T1为最佳阈值。再依据T1将目标中的像素按灰度水平分为C0、C1。以w0,w1代表C0、C1概率：

(3)

(4)

C0、C1的均值u0,u1计算模型为：

(5)

(6)

依据式(3)～式(6)，得到整副图像的均值u为：

u=w0u0+w1u1

(7)

C0与C1的类间方差F为：

F=w0w1(u0-u1)2

(8)

令T1在[0,255]，以步长1依次递增取值，当F最大时，对应的T1即为最佳阈值，为最大方差阈值。然后结合子区域自适应值与全局最大方差阈值，形成本文算子阈值t：

t=(T+T1)/2

(9)

并依据模型(9)得到的阈值，对螺钉目标进行准确分割。

1.2 基于改进结构分子的形态学处理

完成对螺丝目标分割后，得到含螺丝二值图，但仍含有一定量杂质，对后续检查仍有干扰。对此，本文采用形态学[9]过滤杂质干扰。由于普通形态学处理是通过腐蚀膨胀排列组合处理图像，其中传统结构分子为3×3单位矩阵，其过滤效果往往不理想，会导致图像的边缘发生一定的变化，不能充分过滤杂质。对此，本文先改其进结构分子，再基于高帽运算处理过滤杂质。高帽运算[10]适合在亮背景中分割暗背景，在不影响目标边缘的前提下，去除杂质。具体步骤如下：

首先定义腐蚀与膨胀运算：

X·B={x|(B),⊆X}

(10)

X°B={x|(BV),∩X≠0}

(11)

式中X为图像；B为结构分子；BV为对B取反。

再定义开运算与闭运算：

X⊗B=(x·B)°B

(12)

X⊕B=(x°B)·B

(13)

最后定义高帽运算：

h=f-(f⊗B)

(14)

其中，h为高帽处理完图像；f为原图像。

高帽运算即原图像与原图像开运算结果之差。考虑到螺丝为圆目标，如果采用单位矩阵过滤，并不能很好的与目标匹配，故改进结构分子，对角取-1，可以去菱角，中间取4，突出圆心，故将传统结构分子B0改进为结构分子B，参加以上运算：

(15)

(16)

并提取目标纹理特征：归一化标准差、熵。由于螺丝表面有螺纹，故纹理特征明显，若漏打螺钉，则螺丝孔纹理特征微弱，故以此来区分是否漏打螺丝。归一化标准差R、熵e分别为：

R=1-1/(1+δ2(i))

(16)

(17)

最后以标准螺钉纹理特征值作为评判准则，对检测目标纹理特征进行判断，完成对螺钉漏打检查。

2 实验与讨论

为了直观体现本文算法的分割、检查效果，在VS2010平台上基于C++语言编程实现。部分关键实验参数，如归一化标准差为11.36、熵为41.94。同时，为了体现所提技术的先进性，将两个当前检查性能较好地算法视为对照组：文献[5]-基于自适应阈值分割的目标检测技术、文献[6]-基于最大方差分割的目标检测技术。

取一张受光照影响较大的螺丝图像，见图4，后续以圆圈识别符代表识别到螺丝位置，“绿色”代表正常，“红色”代表漏打不良。利用所提算法与对照组技术对其处理，结果见图5～图10。依图可知，文献[5]单纯采用自适应阈值分割与形态学开运算，在存在图像干扰时，存在严重欠分割，如图5所示，大量杂质没有被过滤，从而影响检查，见图8，虽然识别到螺丝位置，但是未检查出右边漏打不良。文献[6]采用最大方差分割与相对样本标准，由于最大方差阈值以单一值处理整副图像，存在过分割，如图6所示，最后影响检查效果，如图9所示，左边正常螺丝未检测到，右边漏打不良未检查出。而本文设计的分割算子充分耦合最大方差与自适应值，同时还改进结构分子再进行高帽处理，进一步精确分割目标，克服普通形态学方法干扰目标边缘的缺点，得到精确分割效果，如图7所示，最终得到正确螺钉检查结果，见图10，左边螺丝正常，右边螺丝漏打。

图4 待处理图像

图5 文献[5]分割结果(欠分割)

图6 文献[6]分割结果(过分割)

图7 本文分割结果(精确分割)

图8 文献[5]检查结果(右边螺钉漏装配被误检)

图9 文献[6]检查结果(螺钉装配检测失败)

图10 本文算法的检查结果

为了比较三种算法的稳定性，先随机采集500张图像，根据干扰程度(噪声水平与光照不均程度)由低到高分为6个等级，各取100张完成实验测试，分别用本文算法与对照组算法进行处理，然后统计检查正确率。由于本文有机融合分割算子，并改进了结构分子，且以纹理特征区分目标，改善了分割质量与识别正确率；而两个对照组单纯采用自适应分割、最大方差分割技术，受干扰程度影响较大，故检查正确率远远不如本文算法，结果见图11。

图11 干扰程度对检查率的影响对比结果

3 结论

为了解决螺丝背景复杂干扰大，分割不准确，识别检查稳定性差等问题，本文算法设计了分割算子，并改进结构分子，得到精确分割结果。提取纹理特征，植入标准特征值，完成对螺丝是否存在漏打不良的检查判断。最后整个在单相机运动平台上实现。实验验证：与其他目标检测算法相比，在图像目标特征微弱且背景复杂的情况下，本文算法具有更高的检查正确率与稳定性，能够精确检测螺钉装配质量。

[1] 张亚荣, 裴志利. OpenCV耦合三目视觉的标准件目标定位研究与应用[J]. 组合机床与自动化加工技术, 2015(1)：67-70.

[2] Bao-Xun WANG, Bing-Quan LIU, Cheng-Jie SUN. Thread Segmentation Based Answer Detection in Chinese Online Forums[J]. Acta Automatica Sinica, 2013, 39 (1): 11-20.

[3] 孙珂琪. 图像检测螺纹的系统设计[J]. 计算机测量与控制, 2015, 31(12)：67-70.

[4] 王晓东. 基于图像处理技术的YSQ-3型液化石油气瓶阀外螺纹加工质量检测方法的研究[J]. 制造业自动化, 2015, 13(3)：27-31.

[5] 陈永清. 内螺纹图像识别技术研究[J] 工具技术，2014, 13(7)：142-149.

[6] 严荣杰. 基于CCD数字图像校正技术的螺纹检测[J]. 煤气与热力，2013,32(21)：412-419.

[7] Rui Wang, Chao Li, Jie Wang, Threshold segmentation algorithm for automatic extraction of cerebral vessels from brain magnetic resonance angiography images[J]. Threshold segmentation algorithm for automatic extraction of cerebral vessels from brain magnetic resonance angiography images, 2014, 241(15): 30-36.

[8] Wang Chunli, Zhang Chunlei, Zhang pengtu. Denoising algorithm based on wavelet adaptive threshold [J]. Physics Procedia, 2012, 24(8): 678-685.

[9] Wang Mingang,Tian Yonggang. Target Recognition of Infrared Bridge Image Based on Morphological Operator[J]. Procedia Engineering, 2011, 24(10): 490-494.

[10] Y Ireaneus Anna Rejani,S Thamarai Selvi. Early Detection of Breast Cancer using SVM Classifier Technique[J]. International Journal on Computer Science and Engineering, 2009, 1(3):121-127.

(编辑 李秀敏)

Screws Image Assembly Quality Detection Algorithm Based on Improved Threshold Segmentation and Morphology

FENG Juan, WAN Xing

(College of Engineering, Sichuan Normal University, Chengdu 610101,China)

In order to solve the multi-objective camera mechanism, low efficiency, more complex background threshold segmentation is not accurate, is proposed in this paper, based on improved threshold segmentation and morphology of the screw examination algorithm, and by a single camera haeundae movement control platform implementation. First design the fusion of maximum variance and adaptive threshold segmentation algorithm, target segmentation. Secondly improve the morphological structure of molecules, top hat operation, remove noise, further precise target segmentation. And extract the target texture characteristics, through the bayesian classifier, have complete screw without judgment. Finally, through the PC and PLC communication, establish the camera haeundae movement photo platform, and add visual algorithm integration, complete the whole screw inspection system.

screw assembly quality detection; threshold segmentation; morphology; top hat operation; maximum variance

1001-2265(2016)10-0000-00

10.13462/j.cnki.mmtamt.2016.10.000

2015-12-09

四川省科技厅支撑项目(2015JY003)；四川师范大学校级科研项目

冯娟(1982—)，女，四川崇州人，四川师范大学讲师，硕士，研究方向为计算机应用与电气传动，(E-mail)

TH161;TG506

A