焊缝磁粉检测图像自动分拣系统的设计与应用

凌张伟1,2，孔 帅1,2，蒋政培1,2，陶竑杰，耿 洁

(1.浙江省特种设备科学研究院, 杭州 310020;2.浙江省特种设备安全检测技术研究重点实验室, 杭州 310020;3.中国计量大学 质量与安全工程学院, 杭州 310018)

按几何形状分类,压力容器主要有球形容器、圆筒形容器、锥形容器和组合形容器等4大类。其中，球形储罐(简称球罐)主要用来储存气体和液化气体，在国内外石油、化工、冶金等领域应用非常广泛。由于球罐的球壳板厚度一般都在50 mm左右，球罐在组装时通常采用双面焊接的方式，因而在球罐内外壁均有焊缝。球壳由许多块球瓣组焊而成，橙皮式分瓣是国内球罐的常用建造方式[1]。在使用过程中，球罐内部受介质的影响，外部受大气环境的影响，不可避免地会存在疲劳蠕变、介质腐蚀等引起的安全隐患。尤其焊缝是球罐最脆弱的部位，定期对焊缝进行磁粉检测是保障球罐安全的重要措施。

传统的检测作业主要依靠人工借助无损探伤设备来完成，操作人员需要进入球罐内部进行清理和检测，工作环境恶劣，劳动强度大，且存在一定的危险性[2]。爬壁检测机器人携带有视觉传感器，将机械结构、控制系统和传感技术融为一体，可实时采集磁粉检测结果，具有广阔的应用前景。不同于传统地面行走机器人，爬壁机器人的主要特点是可在壁面移动过程中进行作业，代替人工进行危险作业[3]。

在焊缝缺陷的自动检测过程中，焊缝和焊缝周边母材存在差异，如焊缝的高度要高于母材的、焊缝和母材的金属光泽和表面粗糙度不同等，此类差异可作为检测机器人的路径识别特征值，矫正检测机器人在行走过程中的偏差，以达到理想检测效果。在机器人进行检测时，其视觉传感器会连续输出含有焊缝和焊缝周边的图像信息，如图1所示。由于图像信息数量较多，如果采用人工分拣，不但会造成检测结果处理的延迟，更会消耗大量的人力和物力，降低检测效率。笔者根据球罐裂纹的图像特征进行提取，初步设计了图像自动分拣系统，为爬壁机器人实时采集、分拣、识别焊接缺陷图像提供理论与应用的前期研究基础。

图1 爬壁机器人在球罐内部的检测示意

1 图像自动分拣系统的研究基础

目前，图像的识别与分拣仍存在很多挑战性问题。图像数据具有不确定性并伴随着信息噪声；图像类型多种多样，如医学图像、遥感图像、高光谱图像、彩色图像、指纹图像等，不同类型图像的特征不同[4]。王倩[5]对单像素成像的方法进行了讨论与论证，认为该方法更适用于3D成像、视频信息采集、遥感成像、雷达成像、目标检测等众多领域，既能提高现有技术的性能，也能促进技术的发展。

针对图像信息的分拣系统，潘梁静[6]在2018年根据DWT(离散小波变换)的彩色图像分量方法实现了机器人的红枣分拣，提高了分拣作业效率；该研究将彩色图像转换成固定像素的图像格式，通过提取像素的颜色等特征，对红枣对象进行筛选。李颀等[7]针对果蔬图像特征，设计了基于图像处理的果蔬分拣系统;在特征提取基础上，该分拣系统应用了基于BP神经网络的KNN最邻近分类算法，分类正确率达到98%左右，误差在1 mm内。

刘亚奇[8]通过用机器视觉来定位目标，设计了自动分拣机器人;在图像识别部分，使用了图形函数库和OpenCV 函数库对获取的图像进行边缘检测；采用最佳阈值法对灰度图片进行二值化图像信息采集；对获取的图像信息进行运动学分析，并整合到机械臂控制算法中。

2 磁粉检测图像特征值的提取

像素是组成整个图像的最小元素，也是图像不可分割的最小单位。每个图像中的像素由小方格组成，每个小方格被分配了一个明确的位置和色彩数值。所有像素组合在一起呈现出整个图像[9]。描述像素的色彩通常有HSB、RGB、Lab和CMYK等4种表现方式。

(1) HSB模式。其对应的媒介是人眼，H代表色相(hue)，在0°～360°的标准色轮上按位置度量；S代表饱和度(saturation)，表示色彩纯度，取值范围为0～100%，最大饱和度的色相具有最纯的色光；B代表色彩的明亮度(brightness)，取值范围为0～100%，值为0时即为黑色[10]。

(2) RGB模式。其是工业界的一种颜色标准，通过对红(R)、绿(G)、蓝(B)颜色通道相互之间的叠加来得到各种颜色，几乎能表现人类视力所能感知的所有颜色[9]。

(3) Lab模式。该模式描述了正常视力的人能够看到的所有颜色，其中L表示明度(Luminosity)，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。L的值域为0～100，取值为50时，就相当于50%的黑；a和b的值域都是+127～-128，其中+127a就是红色，渐渐过渡到-128a时就变成绿色；同样原理，+127b是黄色，-128b是蓝色。所有的颜色都可以用这3个值的交互变化来表示。

(4) CMYK模式。其是彩色印刷时采用的一种套色模式[11]，利用色料的三原色混色原理，加上黑色油墨，共计4种颜色混合叠加，形成“全彩印刷”；其中C代表青色(Cyan)，M代表品红色(Magenta)，Y代表黄色(Yellow)，K代表黑色(black)。

图2 磁粉检测输出的图像样本

根据磁粉检测输出的图像特征，所有图像均在封闭的球罐内部拍摄获得，获取的图像有明显的颜色和饱和度方面的差异，输出的图像样本如图2所示。如果单从某种特定的颜色特征进行分析，分析方式过于单一，判定标准简单，会存在较高的不确定性，从而降低自动分拣系统的精确度。根据输出的图像样本的颜色特征值，笔者提出基于像素的色彩特征值分析法的图像识别方法，如图3所示，通过综合分析每个像素块的HSB，RGB，Lab，CMYK四个类别的属性，相互嵌套，使得分析结果尽可能精准。具体的步骤如下所述。

图3 基于像素的色彩特征值分析法的图像识别流程

(1) 获取磁粉检测输出的图像文件。

(2) 提取每张图片的像素特征。

(3) 基于Lab和CMYK模式，去除干扰像素块(排除含有黑色、白色和紫色的像素块)。

(4) 基于RGB模式，获取含有青色(绿色)的全部像素块。

(5) 基于HSB模式，比对全部含有绿色的像素块的亮度和饱和度，识别出含有最高亮度和一定取值范围内的饱和度色相的像素块为含有“缺陷”的可疑图像。

(6) 判定分拣图像。含有最大饱和度色相的像素块数量大于一定数值的图像判定为确定的含有“缺陷”的图像，并进行分拣。

3 缺陷图像自动分拣系统的开发

根据上述设计的图像识别方法，笔者采用Python编程语言设计了易操作的软件界面，如图4所示。该界面由4个按键和1个运行窗口组成。4个按键分别是“选择图片文件夹”(选择目标图像文件)、“选择结果文件夹”(选择分拣结果所放置的目的地文件夹)、“检测图片”和“退出”。运行窗口则实时显示检测过程和结果。

图4 分拣系统运行界面

为了验证自动分拣系统的有效性，搜集了82张球罐焊缝的磁粉检测典型图像，并将其人工分为3组，包括无缺陷的图像(perfect)39张，有缺陷的图像(defect)32张，无法准确识别是否含有缺陷的图像(Risk)11张。每张图片所占内存平均在100～5 000 KB 之间，将82张图像输入分拣系统测试，程序总运行时间约8 min。分拣结果显示，32张有缺陷的图像中，28张被准确分拣出来。

针对系统性能进行测评，包括准确率、精确率、召回率和F值等指标。通过计算，该分拣系统的准确率为72.6%(准确率=所有预测正确的样本/总样本)；精确率为73.7%(精确率=将正类预测为正类/所有预测为正类的样本数)；召回率为87.5%(召回率=将正类预测为正类/所有正类)；F为79.4%[F值为正确率和召回率的调和平均值，F=准确率×召回率×2/(准确率+召回率)]。

4 结语

由于传统人工检测工作环境恶劣，危险性高，劳动强度大，而携带有视觉传感器的爬壁检测机器人可实时采集磁粉检测结果。为了实现对磁粉检测图像的快速自动缺陷识别，通过提取球罐裂纹的图像特征，初步设计了焊缝磁粉检测图像自动分拣系统。通过对收集到的82张检测图像进行自动分拣，该系统对有缺陷图像的分拣正确率为87.5%，为进一步自动检测图像分拣系统提供了理论实践基础。

由于图像样本量有限，系统识别的精确率、准确率还有待提高。根据目前已成熟的智能优化算法，进一步引入深度学习的理论和算法，通过实时收集大量图像信息进行数据训练和优化，有望大大提高图像分拣系统的准确率和精确率。