智能化焊缝缺陷检测系统的研究

□ 韩少恒

上海电气集团股份有限公司 中央研究院 上海 200070

1 研究背景

随着信息化和智能化技术的发展,焊缝缺陷检测技术将会趋向自动化、精益化、快速化[1]。通过数字化手段,将大量物理胶片电子化存档,为焊缝缺陷检测系统的实现提供了数据基础。由于视觉信息具有方便直观、信息量大、易于处理的特点,因此在管道焊缝缺陷检测等方面具有广阔的应用空间。

当前,计算资源算力提高,使复杂、大规模、多层级的深度学习神经网络模型的训练成为可能[2]。通过输入大量已标注好的缺陷图像,针对已设计好的焊缝缺陷检测深度学习神经网络进行训练,可以得到有很高检测准确率的焊缝缺陷检测模型。相对于人通过肉眼的识别,深度学习模型具有更快的识别速度,并且可以检测出更微小的缺陷。

在焊缝缺陷检测系统中,规范、统一、高质量的数据有助于提高检测模型的性能,便于后期模型训练的升级迭代和数据分析,提高数据利用率,对提高焊缝缺陷检测系统的性能有着重要作用[3]。压力容器生产企业普遍采用射线透照的方式来检测焊缝区域的焊接质量,由此积攒了大量物理胶片档案,这为深度学习模型提供了丰富的训练样本。这些历史胶片样本数据如果可以被充分用于模型训练,将提高模型的鲁棒性和泛化能力。同类型缺陷胶片样本的增加,也可以有效提高该类缺陷检测的准确率。除此之外,胶片数字化后,不再受时空限制,可以通过网络实现远程评片[4]。系统通过集成多种图像预处理,如去模糊、去相似、图像旋转、亮度调整、对比度调整、饱和度调整、一键正负片等操作,可以增强图像的显示效果,使评片员更容易发现缺陷,评片的准确率也更高,由此提高评片员的评片效率。

智能化焊缝缺陷检测系统以胶片图像和数据为基础,结合深度学习视觉检测技术及胶片数据规范化管理技术,同时采用焊材参数和焊机运行数据,实现焊缝缺陷检测、焊缝缺陷溯源、故障分析、知识积累等一体化检测功能。通过对焊缝缺陷进行全生命周期管理,将焊缝缺陷自动化检测与人工复核相结合,最终实现焊缝缺陷检测的自动化、智能化、快速化,形成企业信息闭环,有效降低企业生产运行成本,提高焊机设备的使用效率。

2 系统技术方案

2.1 技术路线

基于需求,采用层级组织方案进行智能化焊缝缺陷检测系统总体架构的搭建,其技术路线如图1所示。整个系统设计为三个层级:应用层、技术支撑层、基础支撑层。应用层直接面向用户,采用算法调用接口,为用户提供服务。技术支撑层为具体实现系统功能而提供支撑。基础支撑层包括计算环境支撑和数据支撑,计算环境支撑提供系统所需的计算资源,数据支撑提供数据存储,使用MySQL数据库存储原始图像数据、标注数据、业务数据等。

▲图1 智能化焊缝缺陷检测系统技术路线

2.2 胶片管理

胶片管理通过调用光学字符识别模型接口来识别胶片上的字符串信息,根据字符串信息,经过字符串匹配,进行分类归档,实现包括图像预处理、自动识别图像标志、提取关键信息、根据字符串关联匹配项目、胶片增删改查管理等功能。

2.3 缺陷检测

缺陷检测时,通过输入大量已标注图像对缺陷检测模型进行训练,产生缺陷识别准确率高的算法模型,并封装成接口,供系统调用。缺陷检测实现过程主要包含以下步骤:

(1) 图像采集,使用相应设备采集图像;

(2) 图像处理,对采集到的图像进行图像归一化、尺寸调整等操作;

(3) 焊缝检测,使用目标检测算法从图像中检测出焊缝,并截取为小图,作为下一步的输入;

(4) 缺陷检测,使用焊缝缺陷检测算法,从焊缝小图中检测出不同种类的缺陷及其位置;

(5) 分类规则,根据第(3)、第(4)步的结果,利用规则判断焊缝的缺陷级数;

(6) 算法模型调用,通过接口方式调用缺陷检测模型,返回缺陷及位置信息。

2.4 系统结构

智能化焊缝缺陷检测系统主要包括智能评片模块、数据管理模块、人工智能标注模块,如图2所示。

▲图2 智能化焊缝缺陷检测系统模块

智能评片模块通过实时调用焊缝缺陷检测算法,对每一张新录入的图像进行缺陷检测。对实时检测中出现焊缝缺陷的图像,根据缺陷程度进行报警提示,包括返工建议等。在这一模块中,对于存在缺陷的图像,由采集员将图像加载进来,评片员可以使用拉框、标签等工具对缺陷图像的缺陷位置进行人工标注,以及对已有的标注进行编辑与修改。

数据管理模块通过光学字符识别技术,借助机器视觉分担甚至代替人工对图像中的焊缝编号等字符进行识别,提取出关键信息,关联相关项目,对胶片进行电子化归档与管理,实现用户对胶片的查询、传输及远程评片[5-7]。

对于已标注好的图像,经过项目经理、专家等审核后进入缺陷片库。该类型图像用于相关图像识别模型训练,并产生智能标注模型,用于后续人工智能辅助标注。

3 系统功能

3.1 智能评片

通过智能评片模块对胶片进行数字化管理,结合人工智能视觉检测技术,实现对焊缝缺陷胶片实时监测与异常报警。同时提供样本管理、图像样本标注、人工复核、焊缝知识图谱管理、缺陷自动分级、检测报告汇总导出等,辅助检测人员实现焊缝缺陷检测,形成焊缝缺陷一站式质检系统,并充分利用深度学习技术和积累的焊接机理知识,提高现有检测效率和检测准确率,为焊接设备运维及焊接品质在线检测的产品化研发奠定基础。

3.2 数据管理

数据管理模块通过扫描仪将胶片转换为数字化图像,并通过光学字符识别技术,借助机器视觉分担甚至代替人工对图像中的焊缝编号等字符进行识别,提取出关键信息,关联相关项目,对胶片进行电子化归档与管理,实现用户对胶片的查询、传输及在线评片。同时提供图像预处理模块对图像进行去模糊、去相似、画质增强等处理。其中,在线评片提供了拉框、标注、图像旋转、亮度调整、对比度调整、饱和度调整、一键正负片等功能组件,方便评片员调整图像,更好地阅片[8]。

对于已标注好的图像,经过项目经理、专家等审核后录入缺陷片库。该类型缺陷图像可作为焊缝缺陷检测模型的训练样本,模型经过训练后产生的智能标注模型,可用于后续人工智能辅助标注。对于缺陷片库中的缺陷图像,评片员可以提出问题,由项目经理、专家或其他人员进行答疑,形成问题记录,便于相关人员学习借鉴。项目经理可以通过项目概览,查看项目整体情况,包括图像数量、图像长宽比、属性标签数量分布等,并生成统计报告,便于存档打印。

3.3 人工智能标注

用户在人工智能标注模块中选择要训练的底片样本,进行参数配置后,保存至智能标注模型库中。对后续新扫描的同类底片进行评片操作时,可以选择使用已训练好的人工智能标注模型辅助评片,进行批量操作。随着样本数量的增加,可以持续对模型进行升级迭代,能够提高后续升级迭代的效率,提高灵活性,并且降低迭代成本。

4 系统实现

智能化焊缝缺陷检测系统采用浏览器/服务器架构进行设计,软件框架的技术方案选择Spring Boot框架加Vue框架的前端组件构成方式,对于界面布局、颜色、风格,参照通用界面方案,数据存储采用MySQL数据库[9]。通过智能评片、数据管理、人工智能标注等模块,实现自动化实时焊缝缺陷检测。在系统中,部分缺陷检测详情页面如图3所示,批次信息详情页面如图4所示。

▲图3 缺陷检测详情页面▲图4 批次信息详情页面

5 结束语

针对焊缝缺陷检测场景,构建了一套智能化焊缝缺陷检测系统[10]。在智能化焊缝缺陷检测系统中,对胶片进行电子化归档与管理,实现用户对胶片的查询、传输及在线评片,避免传统物理存储的底片氧化、粘连等问题。实现底片数字化后,节省了档案室等物理空间。结合成熟的深度学习技术和评片经验,将已入库胶片样本用于模型训练,从而实现人工智能评片,显著提升评片效率,减轻工人负担,降低企业成本。充分利用深度学习技术和积累的焊接知识,提高现有检测效率和检测准确率,为焊接设备运维及焊接品质在线检测产品化研发奠定基础。