基于图像处理的钢包钢液裸露面积自动识别和计算

刘永蕾，何 飞，郭世锐，刘 港，戴兆汉

(安徽工业大学冶金工程学院，安徽马鞍山 243032)

智能制造是实现中国钢铁工业绿色低碳转型和高质量发展的重要抓手[1-2]。机器视觉是智能制造的一项核心技术，具有安全可靠、检测精度高、可在复杂生产环境中长时间运行等特点，已用于钢铁制造流程的各环节。在高炉工序，王玉涛等[3]提出一种基于机器视觉技术的高炉铁口深度检测方法，基于铁口打开的图像颜色变化特征为判据,实现了铁口深度的自动测量；在铁水预处理工序，王勇等[4]开发出一种基于机器视觉的一键脱硫模型，实现了对扒渣过程的智能判定；在转炉工序，江俊等[5]提出基于水平集的钢水图像分割方法，实现了钢渣占比率的检测；在连铸工序，Wang 等[6]提出一种基于机器视觉的连铸漏钢预报方法，根据结晶器铜板温度区分真、假粘结漏钢，为连铸过程中的异常监测提供了一种新方法；李维刚等[7]采用深度学习的方法设计一种轻量化残差网络，实现了对热轧带钢表面的缺陷识别。

钢包精炼过程中，底吹氩气搅拌钢液具有均匀钢水温度和成分、去气去夹杂等冶金功能。但是如果氩气流量过大会吹穿液面致使钢液裸露氧化，过小起不到搅拌的冶金功能。目前，现场是基于人工肉眼观察钢包液面裸露情况来判断钢包底吹氩气流量的大小，控制稳定性较差。借鉴机器视觉的优势，采用工业相机和图像处理技术检测钢包液面裸露情况，实现对钢包智能底吹氩气流量控制是钢包精炼过程智能化发展的重要部分。数字图像处理技术是通过计算机对图像进行去噪、增强、复原、分割、提取特征等处理的方法，已广泛用于工业、农业和医学等领域[8-12]，但较少用于检测钢包精炼过程。为此，提出采用数字图像处理技术自动识别和计算钢包液面裸露面积的方法，以期实现底吹氩气流量的闭环自动控制，为实现智慧精炼奠定基础。

1 钢液裸露面积的自动识别和计算

OpenCV 是开源的跨平台计算机视觉库，且是基于Intel 处理器指令集优化代码，具有出色的矩阵计算能力，能够大幅减少开发时间，提高程序的开发质量和运行的稳定性[13]。故文中采用OpenCV 体系结构下的数字图像处理技术实现对钢包液面裸露面积的自动识别与计算。读取原始图像后，对原始图像进行灰度化处理、双边滤波、自适应直方图均衡化、阈值处理得到钢液与非钢液部分的二值化图像，再对二值化图像进行轮廓提取与面积计算。其基本流程如图1。

图1 钢包钢液裸露面积的自动识别与计算流程Fig.1 Automatic identification and calculation flow of exposed area of molten steel in the ladle

1.1 灰度化处理

将彩色图像转化为灰度图像被称为图像的灰度化处理，不仅可降低矩阵维度、加快计算速率，还可保留图像的亮度分布特征和边缘信息。文中采用加权平均法对彩色图像进行灰度化处理，图2 为钢包的原始图像及对应的灰度图像。

图2 原图像和对应的灰色图像Fig.2 Original image and corresponding gray image

1.2 双边滤波

双边滤波是一种通过空间分布的高斯方差对图像进行约束的滤波器，其不仅可完成对图像的滤波处理，还可有效保护图像的边缘信息[14]。双边滤波处理后图像的每个像素灰度值被邻域内像素灰度值加权平均所替代，而邻域像素的加权系数等于空间域滤波核函数与灰度滤波核函数的乘积。空间域滤波核函数d(x,y,k,l)为

灰度滤波核函数r(x,y,k,l)为

加权系数w(x,y,k,l)为d(x,y,k,l)与r(x,y,k,l)的乘积：

双边滤波具体的加权公式为

其中：f(x,y)为图像中(x,y)处的像素值；g(x,y)为图像经滤波处理后点(x,y)的像素值；(k,l)为像素点(x,y)邻域内的像素点；σd和σr分别为空间域和灰度域的标准差。

当灰度变化平缓时，灰度滤波系数接近1，双边滤波中的空间域高斯低通滤波器可实现对图像的平滑处理；当遇到边缘细节众多、灰度变化骤变时，亮度相似性的灰度滤波器可实现对图像边缘细节的保留。

1.3 自适应直方图均衡化

直方图均衡化是将一副图像的灰度值直方图分布变成近似均匀分布，形成更大的对比和反差，增强图像的对比度。图像的灰度直方图分布越均匀，图像的信息熵越大，图像包含的信息量就越多，图像就越清晰[15]。

1.4 图像二值化

图像二值化处理是一种简单有效的图像分割方法。原理是确定一个阈值，遍历图像中每一个像素值，将图像中像素值大于等于阈值和小于阈值的部分分别区分成前景和背景。二值化处理的表达式为

式中：h(x,y)为经过二值化处理后点(x,y)的像素值；T为二值化处理的阈值。

1.5 识别与计算

轮廓提取为连接边缘一系列的像素点，主要思想是掏空内部点。二值化后的图像前景为白色、背景为黑色，若图像中白色点及其8 个邻域点均为白色，则称为内部点，并将设置为黑色；否则保留该像素点，称为边界点，边界点连接在一起就是目标的轮廓。轮廓提取算法不仅可提取出二值化处理后图像的轮廓，还可区分内外轮廓、记录轮廓之间的拓扑结构(父子关系)、区分最外层轮廓等；将提取的每个轮廓以点向量的形式存储在内存，由轮廓绘制算法依次提取存储在内存序列的轮廓，绘制轮廓并计算出每个轮廓的面积[16]。

2 仿真实验结果与分析

为验证采用本文方法自动识别和计算钢包钢液裸露面积的准确性，基于不同的图像去噪、图像增强及阈值处理方法，设计16种图像处理方案进行仿真实验，实验方案如表1。方案16为本文提出的图像处理方法。实验环境在InterCoreTMi7-10710U CPU，Python 3.7 和OpenCV4.4.0 版本下实现；实验数据为现场采集的钢包图像，如图2(a)，分辨率为3 240×4 320。16种实验方案的图像处理效果如图3。

表1 图像处理实验方案Tab.1 Experimental scheme of image processing

从图3 可知：方案1，3，5，7，9，11，13，15 等8 种方案不能识别出钢包中裸露钢液面积，8 种方案均采用局部阈值处理的方式进行图像二值化处理，表明局部阈值处理不适用于文中采集的钢包图像；方案2，4，6，8，10，12，14，16 等8 种方案能基本识别钢包中裸露的钢液。其中：4 种图像去噪方法能识别出钢包中裸露的钢液；方案2 和4、方案6 和8、方案10 和12、方案14 和16 均是基于同种图像去噪方法，但图像增强方法不同。表明直方图均衡化及自适应直方图均衡化2种图像增强方法适用于本文图像的处理。

图3 16种方案的图像处理效果Fig.3 Image processing effects of 16 schemes

表2 为16 种图像处理方案识别和计算钢包钢液裸露面积的结果，其中—表示无法识别。由表2 可知：16种方案的运行时间接近，可忽略其中的差距；能够识别的8种方案中，识别的轮廓个数在15～40不等、面积在3 600～5 100像素之间；识别效果优秀的为方案12和方案16，这2种方案能够清楚识别裸露的钢液，将绘制钢包中裸露钢液的轮廓并计算裸露钢液的面积。

表2 16种图像处理方案识别和计算结果Tab.2 Recognition and calculation results of 16 image processing schemes

综上可知：局部阈值处理方法不适于钢包图像处理；全局阈值处理效果较好，可基本准确识别出钢包中裸露的钢液；高斯滤波、均值滤波、中值滤波、双边滤波4 种图像去噪方法和直方图均衡化、自适应直方图均衡化2 种图像增强方法均可不同程度地识别钢包中裸露的钢液。为进一步比较上述4 种图像去噪方法和2 种图像增强方法的处理效果，采用均方差(mean square error, MSE)、峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)作为评估指标，另采用边缘保持指数(edge preservation index,EPI)评价图像去噪方法的边缘保护能力，采用信息熵评价图像增强方法保留图像信息量的能力。

2.1 图像去噪

对彩色图像处理后的灰色图像(图2(b))分别添加均值为0、方差为1的高斯噪声和噪声比例为0.5的椒盐噪声，如图4。图5，6为4种滤波方法对添加高斯噪声和椒盐噪声灰色图像的去噪效果。

图4 添加高斯噪声和椒盐噪声的灰色图像Fig.4 Gray images with Gaussian noise and salt and pepper noise

图5 去除高斯噪声的效果Fig.5 Effect of removing Gaussian noise

图6 去除椒盐噪声的效果Fig.6 Effect of removing salt and pepper noise

表3，4 为4 种滤波方法处理上述2 种灰色图像的MSE，PSNR，SSIM，EPI。从表3，4 可看出：无论是添加高斯噪声还是添加椒盐噪声的灰色图像，与其他3 种滤波方法相比，双边滤波的处理效果最好，其EPI 达0.98，SSIM达0.99，可较好地保护图像边缘和结构信息。

表3 去除高斯噪声的评价指标Tab.3 Evaluation index of removing Gaussian noise

表4 去除椒盐噪声的评价指标Tab.4 Evaluation index of remove salt and peppernoise

2.2 图像增强

直方图均衡化和自适应直方图均衡化处理钢包图像的效果如图7，其评估指标如表5。

图7 图像增强的处理效果及其直方图Fig.7 Image enhancement effect and its istogram

从图7 可看出：对于自适应直方图均衡化处理的图像，钢渣部分暗、钢液部分亮，钢渣和钢液的对比度明显增强；而直方图均衡化处理的图像整体明亮，图像反而变得模糊，损失了图像的细节信息；与比直方图均衡化相比，自适应直方图均衡化处理图像的分布更均匀。从表5 可看出：与直方图均衡化相比，自适应直方图均衡化处理图像的信息熵，PSNR，SSIM均更大，表明自适应直方图均衡化可保留更多的图像信息，可更好地融合图像质量，处理后的图像相似度更高、失真程度更低，融合图像和参考图像之间的差异更小。

表5 图像对比度增强的评价指标Tab.5 Evaluation index of image contrast enhancement

3 结论

提出一种采用图像处理技术计算钢包钢液裸露面积的方法，通过仿真实验比较分析不同图像处理方案识别裸露钢液面积的效果，结果表明：与高斯、均值及中值滤波方法相比，双边滤波的边缘保持指数、峰值信噪比均最大，且边缘保持指数几乎为上述3种滤波方法的3倍；与直方图均衡化相比，自适应直方图均衡化处理的图像信息熵更大，包含更多的图像信息；以双边滤波、自适应直方图均衡化和全局阈值处理的图像处理方法能够自动识别和计算出钢包钢液裸露面积，且具有速度快、成本低、安全性和准确率高等优点。