基于机器视觉的加热炉内异常情况图像识别方法研究

纪 永

(上海城建职业学院,上海 201415)

加热炉是重要的工业加热设备。加热炉在持续运行过程中,钢坯不断受到振动的影响,炉内容易产生衬里裂纹缺陷、掉钢等异常故障。而加热炉内温度极高,很难及时检查异常情况,严重影响设备稳定运行[1-2]。图像识别技术能够实时处理炉内监控图像,有利于发现加热炉内的异常情况,及时维修故障,因此研究加热炉内异常情况图像识别方法具有良好的应用前景和重要的研究价值。图像处理和识别技术已有一些研究成果,贺静[3]提出了一种加热炉故障可视化诊断方法。设计了加热炉故障可视化诊断系统;采用CCD相机采集炉内图像数据并利用DSP处理器进行处理;通过图像解码使图像清晰化,实现故障识别与诊断。但该方法提取图像信息所用的时间较长,且特征提取不准确,识别率较低。李莹[4]等人通过输出执行模块、分析模块、采集模块和处理模块设计图像识别系统。该方法处理图像所用的时间较长,存在识别效率低的问题。

基于上述方法不足,进一步提高图像识别的识别率,减少识别时间,提出基于机器视觉的加热炉内异常情况图像识别方法研究。基于机器视觉采集加热炉内监控图像;通过加权平均方法对加热炉内图像进行灰度处理;通过图像缩放完成归一化处理;结合滤波操作、腐蚀操作和膨胀操作三种方法提高加热炉内图像的识别率;创新性地采用Niblack算法完成图像的二值化处理,缩短识别时间;设计特征匹配模板,完成特征提取,实现图像识别。

1 方法设计

基于机器视觉的加热炉内异常情况图像识别方法分为图像采集方法和图像识别方法。

1.1 基于机器视觉的图像采集方法

图像采集方法主要是基于机器视觉通过图像采集模块采集并存储加热炉内的异常情况监控图像。加热炉内异常情况图像采集模块结构如图1所示。

图1 采集存储模块结构

如图1所示,在图像采集结构中设置了信令处理模块、采集控制模块、文件分区模块、页读取模块、块擦除模块和页写入模块[5-7];前端使用高温红外摄像设备采集加热炉内异常情况图像,该设备输出的图像进入单片机功能模块进行采集控制。摄像头与加热炉内异常情况图像采集控制模块具体连接方式如图2所示。

图2 采集控制连接图

信令分析模块负责接收来自网卡和PC机的命令,然后驱动存储器分区存储采集图像,通过采集控制模块操控复位后的摄像头完成初始化。摄像头采集模块在CAPEN的值为1时开始工作,采集加热炉内图像,在JEPEGD0-JPEGD7的支持下将加热炉内图像传输到存储器和识别模块中,经过存储器读取、写入后进行图像识别。

1.2 基于机器视觉的图像识别方法

利用上节采集的图像,基于机器视觉人工智能技术进行图像识别方法设计。图像识别的具体流程如图3所示。识别流程主要分为灰度处理、归一化处理、图像增强、二值化处理、特征提取5个步骤。经过以上5个处理环节,输出识别结果,完成图像识别。

图3 识别流程图

1)灰度处理

用灰色图像代替采集到的彩色加热炉内图像,通过加权平均方法对加热炉内图像做灰度处理,用8位图像代替原始的24位图像[8-10]：

(1)

式中：V为转换后加热炉内图像的颜色;x、y、z为基本颜色系数;R、G、B描为三基色。

2)归一化处理

归一化处理灰度处理后的加热炉内图像,使其在后续处理过程中的尺寸统一。所提方法通过图像缩放形式完成归一化处理,分别用gx、gy表示x轴和y轴的缩放比例,原始加热炉内图像g(x,y)中存在的点(x0,y0)与缩放后原始加热炉内图像h(x,y)中存在的点(x1,y1)相对应,此时存在下述公式：

(2)

加热炉内图像通过归一化处理后可以获得更加准确和较多的特征点。

3)图像增强

采用滤波操作[11-12]消除加热炉内图像中存在的干扰噪声,结合腐蚀操作和膨胀操作提高加热炉内图像的分辨率[13-14],通过上述过程完成加热炉内图像的增强处理,提高图像识别的准确率。

4)二值化处理

通过二值化处理可以缩短识别加热炉内异常情况图像所用的时间[15-16],所提方法在软件设计中利用Niblack算法完成图像的二值化处理,设t×t代表的是加热炉内图像的周围邻域;(x,y)代表的是加热炉内图像的中心坐标：

(3)

式中：Y(x,y)为像素(x,y)在图像中对应的阈值;k为修正系数;d(s,y)、q(x,y)分别为像素点在邻域t×t内对应的标准方差和平均值。

5)特征提取

特征匹配过程中端点和交叉点具有重要作用,通过下式描述3×3模板区域：

(4)

上述模板区域中的中心点为A0,通过下述公式完成加热炉内图像的特征提取：

(5)

根据上述公式获取的特征,实现加热炉内异常情况图像的识别,至此完成基于机器视觉的加热炉内异常情况图像识别[17-18]。

2 实验与分析

验证基于机器视觉的加热炉内异常情况图像识别方法的整体有效性。

2.1 实验准备

将夜视鹰ST304RC高温红外摄像头作为加热炉内异常情况图像识别的监控图像采集设备,该设备输出的图像文件格式为JPEG。将NAND型闪存作为加热炉内异常情况图像采集存储器,用于存储采集到的加热炉内监控图像。

为了实际测试识别方法的识别效果,实验设计了识别方法的硬件程序基础结构如图4所示。

图4中,JTAG UART模块属于串口调试模块,用户在该模块中可以通过C标准输入输出识别方法函数;PIO IIC配置模块中存在的IIC协议可以对摄像头做初始化处理;Display模块的主要作用是处理图像信息、识别标记信息并显示信息;Image模块集成通过Avalon总线元件完成;SDRAM控制模块中存储了程序运行的相关数据;ROM模块将程序与数据的存储器分开,提高图像识别整体性能;图像识别的调度和运算主要通过NiosII CPU模块实现,由SOPC Builder生成。

图4 识别方法硬件结构图

基于以上硬件设备配置和结构,对某不锈钢加工厂的加热炉内监控图像进行识别(见图5)。炉内平均温度保持900 ℃左右,测试时炉外的温度与湿度分别是19 ℃和49%。红外热像监控摄像头拍摄的图像数据,包括3 572张监控图像,其中异常情况图像82张。

图5 采集的炉内异常温度图像特征

2.2 实验结果与分析

采用所提方法、文献[3]方法和文献[4]方法对该加热炉内的异常情况图像进行识别,对比不同方法的识别率和识别时间。

识别率p的计算公式如下：

(6)

式中：n为识别方法识别到的加热炉内异常情况图像的数量;N为所有图像的数量。

所提方法、文献[3]方法和文献[4]方法的识别率结果见图6。

图6 识别率结果

分析图6可知,随着不断迭代,所提方法、文献[3]方法和文献[4]方法的图像识别率均有所提高,所提方法的最终识别率高达90%,文献[3]方法的最终识别率高于60%,文献[4]方法的最终识别率高于70%。与文献[3]方法和文献[4]方法相比,提出方法的图像识别率更高。这是因为提出方法对采集的加热炉内图像做了增强处理,消除了图像中存在的干扰部分,提高了图像的分辨率,便于后续的图像识别,进而提高了所提方法的图像识别率。

将虚报率f作为指标,进一步验证上述方法的识别有效性,虚报率可通过下述公式计算得到：

(7)

式中：m为错误识别的图像数量;M为采集到的图像数量。

三种方法的虚报率如图7所示。

图7 不同方法的虚报率

由图7可知,所提方法、文献[3]方法和文献[4]方法的虚报率随着迭代次数的增加不断降低,所提方法最终可将虚报率控制到2%,远低于文献[3]方法和文献[4]方法,表明所提方法具有良好的识别性能。

采用所提方法、文献[3]方法和文献[4]方法对下述加热炉中存在的异常情况识别,三种方法识别时间对比结果见表1。

表1 三种方法的识别时间

分析表1中的数据可知,所提方法识别加热炉内异常情况图像所用的时间为0.03 s,远低于文献[3]方法和文献[4]方法的识别时间,验证了所提方法具有较高的识别效率。这是因为本文创新性将Niblack算法应用于图像的二值化处理中,缩短了识别加热炉内异常情况图像所用的时间。

3 结 语

在加热炉中,通过摄像头拍摄的监控信息对炉内异常情况进行实时监测,在节省了劳动力的同时,降低甚至消除了炉内故障发生的可能性,具有长远的研究前景和应用价值。

目前加热炉内异常情况图像识别方法存在识别率低、虚报率高和识别效率低的问题,因此本文提出基于机器视觉的加热炉内异常情况图像识别方法。该方法采用Niblack算法预处理采集的加热炉内图像,设计特征匹配模板提取图像特征,完成识别工作。测试数据证明本文方法解决了目前方法中存在的问题,为化工业的发展提供了保障。