通风机械仪表盘在复杂背景环境中视觉故障检测与定位研究

周晟刚

(安徽省煤炭科学研究院，合肥 230001)

0 引言

通风机械仪表盘作为重要的测量和监控工具，在通风系统中起着至关重要的作用。它可以准确显示和记录通风机械的各项参数，帮助维持通风系统的运行效率和安全性。随着科技进步和工业化进程的推动，通风机械的种类和规模不断增加，对仪表盘的标准和技术要求也在不断提高。从传统的机简单指示器到现代智能仪表盘，通风机械的监测和调节变得更加智能化和精准化。这使得通风系统能够提供更高效、安全、舒适的通风环境[1]。然而，长期运行或维护不当可能导致通风机械故障，进而影响通风系统的正常运行和安全保障。因此，准确并及时地定位故障的位置非常重要，这直接影响到维修行动的迅速性。同时，故障定位的准确性也对生产效率、成本和安全产生着重大影响。为了提高通风机械故障的检测精度和减少故障定位时间，可以采用高精度视觉检测和定位方法，并结合图像处理和机器学习技术。通过对仪表盘上的图像进行分析和识别，有效避免无计划停机和减少维修成本[2]。因此，开展仪表区域高精度视觉识别的研究具有重要的背景和意义。

国内相关故障检测与定位研究研究有：文献[3]中提出一种基于PLC用于电气自动化仪表的故障检测系统。该系统的硬件模块包括以下组成部分：数据采集模块、PLC芯片选配与通信模块、上位机程序模块、数据集成模块和仪表故障检测模块。这些模块的协同工作保证了整个系统的稳定运行和高效性能。文献[4]中提出了一种石油化工自动化仪表故障诊断方法。该方法首先将信号分解为多个模态，并通过对每个模态的处理获得准确的频率信息。通过使用合适的惩罚因子，可以减少在信号中存在的噪声。然后，根据每个分解模态的基带范围计算关键参数，这些参数对故障检测和诊断非常重要。最后，将故障信号与仪表故障特征参数进行比较，以确定所观察到的故障类型。

国外相关故障检测与定位研究研究有：文献[5]中提出了一种基于知识图的故障诊断系统。研究RBT3-TextCNN模型和Jieba工具的预训练方法。这种方法使用文本卷积神经网络(TextCNN)和三层鲁棒优化变压器双向编码器表示(RBT3)，可以同时提取实体和识别故障查询意图。此外，还开发了一个基于WebSocket协议的故障报警监控模块，可以自动将出现的故障详细信息发送给操作人员。文献[6]中提出一种基于分布式滑模观测器的MAS故障诊断方法，提出基于滑模的分布式未知输入观测器来估计扩展状态，并引入自适应律来调整观测器参数。最后，通过数值仿真验证了该方法的有效性。

然而，上述方法应用于通风机械仪表故障区域定位工作中后，发现其故障区域定位结果与实际结果相差较大。对此，本文通过机器学习优化的方式，设计了一种新的通风机械仪表故障区域高精度视觉定位方法。在使用Kinect相机提取到通风机械仪表图像后，通过改进直方图均衡化的方式调节图像的亮度与色调，并在此基础上，引入局部图像处理环节对图像实施分块式对比度增强处理，依次调节图像的亮度与色调，从而增强通风机械仪表图像的局部对比度。对增强处理后的图像进行基于像素相关性的仪表故障区域分割提取，在划分出通风机械仪表故障区域后，利用深度卷积网络检测其中的目标信息。最后，计算定位目标的质心坐标，将质心位置设成通风机械仪表故障位置，通过实时投影完成高精度定位。

1 通风机械故障仪表图像采集与预处理

1.1 通风机械仪表图像的提取

Kinect相机是机器视觉领域常用的相机之一，Kinect相机具备追焦能力[7-8]。本研究中，使用Kinect相机提取通风机械仪表所处环境图像。图1为Kinect相机成像示意图。

图1 Kinect相机成像原理图

Kinect相机的成像如下。

1)连接Kinect相机：将Kinect相机通过USB接口与计算机连接。确保连接稳定并符合硬件要求。

2)安装驱动程序：根据Kinect相机型号和计算机操作系统，安装相应的驱动程序[9-10]。

3)启动相机：打开使用Kinect相机的图像采集软件或开发环境，调用相应的API函数启动相机。

4)获取彩色图像：通过API函数，调用相机的彩色传感器来获取实时的彩色图像。此时，相机会捕捉到前方环境的彩色图像信息。

5)获取深度图像：通过API函数，调用相机的深度传感器来获取实时的深度图像。深度图像显示场景中各个点距离相机的远近[11]。

1.2 通风机械仪表图像局部对比度增强处理

在得到通风机械仪表图像后，通过改进直方图均衡化的方式调节图像的亮度与色调，把图像中不同区域内的亮度差异扩大。通过对比度的增强，故障区域的边缘和细节能够更突出地显示出来，有助于更准确地分割故障轮廓[12]。

在全局直方图均衡算法的基础上，引入局部图像处理环节对图像实施分块式对比度增强处理，依次调节图像的亮度与色调，从而增强通风机械仪表图像的局部对比度。

在增强处理的过程，为了防止出现马赛克问题，设置阈值约束各个像素块的裁剪工作，把大于阈值的区域划分至其他区域重新裁剪。阈值的变化对通风机械仪表图像增强作用也存在差异，阈值较大时，会导致图像曝光率超标，而阈值较小时，会导致图像增强效果较差[13-14]。因此，合理的阈值是保证通风机械仪表图像增强效果的前提。为此，本文将自适应阈值调整技术引入直方图均衡化方法中，可以结合图像的亮度信息自主设置合理的阈值，此时图像暗部细节的增强效果便得到优化，具体步骤如下：

1)对2.1小节采集到的通风机械仪表图像执行分块操作，保证各个像素块大小一致，不存在重叠性[15]；

2)变换图像色域，自RGB空间变成YUV空间；

3)分块运算频率分布直方图，提取其均值；

4)运算动态阈值，将像素块的亮度均值设成边界条件，运算超过均值的直方图面积。直方图面积可体现直方图的突兀水平，结合一个或多个直方图的突兀水平，动态设置差异的阈值，阈值将根据图像灰度值的分布状态实现自动调节[16]；

5)根据阈值裁剪焊点区域图像直方图，大于阈值的区域实施求和处理，均分至各个像素点的坐标，并将大于阈值的像素量均分至每个灰度范围中；

6)运算像素累积分布函数Rh：

(1)

其中：m表示通风机械仪表图像的像素数量，mh表示第h个像素，且j∈m；

7)使用一维低通滤波率，优化像素平滑水平，过程如下：

(2)

其中：X(h)表示滤波后通风机械仪表图像的像素值；

8)为防止出现块效应，通过插值运算方法计算块和块之间像素值。插值运算方法如图2所示[17]。

图2 插值运算方法

图2中的黑色正方形区域代表通风机械仪表运行环境深度图像的边角区域像素，用于直接运算映射函数，白色正方形区域是边缘区域。通过线性插值方法运算像素[18]，运算方法如下：

(3)

其中：g(x，y)表示图像素点数值；(x1，y1)、(x2，y2)依次表示近邻像素块中心坐标，g1、g2表示子块映射值[19]。

图2中的白色圆形区域代表通风机械仪表深度图像的中间区域像素块，以双线性插值方法运算获取像素值，运算方法过程如下：

(4)

9)融合原图与增强后通风机械仪表图像：

g(x，y)=ϖ×o″+(1-ϖ)o

(5)

其中：ϖ表示融合所用权值；o″、o依次表示增强前后的图像。

2 通风机械仪表图像故障区域的分割和检测方法

2.1 基于像素相关性的仪表故障区域分割提取

假设2.2小节增强处理后的通风机械仪表图像g(x，y)的像素集合为G={gi|i=1，2，...，m}，将集合G中像素设成中心像素点，然后设计检索窗口，窗口中的像素集合为F={fj|j=1，2，...，m}。图像的分割步骤如下。

输入：增强后的图像g(x，y)、局部窗口尺寸Mj。

输出：g(x，y)的像素相关性关系R。

1)运算检索窗口中像素的中位数：

Nj=median(fj)

(6)

其中：median()表示MEDIAN函数。

2)假设Bj表示检索窗口中像素的浮动值，则存在：

Bj=abs(fj-Nj)

(7)

其中：abs()表示绝对值函数。

3)运算像素中位绝对偏差是：

NAj=median(Bj)

(8)

4)分析检索窗口中像素是否属于噪声像素，则存在：

(9)

其中：β表示阈值，Qjr表示像素决策概率值。当Qjr的数值等于0时，代表检索窗口中像素非噪声；当Qjr的数值等于1时，代表检索窗口中像素是噪声像素。

5)把集合F里噪声像素点去除，获取正常像素集合F′。然后根据检索窗口中正常像素点之间灰度值的相似度D运算像素间相关性关系，过程如下：

R=exp(mean(D)-D×Qjr)

(10)

基于像素之间的相关性，给出仪表图像故障区域分割的步骤如下：

输入：迭代最大值γ、模糊因子n、像素聚类数目A、像素聚类的局部窗口尺寸Mj。

输出：通风机械仪表图像中的故障特征分割结果θ。

1)分析g(x，y)的像素中心，设计合理的像素检索窗口，运算窗口内像素和中心像素的相关性。

2)在初始化模糊隶属函数的前提下，计算像素聚类中心：

(11)

3)若迭代次数为最大值，便进入4)，反之回到2)。

4)执行去模糊处理，则图像g(x，y)分割结果为：

θ=argmax{uj}

(12)

上述过程，通过利用改进像素相关性分割算法对图像进行分割，将通风机械仪表区域从背景中提取出来。这一步可以通过结合像素之间的相关性来判断是否属于通风机械仪表的区域。

2.2 基于深度卷积网络对分割图像的故障判断

利用深度卷积网络(DCNN)对分割后的图像进行故障轮廓检测。DCNN是一种强大的图像分类和目标检测算法，在训练阶段需要准备故障样本来进行模型训练，以便能够准确地检测和识别通风机械仪表的故障情况。深度卷积网络结构图如图3所示。

图3 深度卷积网络结构图

从图3看出，深度卷积网络是一种具有深度结构的前馈神经网络，其中包括输入层、转换层、用于特征提取的卷积层和池化层、用于故障检测的全连接层、输出层[20]。

利用深度卷积网络检测通风机械仪表图像中故障轮廓的过程如下。

1)切割处理：根据上述经过分割得到的通风机械仪表区域图像数据θ结果，进行切割处理。该处理过程可以通过裁剪出分割区域的图像块或裁剪成更小的图像片段，作为深度卷积网络的输入向量。这样可以提取出每个故障区域的局部特征，更有利于深度学习网络的训练。处理参数为：

(13)

其中：h×z表示图像分割区域的空间压缩维度，这里的h代表影像增强参数，z代表训练次数。

2)深度学习网络的训练：使用上述经过切割处理后的数据样本作为输入向量，对深度卷积网络进行训练。训练目标是使网络能够学习到故障样本的特征，并能够准确地判断通风机械仪表图像中的故障。

卷积层使用卷积验证从输入训练数据中提取特征。DCNN通常具有多个卷积核，每个卷积核都可以提取不同的数据特征。将输入的一维数据设为x，则经卷积特征映射可表示为：

(14)

池化层对信号进行降采样，从而达到减少模型参数的数量的目的，在通道数量不增加的情况下对特征进行选择。一维卷积层的输出一般为大小W×D的特征(W表示特征的长度、D表示通道数。平均池化和最大池化为常用的池化操作，采用平均池化操作，则经池化操作后输出变为：

(15)

式中，yk+1表示池化后第k+1层输出。

全连接层将前一层网络的每一个节点连接到当前层的所有网络节点。在使用过程中，全连接层可由卷积运算实现；卷积核为1×1的全连接层可转换为卷积，而卷积核大小为W的全连接层层可转换为全局卷积。

3)在完成对深度卷积网络的训练后，输入图像分割结果，过程如下：

(16)

其中：(I，J)表示引用分割框的坐标，p表示参照系目标的概率，b表示回归损失，s表示平衡参数。

在筛选深度卷积网络输出故障轮廓候选框的火车上，可以确定候选框的所述类别。将候选框与类别标签作为网络训练数据，可以得到故障轮廓的候选框和实际候选框。

4)将故障轮廓区域的数据集作为正类样本，将非故障区域的数据集作为负类样本，通过迭代训练形成完整的深卷积网络训练学习过程。

5)故障检测层包括需要故障检测回归的N个任务。对于第个任务，使用两个完全连接的层输出。第一个调谐共享的卷积提取特征，第二个连接故障结果。全连接运算定义表示为：

(17)

通风机械仪表盘故障类型共分为5种，包括仪表读数偏差、仪表指针脱落、仪表表面污染、仪表内部出现故障、仪表盘安装不当。使用权重系数和故障类型的权重向量来计算故障类型的概率或分类得分。以下是判断通风机械仪表盘故障类型的表达式：

S(F)=∑(Wi*Pi)

(18)

式中，S(F)表示通风机械仪表盘故障类型，W表示第i个任务对应的权重系数，P表示故障类型F的权重向量的第i个元素。通过将式(18)应用于式(17)中的全连接运算，可以确定最终的故障类型。

3 基于目标质心计算完成仪表故障区域定位

在分割通风机械仪表图像并提取其中的故障轮廓后，计算故障区域的轮廓质心横、纵坐标，过程如下：

(19)

其中：(xj，yj)表示第j个像素坐标，T(xj，yj)表示第j个像素的灰度值。

图4 投影成像空间坐标示意图

由于焊点目标的质心点具有固定性。因此，为准确定位通风机械仪表故障轮廓位置，通过将目标点坐标映射到投影成像空间坐标系中，可以得到在实际空间中的位置，实现通风机械仪表的故障区域定位。

(20)

其中：ρ、η表示目标点坐标在投影成像空间坐标系中二维坐标值，(x，y，z)表示目标点在投影成像空间坐标系中位置，(x0，y0，z0)表示相机坐标原点在投影成像空间坐标系中位置，x0、Δy表示用于在相机的水平和垂直方向上对每个像素进行采样的量化因子，ρ0、η0分别为在水平和垂直方向上采样期间相机成像中心的位置偏移。通过上述过程即可获取目标点坐标的二维坐标值、基坐标系位置，从而实现通风机械仪表故障区域的精准定位。

4 实验与分析

4.1 实验环境

为验证性能上述设计的基于机器学习优化的通风机械仪表故障区域高精度视觉定位方法，进行实验测试。为测试所设计系统的功能实现效果，本章节进行系统实现与测试。为了验证本文方法的数据安全性能与共享时间效率，整个实验都需要在性能强大的服务器上完成，服务器为：5 TG的内存、NVIDIA RTX 2080Ti 12G的显卡，服务器的软件环境为：Python 4.8的代码编写软件平台、Windows10操作系统的硬件环境。

4.2 图像增强与目标分割结果

对基于Kinect相机采集到的通风机械仪表图像进行增强处理后，图像信息熵变化如图5所示。信息熵可体现图像细节特征完备性，数值越接近于1，表示图像细节特征越完备。

图5 图像增强前后信息熵变化

观察图5可知，本文方法对通风机械仪表图像增强后，图像细节特征完备，信息熵超过0.9，说明本文方法对通风机械仪表进行图像增强处理后，图像细节特征的保存效果较好。

利用本文方法将图像实施分割处理，有效分离图像中的有效目标和背景，分割效果如图6所示。

图6 通风机械仪表目标分割结果

4.3 通风机械仪表故障检测结果

基于上述通风机械仪表目标分割结果，对通风机械仪表故障进行检测。实验中，将文献[3]、文献[4]方法作为对比方法，得到通风机械仪表故障检测对比结果如图7所示。

图7 通风机械仪表故障检测结果

观察图7可以发现，本文方法的通风机械仪表故障检测精度均高于90%，最高检测精度为98%；文献[3]方法的通风机械仪表故障检测精度低于本文方法，最高检测精度仅为87%；文献[4]方法的通风机械仪表故障检测精度低于文献[3]方法，最高检测精度仅为82%；由此可见，本文方法对通风机械仪表故障检查精度较高，具有有效性。

4.4 通风机械仪表故障区域定位结果

基于上述是通风机械仪表故障检测结果，对通风机械仪表故障区域进行定位。得到通风机械仪表故障区域定位的对比结果如图8所示。

图8 通风机械仪表实际故障区域定位结果

观察图8可以发现，两种文献方法的定位坐标点与通风机械仪表实际故障区域具有一定的偏差，而应用本文方法后，故障定位坐标点与实际故障坐标点吻合度较高，但定位误差极小。由此可以表明，本文方法对通风机械仪表的故障区域定位问题具有可用价值。

4.5 通风机械仪表故障区域定位时间结果

为进一步验证本文方法的故障区域定位效率，以区域定位时间为测试指标，将这3种方法进行比较和测试，测试结果如表1。

表1 3种方法故障区域定位时间对比表

观察表1可以发现，本文方法的通风机械仪表故障区域定位时间均低于10 s，最低定位时间仅为5 s；文献[3]方法的通风机械仪表故障区域定位时间高于本文方法，最低定位时间达到30 s；文献[4]方法的通风机械仪表故障区域定位时间高于文献[3]方法，最低定位时间达到36 s；由此可见，本文方法对通风机械仪表的故障区域定位效率较高，具有实用性。

5 结束语

智能机械是目前工业制造领域所应用的重点智能化技术之一，焊接机器人和其他焊接机械的应用使焊接工作成为可能，智能化的发展不仅降低了体力劳动的投入成本，而且具有很高的工作安全性。

为有效实现焊接机械对通风机械仪表的定位精度，本文设计了基于机器学习优化的焊接机械通风机械仪表高精度视觉定位技术，对通风机械仪表图像实施采集、增强、分割处理，然后利用深度卷积网络检测其中的目标信息，再通过计算焊点质心坐标实现高精度视觉定位。从实验结果能够看出：本文方法不仅可以增强通风机械仪表图像的细节特征，还能够有效提取图像中通风机械仪表目标信息，准确定位焊点所在位置。