融合HOG和GLCM特征的输送带撕裂在线检测方法

曾 飞，赵玉凯，欧宏日，赵晨晨

(1.武汉科技大学冶金装备及其控制教育部重点实验室，湖北武汉 430081；2.武汉科技大学机械自动化学院，湖北武汉 430081)

0 引言

输送带是带式输送机系统的关键部件之一[1]。在输送各种散状物料过程中，下料点处矸石、锚索或金属硬物可能会划伤和击穿输送带从而造成输送带撕裂。撕裂事故一旦发生，不仅需要停工停机及时维修，甚至可能还需更换整条输送带，造成经济损失。因此，实现输送带纵向撕裂检测对保障带式输送机安全稳定运行具有重要意义[2]。

目前，应用于港口带式输送机领域的输送带撕裂检测方法主要有人工检测、X射线检测和电磁检测[3-4]等。其中人工检测精度不高、劳动强度大。X射线检测输送带撕裂，根据射线波动的强度，从而判定是否撕裂，检测较复杂且X射线对人体有害。电磁检测通过预先安置在输送带中的电磁感应线圈检测输送带撕裂情况，但安装和维护成本很高。近年来，随着带式输送机向长距离、高带速发展，利用视觉技术实现输送带损伤检测成为研究热点[5]。徐善永等[6]通过采集输送带红外图像，利用序列最小优化算法(SOM)对红外图像进行分割并判断是否撕裂。王福斌等[7]提取输送带撕裂图像边缘并进行分割，再提取分割后图像的几何特征进而使用支持向量机判断是否撕裂。郭雄伟等[8]设计一种图像识别的输送带纵向撕裂检测系统，通过对图像进行处理和特征提取，建立专家数据库进而达到对撕裂的检测与预警。J.Che等[9]分别提取输送带正常、划痕和撕裂图像的方向梯度直方图(histogram of oriented gradient，HOG)特征，并融合声音特征后，再利用支持向量机判断撕裂的类型。

然而，上述视觉检测方法仅考虑了输送带撕裂图像单一特征，未考虑输送带表面纹理信息复杂而导致不能准确在线识别输送带撕裂类型。为此，提出了融合HOG和灰度共生矩阵(gray-level co-occurrence matrix，GLCM)特征的输送带撕裂在线检测方法。通过提取并融合撕裂方向梯度特征和纹理特征，使用支持向量机以提高输送带撕裂的检测率。

1 系统总体设计及检测流程

1.1 输送带撕裂在线检测系统设计

输送带撕裂在线检测系统主要由输送带、条形光源、相机、上位机、报警器等组成。输送带撕裂在线检测系统，如图1所示。首先通过安装在输送带上料口前端的相机采集输送带表面的图像信息；然后，将采集的图像信息传输到上位机并进行分析、处理和判断；最后，报警系统根据上位机对图像判断的结果，进行不同程度的预警。

图1 输送带撕裂在线检测系统

1.2 检测流程

输送带撕裂在线检测的流程分为图像采集、图像处理、模型训练和预警4部分。首先，将获取的输送带正常、划伤和撕裂3种图像进行预处理和特征提取；然后训练支持向量机模型，并用训练的模型对输送带裂纹进行识别；最后，根据识别的结果进行不同程度的预警。输送带撕裂检测流程如图2所示。

图2 输送带撕裂检测流程

2 HOG-GLCM输送带撕裂检测算法

2.1 输送带图像预处理

相机采集输送带表面撕裂图像时，因受到噪声、光照不均和粉尘等外界因素影响，图像质量会下降，影响图像识别。采集的输送带图像分为3类：正常、划痕和撕裂，如图3所示。首先，对图像进行校正，去除光照不均的影响，如图4所示。然后，再经局部直方图均衡化，对图像进行增强，从而突出裂纹特征的目标轮廓。最后，采用双边滤波对图像进行去噪，以达到保持输送带撕裂的边缘、去除噪声的效果。预处理后的图像如图5所示。

(a)正常 (b)划伤 (c)撕裂图3 采集的输送带图像

(a)正常 (b)划伤 (c)撕裂图4 光照不均校正后图像

(a)正常 (b)划伤 (c)撕裂图5 预处理后图像

2.2 HOG特征提取

HOG是一种可以对图像特征加以描述的特征提取算法[10]。该算法能较好地通过计算图像中各个区域的方向梯度直方图，从而完成对HOG特征的提取和统计。同时，该算法对于图像几何和光学变化保持较好的不变性。因此，适用于不同形态的输送带撕裂特征提取，其HOG特征提取步骤如下：

(1)计算输送带图像中每个像素点梯度幅值G(x，y)和梯度方向α(x，y)。梯度幅值和方向可以用来描述图像的轮廓和形状信息，同时消除噪声干扰，计算公式为：

(1)

α(x,y)=tan-1(Gy(x,y)/Gx(x,y))

(2)

式中：Gx(x，y)、Gy(x，y)分别为图像中点(x，y)处像素水平梯度和垂直梯度。

Gx(x,y)、Gy(x,y)可由像素点灰度值H(x，y)计算得出。

Gx(x,y)=H(x+1,y)-H(x-1,y)

(3)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(4)

(2)将图像划分为像素细胞单元(Cell)组成的网格。细胞单元参数的大小会对特征向量编码产生影响。参数过大，特征信息编码不全面；参数过小，时间复杂度上升。将图像进行划分，每个细胞单元大小为10像素×10像素，并构建梯度方向直方图。

(3)每3像素×3像素细胞单元(Cell)组成一个块(Block)，块内合并细胞单元的方向梯度直方图并归一化操作。

(4)将所有块的梯度向量串联得到图像的HOG特征。

在统计分析HOG特征时，HOG特征向量维数较大，2个特征融合就会降低另一个特征对模型的影响。因此，需要对HOG特征进行降维。主成分分析(principal component analysis，PCA)是数据降维有效手段[11]。即将重叠变量信息进行删减，仅保留主要信息，其计算过程如下：

设N为样本个数，提取HOG特征向量的维度为M，则样本集为X=[X1，X2，…，XN]。样本的协方差矩阵C可以表示为

(5)

(6)

因协方差矩阵是实对称矩阵，可得到n个特征值λi(1≤i≤m)和特征向量Ui(1≤i≤m)，将n个特征值由小到大排序，根据精度要求选择K个特征向量，并将特征向量进行投影来达到降维目的。投影后的新特征，计算公式为

Y=UTX

(7)

式中：Y为投影后的新特征；UT为样本的主分量矩阵；X为样本集。

2.3 GLCM特征提取

GLCM是一种纹理统计分析法，可用于提取图像的整体纹理特征[12]。输送带撕裂过程要经历划伤和撕裂2个阶段，划伤和撕裂图像可能会出现相同的局部纹理，会导致出现误检情况。考虑到局部二值模式(LBP)可用于图像局部纹理特征提取，且计算简单和对光照的变化具有鲁棒性[13]。将2种方法结合可以保证图像纹理特征信息的完整性。

2.3.1 计算LBP算子

LBP分为阈值处理和编码2个步骤：首先定义一个3×3的像素窗口，设像素窗口中的中心像素点(x，y)的灰度值Hc(x，y)为阈值，与相邻的8个像素值H1(x-1，y-1)、H2(x，y-1)、H3(x+1，y-1)、H4(x+1，y)、H5(x+1，y+1)、H6(x，y+1)、H7(x-1，y+1)、H8(x-1，y)进行比较，若邻域8个像素值大于或等于阈值，将邻域像素值设定为1，反之设置为0。在编码步骤中，对从阈值处理步骤获得的二进制数进行编码并转换成十进制数。LBP算子计算公式如式(9)、式(10)所示。

(8)

(9)

式中：s(x)为符号函数；Hc(x，y)为中心像素点的灰度值；Hp(x，y)为相邻的像素的灰度值。

采用LBP算子时，首先按照上面方法计算中心点的LBP算子值，然后按照步长为3对所有像素点进行遍历，从而得到对应的LBP特征图像。

2.3.2 特征提取参量

灰度共生矩阵(GLCM)是一种通过描述像素点间的关系来确定图像的纹理信息。纹理特征描述前首先对预处理后图像进行灰度级量化。为减少运算量，将灰度图量化为16。GLCM对方向的取值为0°、45°、90°和135°，步距d取值为 2。通过对4个方向求出不同的特征值再计算得到灰度共生矩阵各参数。根据采集3种图像的特点选择最有代表性的特征参数[14]，分别是能量(angular second moment，ASM)、对比度(contrast，CON)、熵(entropy，ENT)、相关性(correlation，COR)和逆差矩(homogeneity，HOM)。各表达式分别如下：

(1)能量：反映纹理图像的灰度分布情况和纹理的粗细度。

(10)

(2)对比度：反映纹理图像的深度与厚度。

(11)

(3)熵：统计纹理分布的随机性。

(12)

(4)相关度：反映了图像局部的灰度相关性。

(13)

(5)逆差矩：反映图像纹理的同质性，对图像局部纹理变化的大小进行度量。

(14)

式中：L为灰度级数，取值为16；f(i，j)为像素点i和j出现的次数；(i-j)表示像素对的灰度差。

2.4 特征融合

为更好地描述图像细节特征，又不损失图像边缘特征信息及像素间空间相关特性，将HOG特征和CLCM特征进行串行融合并归一化处理[15]。以防止特征提取时遗失重要信息，增强鲁棒性，以便提高检测精度。特征融合示意图，如图6所示。

图6 特征融合示意图

2.5 SVM分类算法

支持向量机(SVM)适合处理非线性问题，对于小样本的学习有很好的泛化能力[16]。选取正常、划伤和撕裂3种不同输送带图像作为样本，提取图像HOG和GLCM特征并融合作为支持向量机(SVM)的输入，进行分类器的训练和测试。SVM是一个二分类器，在处理二分类以上的分类问题时，需要构造合适的多分类器。采用一对一的方式，即任意2个不同类别的样本之间构建一个分类器，所以3个不同的样本，需要3个分类器。

3 撕裂检测实验

3.1 实验台搭建和软件设计

实验数据集来源于现场实验拍摄，包括输送带正常、划伤和撕裂3种图像。实验在长3.5 m，带宽0.49 m，运行速度1 m/s的带式输送机实验平台上开展。图像采集使用USB接口的CCD相机，该相机分辨率为2 560像素×1 440像素，帧率为30 fps。图像采集过程中使用2个条形光源对输送带表面进行照射。图像传输采用USB线传输到上位机。上位机界面用于直接显示输送带图像。实验平台如图7所示。

图7 实验平台

在检测系统中，软件是基于Python中PyQt5的GUI界面进行开发，在PyCharm环境中运行。软件实现了上位机与工业CCD相机的图像显示、图像预处理、图像特征提取、图像识别和报警。输送带撕裂在线检测软件界面如图8所示。

图8 输送带撕裂在线检测软件界面

3.2 实验结果分析

为验证算法的准确性，采集正常、划伤和撕裂3种样本各200张。选择HOG算法、GLCM算法、LBP-GLCM算法及本文方法进行对比，分别记为方法1～4，即方法1选择 HOG算法作为图像的特征提取；方法2选择GLCM算法作为图像的特征提取；方法3首先对图像进行LBP变换，然后选择GLCM作为图像的特征提取；方法4为本文方法，选择方法1和方法3作为图像的特征提取并融合。将方法1～4提取的特征输入至SVM中进行测试。图9为不同算法识别准确率。

图9 不同算法识别准确率

由图9可知，方法1的平均识别准确率为78.93%，方法2的平均识别准确率为83.14%，方法3的平均识别准确率为87.33%，方法4为本文提出的方法，平均识别准确率为95.37%，单幅输送带图像识别率耗时为38.6 ms。可以看出，方法4相比于其他算法在识别准确率上得到明显的提升且稳定较好。

4 结束语

本文针对输送带撕裂图像信息复杂，单一的特征提取算法很可能导致出现误检的情况。提出了一种融合HOG和GLCM特征的输送带撕裂在线检测方法。通过对图像进行HOG和GLCM特征提取并融合，使用支持向量机进行识别。通过提取4种不同特征进行实验，结果表明：较其他特征提取方法，本文方法达到了较好的撕裂识别效果，单幅输送带图像耗时为38.6 ms，满足在线检测的需求。