基于WLD-LPQ特征的心盘螺栓故障图像检测算法

张金敏，冯映科，王思明



基于WLD-LPQ特征的心盘螺栓故障图像检测算法

张金敏1，冯映科1，王思明2

(1. 兰州交通大学 机电工程学院，甘肃 兰州 730070；2. 兰州交通大学 自动化与电气工程学院，甘肃 兰州 730070)

针对货车心盘螺栓故障图像，提出一种基于韦伯局部描述符(Weber Local Descriptor , WLD)特征和局部相位量化(Local Phase Quantization, LPQ)特征融合的故障图像检测算法。该算法分为螺栓定位与识别2个步骤，采用间接定位法逐步定位感兴趣区域(Region of Interest, ROI)，通过最大类间方差法(Otsu)和改进的Canny算法与图像投影结合定位螺栓部位；利用WLD特征和LPQ特征分别提取螺栓纹理，对其归一化，使用PCA降维特征向量，串行联合为WLD-LPQ特征，通过支持向量机SVM自动检测识别。研究结果表明：本文算法能快速准确定位，空间域与频率域结合的WLD-LPQ特征提高了检测识别率，平均检测识别率达到98%以上。

心盘螺栓图像检测；WLD；LPQ；特征融合

心盘是铁路货车与转向架传递载荷的主要部件之一[1]。组合式心盘便于拆装检修，广泛应用于铁路货车上。心盘螺栓作为组合式心盘结构连接的关键零部件，在货车运行过程中，容易造成螺栓松动、丢失、折断等故障，从而危及货车运行安全[2]。因此心盘螺栓故障的检测具有重大意义。货车运行故障动态检测系统(Trouble of Moving Freight Car Detection System, TFDS)替代传统人工列检，提高了作业效率和质量[3]。但心盘螺栓形状较小，TFDS列检员受到工作时间长、劳动强度大等因素影响，容易造成漏检。心盘螺栓故障自动识别替代人工列检是TFDS发展的必然趋势。陈燕等[4]通过制动梁位置确定螺栓所在的心盘区域，用Hough提取圆特征的螺栓图像，根据像素值大小判断故障。YANG等[5]结合灰度映射和梯度映射，采用自适应阈值变换滤掉不相关特征，定位螺栓并分割图像，用Hough提取主要特征，最后利用螺栓几何特征识别。LI 等[6]通过灰度投影和空间滤波初步定位螺栓，依靠梯度特征准确分割图像，用Haar特征描述，通过AdaBoot分类器分类实现故障诊断。以上研究方法均未考虑拍照姿势、光照和遮挡等因素影响，心盘螺栓识别率不高。ZHANG等[7]用Gabor滤波器提取螺栓边缘特征，接着LBP描述，并用遗传理论优化Gabor不同方向模板的权值，最后利用SVM分类器实现故障识别，提高了在复杂环境下心盘螺栓的识别率，但该算法运行耗时较长，难以满足TFDS实时检测的要求。心盘螺栓图像的特点及故障图像检测的难点包括：1) 心盘螺栓位于光照不良的转向架底部，容易出现图像亮度不均、噪声多等现象，影响螺栓的定位和识别。2) 转向架底部零部件较多，形状各异，受干扰的因素多，用单一图像处理方法难以有效定位。3) 心盘螺栓受到粉尘、油污等污染物的附着，造成螺栓纹理模糊，增加了识别难度。4) 螺栓故障类型多，部分故障与正常状态相似度较高，区分难度大。针对以上问题，本文提出基于WLD-LPQ特征的心盘螺栓故障图像自动检测 算法。

1 心盘螺栓故障检测原理

如图1所示，心盘螺栓形状小，直接定位比较困难，主要采用间接定位[4−6]，并用WLD-LPQ特征提取螺栓纹理，通过SVM分类器实现故障的自动检测识别。

心盘螺栓自动检测识别算法流程步骤：

步骤1：图像读取、中值滤波。

步骤2：心盘螺栓定位。

步骤3：WLD特征和LPQ特征分别提取、归一化、PCA降维，最后串行联合。

步骤4：SVM分类器检测识别。

图 1 心盘螺栓间接定位示意图

1.1 心盘螺栓的定位

对于特定形状的图像，图像投影能快速定位图像中的某些信息[8]。根据制动梁与制动杆交点、螺栓中间的加强筋、螺栓固有的几何位置关系，采用图像投影可快速定位ROI。灰度投影速度快，但容易受到光照、噪声等因素的影响，在实际应用中效果差，本文采用二值投影可解决此类问题。

二值图像的水平和垂直投影表示为：

式中：为图像的高度或者宽度；(,)为二值图像的像素值。

二值化是本文图像投影得到有效信息的关键步骤。二值化方法通常有全局阈值法、局部阈值法、动态阈值法，而全局阈值法中的Otsu阈值分割法对噪声及光照不均的图像分割效果更优[9]，且算法运行简单快速。Canny算法具有较好的信噪比、较高的检测准确率、较好的边缘连续性以及完整性[10]。经前期实验，采用Otsu算法和Canny算法二值化图像效果最佳。

Canny算法也存在不足之处，如存在伪边缘、抗噪能力差等问题[10]。根据加强筋边缘特点，改进Canny算法，以提高其运行速度和增强抗算法的噪声能力。Canny算法改进如下：

1) 去除高斯滤波步骤，以减少程序运行时间。

2) 在梯度计算方面，因Frei-Chen具有检测细微边缘和暗区边缘的能力[11]，采用Frei-Chen算法代替Sebol算法更具优势。加强筋(如图1矩形框内)的边缘均为垂直走向，所以本文采用垂直边缘检测模板计算，能去除不相关的边缘。梯度计算方法为：

3) 采用Otsu算法确定双阈值提高算法的自适用性，有效去除伪边缘和噪声。加强筋边缘属于强边缘，经前期实验可知采用Otsu算法计算梯度幅值阈值的1.5倍作为高阈值，低阈值设定为高阈值的一半。

以图1的心盘螺栓图像定位为例，具体过程 如下：

1) 采用Otsu算法二值化图像，并水平投影(如图2(a)所示)，制动梁位置的像素值最高，从而确定制动梁垂直坐标；然后制动梁区域局部垂直投影，图2(b)为制动梁上下250像素范围的投影，图2(c)为制动梁上部分250像素范围的投影，图2(d)为制动梁下部分250像素范围的投影，对3个图的最大投影值的水平坐标求平均值，计算出制动杆的水平坐标，比较3个图的水平坐标数值，得出制动梁和制动杆交点A的坐标值和心盘螺栓位于制动梁的下方及制动杆的左侧。

(a) 制动梁水平投影；(b) 制动梁上下250像素范围投影；(c) 制动梁上部分250像素范围投影；(d) 制动梁下部分250像素范围投影

(a) 加强筋灰度图像；(b) 加强筋边缘二值图像；(c) 加强筋垂直投影；(d) 加强筋水平投影

图4 心盘螺栓定位结果

1.2 心盘螺栓识别

1.2.1 WLD特征

图 5 心盘螺栓WLD特征提取过程

图6 心盘螺栓WLD直方图

1.2.2 LPQ特征

LPQ属于频率域的纹理描述，对模糊图像的纹理描述具有一定的优势[13]，具体描述如下：

对于图像()，×邻域N采用离散的短时傅立叶变换[14]表示为：

对于每个像素位置，通过向量表示：

傅立叶系数相位可以通过每个部分的实数和虚数的符号来表示。

LPQM表示窗口大小为×的算法，5×5窗口的LPQ算法如图7所示。

图7 心盘螺栓LPQ特征提取过程

图8 心盘螺栓LPQ直方图

1.2.3 WLD-LPQ特征

本文采用WLD-LPQ特征描述，结合空间域和频率域的特征描述以增强螺栓纹理描述能力。对上一节已经分割好的心盘螺栓图像，首先采用WLD特征和LPQ特征分别描述螺栓纹理，得到相应的特征向量。

然而WLD特征和LPQ特征是不同的度量，直接融合一起，不利用提高纹理的描述能力。归一化处理可以保持数据之间的相对关系和加快程序的收敛速度[15]。因此本文采用最大最小归一化，如式(10)和(11)所示。

由于WLD特征和LPQ特征维度较高，影响检测速度。PCA方法常用于降维处理，且降维后的特征仍具有很好的描述能力[16]。因此采用PCA分别对WLD特征和LPQ特征降维处理，最后串行联合WLD和LPQ特征(如图9所示)。

1.2.4 SVM分类

SVM在两类别分类方面能取得较高的准确 率[17]。在提取心盘螺栓图像特征之后，采用支持向量机(SVM)进行分类识别。该算法具体描述如 下[18]。

运用拉格朗日函数法进一步将式(13)变为：

高斯核函数具有相当高的灵活性，因此本文选用此函数，如式(15)所示。

其中：为核函数宽度。

根据参数(,)对SVM的影响，采用二分法进行参数寻优。二分法就是固定值，每次取数值范围的中间值，并且计算正确识别率。其算法步骤如下[19]。

1) 使用线性SVM求解最优化误差惩罚参数，使其推广识别错误率降到最低。

2) 将上一步骤得到的代入相应高斯核函数的SVM 中，依据对SVM的影响曲线(使SVM 错误率最低的数值仅有一个)，通过二分法来获得最优参数的查询，如果超过设定精度值，本轮寻优 结束。

3) 在得到的最优值附近缩小步长值，重复步骤2进行更细致的二分寻优。

4) 如果达到预定的精度则退出查询，否则继续寻找最优参数。

2 实验与分析

为验证本文算法的有效性及优越性，使用从兰州铁路局采集的心盘螺栓图像作为实验样本。实验硬件条件: Intel Corei5-5200U 2.2 GHz的CPU，8 GB内存，软件条件：Win7 系统，用Matlab R2014a进行测试，并分析检测结果。

2.1 心盘螺栓定位实验分析

本文选取不同环境下采集的心盘螺栓图像进行实验分析。一般情况下，图像有4个心盘螺栓，由于制动杆遮挡的原因，只能显示3个心盘螺栓。当制动杆位置偏差未能完全遮挡住螺栓时，螺栓就会显示出部分图像(如图10(a)所示)。图10(b)为本文定位实验的结果。

(a) 原来图像；(b) 定位后图像

从图10(b)可以看出，本文方法可以定位未完全遮挡住的螺栓，而文献[4]−[6]由于制动杆遮挡原因无法定位未完全遮挡住的心盘螺栓。从而说明本文定位方法适用性强。

2.2 心盘螺栓识别实验分析

采用实验室已有图像自建心盘螺栓图像库，自建部分的样本库如图11所示。对其进行实验，并分析实验结果。本文采用SVM分类器检测识别，在训练SVM分类过程中，采用高斯核函数，为了SVM分类获得最优参数，利用二分法对误差惩罚参数和高斯核参数测试准确率，其结果如表1 所示。

(a) 正样本；(b) 负样本

表1 SVM分类最优参数值

从图12可以看出，WLD-LPQ特征的识别率比WLD特征和LPQ特征高，其中9×9的窗口最优。因此本文采用9×9窗口WLD-LPQ特提取螺栓 纹理。

图12 窗口的影响

从图13可以看出WLD特征和LPQ特征的错误检测次数均大于20次才能达到100%，而WLD- LPQ特征错误检测次数不到13次就可以达到100%。这表明在相同情况下，WLD-LPQ特征检测算法检测的准确率和速度都优于WLD特征和LPQ特征。

图13 WLD，LPQ和WLD-LPQ的比较

2.3 心盘螺栓整体检测算法实验分析

为进一步说明本文整体算法的优越性，采用3种不同心盘螺栓检测算法与本文进行实验对比，实验结果如表2所示。

表2 不同故障检测算法对比

较表2的检测率可知，本文算法的检测率最高。原因在于心盘螺栓图像的纹理清晰情况不一，有部分螺栓纹理较为模糊，采用文献[4]和[5]的Hough提取螺栓圆特征方法失效，文献[6]梯度的方法也失效，而本文依然可以提取心盘螺栓图像。比较表2中的检测时间，文献[5]检测时间较短，而本文算法的检测时间相对文献[4]和[6]也较短。虽然本文算法比文献[5]稍微长0.01秒，但准确率最高，算法所消耗的时间也满足TFDS实时检测的要求。故本文算法对心盘螺栓故障检测具有优越性。

表3显示了天水，武威，嘉峪关3个地方获取图像进行故障检测的结果。

从表3数据分析可知：本文方法的平均准确检测率达到96.01%，这比表2的98.49%略低。其主要原因是TFDS现场工作环境复杂，造成采集的图像质量差，如出现图像严重模糊(如图14所示)，以至于无法识别。但在实际中出现这种情况的概率极低，因此本文算法也能达到TFDS检测的要求。

表3 不同测试点的正确检测率

图14 严重模糊图像

3 结论

1) 根据制动梁与制动杆的交点、加强筋中点、螺栓的几何位置关系定位心盘螺栓。在定位过程中，结合 Otsu算法和改进的Canny算法二值化图像，然后图像投影，排除了光照和噪声等因素的干扰，提高了定位准确率。本文为心盘螺栓定位提供一种方法。

2) 在螺栓识别方面，采用WLD-LPQ特征提取螺栓纹理，通过SVM分类器实现心盘螺栓故障的自动检测识别。实验表明，使用WLD-LPQ特征的方法，提高了故障图像的识别率。

3) 本文算法在检测时间和准确率方面实现最优化，保证在较短的检测时间内保持较高的检测识别准确率，符合实际检测要求，具有较好的应用 前景。

[1] 牛成超, 王世博, 曹波. 基于微凸体接触的心盘磨耗盘摩擦行为数值模拟研究[J]. 摩擦学报, 2015, 35(4): 398−406. NIU Chengchao, WANG Shibo, CAO Bo. Numerical simulation of friction behavior of center disc wear plate based on asperities contact[J]. Tribology, 2015, 35(4): 398−406.

[2] 戴鹏. 货车典型故障图像识别算法研究[D]. 哈尔滨: 哈尔滨工业大学, 2010: 34−35. DAI Peng. Image recognition algorithms of the typical failures of the freight train[D]. Harbin: Harbin Institute of Technology, 2010: 34−35.

[3] 孙国栋, 徐威, 梁永强, 等. 基于形状上下文的列车挡键丢失图像识别算法[J]. 铁道科学与工程学报, 2014, 11(6): 127−131. SUN Guodong, XU Wei, LIANG Yongqiang, et al. Image recognition algorithm for side frame key of train based on shape context[J]. Journal of Railway Science and Engineering, 2014, 11(6): 127−131.

[4] 陈燕, 郭峰. TFDS 系统心盘螺栓丢失故障的自动识别检测技术[J]. 郑州轻工业学院学报(自然科学版), 2010, 25(3): 90−94. CHEN Yan, GUO Feng. Automatic identification method of center plate bolts missing in TFDS system[J]. Journal of Zhengzhou University of Light Industry (Natural Science), 2010, 25(3): 90−94.

[5] YANG Xudong, YE Lianjie, YUAN Jianbo. Research of computer vision fault recognition algorithm of center plate bolts of train[C]// Instrumentation, Measurement, Computer, Communication and Control, 2011 First International Conference on, 2011: 978−981.

[6] LI Nan, WEI Zhenzhong, CAO Zhipeng, et al. Automatic fault recognition for losing of train bogie center plate bolt[C]// Communication Technology (ICCT), 2012 IEEE 14th International Conference on, 2012: 1001−1005.

[7] ZHANG Hongjian, HE Ping, YANG Xudong. Fault detection of train center plate bolts loss using modified LBP and optimization algorithm[J]. The Open Automation and Control Systems Journal, 2015(7): 1916−1921

[8] Berthold Klaus Paul Horn. Robot vision[M]. Massachusetts: the MIT Press, 1986.

[9] 袁小翠, 吴禄慎, 陈华伟. 基于Otsu方法的钢轨图像分割[J]. 光学精密工程, 2016, 24(7): 1772−1781. YUAN Xiaocui, WU Lushen, CHEN Huawei. Rail image segmentation based on Otsu threshold method[J]. Optics and Precision Engineering, 2016, 24(7): 1772− 1781.

[10] 郭萌, 胡辽林, 赵江涛. 基于Kirsch和Canny算子的陶瓷碗表面缺陷检测方法[J].光学学报, 2016, 36(9): 11− 17. GUO Meng, HU Liaolin, ZHAO Jiangtao. Surface defect detect detection, method of ceramic bowl based on Kirsch and Canny operator[J]. Acta Optica Sinica, 2016, 36(9): 11−17.

[11] Ashutosh Mishra, Sudipta Mahapatra, Swapna Banerjee. Modified frei-chen operator based and visible sensor image fusion for real-time applications[J]. IEEE Sensors Journal, 2017, 17(14): 4639−4646.

[12] 罗月童, 赵兰英, 贾伟, 等. 基于线性韦伯局部描述子的掌纹识别[J]. 中国图像图形学报, 2016, 21(2): 0235− 0244. LUO Yuetong, ZHAO Lanying, JIA Wei, et al. Palmprint recognition method based on line feature weber local descriptor[J]. Journal of Image and Graphics, 2016, 21(2): 0235−0244.

[13] YUAN Chengsheng, SUN Xingming, LÜ Rui. Fingerprint Liveness detection based on multi-scale LPQ and PCA[J]. China Communications, 2016, 13(7): 60−65.

[14] 徐艺文, 陈忠辉, 王卫星. 基于时频分析的多载波2FSK技术在LPLC通信的应用[J]. 四川大学学报(工程科学版), 2013, 45(1): 158−163. XU Yiwen, CHEN Zhonghui, WANG Weixing. Multi carrier 2FSK technology based on time-frequency analysis for LPLC communication[J]. Journal of Sichuan University (Engineering Science Edition), 2013, 45(1): 158−163.

[15] 李澄非, 陈新华. 融合局部二值模式和Hu矩特征的车型识别[J]. 激光与光电子学进展, 2016, 10(3): 206−211. LI Chengfei, CHEN Xinhua. Vehicle type recognition based on combining local binary pattern and hu matrix feature[J]. Laser and Optoelectronics Progress, 2016, 10(3): 206−211.

[16] YIN Yingjie, XU De, WANG Xingang. Online state- based structured SVM combined with incremental PCA for robust visual tracking[J]. IEEE Transactions on Cybernetics, 2015, 45(9): 1988−2000.

[17] 王海燕, 王红军, 徐小力. 基于支持向量机的纳西东巴象形文字符识别[J]. 云南大学学报(自然科学版), 2016, 38(5): 730−736. WANG Haiyan, WANG Hongjun, XU Xiaoli. Recognition of Naxi Dongba pictographs based on support vector machine[J]. Journal of Yunnan University (Natural Sciences Edition), 2016, 38(5): 730−736.

[18] 谭熊, 余旭初, 秦进春, 等. 高光谱影像的多核SVM分类[J]. 仪器仪表学报, 2014, 35(2): 405−411. TAN Xiong, YU Xuchu, QIN Jinchun, et al. Multiple kernel SVM classification for hyperspectral images[J]. Chinese Journal of Scientific Instrument, 2014, 35(2): 405−411.

[19] 刘东辉, 卞建鹏, 付平, 等. 支持向量机最优参数选择的研究[J]. 河北科技大学学报, 2009, 30(1): 58−61. LIU Donghui, BIAN Jianpeng, FU Ping, et al. Study on the choice optimum parameters of support vector machine[J]. Journal of Hebei University of Science and Technology, 2009, 30(1): 58−61.

(编辑 蒋学东)

Research on fault recognition algorithm of center plate bolts based on WLD-LPQ features

ZHANG Jinmin1, FENG Yingke1, WANG Siming2

(1. School of Mechatronic Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China; 2. School of Automation and Electrical Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

A method based on the combination of WLD and LPQ features was proposed which aimed fault image of center plate bolts of freight train. The algorithm was divided into two steps: bolt positioning and recognition. Firstly, the positioning of the ROI was investigated by the indirect location method. The Otsu Method and the improved Canny algorithm combined with image projection were used to position the bolt. Secondly, the WLD feature and LPQ feature were chosen to extract the bolt texture separately which were normalized next. Then this paper used the PCA dimensionality vector. Finally, the WLD feature and LPQ feature was proposed to form the WLD-LPQ feature which was combined with SVM for automatic recognition and detection. Test results show that this method can quickly locate the center plate bolts. The recognition rate is high and the average fault recognition rate is over 98%.

center plate bolts image detection; WLD; LPQ; feature fusion

10.19713/j.cnki.43−1423/u.2018.09.023

TP391.4

A

1672 − 7029(2018)09 − 2349 − 10

2017−07−18

国家自然科学基金资助项目(61263004)

张金敏(1966−)，女，甘肃兰州人，副教授，从事机器视觉与模式识别研究；E−mail：236807705@qq.com