基于PCA模式和颜色特征的钢轨表面缺陷视觉显著性检测

王 姮, 王 曼, 张 华, 刘桂华

(西南科技大学特殊环境机器人技术四川省重点试验室，四川 绵阳 621010)

基于PCA模式和颜色特征的钢轨表面缺陷视觉显著性检测

王 姮, 王 曼, 张 华, 刘桂华

(西南科技大学特殊环境机器人技术四川省重点试验室，四川 绵阳 621010)

针对现有机器视觉缺陷检测方法存在缺陷显著性不明显、鲁棒性较弱等问题，提出一种主成分分析(PCA)模式和颜色特征相融合的钢轨表面缺陷视觉显著性检测方法。为解决传统模式特征计算效率低的问题，对PCA模式特征进行改进。利用缺陷图块的颜色特征与锈迹、斑痕等普通图块的差别较大这一特点，对钢轨表面缺陷进行显著性检测。试验结果表明，该方法可以处理不同形状的轧疤、轧痕类缺陷，缺陷显著性效果较好，能准确地显示缺陷形状、位置等信息。

钢轨; 高斯分布; PCA模式特征; 颜色特征; 机器视觉; 显著性检测; 图像识别

0 引言

目前，钢轨表面缺陷检测的方法主要有射线探伤法、超声磁粉法、电涡流法以及机器视觉法，但这些方法都有各自的不足。同其他方法相比，机器视觉技术具有非接触、速度快、精度高、抗干扰性强等优点[1]。机器视觉作为一门新兴且实用的技术，已被广泛应用于轮胎裂纹检测、路面检测以及带钢表面检测等诸多领域。

钢轨表面缺陷检测技术在国内发展较慢。2010年，徐科等人利用结构光三维检测和图像识别方法，根据钢轨表面深度变化及二维图像处理信息，实现钢轨表面缺陷的自动检测[2]。这种方法受相机标定和激光线提取精度影响，缺陷显著性不明显、鲁棒性较低。2014年，中南大学夏利民等人提出了基于图像差异和视觉反差的检测[1]法。这种方法受光照影响较大，只能处理钢轨表面比较光滑、无反光的缺陷图像。此外，湖南大学贺振东、王耀南等人提出了反向P-M扩散的钢轨表面缺陷视觉检测[3]法。这种方法对参数比较敏感，需要手动设定合适的参数，才能达到理想的检测效果，鲁棒性较低。2015年，北京交通大学陈后金等人提出的灰度-梯度共生矩阵法检测[4]法。这种方法只能处理高对比度的缺陷图像，而钢轨缺陷图像大多是低对比度，灰度值较为接近。采用这种方法难以检测出缺陷的具体位置信息。

针对上述机器视觉缺陷检测方法存在的局限性大、缺陷显著性不明显、鲁棒性较弱等缺点，本文对缺陷图像的模式和颜色特征进行研究，分析了缺陷图像与锈迹、斑痕等普通图像存在模式和颜色特征的特殊性。试验证明，基于PCA模式和颜色特征的钢轨表面缺陷视觉显著性检测方法自适应性较强，可以处理不同形状的轧疤、轧痕类缺陷，并且不受缺陷图像的普通复杂度、对比度、光照等因素的影响，缺陷显著性突出。

1 缺陷图像的模式特征显著性计算

传统图像模式特征显著性计算，如傅里叶频谱残差(spectrum residual,SR)、上下文感知(context aware,CA)[5-13]，是以块为单位遍历整幅图像，比较图块之间的距离。这里的图块是将每一张图像分成若干个图块。如果一个图块的特殊性强于图像中的其他图块，则认为该图块是显著的。这种方法在多数情况下比较适用，但是它忽略了像素之间的关联性，因此在有些情况下会产生误差。此外，由于要计算每个图块间的距离，这种计算方法效率较低。

1.1 基于PCA的模式特征显著性计算

为了提高模式特征计算的效率，本文提出了一种基于主成分分析(principal component analysis,PCA)的模式特征计算方法。首先将一幅钢轨缺陷图像分成若干个l×l(这里的l由图像的分辨率而定)的图像块pi，这里pi表示以像素点i为中心的图块，平均图块pv定义如下：

(1)

这里，Si,v为两个图像块之间的方差，利用图块间的距离dposition(pi,pv)大小定义缺陷图块的模式特征：即dposition(pi,pv)较大时，说明该图块为显著图块；反之，则为普通图块。这种方法没有考虑图像中图块的分布情况，会存在一定的误差。采用本文算法，对上述模型加以修正，即先对图像进行主成分分析，再进行距离计算。定义模式特征P(pi)是PCA坐标系统下的L1范式(L1范式可以产生比较稀疏的解，具备一定的特征选择的能力，在对高维特征空间进行求解时比较有用)：

(2)

1.2 图像PCA模式特征显著性计算的试验分析

首先从显著性检测的通用数据库[8]中随机选择200张图片，然后从采集的缺陷图片中随机选择200张钢轨轧疤和200张轧痕的缺陷图片，将600张图片中的每一张分成若干个图像块；计算平均图像块与每个图像块和平均图像块之间的距离，将距离进行归一化，这样就得到显著图块与普通图块之间的密度区分图。

密度区分图如图1所示，实线表示普通图块，虚线表示显著图块。

图1 密度区分图

通过分析图1，我们可以得到粗略判断一个图块是缺陷图块或是普通图块的方法，即判断图块与平均图块之间的距离。如果距离较小，即认为该图块为普通图块；反之，则认为是缺陷图块。

但是这个判断条件是不充分的。假如在2张不同的图片中含有1个相同的图像块，同时2张图片的平均图块相同，按照上述结论，该图块与平均图块之间的距离在2张图片中是相同的。但是如果该图块在第一张图片中是显著的，在第二张图片中不一定是显著的。PCA坐标系统下的图块分布如图2所示。

图2 PCA坐标系统下的图块分布图

假设有2张不同的图片，pi是2张图片都存在的图块，且2张图片共有一个平均图块pv,2张图片的主成分分别标记为Img1和Img2。按照上述的判断条件，pi与pv之间的距离是相等的，因此显著程度在一个等级上，但是图块pi沿着主成分线到平均图块pv的距离不相等(d2>d1)。换句话说，与Img1相比，该图块在Img2中更显著。因此，图像的模式特征不仅要考虑图块与平均图块间的距离，还应该考虑图片中图块的分布。

2 基于颜色特征的显著性计算

颜色特征显著性检测结果如图3所示。尽管模式特征可以判断图像中一个图像块是否为缺陷图块，但是对于大多数缺陷图像而言，它并非充要条件，如图3(a)所示。花朵模式特征相同，但颜色特征不同，这种情况下特殊的颜色区域被认为是显著的，如图3(b)所示，因此颜色特征是图像显著性计算的必要条件。

图3 颜色特征显著性检测结果图

由于钢轨表面会有大量的锈迹、斑痕等，而较浅轧痕、刮痕类缺陷与锈迹、斑痕等相比，颜色差异较大，但是局部图块差异不大。在这种情况下，如果采用模式特征检测，会出现误差较大、显著性位置定位错误等问题，因此就必须采用颜色特征来检测缺陷。本文检测颜色差异的图块采用以下2个步骤。第一步，采用简单线性迭代聚类(simple linear iterative clustering,SLIC)超像素分割法[9]将图片分割成若干个图块，然后再确定哪个图块有独特的颜色。第二步，把LAB颜色空间中该图块与其他图块的距离之和定义为该图块有颜色差异。假设有个图块，图块的颜色区分度定义为：

(3)

3 基于模式特征和颜色特征的显著性融合

结合模式特征和颜色特征来检测一幅图像中的显著性图块。为了使模式和颜色区分度相融合，将结果归一化到[0,1]范围内，区分度映射定义如下：

D(pi)=P(pi)×C(pi)

(4)

由于视觉上显著像素往往是集群形式，它们对应于真实场景中的物体，为了进一步修正显著模型，人们通常将较为显著的目标放置在图片的近似中心处。因此，采用迭代阈值不同的区分度映射D(pi)检测不同像素的集。阈值均匀分布在[0,1]区间。计算每个阈值结果的重心，在重心处放置一个δ=10 000的高斯分布，根据阈值，分配给高斯分布一个相应的权重。此外，在图像中心处增加一个权重为5的高斯分布，这样就得到了一个高斯权重映射G(pi)，表示所有高斯分布的加权和。进一步定义显著性映射S(pi)，将区分度映射和高斯权重映射融合，即：

S(pi)=G(pi)×D(pi)

(5)

4 试验结果及分析

试验采用的运动平台主要用来模拟生产流水线实现钢轨的传送功能，包括传送带、电机、编码器等。线阵相机选用Basler线阵相机，该相机清晰度和分辨率都较高。在综合考虑钢轨表面的高反光特性、光源照明亮度、均匀度以及几何形状等因素后，选用MVLZ公司MVLZ8080-W型号的大功率LED线型光源(条形光源)。照明方案选用型号为E6C2-CWZ6C、2 000线的编码器。工件采用含有锈迹、斑痕等随机噪声的轧疤、轧痕类缺陷的钢轨图像进行显著图检测。

两种不同形状的轧疤和轧痕缺陷图如图4所示。

图4 两种不同形状的轧疤和轧痕缺陷图

经过本文算法的处理，效果如图5、图6所示。图5是对图4(a)进行处理的结果，图6是对图4(b)进行处理的结果。

图5 轧疤显著性检测示意图

图6 轧痕显著性检测示意图

试验结果主观上反映了本文算法具有鲁棒性好、自适应性强的优势。

除了上述主观性的评价外，本文采用了文献[14]、文献[15]的方法，对本文算法与目前主流的算法的性能作了定性的评估。图7描述了不同算法的受试者工作特性(receiver operating characteristic,ROC)曲线。曲线下面积(area under curve,AUC)越大，说明该算法正确率越高，即诊断准确性越好。本文绘制ROC曲线的数据库图像来自MSRA[8]数据库中的60多张图片和采集的60多张缺陷图片。ROC曲线如表1所示。从表1可以看出，本文算法的AUC分数高于其他算法的AUC分数，因此本文算法优于其他几种算法，具有较好的诊断准确性。

图7 ROC 曲线图

算法AUC分数 RC0．6152 LR0．6549 PD0．6733 HI0．7085 本文算法0．8232

5 结束语

本文对钢轨图像缺陷图块模式和颜色特征进行了研究，提出了基于PCA模式和颜色特征的钢轨表面缺陷显著性检测。该方法首先计算出基于PCA的模式特征，在此基础上结合建立的颜色显著性模型，最后对融合模型加以修正，提高模型精确度。本文方法不受缺陷图像的普通复杂度、对比度、光照等因素的影响，且试验结果与实际相符。本文提出的算法具有很高的应用价值。后期工作主要是结合机器学习方法对检测到的缺陷加以分类，以提高检测智能化。

[1] 夏利民，蔡南平，杨宝娟.基于图像差异和视觉反差的钢轨表面缺陷检测[J].计算机工程与设计，2014，35(6)：2052-2055.

[2] 徐科，杨朝霖，周鹏,等.基于激光线光源的钢轨表面缺陷三维检测方法[J].机械工程学报，2010，46(8)：1-5.

[3] 贺振东，王耀南，毛建旭，等.基于反向P-M扩散的钢轨表面缺陷视觉检测[J].自动化学报，2014，40(8)：1667-1679.

[4] 陈后金，许文达，郝晓莉.基于灰度梯度共生矩阵的钢轨表面缺陷检测方法[J].北京交通大学学报，2015，39(2)：7-12.

[5] CHANG K Y，LIU T L，CHEN H T.Fusing generic objectness and visual saliency for salient object detection[C]// International Conference on Computer Vision.Barcelona,Spain：IEEE Process，2011： 914-921.

[6] GOFERMAN S，MANOR L Z，TAL A.Context-aware saliency detection [C]//International Conference on Computer Vision and Pattern Recognition.San Francisco，USA：IEEE Process，2010：2376-2383.

[7] SEO H J，MILANFAR P.Nonparametric bottom-up saliency detection by self-resemblance [C] // Computer Society Conference on Computer Vision and Pattern Recognition.Miami，USA：IEEE Process，2009：2376-2383.

[8] LIU T，SUN J.Learning to detect a salient object[C] // International Conference on Computer Vision and Pattern Recognition.Minneapolis，USA：IEEE Process，2007：1-8.

[9] ACHANTA R，SHAJI A，SMITH K.SLIC superpixels compared to state-of-the-art superpixel methods [J].Pattern Analysis and Machine Intelligence，2012，34(11)：2274-2282.

[10]CHENG M M，MITRA N J，HUANG L X.Global contrast based salient region detection[J].Pattern Analysis and Machine Intelligence，2011，37(3)：569-582.

[11]SHEN X H，WU Y .A unified approach to salient object detection via low rank matrix recovery[C]// International Conference on Computer Vision and Pattern Recognition.Providence，USA: IEEE Process，2012：853-860 .

[12]LONG M，NIU Y Z，LIU F.Saliency aggregation:a data-driven approach[C]//International Conference on Computer Vision and Pattern Recognition.Portland，USA：IEEE Process，2013：1131-1138.

[13]CHE Z H，ZHAI G T.A hierarchical saliency detection approach for bokeh images [C] // Multimedia Signal Processing.Xia Men，China：IEEE Process，2015：1-6.

[14]郭迎春，袁浩杰，吴鹏.基于Local特征和Regional特征的图像显著性检测[J].自动化学报,2013，39(8)：1214-1224.

[15]马小龙，谢旭东，林健文,等.基于鲁棒主成分分析和多个色彩通道的显著性检测[J].清华大学学报，2014，54(8)：1122-1126.

Vision Saliency Detection of Rail Surface Defects Based on PCA Model and Color Features

WANG Heng, WANG Man, ZHANG Hua, LIU Guihua

(Robot Technology Used for Special Environment Key Laboratory of Sichuan Province,Southwest University of Science and Technology, Mianyang 621010, China)

In view of the existing problems of unobvious defect saliency,weak robustness, etc.,the visual saliency detection method based on PCA mode and color features for rail surface defects is proposed. To overcome the disadvantage of low efficiency in traditional mode feature calculation, the improvement is conducted by using PCA mode feature. The color features of the defect image blocks are quite different from the ordinary image blocks of the rust and scar, so the saliency of the surface defects can be detected. The test results indicate that this method can be applied to deal with the defects of rolling scar or rolling marks with different shapes, and offers better defect saliency; in addition, it can display more information about the shapes and locations of the defects.

Rail; Gaussian distribution; PCA model features; Color features; Machine vision; Saliency detection; Image recognition

四川省重点实验室开放基金(13zxtk05)、校创新团队基金(14tdtk01)资助项目

王姮(1971—)，女，硕士，教授，主要从事机器人技术及应用、自动化技术的研究和应用。E-mail:29949988@qq.com。

TH7;TP391

A

10686/j.cnki.issn 1000-0380.201701018

修改稿收到日期:2016-06-18