基于可变形部件模板的扣件状态识别

何 彪， 李柏林， 熊 鹰， 范 宏

(西南交通大学 机械工程学院， 四川 成都 610031)

铁路钢轨扣件(简称扣件)是轨道上用以联结钢轨和轨枕的零件，又称中间联结零件，作用是将钢轨固定在轨枕上。当前对普通铁路线路轨道基础设施的检查主要依靠有经验的巡道工人沿铁路线路进行巡查，这种方式费时、费力，可靠性依赖于工人的经验与态度。目前国内外研究者围绕基于计算机视觉的扣件检测方法开展了广泛的研究[1-9]。文献[2]分别提取改进后的边缘梯度特征(Improved Edge Orientation Histogram，IEOH)和扣件端部的宏观局部二值模式(Macroscopic Local Binary Pattern，MSLBP)特征，进行层级加权特征融合，并利用贝叶斯压缩感知(Bayesian Compressed Sensing，BCS)完成扣件缺陷识别。文献[3-8]针对不同类型的扣件，训练扣件分类器来识别扣件丢失。文献[9]提出了快速模板匹配(Fast Template Matching，FTM)算法，运用模板匹配算法根据轨道的几何关系来定位扣件，采用最近邻分类器对正常扣件和丢失扣件进行分类。

1 DPTM模型

受可变形部件模型[10-13](Deformable Part Model，DPM)算法思想的启发，本文提出可变形部件模板模型算法(Deformable Part Template Model，DPTM)，应用于扣件状态检测，实验结果表明DPTM算法能够较好地区分正常、断裂和丢失三种状态的扣件，主要作用有：

(1) 根据扣件形状设计掩膜模板，用于屏蔽扣件图像的背景区域，进而DPTM算法只处理扣件图像中的前景区域；

(2) 结合扣件形状特征，对扣件进行分块得到扣件部件模型，采用余弦相似性度量HOG特征点的相似度，加权融合后求得部件相似度，组合不同的部件权重建立扣件状态的分类准则；

(3) 弹簧模型的运用允许了扣件部件的相对位置局部变动，从而适应了实际扣件的局部形变。

1.1 HOG特征提取

方向梯度直方图特征[14](Histogram of Oriented Gradient，HOG)具有光照鲁棒性，在行人检测和目标检测等领域中有广泛的应用。本文对原始HOG特征作了简化，即采用Roberts算子计算像素点的梯度方向与幅值，选取8×8像素大小的区域组成一个无重叠的cell区域，将每个cell中0°～180°梯度方向均匀离散为9个方向后，分别累加对应的梯度幅值，归一化后得到HOG特征即是对当前cell区域的特征描述。

1.2 掩膜模板

传统的扣件状态检测方法[4-5,7]是提取整幅扣件图像特征后再进行分类识别，能较好地识别扣件丢失，但识别扣件断裂的效果较差。在扣件图1(a)中，扣件具有特定形状且没有充满整个矩形图像区域，在图1(b)中，红色线框内的区域才是实际的扣件，左侧的碎石块会对后续的识别产生影响，因背景区域存在异物遮挡或者阴影干扰的情况在扣件图像中十分常见。

图像掩膜即是用选定的图像、图形或物体，来对待处理的图像进行局部或者全部的遮挡，从而控制图像处理的区域或处理过程。根据扣件形状，设计了扣件掩膜模板f(x,y)，其中f(x,y)=1表示图像前景区域，白色区域见图1(c)；f(x,y)=0表示图像背景区域，黑色区域见图1(c)。扣件的掩膜效果见图1(d)。掩膜模板主要用于屏蔽图像中背景区域的干扰，使得后续的识别算法只关注图像中的前景区域，以增强识别算法的鲁棒性。

1.3 扣件分块

通常扣件的断裂部分只占整体的20%左右，采用扣件整体特征的分类算法难以识别出扣件局部断裂。但将断裂部分与正常扣件的对应部位进行对比，差异则较大，利用这一特性即可达到识别出断裂扣件的效果。根据扣件轮廓形状，将扣件分割为5个无重叠的区域，图2中每一个红色的矩形框表示一个部件，框中的数字为这一部件的编号。扣件的部件表示为vi，其中i∈{1,2,…,5}，部件vi为对应区域的表观特征，图3为训练得到的扣件标准部件模型，图中每一个亮点区域表示单个的HOG特征模板点。

1.4 扣件部件弹簧模型

部件模型采用图模型[15]G=(V,E)方式表达，其中顶点V={v1,v2,…,vn}与n个部件相对应，边(vi,vj)∈E表示部件vi和vj的连接关系。连接关系可以是刚性的也可以是弹性的，弹性连接像弹簧一样，具有一定的可变形能力，形象的称之为弹簧模型。在二维图像中，部件vi为图像局部区域的表观特征，φi,j为部件vi和vj的空间相对位置关系，其中φi,j∈φ，且φ={φi,j|(vi,vj)∈E}。

扣件部件的相对位置采用弹簧模型进行度量，部件1作为中间连接部件，采用滑动窗口方式在扣件图像中特定区域搜索检测，部件2～5相对于部件1的相对位置则被限制在一定的区域范围内变动，见图4。

φi,1=(xi,1,yi,1)+(dxi,1,dyi,1)i=2,3,4,5

( 1 )

式中：φi,1为部件i相对于部件1的位置变动范围；(xi,1,yi,1)为标准模型中部件i相对于部件1的锚点位置；(dxi,1,dyi,1)为部件i相对于锚点位置允许的变动范围。扣件部件的相对位置允许在一定的范围内弹性可变，以适应扣件由于光照变化和拍摄角度不同而引起的局部形变和微小的尺度变化。

1.5 特征点相似性度量

余弦相似度[16]采用向量夹角的余弦值来衡量两个向量间差异的大小，相比距离度量，余弦相似度更加注重两个向量在方向上的差异，本文采用余弦相似性来度量单个HOG特征点与标准部件模型中对应HOG模板点的相似度。

( 2 )

式中:s(x,y)为HOG特征空间中点(x,y)处的余弦相似度;h(x,y,z)为测试图像的HOG特征图；t(x,y,z)为标准部件模型的HOG模板图；l为HOG的特征维度。

1.6 扣件部件相似性度量

部件相似性采用带掩模的特征点加权求和得到，在测试图像特征空间中选取左上角点坐标为(x,y)，大小为Ai×Bi的特征区域，其与训练得到的标准部件模型i之间的部件相似度为

pi(x,y)=

( 3 )

式中:wi(a,b)为部件i中特征点(a,b)处的权重，表示特征点在部件中的重要性，为了简化模型的训练，各个特征点选取相同的权重值;mi(a,b)为部件i的掩膜模板，且

( 4 )

其中，γi(a,b)为从特征空间到原始图像像素空间的位置变换；fi(x,y)为像素空间的掩膜模板。

扣件检测时，部件的相似度取当前部件可变动范围内相似度的最大值，即

( 5 )

i=2,3,4,5

1.7 扣件状态分类准则

测试扣件图像与扣件标准部件模型整体相似度为

( 6 )

式中:βj为第j组权重组合下的整体相似度,j=1,2,3,…;δj,i为部件i在第j组权重组合下的部件权重，表示部件i在整体中的重要性，根据经验和训练综合可以得到。

分别定义扣件整体高阈值Th和低阈值Tl，Th和Tl是通过训练和经验综合得到的，扣件状态判断的准则如下。

( 7 )

2 扣件状态检测算法的评价标准

扣件的状态分为正常和缺陷两类，扣件缺陷主要为断裂和丢失。经过大量统计发现实际铁路线路中扣件缺陷样本占总体样本的比例小于0.1%，若某种扣件状态检测算法将所有扣件都判别为正常扣件，则该算法的正确率仍然高达99.9%，而错误率低于0.1%。扣件状态检测的实际需求是检出所有缺陷扣件，因其失去了对钢轨固定作用，故将缺陷扣件判别为正常扣件是不能容忍的。

在二分类问题中，可以将样本根据其真实类别和学习器预测类别的组合划分为真正样本、假正样本、真负样本、假负样本四种情况，令TP、FP、TN、FN分别表示其对应的样本数量，则显然有TP+FP+TN+FN=样本总数。分类结果的“混淆矩阵”见表1。

表1 分类结果混淆矩阵

对于扣件状态检测算法来说，要求假正样本FP趋近于0，同时期望假负样本FN尽可能的少，根据混淆矩阵可以分别定义扣件的漏检率M和误检率E。

( 8 )

( 9 )

3 实验

3.1 样本选取

为了验证DPTM算法对各种光照条件下扣件样本的鲁棒性，训练时仅选取6 000张阴天光照条件下的完整扣件作为训练正样本，见图6。实际采集的图像存在晴天、阴天、隧道、雨天四种光照条件，其图像亮度呈依次递减趋势。另外选取200张丢失或断裂扣件作为负样本，用于综合确定扣件部件权重组合和扣件整体高、低阈值。

测试时则分别选取晴天、阴天、隧道、雨天四种光照条件下的扣件样本各2 000张，共计8 000张测试样本。样本中包含不同天气情况下丢失和断裂样本各50张，见图7。

3.2 结果分析

测试结果见表2，部分结果图像见图8～10。图8～10中绘制的相应矩形框表示DPTM算法在这一位置检测到了对应的部件。图8、图9为DPTM算法判定为正常的扣件，说明该算法具有一定光照鲁棒性和局部形变适应能力，同时对部件2、3处存在部分遮挡情况的扣件也能将其判别为正常扣件。图10为DPTM算法误判为断裂的扣件，图中部件4或部件5所在的位置存在遮挡，导致与扣件标准模型相对应的部件差别较大，因此这类误判具有合理性。

表2 扣件样本测试结果对比

注：表中“—”为原文献中未给出相应数据。

分析表2中的检测结果，可知DPTM算法在满足较低漏检率的同时也取得了较低的误检率。文献[9]提出的FTM算法虽然也取得了较低的漏检率，但其误检率偏高，增加了后期人工复查的工作量。文献[9]和[4]中并没有给出各种光照条件下的扣件检测结果，文献[2]也仅给出了精度这一项指标。

表2结果显示，仅采用阴天光照条件下的样本进行训练， DPTM算法对晴天和雨天光照条件下的样本进行检测仍取得了漏检率和误检率均不超过20%的效果；且其中漏检的样本均是部分断裂的扣件，误检的样本中包含局部遮挡的扣件。表2中晴天和雨天光照条件下漏检率和误检率比阴天和隧道光照条件下偏高的主要原因在于扣件标准部件模型是运用阴天光照条件下的样本训练得到的，而晴天和雨天的扣件样本与阴天的扣件样本存在一定的表观特征差异。因此为了获取更好的实验结果，最简单可行的方案是分别针对晴天和雨天光照条件下扣件样本训练对应的扣件标准部件模型，但这样会增加整个扣件检测算法的复杂性。

表3给出了相关算法的性能对比，综合来看DPTM算法相对于文献[9]的FTM算法平均精度提高了8.93%，平均误检率降低了8.07%。

表3 算法性能比较

4 结束语

针对铁路扣件状态检测中，存在扣件图像受光照变化的影响较大、断裂扣件难以识别的问题，本文提出了DPTM算法。通过提取扣件的HOG特征，设计扣件掩膜模板，分块扣件形成部件模型，采用弹簧模型度量部件的相对位置。经理论分析和扣件状态检测实验，结果显示DPTM算法具有一定的光照鲁棒性，适应性强，可以推广应用到其它目标检测领域。