吴禄慎,万 超,张 丛
随着铁路交通运输的不断发展,其本身的安全性越来越受到重视,在当前国内外对轨道安全的检测手段主要是通过计算机视觉、图像处理的方法来完成。扣件部分是轨道的重要组成部分之一,是将铁轨与轨枕连接的关键连接件,由于其形状的特殊性,所以在图像处理检测时一般通过特征提取的方式来实现对它的识别检测。在图像的特征中主要是指可以通过测量或处理能够抽取的数据,而这些数据相对于其他的图像部分来说是不一样的,或是有较为明显的规律的,能够从图像中很好的识别出来。这其中特征可以根据其自身特点分为统计特征和结构特征。主要采用的方法就是统计特征。常用的统计特征方法有:区域描绘子,直方图特征,灰度共生矩阵,SIFT特征,HOG特征等,每一种描绘子都有其自身特点,有适用的检测目标类型,针对不同类型使用不同描绘子,从而达到最好的特征提取效果。
近年来随着机器视觉检测技术的不断发展,国内外对此研究也较为深入,也探索出了一些特征提取的算法。文献[1]首先将小波变换应用于定位扣件,再通过阈值分割和形态学算法得到二值图,后通过提取其结构特征进行扣件识别,但这种方法对环境要求较高,而扣件周围有较多灰度级相同的石块,在很多情况下无法识别。文献[2]提出对图像中所有的像素进行空间位置关系进行统计的灰度共生矩阵纹理描述法,但由于其需对每个像素点进行数据分析,计算量过大,时间成本相对较高,且对硬件设备有一定要求。文献[3]提出了基于局部自适应Niblack算法的LBP纹理分析(N-LBP),该方法主要是加入了一个光照的因子来减少光对图像阈值的选取,达到提高LBP算子对光照的自适应能力。文献[4]等提出一种基于LBP金字塔特征的识别算法,该方法通过对图像的多尺度分块,然后分别对其中的块进行LBP算法求特征向量,根据块的大小组成金字塔型,然后将金字塔分成多个特征区域,最后用直方图来统计;最后合并各直方图特征作为特征用于分类识别,但该算法的应用在于对人脸的面部特征识别,暂不适合用于轨道扣件的特征提取。一般好的特征应该具有以下特点:(1)便于提取,在特征的获得上的工作量不应过大;(2)对噪声和不相干转化不敏感,比如几何图形变换、图像旋转等;(3)能够具有很好的区分功能。
主要检测对象是轨道扣件,图像来源是通过CCD线阵相机所拍摄的灰度图像。根据灰度图中每个像素的灰度值变化特性,可选用局部二进制对其进行特征提取,其具有很强的分类能力,计算速度相对较快,对灰度变化具有不变性,但原始的局部二进制是与领域范围内的像素有关,因此对噪声比较敏感;其提取过程中窗口大小是不变的,无法适应不同大小的特征,易出现提取误差;随着图像维度的增加,计算数据不断加大。提出一种将小波变换与局部二进制相结合的轨道扣件特征提取算法,首先利用小波变换对图像进行预处理,减少图像中噪声的干扰,降低图像维度,减少图像数据量,由于扣件的特征主要是其轮廓特征,而小波变换对轮廓部分影响相对较小,不会对后续的特征提取有较大影响;然后采用逐点扫描的方法,得到各个部分的LBP直方图,最后将所有的直方图进行连接融合,生成能够代表扣件特征的特征图。
小波变换是在频率域中运用广泛的方法,它能够表现出很好的局部化特征,而且能够提供所需的信号所有子段的频率信息,这也是分类信号的重要信息。如果直接采用空间域的图像增强则会对原有图像信息有一定的破坏,不利于后面的特征提取。小波变换主要分为两种:连续小波变换和离散小波变换[5]。采用的是单层二维离散小波,小波变换就是通过一个尺度函数Φ(x)和小波函数Ψ(x)的结合生成的基础函数:
所对应的原始图像其实就是一个二维矩阵,其分辨率为1024×2048,将图像经过上述小波变换后,图像会平均分成256×512大小的四个子区块。如下图所示,四个区块分别代表着不同频率区域的小波系数,首先对图像的水平和竖直方向上进行隔点采样,得到第一轮的小波变换结果,如图1所示。等到进行第二轮小波变换时,只对第一轮处理后的低频部分进行,也就是下图中所显示的LL频率带区域。
图1 小波变换Fig.1 The Wavelet Transform
LL频带保持了原始图像的内容信息,图像的能量集中于此频带。
HL频带表示图像水平方向上的高频边缘信息。
LH频带表示图像竖直方向上的高频边缘信息。
HH频带表示图像对角线方向上的高频边缘信息。
上面四个等式就代表了图像小波变换的基本处理信息,其中<·>表示内积运算。整体来说,二维小波变换处理图像所取得的细节图像的过程是:水平方向是原图像经过水平方向上的低通滤波隔点采样后,再通过竖直方向上的高通滤波隔点采样获得;竖直方向则是先经过水平方向的高通滤波隔点采样,然后再通过竖直方向的低通滤波隔点采样获得;对角线方向则是通过水平和竖直两个方向的高通滤波隔点采样获得的。由于小波变换后的图像数据类型会转变为double型,所以进行正则化处理,使其重新转化为可正常显示的uint8型,以便后续处理。经过小波变换后的图像去除了不少噪声,目标轮廓相对清晰,图片细节部分会有较为明显的增强,有利于进行下一步的特征提取。
局部二进制[6](local binary patterns,LBP)算法的基本原理有点像空间滤波中的模板操作,取一个(3×3)的区域,如图2所示。一共分为了9个区域,其中有中心区域,及其8个邻域,其中显示的数字分别是各个区域像素所对应的灰度值,将其中心的灰度值分别与领域的灰度值大小进行比较,以某一特定的顺序进行,将中心点的灰度值作为阈值,对周围领域的像素进行二值化,将二值化后的结果组成一个二进制数字,最后将这个二进制数字转化为十进制,得出的数字就作为中心点的响应。在整个处理的过程中,可以得到一个LBP的响应图像,而这个图像就是原始图像所对应的LBP统计直方图,这就是最后得到的特征。
图2 基本局部二进制算法Fig.2 The Basic LBP
其中(xC,yC)是中心像素,ic代表中心像素的灰度值,ip代表相邻像素的灰度值,s是符号函数。由于基本LBP算子因为结构被限定,无法进行任意尺度运算,所以后续LBP算子被改进为使用不同大小和形状的模板区块。其中有采用圆形区域与双线性插值运算相结合的圆形领域模块,双线性插值的有点就在于可以获得任意半径和任意数目的领域像素点,基本原理就是一个半径为2的8领域像素的圆形领域,其中每一个方格代表像素点,当所定的位置正好处于方格中心的领域点的位置时,直接取该领域点的灰度值作为该点的值,当其不处于方格中心时,就需要通过双线性插值来确定值[7]。所采用的是局部二进制就是这种圆形的局部二进制算子,记做LBPRP,其下标的P代表领域数量,R代表圆形区域的半径[8],如图3所示。根据不同尺度对图像进行分区处理,得到多尺度下的LBP特征向量,然后将不同尺度下的特征进行融合,这样在突出扣件的局部特征的同时又能够保存下其全局的特征[9]。
图3 圆形领域局部二进制Fig.3 The Circular Field LBP
选用最小距离分类器[10]对上述特征进行分类,其是基于匹配的分类技术通过以一种原型模式向量代表每一个类别,识别时会按照预先设定的相似性度量与其距离最近类别进行分类。
首先将图片进行小波变换处理,选取db1的小波基,小波变换过程,如图4所示。
图4 小波变换过程图Fig.4 Wavelet Transform Process Diagram
通过小波变换的图像在边缘细节部分有明显的增强,而且扣件区域与周围的石块的整体灰度出现了一定程度的差值,非常有利于后续的特征提取。将上述通过小波变换的图像进行局部二进制处理得到的分区块特征向量直方图以及合并直方图,如图5所示。使用最近邻分类器对采用不同分块数的LBP图像进行识别判断,如表1所示。对不同小波基的选取,如表2所示。
图5 分区块特征图Fig.5 Partition Block Diagram
表1 效果对比Tab.1 Effect Comparison
表2 识别率Tab.2 Recognition Rate
通过实验结果可以看出在子块部分较大时,识别率较低,因为整体特征量较少,不利于识别,当子块数量增多,块体大小减小后,识别率开始逐渐变高,且在一定范围内,保持在一个较高的识别效果,但当子块数量超过36块,也就是(6×6)时,其识别率开始下降,这是因为子块数量过多,其所含有的局部特征数量减少,导致其识别率的下降,而经过算法处理后的直方图特征向量在识别时相比于其他分块识别效率高,具有较好的识别能力。可以看出在加入了小波变换后识别率较单独使用LBP算法提高了不少,主要是因为使用了小波变换后的图像局部细节部分更加突出,使得后续的特征提取更加的容易,且特征向量也更能被识别。
针对轨道扣件区域特征提取,首先采用的小波变换能够很好的突出图像的细节部分,过滤掉图像中的大部分噪声,后续的LBP算子通过多尺度的分块能够充分发挥其单调灰度变换不变性,对图像纹理特征的提取具有很好的效果,在保持整体特点的同时又保留下来了局部的特征,最后使用最小距离分类对其进行识别,能具有较高的识别率。主要针对的是轨道扣件的特征提取,可选用harr小波基,若用于其他图像的特征可选用不同小波基进行处理。结果表明采用算法所提取出的轨道扣件特征便于后期分类、识别,可以有效的提高识别率。