马增强,王永胜,宋子彬,校美玲
基于改进标记分水岭的彩色踏面图像分割
马增强,王永胜,宋子彬,校美玲
(石家庄铁道大学电气与电子工程学院,河北 石家庄 050043)
踏面图像分割是实现踏面区域与背景分离的过程,是联系图像预处理与踏面图像缺陷检测的纽带。针对传统踏面图像分割方法处理过程中存在的图像信息缺失、区域轮廓分割精度低和抗干扰能力差的问题,提出了一种基于改进分水岭算法的彩色踏面图像分割方法。首先使用带色彩恢复的多尺度视网膜增强(MSRCR)调整踏面图像入射分量与反射分量及RGB 3个颜色通道之间的比例;然后直接计算彩色图像梯度图,通过改进RGB彩色分量融合运算完成彩色梯度图像前景与背景的标记后进行分水岭变换得到初始分割结果;最后结合踏面轮廓方位特点设计图像连通域提取分割算法完成踏面曲面提取。实验结果表明,本方法分割图像边缘特性好,颜色保真,抗雾霾、光照干扰能力强,可以获得理想的车轮踏面分割结果。
踏面分割;彩色图像;MSRCR算法;分水岭;标记提取
轨道列车是轨道交通运输的载体,其运行状态的质量直接关系行车安全。轮对作为列车走行部件与钢轨直接接触,对列车运行安全起到关键作用。由于运行环境的恶劣,车轮踏面损伤是轨道列车运行的主要故障之一。在列车运行的过程中,故障踏面损伤部位可周期性地产生巨大冲击力对车体及钢轨造成危害,威胁行车安全,因而加强轮对踏面状态检测对保障行车安全具有重要意义[1-4]。图像分割作为图像检测的重要组成部分,在轮对踏面损伤检测中有着广泛地应用,文献[5]提出了基于区域生长的轮对轮廓图像分割新算法,该算法根据不同情况下轮对图像特点,通过基点位置选取恰当的种子点确定合适的生长准则,实现了踏面轮廓曲线的提取。文献[6]提出了基于自适应阈值平稳小波的货车车轮踏面区域分割算法,检测踏面候选边缘线并获取踏面区域。由于受环境条件的影响,轮对踏面图像背景复杂,如光照等对轮对边界直线特性的影响,因而很难实现轮缘边界的精确分割。文献[7]提出了基于阈值分割和基于形态学分割相结合的方法,首先将二次裁剪后的图像进行同态滤波处理,然后使用迭代法完成初步分割,最后使用形态学分割得到踏面区域图像,其初始阈值的选取直接关系分割效果,因而分割效果的稳定性较差。同时,文献[6-7]踏面分割过程均需将彩色图像转化成灰度图后处理,造成了踏面与背景区域诸如亮度相似但颜色不同的细节信息的丢失,影响区域边缘分割精度。
针对上述方法存在的图像信息缺失、区域轮廓分割精度低和抗干扰能力差的问题,本文提出了基于改进标记分水岭的彩色踏面图像分割方法。该方法首先使用带色彩恢复的多尺度视网膜增强(multi-scale retinex with color restoration, MSRCR)算法,调整踏面图像入射分量与反射分量及RGB 3个颜色通道之间的比例,减少了雾霾、光照等自然因素对系统的影响,同时增强了边缘强度和色彩保真度;然后直接计算彩色图像梯度图保留了图像信息的完整度,增强了算法对于复杂背景的鲁棒性,通过改进RGB彩色分量融合运算提高区域分割精度完成彩色梯度图像前景与背景的标记,并进行分水岭变换得到初始分割结果;最后结合踏面轮廓方位特点简化图像连通域,提取分割算法完成踏面曲面提取。实验结果表明,本方法分割图像边缘特性好,抗干扰性强,可以获得理想的车轮踏面分割结果。
车辆在运行过程中,轮对踏面直接与钢轨反复接触摩擦,其工作面具有一定金属光泽,与背景区域车厢底部和侧架部分图像灰度相似但颜色不同,因而采用彩色域的图像处理方法在保留图像信息完整性的同时可满足于踏面图像的分割特点。为此,本文设计的彩色踏面图像分割方法如图1所示。
图1 方法流程图
近年来,受严重的空气污染影响,北方城市每年有很长时间处于雾霾天气中,在雾霾天采集到的图像通常会出现对比度低、亮度低、颜色出现偏移和失真的现象[8],因此对于户外工作的踏面缺陷检测系统来说雾霾及其造成的弱光环境是必须要考虑的因素。另一方面踏面区域灰度值与背景有重叠,背景区域的噪声干扰产生了图像简化与保留物体边缘信息的矛盾。因而本文使用GIMP的MSRCR算法[9-11]对图像进行预处理,使用的3个尺度分别为200,120,10,色彩恢复因子cvar为2,处理前后对比如图2所示。使用彩色直方图对图像增强效果进行分析,如图3所示,直方图中的颜色条代表其对应的图片中颜色,而其幅值代表归一化后的颜色在图片中的个数,用MSRCR算法增强后图像颜色的种类得以增加且分布也更加匀称。同时对处理前后的图像应用各个评价指标检验处理效果见表1(表中边缘强度使用的是Sobel边缘检测算子)。
图2 MSRCR算法处理前后效果图
图3 图像处理前后彩色直方图对比
表1 图像评价统计表
从表1可知,预处理后图像边缘强度和平均梯度显著增强,为后续图像分割做好了准备。另一方面其模糊熵与信息熵相对改变较小,基本保持了图像的色彩分布。
与灰度域的标记分水岭算法[12]不同,本文不对彩色图像进行灰度化,而是直接对彩色图像计算梯度,保留灰度相同颜色不同的可视细节。首先对于图像坐标(,)定义矢量
其中,分别表示RGB空间的相应单位矢量。计算两个向量的点积
可以证明在坐标(,)的梯度方向的角度
计算得到该处的梯度值为
(7)
与其他计算彩色图像梯度的方法相比,本方法得到的彩色图像梯度更准确,更接近人眼的直观感受,适合区分踏面并提取这种背景复杂且灰度差异较小的图像,得到的彩色图像梯度如图4所示。
图4 彩色图像梯度图
1.3.1 标记前景物体
与常规灰度图处理方法不同,本文针对踏面彩色图像背景复杂、目标图像差异小的特点,对彩色梯度图RGB分量分别进行形态学开闭重构运算处理来消除不同色彩分量梯度图中明暗细节,减少由于明暗细节和噪声干扰造成的轮廓边缘偏移和过分割现象,得到的平滑图像,如图5所示。其同样具有3个彩色分量,因而在计算区域极大值时需要将3个分量的信息进行融合。本文通过将RGB 3个分量的区域极大值图进行了逻辑或运算,尽可能保留各个彩色分量的极大值信息,得到区域极大值图(图6)。区域极大值有时会出现在物体的边缘,其不利于后续的分割,因此对区域极大值图还需要进行先运算后腐蚀的处理,以缩小区域极大值的范围得到图像的前景标记,将区域极大值叠加在原图中(图7)。
图5 形态学处理后的彩色图
图6 区域极大值图
图7 区域极大值叠加图
1.3.2 标记背景物体
与前景标记相同,标记背景物体同样需要分别对平滑后的图像的RGB 3个颜色分量值进行处理。本文在Ostu阈值分割前将图像的3个颜色分量进行了均值计算操作,以减少物体间不同颜色对标记结果的影响,提高区域分割精度,阈值分割结果如图8所示。对分割后的图像进行分水岭变换得到背景物体标识也就是分水岭脊线如图9所示。将前面得到的前景标识与背景标识叠加在原图中得到结果图(图10)。
图8 阈值分割后的图
图9 背景物体标识图
图10 前景和背景物体标志叠加图
1.3.3 修改后图像的分水岭变换
根据已得到的背景标识和前景标识对梯度图进行处理,使修正后的梯度极小值只出现在背景标识和前景标识中,然后对修改后的梯度图应用分水岭变换得到最终的分割结果图(图11)。
图11 分水岭分割结果图
本文根据踏面曲面在采集图像内连通域面积最大的特点设计了一种简单的多分割域提取目标区域的方法,如图12所示。
图12 提取踏面区域流程图
具体实现步骤如下:
(1) 对各连通域进行标记。使用标记函数对上一步的分水岭变换产生的各个连通域进行标记,返回标记矩阵和对应的标记数目。
(2) 找到点数最多的连通域。从实验结果图中不难发现踏面区域的面积要远大于其他区域,因此本文中通过求点数最多的标签来寻找踏面区域所对应的区域。实际操作时首先使用直方图统计函数对个标签对应的连通域的点数进行统计,然后找出点数其中最多的标签。在实验中标记分水岭处理后得到的脊线图中共有46个连通域,图13为各区域在图像中所占比例的直方图,在图中第29个区域为踏面区域。从图中可以看出踏面区域在图像中占的比例要远大于其他区域,所以可以通过寻找图像中像素点最多的连通域来寻找踏面区域。
图13 各连通域所占比例
(3) 找出标签对应的区域。使用搜索函数在标记矩阵中确定出标签对应连通域的所有点的坐标。
(4) 使用连通域对原图进行处理。利用上一步骤得到的点坐标创建一个区域为1其余区域为0的模板,如图14所示;然后利用创建的模板矩阵点乘原图中的各颜色分量矩阵就可以最终得到单独的踏面区域图像。如图15所示可以看出利用本文设计的方法成功从改进分水岭变换得到的脊线图中分离出了踏面区域,并利用提取出的踏面区域从原图完成彩色图像踏面分割。
图14 模板图像图
图15 踏面区域图像
为了检验本方法的踏面曲面分割效果,对比标准分水岭[13]、标准标记分水岭[12]、区域生长[14]和边缘分割[6]方法,设计两组实验分别从①踏面图像分割精确性及效率;②抗复杂环境干扰能力的角度检验踏面曲面的分割效果。
在3.3 GHz,8 GB环境下,应用matlab软件使用上述各分割方法对其进行踏面区域分割,原始图像大小为480×540,如图16(a)所示。为了便于直观对比,将各个分割算法分割区域创建目标区域为1其余区域为0的模板,然后利用创建的模板矩阵点乘原图中的各颜色分量矩阵,并通过各个分割方法得到踏面区域图像,如图16(c~f)所示。标准分水岭算法直接将梯度图像作为输入图像得到图像极值点即为区域边界,但其对微弱边缘十分敏感,如图16(b)所示图像中的噪声、物体表面细微的灰度变化都产生了过度分割的现象,无法形成有效的踏面区域图像。标准标记分水岭算法在灰度域进行图像分割,图像前景与背景的极值点选取容易受环境干扰,如图16(c)所示,车轮踏面亮度接近的背景部分存在严重欠分割。由图16(d)可知边缘分割[6]方法基于平稳小波变换的边缘检测和踏面边缘线搜索算法基本完成了图像分割并具有较好的边缘特性,但其分割区域的准确性有待进一步验证。由图16(e)可知区域生长[14]方法在YCbCr颜色空间分割图像对背景噪声敏感未能有效分割踏面图像。图16(f)为本文方法提取边缘基本完整,实现了踏面区域分割。
图16 各算法分割效果对比图
在图像目标区域分割的过程中,预处理和分割方法的选择可能会造成分割区域边缘的偏移与失真,因而从分割所得区域与原图像对应像素点位置的匹配度和像素的分割准确度出发,并进一步比较各算法的分割精确性。人工分割原始图16(a)所得踏面曲面区域像素点集为=75071并将非踏面区域灰度置0。定义位置匹配度为=()/,其中,表示人工分割踏面像素点集;()表示与人工分割方法相同的像素点集,其为将算法分割图像与人工分割图像对应像素点作算术或逻辑运算所得到的非0像素点集。定义图像分割准确度()=()/(), 其中,()表示与人工分割方法相同像素点集;()表示车轮踏面区域像素点集。应用各个指标对各算法分割效果统计见表2。
表2 图像分割精确性及效率统计表
由表2可知,本文图像预处理使用的MSRCR算法既增强了图像区域边缘,又未对区域边缘精确性产生影响。在改进分水岭分割的过程中,RGB彩色分量融合运算提高了图像区域分割的准确度,获得了比其他分割算法更高的分割精度,同时运算时间与其他算法相差不大,可以满足使用要求。
选取雾霾(PM2.5=260~475 μg/m3)、弱光(100~ 500 lx)和正常光照(500~2 000 lx)状态车轮图像的踏面图像进行分割处理得到对比图,如图17所示,可以看出踏面轮廓曲面分割效果受环境状态影响较小。
图17 彩色分割标记区域对比图
在各种环境状态下,选取各10张图像,对单张图像踏面区域分割准确度()进行评价,评价结果见表3。
表3 准确度分析表
由表3可知在雾霾和光照变化条件下踏面图像检测精度保持在89%~95%之间,因而本方法对于检测环境有较强地抗干扰能力和较高的精确度,可以实现对踏面曲面的准确分割,为进一步图像识别与检测创造条件。
结合踏面彩色图像的特点,本文提出了一种基于改进标记分水岭算法的踏面曲面分割方法。该方法使用MSRCR算法增强了图像边缘强度和色彩保真度,直接计算彩色图像梯度图并改进RGB彩色分量融合运算保留了图像信息的完整度,增强了算法对于复杂背景的鲁棒性,最后设计简单图像连通域提取分割算法完成踏面曲面提取。实验结果表明,本方法改善了其他分割方法图像信息缺失、区域轮廓分割精度低和抗干扰能力差的问题,获得了理想的车轮踏面曲面分割效果。
[1] 刘建新, 易明辉, 王开云. 重载铁路车轮踏面擦伤时的轮轨动态相互作用特征[J]. 交通运输工程学报, 2010, 10(3): 52-56.
[2] 王晨, 马卫华, 罗世辉, 等. 机车车辆踏面损伤机理研究[J]. 振动∙测试与诊断, 2016, 36(5): 890-896, 1022-1023.
[3] 卢纯. 高速动车组车轮踏面滚动接触疲劳的萌生机理研究[D]. 成都: 西南交通大学, 2015.
[4] 吴国栋, 于卫东. 车轮踏面故障对客车轴承状态的影响及其防范措施[J]. 铁道车辆, 2014, 52(10): 10-14.
[5] 史倩, 吴开华. 区域生长的轮对图像分割[J]. 中国图象图形学报, 2012, 17(9): 1122-1127.
[6] 赵勇. 货车车轮踏面区域分割方法研究[J]. 计算机工程与应用, 2011, 47(5): 154-155, 195.
[7] 宋志明. 列车车轮踏面擦伤图像检测算法研究[D]. 成都: 西南交通大学, 2012.
[8] 马志强, 赵秀娟, 孟伟, 等. 雾和霾对北京地区大气能见度影响对比分析[J]. 环境科学研究, 2012, 25(11): 1208-1214.
[9] RAHMAN Z, JOBSON D J, WOODELL G A. Multi-scale retinex for color image enhancement [C]// International Conference on Image Processing, 1996. New York: IEEE Press, 2002, (3): 1003-1006.
[10] JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 1997, 6(7): 965-976.
[11] 嵇晓强. 图像快速去雾与清晰度恢复技术研究[D]. 北京: 中国科学院研究生院, 2012.
[12] ROERDINK J B T M, MEIJSTER A. The watershed transform: definitions, algorithms and parallelization strategies [J]. Fundamenta Informaticae, 2000, 41(1-2): 187-228.
[13] VINCENT L, SOILLE P. Watersheds in digital spaces: an efficient algorithm based on immersion simulations [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.
[14] 刘俊, 马燕, 陈坤. 一种改进的基于区域生长的彩色图像分割方法[J]. 计算机应用与软件, 2012, 29(11): 288-291.
[15] 臧慕文, ZANG M W. 分析测试不确定度的评定与表示(Ⅰ)[J]. 分析试验室, 2005, 24(11): 74-79.
The Color Tread Image Segmentation Based on Improved Labeled Watershed
MA Zengqiang, WANG Yongsheng, SONG Zibin, XIAO Meiling
(Electrical and Electronics Engineering, Shijiazhuang Railway University, Shijiazhuang Hebei 050043, China)
The tread image segmentation is the process of realizing the separation of tread area and background, which is the link between image preprocessing and tread image defect detection. Aimed at the problem of missing image information, low precision of regional contour segmentation and poor anti-interference ability, a method of color tread image segmentation based on improving watershed algorithm is presented in this paper. Firstly, the proportion of the incident component of the tread image with the reflective component and the RGB three color channel is adjusted by using the multi-scale retinal enhancement (MSRCR) with color restoration. Then the color image gradient graph is calculated directly. The color gradient image foreground and background mark is completed by improving RGB color component fusion operation and then the initial segmentation result is obtained by the watershed transformation. Finally, combined with the tread contour azimuth characteristic, image connected domain extraction segmentation algorithm is designed and the tread surface extraction is completed. The experimental results show that the method is good to divide the edges of the image, the color fidelity, the fog haze, the illumination disturbance ability, and obtain the ideal wheel tread segmentation results.
tread segmentation; color image; MSRCR algorithm; watershed algorithm; marker extraction
TP 391
10.11996/JG.j.2095-302X.2018010036
A
2095-302X(2018)01-0036-07
2017-04-19;
2017-05-17
国家自然科学基金项目(11372199,11572206,11227201);河北省自然科学基金项目(A2014210142)
马增强(1975-),男,河北石家庄人,教授,博士,硕士生导师。主要研究方向为图形图像处理。E-mail:mzqlunwen@126.com