高铁隧道接触网号牌定位与识别

王 凡，张建州，边 昂

(四川大学 计算机学院，四川 成都 610065)

0 引 言

接触网安全巡检装置[1](catenary-checking video monitor device，CCVM)是提高动车组供电安全性和可靠性的重要手段，支柱号作为高铁接触网支柱的唯一身份标识可在巡检装置检测到接触网异常时进行准确定位。因此，如何准确快速确定接触网支柱编号是接触网安全巡检系统的基础之一。

目前，学者们对接触网号牌定位和识别进行了大量研究，提出了许多可行算法。郭瑞等[2]利用方向梯度直方图特征和支持向量机(support vector machine，SVM)实现支柱号牌的定位和识别。杨梅等[3]利用上下文特征和模板匹配实现了不同形状和大小的号牌自适应识别。徐可佳等[4]基于Faster R-CNN，直接定位到单字符进行分类识别。刘旭松[5]通过级联两个Faster R-CNN网络，分别用于号牌定位和字符识别，最后再使用连续杆号数据对识别结果进行修正来保证结果的准确性。吴镜锋等[6]使用改进LeNet-5神经网络进行迁移学习，在使用少量样本的情况下实现了号牌定位。Wang等[7]以YOLOv2为基础引入可堆叠注意力模型，通过多尺度信息融合实现了号牌的检测定位。侯明斌[8]对YOLOv2网络进行改进，通过目标检测实现号牌定位；并设计基于卷积循环神经网络的轻量支柱号序列识别网络，实现了不定长编号的识别。上述方法均以良好光照为前提，刘家军等[9]提出基于对比度受限直方图均衡化的夜间接触网号牌识别方法，通过对夜间图像增强，在光线不佳的情况下保持了较高的识别率。但该算法中对夜间图像的增强方法并不适用于隧道低光图像。

鉴于现有增强方法很难对隧道低光图像进行有效增强，因此本文在充分考虑图像特点的情况下，首先使用改进Ostu算法和特征筛选完成号牌粗定位；然后利用边缘补偿和形态学运算实现号牌的二次定位；最后通过分类处理实现号牌的精确提取。实验结果表明该定位方法准确有效。对于低光号牌，本文首先用基于多尺度高斯拉普拉斯(Laplacian of Gaussian，LoG)算子的零交叉二值化算法对号牌二值化；然后使用改进的字符分割算法提取编号字符；最后使用SVM实现字符识别。实验结果表明，本文提出二值化算法和改进的字符分割算法在提取和分割隧道低光号牌字符时准确、有效、鲁棒性高。

1 号牌定位

隧道接触网图像亮度低，灰度值93%集中在0～2之间，平均灰度值为1.8。由于光照低，吊柱边缘细节丢失，部分图像中号牌和背景融合，因此无法通过增强的方法来预处理图像，以降低定位难度。同时隧道接触网号牌表面附有高逆反射系数的反光膜，号牌成像后在图像中像素值最高，该特点有助于对号牌的定位。本文给出的号牌定位算法流程如图1所示，其中“粗定位+精提取”的定位方法是本文创新点之一。

图1 号牌定位算法流程

1.1 预处理

本文接触网图像分辨率为2048×2048，为了降低计算量，可在保证号牌不被漏检的前提下，对输入图像进行裁剪，减小图像尺寸。然后使用引导滤波对图像进行降噪处理，可平滑噪声的同时避免图像边缘被破坏。最后为避免因号牌倾斜影响号牌定位和字符分割的准确度，需进行倾斜校正，本文采用Hough变换对图像LoG边缘检测图进行直线检测，计算倾角并完成倾斜校正。

1.2 号牌粗定位

1.2.1 候选号牌标记

号牌为隧道接触网图像中最亮部分，使用合适方法将图像二值化，背景为0，号牌候选区为1，即可完成候选号牌标记。实验发现，使用Ostu算法[10]标记效果较好，但对号牌亮度较低图像，会将吊柱误标注，导致粗定位失败，如图2(b)虚线框所示，因此需对算法改进。

图2 Otsu与改进Otsu算法标注号牌候选号牌对比

统计发现，号牌区灰度集中在裁剪后图像所有像素最亮的0.3%～1.5%之间，将这部分像素称作前景，剩余像素称为背景。二值化前将两者分离，分离方法如下

(1)

式中：Ic为预处理后图像，G为按灰度值大小找到占比r的最亮像素的灰度值，本文r取0.3%和1.5%的中间值0.9%。Ix为分离后的图像。分离后使用大律法对Ix二值化，得到候选号牌标记图，如图2(c)所示。改进后算法对号牌区域用二值化标记精确度更高，误标记面积极小，不会导致粗定位失败。

1.2.2 号牌筛选

高铁隧道中号牌编号采用4个字符垂直排列，号牌大小固定，因此本文以宽高比ψ(ψ=h/w，h和w分别为最小外接矩形高度和宽度)为特征对候选标记图中的号牌进行筛选，剔除误标记区和缺失面积超过50%的号牌。

选取质量较好的号牌，统计发现它们的最小外接矩形高宽比ψ∈[3，3.5]。 受拍摄距离和弯道等因素影响，号牌会出现横向粘连、纵向粘连和右侧缺失，此时ψ发生改变。下面讨论在实际场景中号牌ψ可能的取值范围。

考虑下限，两号牌发生水平粘连，此时ψ=h1/(w1+w2)≥h1/(2*w1)≥1.5， 其中w1为较宽号牌的宽度。考虑上限，发生垂直粘连，此时ψ=(h1+h2)/w1≤(2*h1)/w1≤7， 其中h1为较高号牌的高度。当拍摄距离过近，号牌出现缺失，当缺失面积达50%且出现垂直缺失时ψ

1.2.3 扩展与输出

筛选后将最小外接矩形最大的候选号牌定为最佳号牌，并输出为粗定位号牌。但受光照或号牌污染等影响，部分号牌亮度降低，其标记图残缺，直接定位会使号牌不完整，因此求得最佳号牌的最小外接矩形后，需要进行扩展，保证粗定位号牌完整。本文中，上下和左右分别扩展高度和宽度的0.25倍。

1.3 号牌精提取

通过粗定位可得到包含完整号牌的图像，为提高定位精度，需对粗定位号牌进行精提取。

1.3.1 号牌二次定位

形态学运算常用于低质量车牌或号牌的定位。本文亦使用形态学运算对号牌进行二次定位，处理流程如图3所示。首先利用边缘图对粗定位号牌进行边缘补偿；然后使用形态学运算获取号牌主体，其中闭操作(kernel为长度等于3的水平直线)用于连接断裂的边缘，开操作(kernel为半径等于3的菱形结构)用于清除填充主体四周细小噪声项；最后通过求最小外接矩形得到二次标记图，进而得到二次定位号牌。

图3 二次定位算法流程

图3中Br为粗定位号牌标记图，Ir为粗定位号牌；B′p为二次标记图，I′p为二次定位号牌，E′p为I′p的边缘图。可以看出，较之于粗定位图Ir，I′p在保证号牌完整的同时四周冗余图像更少，定位精度更高。

1.3.2 分类与处理

二次定位后多数定位结果可作为精提取号牌输出(如图4(a)所示)。但部分结果出现号牌粘连或包含吊柱(如图4(b)和图4(c)所示)，需要切除粘连号牌或者包含的吊柱。为达到上述目的，需对二次定位结果分类。另有残缺号牌(如图4(d)所示)不用再做处理即可输出，但考虑后续处理需求，需将其区分出来。

图4 二次定位结果

为方便描述，现定义以下概念：

定义1 有效像素比V，即二值图中逻辑值为1的像素数量与图像面积的比值。计算方法如下

(2)

式中：B为二值图，wB和hB分别为B的宽度和高度。

对于图4中4类图像，依次将其定义为PA、PB、PC和PD这4类，分类方法如下：①计算B′p的有效像素比V和号牌高宽比ψ，分别记为Vp和ψp；②判断B′P在接触网图像中的位置，若B′p右边缘与接触网图像右边缘距离小于B′p的宽度，则记R=1，否则记R=0；③对于R=1的号牌，若ψp≤3.5则为PA类，否则为PD类；④对于R=0的号牌，若ψp>4则为PC类，否则判断Vp的大小，若Vp>0.7为PA类，否则为PB类。

完成分类后，直接将PA和PD类二次定位号牌I′p输出为精提取号牌Ip，B′p和E′p输出为Ip的标记图Bp和边缘图Ep；PB和PC类则需通过对B′p分割得到Bp，然后利用Bp定位得到Ip和Ep。对于PB类，首先划分象限并比较象限子图的V确定号牌主体位置，然后通过行列扩展完成分割；对于PC类，首先确定图像质心位置，然后通过行扩展完成分割。上述两种方法均在扩展行(列)的V小于当前Vp时停止扩展完成分割。

2 编号识别

字符识别技术已较为成熟，模板匹配和特征匹配常用于印刷体字符识别，但隧道中号牌字符质量差，上述方法并不适用。本文首先筛选出具备识别条件的号牌；然后使用基于多尺度LoG算子的零交叉方法对号牌二值化；再通过改进现有分割算法，实现字符的分割提取；最后使用SVM对单字符识别，完成编号识别，具体过程如下。

2.1 号牌筛选

受光照和距离影响，部分号牌无法识别(如图5方框中所示)需剔除。对多组同一编号的连续帧号牌分析发现，无法识别号牌边缘检测图的字符边缘缺失严重(如图5(b)所示)，其二值图不具备识别条件(如图5(c)所示)，因此考虑以字符边缘缺失情况为指标对号牌进行筛选。

图5 连续帧号牌及其边缘图和二值图

为对字符边缘进行定量分析，现定义以下概念：

定义2 号牌围线质量Wf，号牌围线即号牌边缘图Ep中四周非字符边缘，用Ef表示，Wf即Ef中逻辑值为1的像素数。计算方法如下

(3)

定义3 字符结构质量Wp，即Ep中字符边缘像素逻辑值为1的总数。计算方法如下

(4)

定义4 字符结构密度ρ，即Wp与Bp中有效像素的比值。计算方法如下

(5)

式(3)～式(5)中，w和h分别为图像宽度和高度，Ep和Bp分别为精提取号牌Ip的边缘图和标记图，Ef为Ep的围线，Ef求取方法简单，这里不再累述。

在每组编号一样连续帧的精提取号牌中选取一张最右侧且完整的号牌，共计16张。此时号牌字符最清晰且无粘连和缺失，对它们进行字符分割并利用式(3)～式(5)计算各字符结构密度ρ，定量分析结果见表1。

表1 号牌字符边缘结构质量和结构密度定量分析

由于字符“1”、“2”和“7”书写简单，边缘点少，它们的结构密度均小于0.1。单个号牌包含1个字母和3个数字，因此单号牌的结构密度ρ∈[0.0920，0.1360]， 其中下限ρlow=0.0920是在编号为D111时产生，上限ρhigh=0.1360是在编号为D555时产生。通过实验发现当号牌字符边缘缺失30%时号牌无法识别，同时为保证“1”、“2”和“7”不会被误剔除，因此筛选阈值设为ρlow×(1-0.3)， 即0.0644；对在2.3.2节中标记R=1残缺号牌，筛选阈值设为ρlow×(1-0.5)， 即0.0460。

对628张隧道接触网图像进行号牌定位得到号牌628张，通过筛选，剔除不可识别号牌266张，保留可识别号牌362张。对可识别号牌，利用Ep和Ef对号牌边缘切割，切除四周的冗余图像，处理流程如图6所示。其中“-”表示“减”运算，即E′s“等于”Ep“减”去围线Ef后仅包含字符边缘的边缘图，Es为切除E′s四周冗余后的边缘图，Is为利用Es定位后的号牌。利用该方法切割后号牌定位精度更高。

图6 冗余边缘切割流程

2.2 二值化

隧道接触网号牌图像质量差，传统二值化算法[10，11]难以将字符与背景有效分离。使用Otsu、Bernsen和Niblack算法对号牌二值化，结果如图7(b)～图7(d)所示，效果均不理想。针对低光照接触网号牌识别，用基于多尺度LoG算子的零交叉方法二值化，结果如图7(e)所示，可以看出该方法对低光照号牌图像二值化效果更好。

图7 号牌二值化对比

二维LoG算子计算表达式如下

(6)

式中：σ为高斯滤波器的标准差。对于离散图像，常使用一个大小为n×n的LoG离散滤波器来近似LoG算子，其宽度n是一个大于等于6σ的最小奇数。

本文所提二值化算法流程为：①选择3个尺度的σ(本文分别取σ1=0.7、σ2=1.7和σ3=2)，计算对应的LoG滤波器；②利用3个滤波器分别对号牌图像进行滤波，得到3张零交叉图并使用最大尺度对应的零交叉图求取边缘图Emax；③对3张零交叉图进行二值化，阈值取0，得到3个二值化结果B1、B2和B3；④将Emax、B1、B2和B3进行或运算得到B0；⑤对B0进行形态学操作，将所有4连通像素数小于8的连通图赋值为0，得到最终二值化结果。

2.3 字符分割

常用字符分割方法包括连通域分割法和投影分割法，它们对存在断裂和粘连字符的号牌分割效果不佳。文献[12]将号牌二值图的投影矩阵的极小值视为候选分割点，通过将不同分割点组合，计算平均分割高度、变异系数和判断系数实现了字符的分割。该方法泛化能力较强，但在处理低质垂直号牌时，会因字符断裂距离过大或者粘连的字符包含“1”和“7”而无法找到极小值，导致字符分割失败。本文通过在距离过大的极值点之间插入人工点改进了文献[12]的所提方法，解决了上述问题。改进后的字符分割算法包含3个主要环节：①构造分割点集合；②分割点组合分析；③字符分割。

2.3.1 构造分割点集合

对号牌二值图进行孔填充，再计算每行像素值为0的像素个数即可获得水平投影矩阵，然后寻找投影矩阵的局部极小值(波谷)来确定潜在的字符分割点并构造分割点集合Ps。

本文在文献[12]构造的Ps基础上添加人工点，添加方法如下：①在波谷，若谷底是平的，则将谷底的起点和终点加入Ps。如果谷底区域包含号牌四等分点，则将四等分点也加入Ps；②遍历新的Ps，如果两个分割点间距离超过，则将两点间的号牌四等分点加入Ps。本文中取值为一个字符的高度。由于本文方法提取的号牌上下冗余很少，因此单字符高度hs∈[0.2h，0.25h]， 考虑算法鲁棒性取值0.2h，其中h为号牌IS的高度。

加强项目建设，提升技术支撑能力。2011年以来，在濮阳市局的推动下，各级财政共投资9637万元，用于市局食品药品检验能力建设、两个县域食品检验检测中心建设和市、县、乡三级执法装备建设。

2.3.2 分割点组合分析

得到候选分割点集合后，需要根据待分割字符数量对分割点进行组合，计算各组合的变异系数[12]确定最佳分割点组合，具体方法如下：①根据字符数量找出所有的分割点组合；②对每个组合，计算所有字符高度和平均字符高度；③计算每个组合的变异系数；④选出变异系数最小的组合作为最佳分割点组合。其中本文所用变异系数计算方法如下

(7)

在实际应用中，为了提高算法的鲁棒性，我们在组合分析后对与最小变异系数数量级一样的组合进行了额外分析。首先计算组合中平均高度最大值hmax，然后对与hmax相近(差值小于3)的组合计算分割行灰度和，最后将灰度和最小的组合作为最佳分割点组合。

2.3.3 字符分割

获得最佳分割点组合后，即可根据该组合中的分割点对号牌进行字符分割。图8为部分号牌分割结果及对应的二值图。

图8 号牌字符分割结果

2.4 字符识别

由于没有隧道接触网号牌字符数据集，需要自建数据集进行模型训练。通过2.3.3节字符分割得到数字字符1086个，字母字符362个，对它们大小进行归一化处理(归一化为30×30的尺寸)。由于残缺号牌(PD类号牌)字符数量较少，因此将50%的残缺字符作为训练集，其它号牌字符取70%作为训练集，共计1013个训练样本。另外由于各字符数量差异较大，因此需对训练集进行扩充，本文通过平移字符在图像中的位置对训练样本进行扩充，将数量少于100个的字符样本扩充至100。扩充后的训练集样本包含数字和字母共计1405个。

得到训练集后使用SVM训练。本文使用抗干扰性较强的C-SVC[13]进行多分类，使用RBF作为核函数，损失函数参数设置为2，Gamma参数设置为0.005。通过训练得到模型后即可用于单字符的识别，得到接触网号牌编号。

3 实验与分析

为了测试本文提出的号牌定位算法﹑字符分割算法和编号识别算法的性能，分别开展号牌定位实验﹑字符分割实验和编号识别实验。其中，对于字符分割结果使用主观对比来评价，号牌定位结果和字符识别结果使用准确率来评价，准确率计算方法如下

(8)

式中：A为准确率，T为测试样本总数，c为正确的样本数。

3.1 实验环境与数据

本文实验图像均采集自西成线(西安-成都)广元段隧道，由接触网安全巡检装置(临时安装于司机室内的便携式视频采集设备)采集，共计图像628张，图像分辨率为2048×2048。本实验在台式电脑上进行，机器安装Windows 7系统，内存16 GB，CPU为Intel(R)Core(TM)i7-9000K，主频4.3 GHz。使用Matlab R2019a进行编码、实验和数据分析，并使用libSVM3.4作为库支持。

3.2 号牌定位实验与分析

对于粗定位号牌，本文通过定性评估来确认号牌是否定位成功，即判断输出结果是否包含完整号牌，包含则为定位成功，否则为定位失败；对于精提取号牌，通过计算输出号牌高宽比ψ来判定是否定位成功，当ψ<3(该值由特征统计得出)时认为定位的号牌出现缺失，判定为定位失败。

使用本文定位算法对628张样本图像进行号牌定位实验，628张图像粗定位结果均正确，粗定位准确率100%；在精提取结果中，号牌定位准确图像共计618张，定位错误10张，定位准确率为98.4%。图9(a)为隧道接触网图像示例，图9(b)为部分号牌粗定位结果，图9(c)为对应的精提取结果。定位错误号牌如图10(a)和图10(b)所示，均为号牌缺失。

图9 高铁隧道接触网图像及部分号牌定位结果

图10 号牌定位错误结果

其中编号为D093的号牌共计14帧，前9帧精提取错误，均为第一个字符“D”上半部缺失；编号为D105的号牌共计14帧，最后1帧定位错误，为第四个字符“5”下半部缺失。通过查看粗定位图发现，编号D093定位错误的9张粗定位图上部因光照不足，在原始图像号牌已缺失(图10(c)左侧所示)；编号D105定位错误的粗定位图下部因光照不足，在原始图像中号牌已缺失(图10(c)右侧所示)。可见定位错误号牌均为光照严重不足的客观原因导致，所以本文提出的定位方法是准确可靠的。

3.3 字符分割实验与分析

使用本文方法和文献[12]方法进行字符分割对比实验，以验证本文方法改进的有效性。当分割对象是质量较好的号牌时，两种方法分割结果无区别，当分割的号牌质量较差出现字符粘连或者字符断裂时，分割结果如图11所示。

图11 文献[12]与本文方法字符分割结果对比

图11(a)为字符粘连号牌的分割结果对比，图11(b)为字符断裂号牌的分割结果对比。其中各子图上方为本文方法分割结果及其二值图像，下方为文献[12]分割结果及其二值图像。可以看出，较之于文献[12]，本文方法在处理断裂和粘连字符效果更好，能够满足隧道接触网号牌字符的分割。但是由于添加了人工点，导致集合的组合数增多，造成一定的性能损失。

3.4 编号识别实验与分析

为验证识别效果，我们对分割出的字符分别使用模板匹配法[14]、Lenet-5[15]网络和本文方法进行识别对比实验。其中模板匹配法从2.3节中的训练样本中选取质量好的字符充当模板；Lenet-5使用与本文算法相同的训练集。从每个字符类别中取30%作为测试样本(残缺号牌字符取50%)，测试样本共计435个字符，部分样本如图12所示。

图12 部分号牌字符样本

各字符识别统计结果见表2，本文总体识别正确率为95.4%，高于模板匹配法(70.1%)和LeNet-5网络识别算法(87.1%)。从单字符识别结果来看，除字符“1”识别率小于模板匹配法外，其它字符识别率均优于对比算法。

表2 识别对比实验结果

在本文算法识别结果中，数字“5”识别率仅88%，错误样本如图13(a)所示，错误的主要原因是笔画粘连﹑缺失和号牌自身缺失。图13(b)给出了数字“1”的错误样本，错误的主要原因是与“3”和“4”的部分训练样本相似，如图13(c)和图13(d)所示。可见，由于拍摄质量差，不同样本已相互影响。

图13 部分识别与训练样本图像

虽然个别字符的识别率较低(<90%)，但考虑该字符测试样本数量较少，存在偶然因素，且结合表2结果，可以认为基于SVM并使用隧道字符图像进行训练和分类的字符识别方法对于高铁隧道接触网号牌的识别方法是可行的。

4 结束语

在隧道低光图像无法有效增强的情况下，本文给出的号牌定位算法能够准确有效对接触网号牌进行定位，实验结果表明本文的定位算法可行性强，准确率高。在识别过程中，本文给出基于多尺度LoG算子的零交叉二值化算法有效地解决了低光号牌二值化难题，并通过对现有字符分割算法进行改进，对垂直号牌中的粘连和断裂字符进行了有效分割。最后，识别对比实验结果表明，本文识别方法可靠性高，能够满足隧道场景中的接触网编号识别需求，具有工程应用价值。但是本文仍存在对部分低质量号牌识别效果不佳的问题，下一步我们拟通过前置分类，先将低质量号牌区分出来，再对低质量字符进行单独识别，来解决上述问题。