铁路车号CMOS图像传感信息智能识别方法

摘 要：CMOS传感器在采集铁路车号图像过程中存在多种外界因素的混合干扰，图像重复区域增多，增加了铁路车号识别复杂度。为此提出基于CMOS传感器的铁路车号识别方法。利用CMOS传感器采集多种因素干扰条件下的铁路车号图像，利用深度卷积神经网络对铁路车号图像重复区域进行检测，剔除无用矩形框，确定有效的车号区域。利用维纳滤波器对铁路车号预选框区域去噪处理，有效避免干扰因素对于铁路车号图像质量的不利影响。搭建铁路车号识别模型，利用多任务学习方法对该模型进行训练，将去噪处理后的图像输入该模型中，得到铁路车号识别结果。实验结果表明：所提方法的铁路车号识别精度高和时间短，实际应用效果好。

关键词：CMOS传感器；铁路车号；智能识别；维纳滤波器；多任务学习

中图分类号：U271; TP391.41文献标志码：B文章编号：1671-5276（2024）03-0275-05

Intelligent Recognition Method of Railway Vehicle Number CMOS Image Sensing Information

Abstract：Rearding the increases of image repetition area and complexity of railway vehicle number recognition caused by mixed interferences of various external factors in the process of collecting railway vehicle number image with CMOS sensor， a railway vehicle number recognition method based on CMOS sensor is proposed. The CMOS sensor is used to collect the railway vehicle number image under the interference of various factors， and the deep convolution neural network is applied to detect the duplicate area of the railway vehicle number image， eliminate the useless rectangular frame， and determine the effective vehicle number area. With the Wiener filter， the railway vehicle number pre-selection frame area is de-noised to effectively avoid the adverse impact of interference factors on the railway vehicle number image quality. A railway vehicle number recognition model is built， trained by multi-task learning method， input the de-noised image to get the railway vehicle number recognition results. The experimental results show that the train number recognition by the proposed method has high accuracy and short time with good practical application effect.

Keywords：CMOS sensor; train number; intelligent identification; Wiener filter; mult-task learning

0 引言

通过识别铁路车号可实时获取包括运行位置、速度等一系列数据的车辆信息，对车辆进行动态化追踪，从而实现铁路车辆的综合化管理［1］。每辆列车均有独立的车牌编号，利用相关传感器采集车辆信息，对车辆多参数进行识别，可以减少人工采集上报的工作量，提供更加可靠准确的数据信息。不仅如此，还能够直接将控制任务指令发送到执行终端，对列车执行减速或者机械修理等操作，有利于加强车辆管理效率与管理水平［2］。

在已有的铁路车号识别研究中，艾鑫等［3］基于图像文本识别方法通过网络提取车辆小尺度牌号信息特征并进行多特征尺度融合，定位车号所属区域。对车号进行分类回归，利用边界敏感文本框识别车号信息，以此制定控制管理与机械维修策略；李猛坤等［4］提出一种移动边缘计算识别法，通过车联网实现列车视频采集，利用移动边缘计算方法对车联网视频采集边缘进行分离卷积核计算，在对视频内车号区域进行数学形态处理后提取车号信息，实现铁路车号识别。

当前的识别硬件多采用的是CMOS传感器，其所处环境较为复杂，车号图像采集结果受到多种因素的干扰，导致图像噪声分量大幅度增加，使得铁路车号识别过程存在较大困难，因此提出针对CMOS传感器的铁路车号识别方法。

1 铁路车号目标检测

CMOS传感器的使用，不仅可以省去现场抄写车辆编号的步骤，同时可以根据车号信息识别，从而完成对列车车号的获取，实现列车安全运行追踪判定和机械控制［5-6］。

利用马氏距离定义和观测列车距离信息：

式中：zi表示CMOS传感器信号采集周期内第i个目标列车的观测值；zkk－1表示在k－1时刻目标列车距离预测值；Sk表示两个相邻传感器之间的协方差矩阵。可将m行n列矩阵中的指定元素看作是CMOS传感器在m行n列中的协方差［7］。

将满足CMOS传感器距离观测条件的列车序列集合表示为

式中：z表示CMOS传感器观测值序列集合中的单位元素，当列车序列出现在式（2）中所涉及到的区域范围内时，证明列车车号正处于有效识别范围内，C表示对应的限定阈值［8］。

当CMOS传感器同时采集铁路车号序列图像时，通常会出现冗余，需要先对CMOS传感器采集到的图像进行融合处理，其中铁路车号图像序列表达式为

xk=fk（xk－1，uk－1，vk－1）（3）

式中：{xk，k=0，1，2，…，k}表示一个离散时间内的状态矢量序列，k表示图像序列总量；uk－1表示目标车辆机械控制输入向量；{vk－1，k=0，1，2，…，k}表示正态分布的车辆序列分离独立变量。

由于所处环境较为复杂，CMOS传感器信号受多种因素的混合干扰，导致铁路图像车号区域出现重复，影响车号识别。对此需要对铁路车号重复区域进行检测，剔除无用矩形框，确定有效的车号区域。将数字和字母作为检测目标，定位具体车号位置，为后续识别奠定良好基础。

为了精确定位出预选框，预选框精度定义如式（1）所示。

式中xy、vk、C1、C2表示不同的预选框。

在实际操作中，采用预选框的面积来计算重合度，则计算公式为

式中：S1表示预选框C1的面积；S2表示预选框C2的面积；Sn表示两个区域重合的面积。

针对车号区域的检测，采用深度卷积神经网络提取预选框并进行打分。深度卷积神经网络模型如图1所示。

具体步骤如下。

1）用nxn的滑动窗口扫描，通过卷积层1映射到一个低维的特征向量，然后采用ReLU（rectified linear units）为每个滑窗位置考虑k种可能的参考窗口。

2）通过卷积层2（两个并行卷积层），即reg窗口回归层和cls窗口分类层，分别用于产生预选框（bounding-box）和对预选框进行打分（判定是否为前景或背景）［9-10］。

预选框输入到主网络中的ROI池化层，会从中剔除没有用的矩形框，从而对预选框进行优化。而非极大值抑制法是一个较好的方法，在剔除无用矩形框上有较好的效果。

非极大值抑制法的思路如下：

以9个预选框为例，根据预选框的概率将其从小到大排序为A、B、C、D、E、F、G、H、I。

a）从最大的概率框I开始，分别计算A到H的矩形框与I框的重叠度，将其与某个设定的阈值进行比较。

b）剔除那些重叠度超过设定阈值的矩形框（例如B、C、F），此时对保留下来的I框进行标记。

c）从余下的矩形框A、D、E、G、H中，选定概率最大的H框，计算A、D、E、G与H的重叠度，将其与某个设定的阈值进行比较。剔除超过设定阈值的矩形框，对保留的H框进行标记。重复上述步骤，直到所有需要保留的矩形框均被标记，从而实现铁路车号目标检测。

2 铁路车号预选框区域去噪

维纳滤波法是Norbert Wiener于1942年提出的以最小均方误差为准则的最佳线性滤波方法。维纳滤波器［11-12］的输入与输出关系如图2所示。

将式（8）代入式（7）得到

式中：Rm（i）表示图像带噪信号的自相关函数；Rn（i）表示图像预选框带噪信号与图像预选框有效信号的互相关函数。按照最小均方误差的原则，令导数大于0，得到如下的维纳-霍夫方程：

将式（11）变换到z域，则有

重复上述过程，得到铁路车号预选框区域去噪结果：

从维纳-霍夫方程中得到的h（i），能够使滤波器对图像预选框区域达到最佳的去噪效果。

3 铁路车号识别方法

利用关联维数识别颜色、大小、形状等图像参数，将图像全方位覆盖尺寸相同的格子，通过分析车号参数出现在某个栅格的概率，再通过计算信息熵，明确稳定性。信息熵计算公式如下：

式中：x表示格子边长；i表示格子；n表示格子总数量；Pi表示异常信号出现在格子i的概率。

信息维数计算公式为

式中DI表示信息维数。

关联维数的计算方式与信息维数极为相仿，同样是先计算车号参数出现在单元格内的概率，再以该单元格为中心，与邻域单元格交换数据信息，形成数据关联网络，结合数据关联网络搭建铁路车号识别模型，该模型的具体描述如下：

式中Pr（x）表示参数识别函数。

采用多任务学习方法对于铁路车号识别模型进行训练，训练集的具体描述如下：

（xij，yij）brj=1（17）

式中：xij表示第i个铁路车号参数识别任务的第j个样本；yij表示xij对应的样本标签。多任务学习方法的目标在于获取一个预测函数，具体如下：

fi（xij）=vTixij+bi（18）

式中：bi表示第i个铁路车号参数识别任务参数；vTi表示bi对应的权重。为了保证为不同任务的模型参数应该尽可能相似，需要构建多任务分类模型。

式中：L（Y，wTkX）表示损失函数；λ1、λ2表示相似度度量函数；wk、wi、wj表示不同的预测模型参数。

结合多任务分类模型，搭建联合特征学习模型，该模型的描述如下：

式中：U表示特征描述参数，W21，2表示wi2的l1，2范数，则铁路车号识别模型训练目标函数如下：

式中：P、QT分别表示不同的正则项参数；yi表示识别模型输出误差；XTi表示参数权重参数。

4 仿真实验

4.1 实验设置

1）数据集介绍

训练数据集为本文手工标注的7 000张车号区域图像，针对其中的车号进行可编辑的文本标注，从中选取测试数据集共2 109张车号区域，与训练集没有交集。

2）实验配置

实验环境为Ubuntu 16.04，GPU的型号是NVIDIA GeForce TITAN X，实验框架为caffe框架。在训练和测试阶段，输入车号区域均需要归一化为32像素，宽度同比例缩放。隐藏层特征数设置为256，解码器特征数设置为512，Batchsize大小为64，训练一共迭代20 000次，学习率初始值为1。

4.2 实验结果分析

本文主要利用CMOS传感器采集铁路车号图像，将车号区域作为目标，如图3所示。当使用深度卷积神经网络提取预选框后，最终获取的预选框仍然较多，如图4所示。利用维纳滤波器对铁路车号预选框区域进行去噪处理，处理后的结果如图5所示。

将去噪处理后的图像输入至训练好的铁路车号识别模型中，得到铁路车号识别结果，如表1所示。

在列车驶入过程中的相同位置上分别利用本文方法、文献［3］方法和文献［4］方法对列车车号进行识别，识别精度进行比较，结果如图6所示。

从图6可以看出，3种方法对车号识别精度随着距离的增加而下降。通过比较可知，当车距增加到500m时，对比方法对列车的识别精度相对较低，而本文方法的准确度相对更高。

不同方法下的铁路车号识别时间对比如图7所示。从图7中可以看出，本文方法能够在保证识别精度的同时，使得识别时间更短，说明该方法能够精准、快速地识别铁路车号的多参数，实际应用效果好。

5 结语

本文在CMOS传感器的基础上采集铁路车号图像，在图像中设置铁路车号预选框并对该区域去噪处理，将处理结果输入训练好的识别模型中，得到铁路车号识别结果。实验结果表明：实验及数据分析证明了本文方法的可靠性，识别精度、识别耗时以及传感器信号延时效果均比较理想，可以在铁路车号识别与机械设备管理领域得到广泛应用。

参考文献：

［1］ 张济民，宗振海，周和超，等. 独立旋转轮对轨道车辆自适应导向控制研究［J］. 机械工程学报，2022，58（4）：232-239.

［2］ 李权福，张锴，何应德，等. 一种新型铁路货车车号标签质量状态自动检测方法［J］. 机械设计与制造工程，2021，50（12）：81-84.

［3］ 艾鑫，邹琪，罗常津. 面向精确定位的列车车号文本定位与识别［J］. 计算机辅助设计与图形学学报，2020，32（11）：1863-1870.

［4］ 李猛坤，柯正轩，于定荣，等. 基于移动边缘计算的车联网车牌号码识别算法［J］. 计算机工程与设计，2021，42（11）：3151-3157.

［5］ 陈复扬，姜斌，沙宇. 基于分布式光纤振动传感器的铁路安全监测算法［J］. 物联网学报，2020，4（3）：106-111.

［6］ 张瑞国，申燕飞，曾兴兴，等. 基于红外测距传感器的铁路货车车载电子称重方法［J］. 内燃机与配件，2020（7）：257-260.

［7］ 门永林，李士佩，臧铁刚. 基于双排传感器的转轴式自动循迹列车控制策略［J］. 机械制造与自动化，2022，51（6）：180-184.

［8］ 金鹏，黄浩，刘检华，等. 多传感器信息融合的铁路扣件缺陷检测方法［J］. 机械工程学报，2021，57（20）：38-46.

［9］ 孙浩，陈进，雷琳，等. 深度卷积神经网络图像识别模型对抗鲁棒性技术综述［J］. 雷达学报，2021，10（4）：571-594.

［10］ 段恩泽，方鹏，王红英，等. 基于深层卷积神经网络的肉兔图像分割与体质量估测［J］. 农业机械学报，2021，52（6）：259-267.

［11］ 吴孟礼，陈跃斌，吴海锋，等. 抵御SSDF攻击的维纳滤波器检测算法研究［J］. 计算机工程，2020，46（11）：187-193.

［12］ 杜社会，肖启国，罗昌友，等. 基于AR模型的维纳滤波器设计分析［J］. 信息技术与信息化，2020（9）：159-161.