李宏胜 孔慧慧 康玉芳
(1.南京工程学院自动化学院,211167,南京; 2.江苏省常熟职业教育中心校,215500,常熟;3.国网安微省电力有限公司宣城供电公司,242000,宣城//第一作者,教授)
通行逻辑是地铁车站闸机系统的关键技术。多年来,国内外许多研究人员一直致力于闸机通行特征识别与通行逻辑相关技术的研究。但是,由于闸机通行逻辑的设计受闸机通道长度、传感器的数量和布置,以及乘客的通行速度、携带物、衣着等影响,因此难以找到确切的事件识别逻辑方法。这正是闸机系统通行逻辑判断的难点所在。
本文采用通行特征识别方法:将传感器信号通行序列转换为元素为0或1的特征矩阵,如果将每一个特征矩阵的元素看作是图像的像素,则特征矩阵可以看作是一幅黑白二值图像;通过双线性插值对矩阵进行缩放处理,将所采集的样本图像缩放为标准的16×16矩阵,则特征矩阵可以看作是一幅黑白灰度图像。基于这一思路,常见的机器学习(例如典型的MINST字符图像分类识别)图像分类方法与思路即可用于通行合法与非法的二分类识别。本文首先采用上述原理将通行过程转换为标准大小的特征矩阵,然后采用BP(反向传播)神经网络学习进行合法通行以及非法通行的传感器数据识别和分类。
样本和标记的选取对神经网络学习效果起着重要的作用,因此所选取的样本应尽可能全面反应闸机的各种合法与非法通行状况。在研究前期,通过建立闸机、传感器、乘客模型以及乘客携带物品模型,搭建了乘客通过闸机的虚拟仿真系统。该仿真系统可以模拟乘客身高、体重,以及乘客是否携带行李、乘客是否尾随及尾随距离等各种情况下的通行状况。通过该仿真系统,可以方便获取大量的通行数据,作为现场采集的乘客通过闸机数据的补充。
闸机通行情况比较复杂,神经网络的训练样本应尽可能覆盖各种通行情况。乘客在地铁车站通过闸机的各类情况描述如表1~2所示。
表1 乘客通过闸机案例采集——正常通行
表2 乘客通过闸机案例采集——根据距离判断
闸机通道内安装有16个对射穿透光束传感器,其发射器和接收器位于闸机通道两侧,当乘客通行时,发射端发射向接收端的红外线会被切断,接收端会因此产生输出信号的变化。闸机控制系统定时采集16个传感器的信号,在没有检测到目标物体时,传感器输出信号为0,当检测到任何人或任何物遮挡时,传感器输出信号为1。矩阵图1~3为采集的单人、单人背包、双人之间有间隔3种通过闸机情况下的矩阵序列。乘客通过闸机行走速度不同,所需时间也不同,由此矩阵行数也会不同。将矩阵的元素看做图像的像素,得到对应的如图4~6所示的传感器遮挡序列图。其中:“●”表示传感器信号被遮挡,对应矩阵元素为1;“○”表示传感器信号未被遮挡,对应矩阵元素为0。
图1 单人通过闸机通行信号矩阵
图2 单人背书包通过闸机通行信号矩阵
如图4所示,测试单人乘客以较快速度通过闸机通道时,传感器遮挡图近似为1条直线,乘客在闸机通道内可被视为1个运动个体。如图5所示,背包相对于乘客呈静止状态,因此背包乘客在闸机通道内也可被视为1个运动个体。如图6所示,两名乘客相距一定距离通过闸机时,传感器遮挡图近似为2条直线,两名乘客在闸机通道内可被视为2个运动个体。
图3 双人通过闸机通行信号矩阵
图4 单人通过闸机被遮挡信号矩阵
图5 单人背书包通过闸机被遮挡信号矩阵
图6 双人通过闸机被遮挡信号矩阵
实际上,闸机通行的合法性判断可以被看作是对类似图4~6图像的特征识别和分类。由于乘客通过闸机的行走速度不同,传感器信号采集所形成的二值矩阵的列数不变,但行数不同,因此需要对闸机通行信号矩阵作标准化处理。
双线性插值的原理是:插值点像素值取在其邻域4个像素点在2个方向上的线性内插,即通过加权平均来确定待插值点像素值,权重大小由待插值点距离其4个邻域点的距离来确定[7]。
乘客通过闸机的熟练程度、是否携带行李以及持卡方式都会影响乘客通过闸机的时间。由于闸机逻辑控制板的采样频率一定,如果乘客通过闸机的速度很慢,则采集到的传感器数据相对就多;反之,如果乘客通过闸机的速度很快,则采集到的传感器数据相对就少。因此,每次采集的传感器信号矩阵所有元素均为0或1,但矩阵的行数不同。为便于神经网络学习,通过双线性插值法处理,将传感器信号矩阵的行数进行缩放,生成一致的16×16矩阵,如图7~9所示。双线性插值法处理后,闸机通行信号矩阵不再是0和1的二值化像素矩阵,而是一个取值范围为[0,1]之间的灰度像素矩阵。图10~12为图4~6经过双线性插值法处理之后得到的灰度化的图像。
图7 单人通过闸机通行信号16×16矩阵
图8 单人背书包通过闸机通行信号16×16矩阵
图9 双人通过闸机通行信号16×16矩阵
图10 单人通过闸机通行信号灰度化图像
图11 单人背书包通过闸机通行信号灰度化图像
图12 双人通过闸机通行信号灰度化图像
人体运动行为识别作为人工智能和智能家居领域研究的一部分,一直以来备受关注[8]。人体行走运动过程比较复杂,主要是腿围绕臀部的转动带动人的身体进行平移,是一个循环的、带有周期性的运动。乘客的身高体重、衣着,以及是否携带行李、进入闸机的行为动作、是否双人通过等都会增加闸机通行逻辑设计的复杂性。由于乘客通过闸机的过程具有波动性,且很多影响因素无法量化,具有明显的非线性特征,因此很难直接找出符合其通行过程的确切逻辑或函数。神经网络具有较强的自适应能力、自学习能力和对非线性函数的逼近能力,可以描述非线性映射并建立系统模型[9]。神经网络通过对乘客合法通行以及非法通行的大量样本的学习,可以根据相关数据自动进行有效特征提取,从而找出隐含的乘客合法通行以及非法通行对传感器信号影响的逻辑规律。
本研究共采集2 164组通行数据样本,其中正常合法通行传感器信号有1 064组,设置训练标签为1;非正常非法通行的传感器信号有1 000组,设置训练标签为0。数据样本中训练样本为1 514组,验证集和测试集均为325组。
所采用BP神经网络模型参数(包括模型结构、传递函数、网络训练参数)[10],将16×16的像素矩阵展开为一行256个输入,则每个样本有256维的特征向量作为神经网络的输入层。同时,每一个学习样本有对应的label(标签)标注信息,将合法通行的状况对应位置的值设为1,非法通行的状况对应位置的值设为0,标注信息则为一个1×1的特征向量。因此,BP神经网络的输入层节点数为256,输出层的节点数为1。
设计采用2层前馈神经网络,使用带有Sigmod函数的隐藏神经元和非线性输出神经元(Softmax)。根据经验公式以及反复测试,选取隐含层节点数为30。网络模型训练误差收敛过程如图13所示。由该训练误差曲线可以看出,验证集与测试集误差曲线的变化基本趋于一致,网络训练经过了20次迭代提前停止,达到了期望的误差目标,训练误差为0.090 545。
图13 神经网络训练误差曲线
地铁闸机的主要作用就是使合法通行的乘客安全通过闸机并且安全有效地阻挡非法通行的乘客,是二分类问题。上述网络学习结果如图14混淆矩阵和图15 ROC(接受者操作特性曲线)曲线所示,图14和图15神经网络数据预测均说明,神经网络训练效果很好,分类准确率达到96.8%。神经网络数据预测结果表明,通过神经网络的训练,网络模型分类准确性很高,具有较好的泛化能力,可以较好地识别未经训练的通行传感器数据是否合法。
图14 神经网络混淆矩阵
本文通过采集乘客遮挡闸机传感器信号产生的时间序列特征矩阵作为BP神经网络的训练样本,借鉴图像识别技术,采用双线性插值法将传感器序列图缩放为统一大小的标准图像,并通过对训练样本添加合适的标签作为输出,实现了对正常合法通行以及非法通行的识别。
后续工作将将加强训练样本分类、增强学习精度和速度。在本次研究中,当出现成人乘客跟随距离小于30 cm时,为避免发生夹伤乘客的情形发生,作为合法通行的案例,在以后的训练中尽量缩短安全距离进行训练;同时将乘客通过闸机的情形进行细致分类,如将合法通行中的单人通行、背包通行、携带行李箱以及带小孩的情形等作为输出,实现多目标同时识别。
图15 神经网络ROC曲线
全连接神经网络具有较好的学习能力,但连接参数数量多,学习与预测的实时性会受到影响。采用深度学习可以有效克服这一缺点,实现更加快速准确地分类和识别。