基于监控视频信号的电梯门运动轨迹识别算法

张 媛，李 岩，安婷婷，华志超，臧 坤，李双全

(1.江苏省特种设备安全监督检验研究院无锡分院,江苏 无锡 214174)(2.东南大学自动化学院,江苏 南京 210096)

资料显示，居民小区中电梯安全事故频繁发生，且由电梯门引起的安全事故占有较大的比重[1]。电梯门引起的故障主要包括电梯门开关异常以及电梯门开关不够标准等[2]。与电梯门有关的故障会提前体现在电梯门的运动轨迹上[3]。使用计算视觉技术对电梯门的运动轨迹进行识别能够及时发现电梯门系统的异常。

针对电梯门运动轨迹识别的课题，文献[4]提出了背景差分法，其基本思想是首先得到背景模型，然后把当前采集到的图像与背景模型进行差分来识别电梯门边缘，缺点是该算法受外界的光线、噪声等影响较大；文献[5]提出了帧间差分法，其基本思想是通过对视频流中相邻或相近的两幅图像进行差分来获取运动物体的轮廓，进而识别出电梯门的边框。该算法运算量小、速度快，缺点是准确度不高。文献[6]提出了光流法，通过计算速度矢量来判别图像的前景与背景，在背景变化的场合适用性较强，缺点是计算量较大，很难达到电梯门运动轨迹实时检测的要求。文献[7]～[9]提出的Mean-shift算法基于特征概率密度，以前一帧图像中目标的位置为起点进行搜索，获取到的特征概率密度最大的搜索框即为识别到的目标。该算法的缺点是过分依赖前帧数据的信息，当出现前帧数据丢失时会造成较大的识别误差。以上算法对电梯门运动轨迹的识别效果均不够理想。

本文以边缘检测和阈值分割的思想为基础，提出了一种精度较高的电梯门运动轨迹识别算法，并对电梯门的运动轨迹进行预测，依据预测轨迹构建类高斯加权模型对原算法进行改进，使算法具有较强的鲁棒性。

1 电梯门运动轨迹识别算法设计

1.1 基于边缘检测和阈值分割的电梯门识别算法设计

边缘是图像中亮度发生突变的像素点的集合，它是图像的最基本特征之一[10]。针对电梯门的运动轨迹，可以使用简单的水平梯度来检测电梯门边框的效果。本文定义图像I在第x列的水平梯度为D(I,x)：

(1)

式中：H为图像高度。

水平梯度均值越大的地方存在电梯门边缘的可能性越大，该方法对线状噪声干扰比较敏感，对于均匀的面状噪声抗干扰能力较强。 阈值分割方法的基本思想是确定一个或多个阈值，然后把像素划分为两类或多类。阈值分割结果的好坏主要依赖于分割阈值的选择是否合适[11]。针对左右两边门运动轨迹分析，根据最大类间方差法阈值分割的原理，对于一个高H、宽W的图像I，当用水平位置为x的竖线将其分为左右两类时，本文定义其类间方差函数为V(I,x,y):

V(I,x,y)=A+B+C

(2)

式中：

使得V(I,x,y)取得最大值的x，y值即为电梯门边缘的位置。研究表明，基于阈值分割的电梯门识别算法对线性噪声的抗干扰能力较强，但是对面状噪声比较敏感。

鉴于边缘检测和阈值分割两种算法具有不同的优势，本文将二者进行结合。针对一维的类间方差函数V(I,x)与一维的水平梯度函数D(I,x)，本文假定两种算法所占权重相同，将类间方差函数V(I,x)除以其最大值得到百分化的类间方差函数V%(I,x)，同理得到百分化的水平梯度函数D%(I,x):

(3)

(4)

对于二维的类间方差函数V(I,x,y)和一维的水平梯度函数D(I,x)，将V(I,x,y)百分化得V%(I,x,y)，表示左右电梯门边缘分别在x和y位置的可能性。

V%(I,x,y)=

(5)

类间方差函数和水平梯度函数二者取均值，得综合性描述电梯门边缘存在可能性的函数为：

(6)

1.2 以预测位置为中心进行类高斯加权的电梯门运动轨迹识别算法设计

对电梯门运动轨迹识别有严重影响的干扰有3类：线状噪声、面状噪声、运动噪声[12]。线状噪声为具有明显竖直边缘的噪声；面状噪声为图像中区域性干扰物；运动噪声为图像中其他的运动物体。本文构建电梯门的运动模型对其运动轨迹进行预测，然后以预测位置为中心对下一帧图像中的电梯门边缘进行识别，能够有效地提高算法识别的准确度和鲁棒性。采用局部窗口多项式拟合模型对电梯门运动轨迹进行预测：

x(k)=f[p,x(k-1),x(k-2),…,x(k-q)]

(7)

式中：离散序列x(1),x(2),…,x(k-1),x(k)为电梯门边缘在每一帧视频中的位置；p为待拟合的多项式的阶数；q为选取的用来拟合的数据窗口长度；f为计算下一序列的值的方法。依据p是否为1可将该模型分为线性模型和非线性模型，根据q是否是固定长度可将模型分为固定窗口模型和变窗口模型。

当运动预测模型为p阶q帧窗口预测模型时，运动轨迹模型如下：

Fp(x)=a0+a1x+a2x2+…+apxp

(8)

电梯门在q帧视频的位置可以得到q组待拟合数据(xi,yi),i=1,2,…,q。多项式系数a0,a1,…,ap使

(9)

取得极小值，因此有方程组：

(10)

整理可得：

(11)

式中：xi为视频帧数；yi为第i帧电梯门的位移。当q>p时，可根据高斯消元法求得运动轨迹模型的系数，从而预测出第(q+1)帧时电梯门的位移，即Fp(q+1)。

电梯门运动轨迹预测模型建立后，为了使用运动轨迹预测模型对电梯门边缘识别结果进行矫正，本文借鉴高斯函数提出一种类高斯加权函数来描述识别结果的置信度，公式如下：

(12)

式中：μ为预测得到的电梯门边缘的位置；σ为视具体应用环境而定的模型因子。在x=μ处峰值恒定为1，表示置信度最高。x越远离μ，置信度越低。因此，算法识别结果越靠近预测位置其结果置信度越高。使用类高斯加权模型对电梯门运动轨迹矫正，其一维描述和二维描述分别如下：

G(I,x)=W(x,μ,σ)F(I,x)=

(13)

G(I,x,y)=W(x,y,μ,σ)F(I,x,y)=

(14)

式中：μ，v分别为预测得到的电梯门左右边缘的位置。

2 实验结果及分析

首先，对电梯监控视频信号进行灰度化处理后，采集电梯门边缘局部图像。双边门边缘如图1所示。

图1 电梯门局部图像截取

基于水平梯度的边缘检测算法，双边门局部图像的D(I,x)-x列平均梯度值分布及识别效果如图2所示，其中两个峰值即为双边电梯门边框的识别结果。

将基于水平梯度的边缘检测算法应用于电梯开关门的完整视频中，运动轨迹识别效果如图3所示。可以看出电梯门运动轨迹识别结果抖动较大，容易受到外界线性噪声的影响。

图2 边缘检测算法的电梯门识别效果图

图3 基于水平梯度的边缘检测算法运动轨迹识别图

基于阈值分割的电梯门运动轨迹识别算法， 其V(I,x,y)-(x,y)类间方差值与左右两条分割线位置的关系及识别效果如图4所示，其中图4(a)横纵坐标值(x,y)即为识别出的电梯门边缘的位置。

将基于阈值分割的电梯门运动轨迹识别算法应用到电梯连续的开关门视频中，识别效果如图5所示。

由图可知，图中A处右门最终位移与图3稍有偏差，分析原因发现是受到相近灰度背景干扰导致的误识别造成(如图6所示)。可见该算法对灰度与电梯门相近的面状噪声的抗干扰能力较弱。图中以B处为代表的线性噪声波动较小，可知基于阈值分割的电梯运动轨迹识别算法对线性噪声的抗干扰能力较强。

图4 阈值分割算法的电梯门识别效果图

图5 基于阈值分割的电梯门运动轨迹识别算法效果图

图6 阈值分割识别算法的误识别

针对双边电梯门运动轨迹识别的二维叠加算法，F(I,x,y)-(x,y)关系如图7所示，与图4相比可以发现峰值更加明显，横纵坐标即识别到的双边电梯门边框。识别效果如图8所示。

图7 二维叠加F(I,x,y)-(x,y)图像

图8 F(I,x,y)函数识别两条边缘结果

将基于边缘检测与阈值分割的二维叠加算法应用于电梯开关门视频中，其运动轨迹识别效果如图9所示。可以看出，该算法既没有出现图5中误识别的情况，识别效果也较图3更稳定。但边缘门识别仍然受到噪声的干扰，算法的鲁棒性有待加强。

图9 基于二维叠加算法的电梯门运动轨迹识别效果图

将以预测位置为中心进行类高斯加权的阈值分割与边缘检测混合算法应用于完整视频检测中，得到了良好的效果，图10展示了在预测模型中使用不同拟合阶数和窗口长度的电梯门运动轨迹识别结果，可看出该算法很好地克服了线性干扰和面性干扰，识别结果稳定且准确。

图10 应用不同参数预测模型的电梯门运动轨迹识别结果

鉴于电梯的使用环境，运动的乘客会对电梯门边缘的识别产生干扰(如图11所示)。因此使用类高斯加权函数(如图12所示)对原始列灰度统计(如图13所示)进行加权，得到图14，可见该算法能够显著地弱化运动噪声的干扰，具有较高的鲁棒性。

图11 包含运动噪声的帧间差分图

图12 原始列灰度统计图

图13 二维类高斯加权函数

图14 加权后列灰度统计图

3 结束语

本文将边缘检测、阈值分割和运动轨迹预测的思想相结合，提出了一种实用性较高的电梯门运动轨迹识别算法，该算法能够有效地排除线性噪声、面状噪声和运动噪声的干扰，实现对电梯门运动轨迹准确且稳定的识别，充分的实验测试表明该算法具有良好的鲁棒性。该算法能够应用到电梯开关门标准度识别、开关门防夹、电梯层门异常打开识别等实际应用中。

[1] 陈真粱. 浅谈电梯门系统事故及预防[J]. 中国新技术新产品, 2017(4):137,26.

[2] 万林. 电梯设备安全性评估的研究[D]. 南京：东南大学, 2016.

[3] 杜碧华, 张思宇, 杨顺坤,等. 基于故障树分析电梯门系统故障[J]. 设备管理与维修, 2015(3):27-28.

[4] QU Z, WEN L, TIAN N. A new video objects segmentation algorithm based on fusion of image segmentation and improved background difference[C]// Conference Anthology, IEEE. [S.l.]:IEEE, 2014:1-5.

[5] 薛丽霞, 罗艳丽, 王佐成. 基于帧间差分的自适应运动目标检测方法[J]. 计算机应用研究, 2011, 28(4):1551-1552.

[6] 肖军, 朱世鹏, 黄杭,等. 基于光流法的运动目标检测与跟踪算法[J]. 东北大学学报(自然科学版), 2016, 37(6):770-774.

[7] 李培华. 一种新颖的基于颜色信息的粒子滤波器跟踪算法[J]. 计算机学报, 2009, 32(12):2454-2463.

[8] 刘惟锦, 章毓晋. 基于Kalman滤波和边缘直方图的实时目标跟踪[J]. 清华大学学报(自然科学版), 2008, 48(7):1104-1107.

[9] ZHENG Y F, MA X R, ZHAO X L, et al. Mean shift target tracking algorithm based on color and edge features[J]. Journal of Optoelectronics Laser, 2011, 22(8):1231-1235.

[10] 张闯, 王婷婷, 孙冬娇,等. 基于欧氏距离图的图像边缘检测[J]. 中国图象图形学报, 2013, 18(2):176-183.

[11] 李玉峰, 李广泽, 龙科慧. 基于自适应边缘阈值及方向加权的空间错误隐藏算法[J]. 光学精密工程, 2016, 24(3):626-634.

[12] 刘少华, 张茂军, 熊志辉,等. 一种鲁棒高效的视频运动目标检测与跟踪算法[J]. 自动化学报, 2009, 35(8):1055-1062.