基于CNN的安防监控步态特征提取研究

陆兴华，蔡 韬

(广东工业大学华立学院，广东 广州 511325)

0 引 言

随着图像处理技术的发展，采用图像融合信息处理技术进行视觉跟踪识别，并应用在监控系统中，以提高安防监控的智能性[1]。人体的步态特征是反映人体个性化特征中的重要生物特征，对人体的步态动作图像进行视觉跟踪(visual tracking)识别，采用红外和激光成像技术进行人体步态特征图像采集，对采集的图像采用视觉特征提取和跟踪识别，实现智能安防监控，研究基于步态特征识别的安防监控系统在实现安防系统的智能化设计方面具有重要意义[2]。

安防监控的步态特征提取是建立在对红外步态图像的检测和跟踪算法处理的基础上。传统方法采用光流场跟踪识别方法，融合时空域信息进行步态特征检测，结合直方图模板匹配技术实现步态特征提取，但传统方法在对安防系统的步态特征检测中的目标尺度偏移较大，对步态特征的估计偏差较大，容易发生步态特征跟踪漂移等问题[3-5]。针对传统方法存在的弊端，文中提出一种基于卷积神经网络(convolution neural network，CNN)的人体行走步态特征识别方法。首先采用视频和红外成像技术进行步态图像采集，然后对提取的个性化特征点采用卷积神经网络进行分类训练，实现人体行走步态特征智能识别。最后进行仿真实验分析，验证该方法在提高安防监控中步态特征提取准确性方面的优越性。

1 步态成像和滤波跟踪处理

1.1 人体步态特征成像采集

(1)

在三维网格顶点y，y∈Ci，安防监控系统中人体行走的初始速度为v(0)，在均匀像素采样下，安防监控人体步态的边缘轮廓重构的像素偏移值为：

(2)

其中，a(x)为每个局部区域的初始像素采样信息。

记安防监控人体步态边缘分布的像素值空间为gi=(gix,giy,giz)(i=0,1,…,Ng-1)，定义安防监控人体步态图像像素的占空比Rarea=RA/RB，长宽比RHW=RH/RW，RH、RW分别是安防监控人体步态边缘轮廓外接矩形的长和宽。根据上述对安防监控人体步态的图像采集结果进行人体行走步态特征识别[7]。

1.2 融合检测与匹配的目标跟踪

为了提高安防监控人体步态图像的信息特征表达能力，需要对采集的安防监控人体步态图像进行边缘轮廓检测和信息增强处理[8]。基于模型动态切换的运动目标跟踪方法进行图像跟踪识别，假设人体行进方向在水平方向上近似平行，在步态监控区域中，根据采样点云图G中的第i个顶点的位置，得到安防监控人体步态特征提取的模板匹配状态方程为：

(3)

其中，η表示背景区域对应的光流场；φ表示安防监控人体步态的特征方位角；R表示梯度方向直方图特征；D表示相邻步态特征检测的时间间隔。

为了增强图像中运动区域的明暗对比度，利用灰度直方图对噪声不敏感性和对灰度旋转的不变性[9]，在每一个连通区域内进行步态融合检测，融合检测系统函数为：

(4)

其中，cj,k是先验像素点分布的模板匹配值；hn是图像纹理特征。

对安防监控人体步态区域的边缘子块P(i,j)进行特征匹配处理，运用二值模式分割得到安防监控人体步态区域的中心线Z(i,Zi)，记Li为分割曲线的列坐标，Ri为安防监控人体步态区子块分布的列坐标，由此得到步态特征提取的高斯核函数和线性核函数的融合关系为：

(5)

对提取的信息熵进行二值泛函，得到安防监控人体步态图像增强后在像素边缘子块Z(i,Zi)左右两侧所占比例，进而得到在动态视频监控下安防监控人体步态左子块和右子块的信息熵分别为：

(6)

(7)

其中，Ci表示第i行列像素强度；Li表示第i行像素分布强度；Ri表示第i行的像素特征最大偏移量。以此判断安防监控人体步态的外观特征，则安防监控人体步态在光滑区域的灰度直方图信息满足Hij=1，否则Hij=0。

通过上述方法，对采集的安防监控人体步态图像进行边缘轮廓检测和信息增强处理，结合融合监测和匹配目标跟踪方法进行步态特征提取，突出安防监控人体步态的类别属性特征点，为进行人体行走步态特征识别提供输入特征参量[10]。

2 安防监控步态特征提取

2.1 人体行走轨迹直方图均衡化处理

在人体步态图像采集和图像融合跟踪检测的基础上，进行安防监控系统中的步态特征提取算法优化设计，实现安防监控人体步态的个性化特征点提取[11]。采用相关滤波跟踪算法进行步态红外图像的形状特征和信息增强处理，得到图像信息的分布误差函数为：

n=0,1,…,N-1

(8)

其中，X(k)为安防监控人体步态三维轮廓特征分布的像素点序列；exp(j2πkn/N)为最小滤波模板尺度系数。

当行人在同质区域内移动时，步态的分布特征集为：

(9)

对人体行走轨迹进行直方图均衡化处理，结合统计直方图均衡方法，对差异性大的步态特征采用多模态融合方法进行信息融合[12]，信息融合的状态方程为：

(10)

沿安防监控系统检测到的人体步态行进方向进行视觉目标跟踪，得到人体行走步态特征点识别的角点匹配结果为：

(11)

(12)

计算人体步态三维像素特征点in+1的灰度和旋转不变矩，在卷积神经网络训练下，得到特征维度较高的二阶矩表达式为：

(13)

在步态监控区域中对步态特征提取结果进行聚类处理[13]，将原步态特征映射到无限维特征空间，得到：

(14)

其中，r1为核函数假设下的滤波器模板；r2为先验点簇；σ1为边缘像素值；N1为二阶灰度不变矩。

采用相关滤波跟踪算法进行步态红外图像的形状特征分离，由此得到在安防监控下人体步态识别[14]，人体步态的个性化特征点提取结果为：

(15)

其中，J(w,e)为人体步态区域的边缘子；ai为原始步态图像的低频分量；φ(xi)为噪声敏感系数。

2.2 步态特征提取的卷积神经网络训练

对提取的个性化特征点采用卷积神经网络进行分类训练[15]，卷积神经网络结构模型如图1所示。

图1 卷积神经网络结构模型

图1中，卷积神经网络结构模型建立在BP神经网络模型的基础上，采用三层结构体系进行安防监控中的步态特征分类融合识别，在输入层输入提取的步态特征信息，采用权向量进行步态属性分类，在输出层输出识别结果。对提取的个性化特征点采用卷积神经网络进行分类训练，实现步骤为：

(1)初始化卷积神经网络输入层的超参数和静态向量，给定输入节点的时域抽取间隔T和节点个数k，设定卷积核的初始值，令安防监控人体步态图像的像素值为x(t)，t=0,1,…,n-1，给定全局参数，置时间计数t=0。

(2)输入图像经过卷积核进行卷积处理，设定指数函数α(cj*)=A3e-cj*/T3进行人体行走步态特征训练，在神经网络中输入新的训练向量模式x(t)=(x0(t),x1(t),…,xk-1(t))T，使用卷积核对输入矩阵进行自适应学习，以此作为卷积神经网络输入训练矢量集。

(3)局部调节卷积神经网络的参数，在隐含层进行自适应加权学习，得到安防监控人体步态像素特征点向量x(t)与隐含层的权向量ωj的距离：

(16)

其中，ωj=(ω0j,ω1j,…,ωk-1,j)T。

(5)根据安防监控人体步态的特征差异性进行信息分类。在神经网络分类器中，调整与输出节点Nj*所连接的权值，根据安防监控人体步态的边缘轮廓线Nj*及几何邻域NEj*(t)判断样本图像的特征归属，得到人体行走步态特征分类识别的迭代式为：

ωij(t+1)=ωij(t)+α(t)(xi(t)-ωij(t))

(17)

其中，Nj∈Ej*(t)，0≤i≤k-1，0≤α(t)≤1是一种差异矩阵。

(6)如满足终止条件，结束算法，否则继续输入安防监控的人体步态的像素特征样本数据，t=t+1，转到步骤2。

综上分析，实际输出与期望输出差异越大，对步态信息的分辨力越高。综上分析，实现了对人体行走步态特征智能识别。

3 仿真实验分析

为了测试该方法在实现安防监控中人体行走步态特征识别中的应用性能，在Matlab R2014a仿真平台上进行实验。在安防监控系统中，采用红外扫描方法进行人体步态成像，步态图像采集的训练样本集为20 000个，测试样本集为10 000个，人体步态特征跟踪偏移量设定为0.023 mm，像素偏移量为0.02，帧差跟踪像素级设定为1.26，仿真时间长度为200 s，神经网络的卷积核大小为5×5，神经网络隐含层的加权激励函数为sigmoid，参数的冲量为0.6。根据上述仿真环境和参数设定，进行安防监控系统中人体步态图像特征提取，得到步态图像的三维轮廓检测结果，如图2所示。

图2 步态图像的三维轮廓检测

对图2采集的步态图像的测试样本，采用相关滤波跟踪算法进行步态红外图像的形状特征和信息增强处理，突出安防监控人体步态的类别属性特征点，得到步态特征区域融合结果，如图3所示。

图3 步态特征的区域融合结果

在步态监控区域内对人体行走轨迹进行直方图均衡化处理，实现安防监控人体步态的个性化特征点提取，得到该个体的步态特征提取结果，如图4所示。

(a)200帧

(b)400帧

分析上述仿真结果得知，采用该方法能有效实现对人体步态的特征提取，人体行走步态特征识别的成功率较高，输出人体行走步态个性化匹配特征点总数较多，对人体步态的跟踪识别的偏移像素值为0.012，相比传统方法缩小了13.67%。测试人体步态安防识别精度，对比结果如图5所示。

分析图5得知，文中方法对不同测试对象人体的步态识别平均精度提高了23.76%，相比传统方法平均提升了13.05%，卷积神经网络学习的收敛性也得到了提升，说明该方法能有效提高对人体步态的特征提取能力。应用在安防系统中，能够提高安全监控性能。

图5 人体步态安防识别精度对比

4 结束语

研究了安防监控中的步态特征提取和识别问题，通过提取人体步态的个性化特征量，采用卷积神经网络进行步态特征分类识别，实现对异常步态的准确识别和监控。沿安防监控系统检测到的人体步态行进方向进行视觉目标跟踪，通过局部调节卷积神经网络的参数，在CNN的隐含层进行自适应加权学习，实现人体行走步态识别和监控。分析得出，方法能有效提取人体行走步态的特征信息，对人体步态的跟踪识别的偏移像素较小，提高了人体步态的特征提取和智能分析能力，从而应用在安防系统中，提高安防监控性能。