基于kinect DK步态检测系统的设计研究*

刘宇斌 叶嘉杰 何晓昀

广东理工学院 广东 肇庆 526100

引言

如今人工智能在图像识别、物体识别、身份识别等方向取得了傲人的发展，但是在一些场合中有些识别技术发挥的作用性不太明显，像指纹识别、人脸识别、虹膜识别、DNA识别，对于个体的依赖性过强，而且不易采集，就以2019年的香港暴徒事件为例子，每一个行凶的暴徒都是蒙着脸的。在外界嘈杂通过普通的人脸识别或者声纹识别，都无法准确地提取出人物的信息，但是可以通过步态识别来获取个人的信息，来准确分辨出该人。

步态识别是一种通过个人的行走方式来辨别个人信息的生物识别技术。在应用领域，类似于人脸识别，它要解决识别和检验两类问题。在识别问题中，给出未知身份人的步态，在数据库中搜寻与之匹配的人的步态，从而确认人的身份；在检验问题中，需要步态识别算法对已假定的某人的身份做出判定，即接受或拒绝所假定的身份。

当前步态识别虽然拥有着广泛的市场前景，但是在实际应用的过程中，存在着视角遮挡、穿着不一、环境影响等因素，会对步态识别的正确率造成较大的影响，而利用基于RGB-D技术的三维传感器提取步态信息的方式为步态识别的发展提供了新的方向，减弱了大部分复杂的环境因素对于步态特征获取的影响。增强了对于人体步态数据获取的简易性[1]。

1 常见步态识别技术以及缺陷

1.1 基于模型的步态识别技术

此类基于模型的步态识别方式核心是对运动学模型的构建，即根据运动的人体结构实现人体骨骼化的建模，便可以获取相应的关节角度与肢体长 度等高层特征表达。基于模型的这类步态识别算法可以极大克服实际复杂场景中由于遮挡与视角造成的干扰，不足就是计算量大且实现的复杂度高。

1.2 基于非模型的步态识别技术

这一类非模型的步态识别方式则便可以直接通过从人体轮廓中提取所需的步态特征，不需要构建人体的运动学模型，还能划分为基于步态能量图的方法和基于步态图像序列的方法。基于非模型这类算法的实现复杂度相对较低，可是很容易受遮挡、不同视角因素干扰。

以上两种步态识别技术均为基于二维平面图像的识别技术，各自存在一定的缺陷，而且成本昂贵需要借助处理终端进行处理，无法满足小范围区域的应用[2]。

2 系统设计

2.1 人体骨骼获取模块

该系统采用了Kinect DK相机作为人体骨骼数据的提取模块，Kinect DK相机是一个开发人员工具包由1200万像素高清摄像头，100万像素TOF深度摄像头、7麦克风圆形阵列，和方向传感器组成，在该系统主要运用的是其对于人体骨骼的检测功能，如图1所示相对于Kinect V2无论是在运动物体获取还是深度图像获取方面都有着较大的提升。获取图像更加的清晰，数据跟踪更加准确，使得Kinect DK更适合该系统的研究。

图1 人体骨骼提取图

Kinect DK通过红外发射器发射近红外光线，照射到人体上时利用红外相机接收反射回来的红外线利用了Time of Flight（TOF）技术计算相位差与测量深度后将检测到的3D深度图像，转换到骨架追踪系统,再采用背景分割法删除背景，减小了计算量，最后传入到决策树分类器当中对相应类别的节点进行划分输出人体骨骼图。

2.2 步态数据获取模块

本地计算机因为要实时进行人体骨骼数据的获取与预处理，上传与接受云端数据，具有较大的运算能力，传统的嵌入式设备无法满足应用需求，所以该系统采用了可在边缘设备上运行大型深度神经网络，实现更高的准确性，Nvidia公司的Jetson TX2单模块超级计算机，能够方便快捷的部署深度学习模块，非常适用于该系统对带宽和延迟要求高的应用的实时处理过程。

2.3 步态分析处理模块设计

该系统在云服务器上采用了VGG19深度神经网络进行步态的分类识别，先利用卷积神经网络提取出动静态人体骨骼特征数据，然后通过1x1大小的卷积核的平均池化层对提取出的步态骨骼特征进行降维处理，而后采用了带有动量的随机梯度方法对算法进行优化，通过softmax损失函数进行分类[3]。

图2 VGG19步态特征检测模型

3 工作流程

该系统利用Kinect DK相机采集三维深度数据采用分隔策略将人体从复杂的背景中区分出来，在这个阶段，为每个跟踪的人在深度图像中创建分割遮罩，其次对景深图像（机器学习）进行评估，来判别人体的不同部位分离出行人个体并获取其骨骼的三维数据，

Jetson TX2将骨骼三维数据上传到云服务器的VGG19深度神经网络中训练出的网络模型进行步态识别，随后上传到云端数据库，云端数据库将对每一份数据进行存储。

用户使用设备采集到新的人体数据，由Jetson TX2将数据上传至云端与云端数据库，Jetson TX2调用的数据库接口会根据用户信息返回所需的对比数据，并与用户提交的数据进行对比，若信息对比一致，即身份信息配对成功，云端与云端数据库将会把人物信息数据返回至Jetson TX2，通过用户软件界面显示[4]。

4 结束语

针对目前步态检测方式存在的检测复杂度高，图像容易受到外界环境影响的难题分析了步态识别的系统的运行方式以及实现要求，提出一种基于Kinect DK和Nvidia Jetson TX2的步态检测系统的设计。该系统利用Kinect DK捕获三维深度数据，在Jetson TX2分离出行人个体并获取个体的骨骼三维数据，经云服务器上由VGG19深度神经网络训练出的网络模型进行步态识别，识别身份信息，完成对行人实现身份识别的功能，该系统使用人体骨骼三维信息与深度学习技术实现行人身份识别，具有复杂度低、识别率高、对环境影响的鲁棒性强的特点。