基于机器人操作系统和kinect2的人体骨骼跟踪系统

徐圣佳 范光宇

【摘 要】随着信息技术的快速发展，移动机器人越来越受到各行各业的关注与重视，本文基于机器人操作系统（ROS）平台，利用微软公司的kinect2作为信息采集设备，对人体进行扫描，在kinect2获取的信息基础上，对被识别人体获取的骨骼信息进行处理和计算。骨骼识别系统通过kinect2摄像机的骨骼跟踪功能提取人体静态骨骼信息，经过处理得到骨骼信息点，完成骨骼跟踪，通过实际系统测试，本系统具有较好的人体骨骼识别和跟踪效果。

【关键词】机器人操作系统；kinect2；骨骼识别；骨骼跟踪

随着计算机技术的迅猛发展，机器人系统和人机交互已经逐渐受到人们的关注，同时也越来越从以计算机为中心逐步转移到以人为中心。

深度图像识别是机器人的主要技术，微软公司的kinect2被广泛应用于机器人的人体骨骼识别与跟踪系统中。人体骨骼跟踪技术可以让kinect2去更好地捕捉人体的动作，并且可以识别身份问题。kinect2作为信息采集设备，对被识别人体获取的深度图像和骨骼信息进行识别。

一、基于kinect2人体骨骼跟踪系统设计

人体骨骼识别系统的主要步骤如下：首先，骨骼识别系统通过kinect2摄像机的骨骼跟踪功能提取人体静态骨骼信息；然后，利用双腿关节角度或3D运动人体轮廓描述步态特征；最后，综合二者识别结果完成身份鉴定。

利用kinect2的人体骨骼识别，有助于识别来者的身份。可以让系统记下每一个来的人，如果并非是与主人一起进人的其他骨架的拥有者在并未被主人授权之前妄图进入房间的时候，系统会自动的发出警报。

本文人体骨骼跟踪系统，主要以Ubuntu系统开源平台作为基础，配置ROS相关环境，分别使用Libfreenect驱动和Libfreenect2驱动完成对kinect2基本图像显示的支持，结合用于视觉感知与处理的标准接口OpenNI2.2和NiTE2.2完成基于kinect2的骨骼跟踪。

二、基于kinect2人体骨骼跟踪系统实现

（一）kinect2设备使用

kinect2是微软公司开发的一款可实时获取RGB色图像和深度图像的设备，它由红外发射器、RGB彩色摄像头、3D深度传感器三部分组成，其中kinect2使用的是USB3.0接口。

（二）骨骼跟踪系统设计

通过kinect2获取的深度图像中可得到各个骨架节点的三维坐标，这些节点组成一幅人体骨架结构图。

系统主要通过以下步骤来实现：

（1）创建new nite：：UserTracker对象

（2）m_pUserTracker->create（&m;_device）

（3）开始跟踪人体骨骼

m_pUserTracker->startSkeletonTracking（user.getId（））；

（4）开始检测该人做的姿势是不是（POSE_CROSSED_HANDS）；

（5）最后获取人体骨骼坐标信息，主要包括15个骨骼点。

（三）骨骼跟蹤系统的信息类型和函数调用

（1）具体姿势类型为enum nite：：PoseType：POSE_PSI和POSE_CROSSED_HANDS。

（2）骨骼的状态，通过对获取的骨骼跟踪状态，进行相关的处理。

（3）使用封装好的底层人体跟踪函数。

（4）SampleViewer类的初始化，获取人体深度信息，实时跟踪人体骨骼信息。

（5）回调函数Display（）函数的前半部分：主要是定位到人体深度图像，并做像素转换处理，显示出来。

三、系统平台技术应用

本文系统主要使用了ROS环境，以及Libfreenect2、OpenNI2.2、NiTE2.2。通过对kinect2采集的深度图像信息进行背景相减法和帧差法处理可以获得目标抓取点信息，利用基于工作空间的信息融合算法对骨骼末端进行匹配判断，并利用剃度投影法进行运动学轨迹优化估计，获得较好图像点云匹配效果，效果如图1所示。如图1所示，在Kinect2获取的图像信息基础上，通过对信息的二次处理匹配，可有效分析出人体骨骼信息，并对骨骼信息的移动进行跟踪，实现较好的跟踪效果。

四、结束语

本文通过kinect2设备和ROS开源系统，设计开发了基于骨骼识别的人体跟踪系统，在程序设计过程中，通过获取kinect2云图，对骨骼信息进行二次处理和识别，并对骨骼移动进行跟踪，系统有较好的骨骼跟踪效果。

【参考文献】

[1]黄开宏，杨兴锐，曾志文，卢惠民，郑志强，基于ROS户外移动机器人软件系统构建，机器人技术与应用，2013

[2]陈森鹏. 基于仿真平台的智能机器人策略研究与实现. 信息系统工程. 2017年3期

[3]A Stanoev， S Filiposka， V In， L Kocarev， Cooperative method for wireless sensor network localization， Ad Hoc Networks， vol.40， April 2016， pp. 61-72

[4]丁成波，蔡家斌，刘文. 一种改进的多机器人角色变换方法研究. 组合机床与自动化加工技术. 2017年7期

[5]朱效洲，户外环境下基于视觉的移动机器人可通行区域识别研究[D]，国防科学技术大学，2012