基于手势识别的四旋翼控制系统

李辉，芦利斌，金国栋

（第二炮兵工程大学907教研室，西安　710025）

基于手势识别的四旋翼控制系统

李辉，芦利斌，金国栋

（第二炮兵工程大学907教研室，西安710025）

0　引言

近些年，无人机广泛应用于军事领域，同时在农业、冰川研究、地球遥感等领域也得到了应用。当前，无人机的控制主要有三种方式：自主控制、人工干预自动控制和远程控制［1］。无人机远程控制通常由经过专业训练的操作者使用专业的遥控器或者地面站来执行。操作者一般要经过大量的专业学习和训练才能操作控制设备。例如，操作者使用遥控器，需要深入了解无人机的舵机、油门延迟等专业知识，并进行模拟和实际飞行操作训练；关于地面站，操作者也要熟悉地面站的界面和相关操作，专业性很强。当前的无人机的远程控制比较专业、操作复杂、不直观。

本文提出了一种基于Kinect传感器的四旋翼无人机手势控制系统，利用Kinect传感器获取用户全身骨骼数据，设计手势动作和识别算法，识别手势动作并生成四旋翼无人机飞行控制指令，通过无线传输方式发送给四旋翼，实现四旋翼的飞行控制。利用C#编写人机交互界面［2］（Human Machine Interface，HMI），用户可实现对四旋翼无人机的实时控制。与传统的远程控制方式相比，手势控制方式更加自然、简单、直观，操作者通过简单学习就能对四旋翼无人机进行直观的飞行控制。

1　系统结构

本文设计的控制系统结构如图，主要包括用户数据采集部分，人机交互界面和无人机部分。

图1　系统结构示意图

（1）数据采集部分包括用户和Kinect传感器。当操作者做出手势动作，利用Kinect传感器提取身体特定部位的空间信息，并发送给计算机。

（2）人机交互界面为计算机端的人机交互软件。其主要功能为：识别用户的手势动作，并将动作的信息和飞行控制指令关联起来然后发送给无人机。通过人机交互界面，用户可以实时的调整手势动作，对无人机进行实时的飞行控制。

（3）无人机部分接收计算机端生成的控制指令，并作出相应的飞行动作，本文中无人机选用自主搭建的十字翼四旋翼飞机作为无人机平台。

2　Kinect传感器

Kinect传感器是Microsoft公司于研发的一款人机交互体感设备，其结构如图2所示，包括：红外投影机，RGB彩色摄像头，红外深度摄像头，一组L形布局的麦克风阵列［3］。

图2　Kinect结构图

图3　Kinect骨骼跟踪的20个关节点

Kinect传感器可以同时获取分辨率为640×480的RGB彩色图像数据和深度图像数据，支持实时的全身骨骼跟踪和动作识别。深度图像数据获取的过程是：红外投影机发射红外线，红外深度摄像头捕获目标物的反射光，利用一种特殊的结构光测量技术——Light Coding技术，获取目标物的深度图像。利用深度图，Kinect可以提供人体的骨骼图，获得人体骨架的20个关节点，如图3所示。同时，Kinect SDK允许开发者借助Visual Studio 2010进行相关开发，SDK提供20个骨骼节点的三维坐标并进行骨骼跟踪，通过相关算法设计，可以实现人体的姿势识别和动作识别。

3　控制方法设计

本文选择手势作为无人机控制端人机交互的方式，Kinect传感器作为人机交互的中介，通过人机交互界面，实现人体手势动作控制四旋翼无人机的飞行［4］。Kinect传感器获取用户的动作指令，即用户的骨骼节点的空间位置信息，通过计算端的识别软件，识别出人体特定的动作指令并生成对应的无人机控制指令，通过无线数传模块，发送给无人机，实现四旋翼无人机的飞行控制。

3.1控制系统算法设计

整个控制系统的算法流程如图4所示，主要步骤如下：

①Kinect启动和骨骼跟踪：初始化Kinect传感器，跟踪并获取用户的骨架信息；

②识别和采集用户的骨架数据：分析跟踪到的用户视频数据，检测并获取每帧中用户的相关信息；

③指令的生成与发送：通过手势识别，检测出用户的指令，并生成对应的无人机控制指令并发送出去；

④无人机的位置控制：此阶段，控制算法引导无人机达到预定的空间位置。

图4　系统控制算法流程图

3.2控制手势及识别算法设计

本文选用四旋翼飞机作为无人机飞行验证平台，四旋翼的姿态包括：垂直起降、俯仰运动、滚转运动、偏航运动。现有的四旋翼飞行控制系统主要提供了起降、速度、三姿态（俯仰角φ，偏航角ψ，横滚角θ）控制的方式。本文设计实现四旋翼垂直起降和六个方向（上下、左右、前后）上的匀速飞行，同时实现六个方向上飞行位置的控制。

（1）手势动作及对应飞行指令

①起飞命令：当用户确认其骨架已被Kinect跟踪后，抬高左手，保持左肘静态和右手处于臀线的下方，如图5（a）所示（图为Kinect直接获取的视频截图，左手抬起）。该控制系统发送起飞命令到无人机，无人机垂直起飞离地到达特定高度，在空中旋停并等待新的命令。

②指向命令：起飞后开始指向命令，控制无人机的飞行方向。如图4（b）所示，用户右手抬起，右手放在臀线上方，根据右手和头的相对位置，控制无人机向六个方向上的飞行。当右手节点垂直高度高于头节点，飞机向上飞；当右手节点位于头结点和肩节点平面前，飞机向前飞；当右手节点离头部节点的水平距离大于20cm，飞机向右飞。

③降落命令：当用户拍手（双手手节点之间的距离小于5厘米），无人机垂直降落，如图4（c）所示。

图5　飞行控制命令手势动作示意图

（2）位置控制算法设计

为了实现对无人机的位置控制，考虑使用位置控制器［5］。首先标记出无人机坐标系中用户右手的空间位置，利用用户的右手节点的移动距离按比例映射到无人机的飞行距离，通过右手节点的空间位置移动控制无人机的位置。

如图6，由于无人机和Kinect传感器的参考系是不同的，需要进行坐标系的转换，其转换关系式为：

指数k代表Kinect坐标的参考系，而指数q代表无人机坐标的参考系。

图6　Kinect坐标系与无人机坐标系

4　实验结果与分析

本文针对上述无人机控制系统，在室内搭建了基于Kinect和自主组装的四旋翼飞机的实验平台，进行了室内飞行实验，实现了手势动作控制无人机进行基本的飞行动作，包括垂直起降，前后、左右、上下平飞。起飞、降落和指向命令的手势动作平均识别率大于95%。

在VS2010上利用C#编写的人机交互界面如图7所示。软件界面的左边，右中、右下，显示控件分别显示的是Kinect传回的骨骼节点模型、深度数据、彩色图像数据，右上角分别显示无人机的位置坐标和四旋翼的三姿态角度信息。用户通过人机交互界面，可以实时监测手势动作识别情况和无人机的飞行姿态及空间位移信息，进而实现对无人机进行实时的控制。本次实验，设置手部节点位移与无人机位移的映射比例系数K为200。

图7　人机交互界面

考虑对无人机和用户的保护，实验时设置一个无人机的飞行禁区（围绕用户1.5m）；无人机飞离地面时，当Kinect传感器不能识别用户或者用户指令未成功传给无人机，飞机保持在当前的位置盘旋飞行。

由于Kinect的精度有限，人到传感器的理想距离为1.4-2.8m，对操作者的活动有一定限制；由于手势识别速度和信号传输延时影响，位置控制也会出现一定的偏差。

5　结语

本文提出了一种基于Kinect传感器的四旋翼手势控制方法。利用Kinect和人机交互界面软件，实现人体手势对四旋翼无人机的简单飞行控制。手势控制动作结合人机交互界面，将体感交互应用到了无人机控制上，使得无人机飞行控制自然、直观、简单，降低了无人机控制方式的复杂性、专业性。同时，本文实现的是对四旋翼的简单控制，控制精度和控制复杂度还有待今后的进一步研究加强。

［1］Nahapetyan V E，Khachumov V M.Gesture recognition in the problem of contactless control of an unmanned aerial vehicle［J］. Optoelectronics Instrumentation&Data Processing，2015，51.

［2］Liying Cheng，Qi Sun，Han Su.Design and implementation of human-robot interactive demonstration system based on kinect［C］. Chinese Control and Decision Conference，2012：971-975.

［3］余涛.Kinect应用开发实战：用最自然的方式与机器对话［M］.北京：机械工业出版社，2013:26-40.

［4］谢亮，廖宏建，杨玉宝.基于Kinect的姿态识别与应用研究［J］.计算机技术与发展，2013，23（5）:258-260.

［5］Szeghalmy S，Zichar M，Fazekas A.Gesture-based computer mouse using Kinect sensor［C］.Cognitive Infocommunications（CogInfo Com），2014 5th IEEE Conference onIEEE，2014：419-424.

Gesture Recognition；Quadrotor UAV；Kinect；Human Machine Interface

The Quadrotor UAV Contorl System Based on Gesture Recognition

LI Hui，LU Li-bin，JIN Guo-dong
（Faculty 907，The Second Artillery Engineering University，Xi'an 710025）

1007-1423（2015）25-0056-04

10.3969/j.issn.1007-1423.2015.25.015

李辉（1990-），男，湖北黄冈人，硕士研究生，研究方向为信号与信息处理

芦利斌（1964-），男，陕西西安人，硕士，副教授，研究方向为无人机应用与仿真

金国栋（1979-），男，安徽铜陵人，博士，讲师，研究方向为无人机应用与仿真

2015-08-28

2015-09-01

针对传统无人机（UAV）控制系统复杂度高、专业性强的问题，提出一种手势动作控制无人机的系统。利用Kinect传感器获取用户骨骼节点数据，通过一个人机交互界面（HCI），识别用户的手势动作并生成相应的四旋翼飞行控制指令，进而实现对四旋翼无人机的飞行控制。设计完整的手势控制系统和相关的手势识别及控制算法，实验结果表明提出的方法简单直观、效果良好。

手势识别；四旋翼无人机；Kinect；人机交互界面

Aiming at the problems of complicated operation and high professional in traditional UAV remote control system，proposes a gesturebased control system.The location data of the operator's body postures are collected by Kinect sensor.Through a Human Machine Interface，the operator's gestures are recognized and then converted into control commands for quadrotor UAV，which realizes the flight control.Designs a completed gesture control system，the associated gesture recognition and control algorithm.Experimental result shows that the proposed method is intuitive，simple and effective.