基于雷达技术的手势识别

刘熠辰,徐 丰

(复旦大学 电磁波信息科学教育部重点实验室,上海 200433)



综 述

基于雷达技术的手势识别

刘熠辰,徐 丰

(复旦大学 电磁波信息科学教育部重点实验室,上海 200433)

本文提出了一种基于雷达技术的手势识别方法，利用手势动作中产生的多普勒频率信息作为手势的特征信息，采用了雷达技术中常用的线性调频、压缩处理、动目标显示作为手势信号处理算法，有效地获取不同手势信号的特征信息再予以成像，而后针对图像采用支持向量机算法进行分类和识别。上述理论基础之上，本文设计了一个拥有七种不同手势的手势识别系统进行实验，最终手势识别正确率达到了92.9%，成功验证了本文手势识别方法是准确有效的。

手势识别；手势特征信息；雷达技术；信号处理；图像分类

0 引 言

手势识别在人类社会生活的许多方面都能得到应用。用于智能家居，人们能以手势动作命令家庭电器工作；用于汽车领域，人们可以用特定的手势调用汽车系统的相关功能，比如启动导航系统，开启倒车雷达等等；用于远程控制，在特殊场合要应用远端机器或者机器人的时候，可以通过手势很好的控制它们；用于娱乐，玩家通过手势控制游戏设备，能大大增加游戏趣味性，有更强的互动感等。

手势识别技术中，基于传感器的手势识别和基于视觉的手势识别是当下最为常见的。基于传感器的手势识别需要使用者穿戴专门的设备[1]。基于视觉的手势识别[2]在使用过程中能够很大程度上避免基于传感器的手势识别的局限，却仍然受到视觉设备视距有限、视线容易受到阻挡、受光线强度影响等限制。无线信号有着能够穿透墙壁、越过障碍物等优点。近年来，基于无线射频的手势识别也成为了本领域研究热点。Wang W, Liu A X等人提出一种基于CSI (Channel State Information)的人体运动识别模型[3]，采用wifi频段信号，分析了多径效应对人体运动的影响，并且提出采样小波变换或者时频分析的方式去做人体的运动识别，在后续获得特征参数后，使用Hidden Markov Model (HMM)对不同场景进行建模。WiGest是卡耐基梅陇大学的Khaled A. Harras团队做的产品[4]，核心在于使用WiFi信号的RSSI信息，通过小波变换将手势信号的上升沿、下降沿、脉冲等特征去识别手势。Dina Katabi团队介绍了RF-Capture[5]，利用射频信号可以对人体进行穿墙成像，并且识别人体的局部特征进行手势识别。

本文提出的基于雷达技术的手势识别方法，属于基于无线射频的手势识别。

1 识别方法

与前文[3-5]这些基于无线射频的手势识别不同，本文基于信号的多普勒频移现象，应用FMCW雷达技术中脉冲压缩、动目标显示将受不同手势动作影响的信号多普勒频率频移生成手势信息图像，并且根据不同手势生成的手势信息图像的多普勒频移具有不同的特征，采用机器学习算法SVM算法对手势进行分类。

1.1 手势多普勒频移

当发射信号源遇到比划手势的人体时，回波信号中将有出现多普勒频移。多普勒频移计算的数学公式如下：

(1)

如果手部运动方向或手部运动速度发生改变，多普勒频移势必会发生变化，不同手势，这两种手部运动的参数不同，多普勒频移便不同，这便可以得出结论，通过多普勒频移能够成功表达不同手势的信息。

1.2 多普勒频移处理方法

获取手势信号多普勒频移的信号处理过程如图1，采用了FMCW雷达技术。

图1 信号处理过程

信号处理方法具体步骤如下：

Step1. 将发射信号调制成线性调频信号s(t)，其复数表达式如下

(2)

这里fc是载频，T是信号持续时间，rect(t/T)是矩形信号，K为调频斜率，K=B/T。

Step2. 经过用户手势动作之后，对接收到的回波信号进行脉冲压缩。

脉冲压缩的匹配滤波器传递函数频谱为H(ω)，经推导滤波器输出信噪比达到最大值的条件是：

H(ω)=KS*(ω)e-jωt0

(3)

可见，使输出信噪比达到最大值的最佳滤波器的传递函数，是发射信号的共轭频谱的K倍，且有一些相移。所以，脉冲压缩的过程即为滤波器输入信号与匹配滤波器即发射信号共轭信号的卷积过程[6-]。

Step3. 进行动目标显示，即将经过脉冲压缩的回波信号采用动目标显示滤波器提取手势特征信号。

采用非递归动目标显示滤波器中的二次对消器，也称三脉冲对消器，差分方程为：

y(n)=x(n)-Kx(n-1)+x(n-2)

(4)

系统函数为：

H(z)=1-kz-1+z-2

(5)

可知，此系统有两个零点，分别为：

(6)

当K=2，在z=1处有二重零点，此时频响是一次对消器的平方，频率响应为：

(7)

Step4. 获取信号多普勒频移并成像，得到手势信息图像，将手势特征信号进行快速傅里叶变换，从而得到手势动作产生的多普勒频移，即手势特征信息，进而用计算机进行成像。

1.3 多普勒频移图像

在上述信号处理方法的基础上，可以得到手势的多普勒频移图像。

基于多普勒频移现象，手势动作中推和拉是最基本的两种手势动作，由式(1)可知，向前(向天线)推手可以认为运动方向与天线接收信号方向完全一致，在假设各个手势手部运动速度相当的情况下，可以认为推手这个动作可以产生最为显著的正值的多普勒频移。

同理，将手向后拉可以产生最为明显的负值的多普勒频移。将推和拉两种手势信号的多普勒频移成像，就能够很直观地肉眼看出两种动作手势信息——多普勒频移的特点，如图2所示。

图2 推拉手势多普勒频移图

图像横轴时间轴走向从左至右，纵轴多普勒频移以图像宽边的中点为原点，从上至下，多普勒频移由负到正增大，手往后拉的时候，会产生负的多普勒频率，往前推的时候会产生正的多普勒频率，通过图像我们就能够很直观的认出来。

2 手势识别实验

本文借助USRP X310软件无线电设备，用软件定义了实验用雷达，采用上述手势识别方法，设计了一套手势识别系统进行实验，如图3。

图3 手势动作

在本系统中，fd是手势产生的回波信号多普勒频移(Hz)，v是人体手部运动速度(m/s)，c是光速(m/s)，α是手部运动方向与接收天线朝向的夹角，f是信号载频(Hz)。根据公式(1)，可以知道当人将手推向接收天线，会产生一个正值的多普勒频移，当手部做拉的动作远离接收天线的时候，多普勒频移则为负。例如，当信号载频f为2.4GHz即Wifi频段的时候，假定手部运动方向正朝天线，即夹角α为0度，手部运动速度v为3 m/s，fd为48 Hz。

实验中，定义每一组发射信号参数为信号带宽B=10 MHz，采样率fs=20MHz，信号采样点数N=4 096，考虑到前后两组发射信号不会互相干扰，决定发射信号中线性调频信号占空比为50%，即线性调频信号数据点数nTp=2 048，是发射信号的前半部分，发射信号后半部分是一段2 048个点的空信号，系统运行一次会接连发射连续25001组信号。

2.1 手势动作特征信息

如图4，基于推和拉两种基本动作，本文设计了七种手势应用于手势识别系统。其中，七种不同手势的手势信息也有着自己的大致特征，如图5。

图4 手势动作

图5 手势动作信息图像

其中如图5(e)，是扭肩的手势动作，我们可以通过扭肩这一具体的动作来分析其各个手势信息图像的特征。

图6 扭肩动作特写

如图6，当人开始扭肩时，肩膀的线速度比较低，多普勒频移并不是很大，在扭肩的时候左肩首先相当于一个速率低的推的动作，同时右肩相当于速率低的拉的手势动作，这两个动作同时进行，所以正负多普勒频移会同时产生。另外，在转肩到极限再转回来的过程中有一个小小的停顿，同样从图像中可以看出来。

所以通过图5，我们可以知道系统设计的七种手势各自的手势信息的特点。

2.2 手势识别结果

将七种手势动作每个动作输入20个样本至分类器，采用二次核函数的SVM算法(SVM with Quadratic kernel)，使用PCA(Principal Component Analysis)进行特征降维之后，输出结果准确率为92.9%，混淆矩阵如图7，认为系统能够相当准确地识别手势。

图7 分类混淆矩阵编号含义:1.拉 2.推 3.先推后拉 4先拉后推 5.扭肩 6.双手依次推 7.双手依次拉

3 结 语

基于无线射频的手势识别能够避免传感器和基于视觉的手势识别的技术局限，是本领域的研究热点。基于无线射频，本文实现的基于雷达技术的手势识别方法简单有效、易于实现，根据此法，本文设计的七种不同手势的手势识别实验验证了基于雷达技术的手势识别方法算法简洁、准确性高，手势分类识别的效果较好。

[1] Watanabe H, Terada T, Tsukamoto M. Ultrasound-based movement sensing, gesture-, and context-recognition[C]//Proceedings of the 2013 International Symposium on Wearable Computers. ACM, 2013: 57-64.

[2] Marin G, Dominio F, Zanuttigh P. Hand gesture recognition with leap motion and kinect devices[C]//2014 IEEE International Conference on Image Processing (ICIP). IEEE, 2014: 1565-1569.

[3] Wang W, Liu A X, Shahzad M, et al. Understanding and modeling of wifi signal based human activity recognition[C]//Proceedings of the 21st Annual International

Conference on Mobile Computing and Networking. ACM, 2015: 65-76.

[4] Abdelnasser H, Youssef M, Harras K A. Wigest: A ubiquitous wifi-based gesture recognition system[C]//2015 IEEE Conference on Computer Communications (INFOCOM). IEEE, 2015: 1472-1480.

[5] Adib, Fadel, et al. “Capturing the human figure through a wall.” ACM Transactions on Graphics (TOG) 34.6 (2015): 219.

[6] 丁鹭飞，张平. 雷达系统[M]. 西北电讯工程学院出版社, 1984.

[7] 丁玉美等. 数字信号处理[M]. 西安电子科技大学出版社, 2002.

Gesture Recognition Based on Radar Technology

LIU Yi-chen，XU Feng

(Key Laboratory of EMW Information, Fudan University,Shanghai 200433,China)

This article presents a gesture recognition method which is based on radar technology, considering the Doppler frequency information caused by hand motion as feature information of gestures and taking advantages of the technology commonly used in radar system, such as chirp signal, signal compression, MTI. It is a signal processing algorithm which has an efficient access to getting characteristic information of different gestures and making them to be imaged. And then for the images, support vector machine classification algorithm will be a reference to image recognition. In the basis of the theory above, we design a gesture recognition system with seven different kinds of gesture to experiment. The final gesture recognition accuracy rate reached 92.9%, successfully demonstrated that the method above was accurate and efficient.

gesture recognition, feature information of gesture, radar technology, signal processing, image classification

10.3969/j.issn.1673-5692.2016.06.009

2016-09-10

2016-11-15

：A

1673-5692(2016)06-609-05

刘熠辰(1994—)，男，上海人，复旦大学信息工程学院毕业，主要研究方向为基于微波信号手势识别；

E-mail：liuyichen_2012@163.com

徐 丰(1982—)，男，上海人，博士生导师，主要研究方向为新型SAR系统设计与算法研究，电磁散射与传播建模，低频电磁场成像算法，极化SAR遥感理论与方法等。