基于视频到Wi-Fi信号的手势建模

柴亦聪 梁思雨

【摘  要】基于视频到Wi-Fi信号的手势识别建模主要提出一种从视频模拟Wi-Fi信号的方法，将视频信息与Wi-Fi信号相结合，一种新的视频跨模式的身份识别系统。它使用一个或多个无线收发器的Wi-Fi信号测量，最后可以识别手势模型。采用基于从视频恢复人体3D Mesh的HMR算法及从3D Mesh点源模拟真实Wi-Fi信号Born approximation算法，结合视频插帧、获取Wi-Fi CSI信息等Wi-Fi信号处理技术，挖掘视频信息与Wi-Fi信号之间的内在关系，为后续手势识别等相关应用提供相应技术支持。

【关键词】视频;Wi-Fi，Born逼近;手勢识别;HMR

引言

（1）现有技术和背景。

进入21世纪以来，人机交互技术不断发展，手势识别就是其中的代表之一。人体手势和活动识别经常被用于许多实际活动中。目前基于Wi-Fi的手势识别已经有了一定的进展，手势识别作为一个极其重要的研究领域，在世界范围内引起了很大的关注。根据手势动作数据采集的渠道不同，主要分为三个方向：基于传感器（Sensor-based）的手势识别、基于视觉（Vision-based）的手势识别和基于Wi-Fi（WIFI-based）的手势识别。基于视觉（Vision-based）的手势识别利用Running Average方法不断更新背景，背景减法用于识别运动和提取候选区域，提高了手势检测和定位的准确性。

（2）现有技术的优缺点。

然而，基于视觉的方法很难应用于光照不足的环境，同时摄像头太多会导致用户隐私的侵犯，使用者的肖像生活环境也有可能曝光于公众。基于Wi-Fi的手势识别，虽然我们周围几乎时时刻刻都有无线电信号，可以在黑暗中使用，其优点是成本低、使用简单、可以穿墙等，但缺点也是显而易见的，识别精度不高，容易受到使用者身高体型动作幅度等影响，而且无法跨用户识别等。

（3）手势建模的目的和意义。

基于视频的Wi-Fi信号检测是人适应机器到机器不断适应人的过程。它将视频和Wi-Fi结合在一起，保留了二者原有的优势，并在一定程度上改善了缺点，比如经过视频前期的手势动作训练后，用户的隐私得到了更好的保护，而且用户不需要像手势Wi-Fi那样不断地训练。所以基于视频的Wi-Fi手势识别技术的研究对新一代人机交互技术的发展具有重要的意义，同时对人类社会的发展具有重要意义。例如，它可以用于智能家居，在家居进行手势控制，减少对远程控制的依赖，减少对移动设备的额外成本;它可以用于手语识别，弥补语音识别在聋哑人群等的短板情况，提高其生活水平;它是可用于汽车领域的汽车互联网，如唤醒汽车系统的不同功能，通过各种手势方便驾驶员的操作，只要有Wi-Fi网络覆盖;可以搭建家庭娱乐平台，丰富家庭生活，比如应用到体感游戏中，提高游戏的趣味性和可玩性。

1.视频到Wi-Fi建模的基本原理

1.1频道状态信息 CSI

Wi-Fi手势识别基础是借助无线信道状态信息（Channel State Information，CSI）来进行手势识别研究，通过使用滑动平均对获取到原始的 CSI 数据信息进行数据平滑处理以滤除存在的高频信息的干扰。包含多个子载波振幅和相位信息，有助于我们进行细粒度的手势识别。通过捕捉微弱的多普勒效应变化以及人体在环境中移动导致的Wi-Fi信号变形实现的。这里多普勒效应的变化是指波源跟接收器的相对位移变化会导致波的频率变化。而人体反射回的Wi-Fi信号会被接收器当成波源。也就是说当人体在Wi-Fi的覆盖中做出某个动作时，那接收器就能获取到对应的多普勒效应的变化。他们只要将不同手势跟不同的多普勒效应变化对应起来就可以了——比如手臂画个圈或者各隔空推两下。

Wi-Fi信号在传播过程中遇到人体时，会发生反射、折射、衍射以及散射受到障碍物或者是地形条件的影响等现象，对信号的正常传播产生扰动，通过分析接收信号和检测信号变化的特征，感知信号传播过程中所遇到人体的状态，以到达行为识别的目的。

1.2短时傅里叶变换（STFT）

手势的频率相对较低。收集的 CSI 包含高频分量，影响检测的准确性。我们需要用短时傅里叶变换对频率进行优化。通过实验，我们选择了短时傅里叶变换得到信号的频谱来从而获得最佳性能。信号的频谱的应用非常广泛，信号的压缩、降噪都可以基于频谱。然而傅立叶变换有一个假设，那就是信号是平稳的，即信号的统计特性不随时间变化。手势频率信号不是很平稳的信号，在很长的一段时间内，有很多信号会出现，然后立即消失。如果将这信号全部进行傅立叶变换，就不能反映手势随时间的变化。

2.手势建模的研究内容和关键步骤

基于视频到Wi-Fi的手势建模项目主要是提出一种新的视频跨模式身份识别系统。它只使用一个或多个无线收发器的亮度测量，最后可以识别手势模型。为了实现这种跨模式识别功能，模型将给定Wi-Fi测量的手势特征与给定视频片段的手势特征进行比较，并推断出手势。

研究内容主要是提出主要提出从视频模拟Wi-Fi信号的方法，将视频信息与Wi-Fi信号相结合。采用HMR及Born approximation算法，结合一系列视频及Wi-Fi信号处理技术，挖掘视频信息与Wi-Fi信号之间内在关系，为一种新的视频跨模式的身份识别系统提供支持。为了实现这种跨模式识别功能，模型将给定Wi-Fi测量的手势特征与给定样本视频片段的手势特征进行比较，并推断出手势。在不侵犯隐私的前提下，只要有Wi-Fi网络覆盖，就可以进行手势识别。

2.1视频还原3D网格点

用人的手势的样本录像片段生成3D网格点。给定一个人的视频帧，首先使用the Human Mesh Recovery （HMR） algorithm来生成密集的3D网格，这包括了很多3D点来描述人体的外表面。给定一个人的视频片段，就可以构建每一帧的3D点集。这种集合的序列就可以捕捉到人的手势。

由视频生产模拟Wi-Fi信号。为了模拟人在Wi-Fi区域行走的Wi-Fi信号，使用Born approximation来建模Wi-Fi反射的人体网格表面。

2.2利用Born approximation从点源模拟信号的场分布

在真实的Wi-Fi环境下，Wi-Fi发射器位于，接收器位于。为了模拟人在Wi-Fi区域行走的Wi-Fi信号，使用Born approximation来建模Wi-Fi反射的人体网格表面。更确切的说，在时间t模拟的接收到的Wi-Fi信号可以写成如下：

这里是从点x到点y的在三维坐标系下的格林函数，并且

这里是欧几里得范数，λ是无线信号的波长， 是所有和可见的人体网格点的子集，因为只有这些点能够将信号反射给。我们在 上应用the Hidden Point Removal （HPR） algorithm来确定

从点反射的信号强度由两个因素决定：所属的身体部位的表面积和方向。比如，人的躯干比其他部位有更高的反射率因为它有更大的表面积。这个因素由体现。人体的朝向确定入射信号将被反射的方向。一个完美的反射面将会在仅从方向反射入射波，这里                       是点在人体上的法线向量。然而人体最好被建模为类准反射镜，将信号以不同的振幅反射到很多方向，最强烈的是方向。从点到的反射波的振幅将相反地与向量和夹角相关联。这种关联可以由Gaussian mask表示：

3.手势识别的实施方案与模型

3.1手势定义

首先，通过拍摄不同动作的手势视频样本，对视频样本进行加工处理。

在系统中定义有意义的手势，将15个不同的动作定位为有效手势，并确定其动作规范。

共定义15个有效手势，分别为双手招手，深蹲，直行，左抬手，左半圆，左推手，拿起烟，放下烟，右半圆，右抬手，右推手，右挥手，放大，缩小。

3.2视频到Wi-Fi的手势模型

其次，利用的人类网格恢复（HMR）算法生成三维网格，其中包含大量描述人体外表面的三维点。给定一个人的视频片段，然后为每一帧构造一组3D点。生成3D mesh图像和不同手势的人体坐标值。用人体行走的样本录像片段生成3D网格点。给定一个人的视频帧，首先使用the Human Mesh Recovery （HMR） algorithm来生成密集的3D网格。这包括了很多描述人体的外表面的3D点。给定一个人的视频片段，就可以构建每一帧的3D点集。这种集合的序列就可以捕捉到人体的步态。

表示人体在时间t生成的3D网格点。

然后，提出新的框架和用来获取人体基于Wi-Fi CSI幅度信号的步态特征的特征集。更准确地说，综合使用了短时傅里叶变换和埃尔米特函数来生成一个频谱，并且提取关键特征。更进一步提出一种提取频谱关键部分的方法和运动的方向，这使得我们能够做识别并且无需追踪。

3.3基于Wi-Fi的手势模型

一个人在Wi-Fi覆盖的区域行走，一个Wi-Fi发射器发送了一个无线信号，该信号从人体的不同部位反射，并由Wi-Fi接收器接收。复基带接收信号可以写作如下：

是复杂的接收信号，包括直接路径和静态路径的影响，是从第m个身体部位反射的信号的振幅，是在时间t=0时那条路径的长度，

是第m個身体部位在时间t的速度。

其中是s（t）的直流分量，并且。注意是随时间变化的。

3.4基于以测量Wi-Fi信号的光谱生成

信号 s（t）是多个正弦波的总和，其频率与移动人的不同手势部位的各自速度线性相关。因此，评估信号s（t）的瞬时频率分量可提供有关手势的信息。最后我们使用短时傅里叶变换。短时傅里叶变换中，将一个长度为的短移动窗口应用于s（t），并将傅立叶变换应用于该移动窗口的每个实例，以估计频率分量，从而产生信号频谱图。更准确地说，公式如下：

尽管STFT提供了有关不同身体部位的瞬时速度的有价值的信息，但文献已经表明，相应的时频分辨率的折衷会影响该信息的质量。然后，提出多窗口埃尔米特频谱图（HS），以提高STFT频谱图的浓度。在埃尔米特频谱图中，多个埃尔米特函数用作时频分析的窗口，更准确地说：

这里是第k个埃尔米特函数， 是通过求解：

获得的加权系数。

为了结合HS的理想浓度特性和STFT检测来自人体不同部位的微小反射的能力，我们建议通过组合以下两个频谱图来生成最终的Wi-Fi频谱图：

4.手势识别的的实验结果分析

4.1基于MATLAB的实验分析

MATLAB能够解决关于实验研究计算中的很多问题，首先其操作界面和编程语言自然简单，可以对对象进行动态模拟，便于分析计算过程变化，用强大的数学公式编程功能和图形功能将复杂高深的理论变成可视化的仿真结果。其次，和MATLAB能够将所有不同的手势动作的HMR数据进行单独处理，观测不同手势下信号输出，清楚明了的观察变量变化带来的实际影响。

我们提出了一种新的方法来模拟Wi-Fi信号，该信号将由一对收发器测量，基于一个人手势动作的视频片段。 更具体地说，我们构造并提取视频中的人的三维网格模型，并模拟相应的Wi-Fi CSI震级测量。也就是说，我们随着时间的推移传播这个网格模型，使用信号幅度来生成信号的光谱图，然后进行短时傅里叶变换（STFT），最后使用Born approximation在MATLAB中来模拟相应的接收到的Wi-Fi信号，如果该人在一对Wi-Fi收发器附近进行手势动作的演示。

4.2Wi-Fi信号模拟图样

5.结语

基于视频到Wi-Fi信号的手势识别建模主要提出一种从视频模拟Wi-Fi信号的方法，将视频信息与Wi-Fi信号相结合，一种新的视频跨模式的身份识别系统。它使用一个或多个无线收发器的Wi-Fi信号测量，最后可以识别手势模型。采用基于从视频恢复人体3D Mesh的HMR算法及从3D Mesh点源模拟真实Wi-Fi信号Born approximation算法，结合视频插帧、获取Wi-Fi CSI信息等Wi-Fi信号处理技术，挖掘视频信息与Wi-Fi信号之间的内在关系，为后续手势识别等相关应用提供相应技术支持。

参考文献

[1]陈鹏展， 罗漫， 李杰. 基于加速度传感器的连续动态手势识别[J]. 传感器与微系统， 2016， 35（01）：39-42.

[2]刘凯. Wi-Fi技术及其在智能家居中的应用研究[J]. 黑龙江科技信息， 2013， 000（030）：167-167.

[3]操文昌. 基于 Wi-Fi 信号的手势识别研究[D]

[4]邱显杰. 基于视频的三维人体运动捕获方法研究[D].

作者简介：柴亦聪（2001.04-），女，河南南阳人，陕西省西安市西北大学 电子信息科学与技术（中外合办）专业，本科生。

梁思雨（2001.04-），女，陕西延安人，陕西省西安市西北大学 电子信息科学与技术（中外合办）专业，本科生。

西北大学    陕西西安    710000