基于深度学习方法的4D毫米波雷达点云人体关键点检测

张远 杨大林 车相豪 汪诗扬 何子恒

摘  要：人体关键点检测是在行为识别、动作捕捉等领域有着重要作用。基于视觉的方法会受光线环境影响，还可能会在室内环境中引发隐私问题，可穿戴设备的方法则不适用于非合作目标。基于此，提出了一种基于4D毫米波雷达点云的人体关键点检测方法，分析了使用毫米波点云进行关键点检测存在的问题。为了解决这些问题，提出了毫米波人体关键点检测（Millimeter Wave Human Pose Detection，mmWPose）系统，为了便于提取点云特征，设计了一种二维化方法用于处理点云数据，可以显著减少模型在特征提取阶段的参数量。为了进行数据标注，运用跨模态监督来训练目标模型，为了增强目标模型的泛化能力，设计了一个域适应模块协助目标模型分辨点云数据中属于环境的特征。实验证明，研究提出的mmWPose系统能够解决毫米波点云存在的问题，实现高精度的人体关键点检测。

关键词：毫米波雷达 人体关键点检测 域适应 跨模态学习 深度学习

中图分类号：TN957.52

Human Key Point Detection Based on the Deep Learning Method and the 4D Millimeter-Wave Radar Point Cloud

ZHANG Yuan*  YANG Dalin  CHE Xianghao  WANG Shiyang  HE Ziheng

School of Information， North China University of Technology， Beijing， 100144 China

Abstract： Human key point detection plays an important role in fields such as behavior recognition and motion capture. Vision-based methods are subject to the light environment and may also cause privacy issues in the indoor environment， and the methods based on wearable devices are not suitable for non-cooperative targets. Based on this， this article proposes a method of human key point detection based on the 4D millimeter-wave radar point cloud， and analyzes the problems of using the millimeter-wave point cloud for key point detection. In order to address these issues， this study proposes a Millimeter-Wave Human Pose Detection （mmWPose） system， and in order to facilitate the extraction of point cloud features， it designs a two-dimensional method for processing point cloud data， which can significantly reduce the number of parameters in the model in the feature extraction stage. In order to make data annotation， it uses cross-modal supervision to train the target model， and in order to enhance the generalization ability of the target model， it designs a domain adaptation module to assist the target model in distinguishing the features belonging to the environment in point cloud data. Experiments have shown that the mmWPose system proposed in this study can solve the problems of millimeter-wave point clouds and achieve high-precision human key point detection.

Key Words： Millimeter-wave radar; Human key point detection; Domain adaptation; Cross-modal learning; Deep learning

人体姿态检测技术在行为识别、跌倒检测等实际应用中发挥着至关重要的作用[1]。基于视觉的人体关键点识别方法通过提取图像中的人体相关特征来生成人体关键点信息，在私密场景下可能会触及个人隐私问题。幸运的是，依靠电磁波媒介的探测技术或许能有所作为[2]。为了提取毫米波点云的特征，Sengupta A等人[3]提出的mm-Pose，该算法使用将毫米波点云映射在XY，XZ两个平面上，但会导致参数量冗余的问题。由于毫米波点云的稀疏性，人工进行标注困难。由于毫米波雷达会受到环境的干扰，点云中可能存在环境噪声，导致训练的模型泛化性差 [4]。

针对以上问题，提出了毫米波人体关键点检测（mmWPose）系统。为了解决点云稀疏而导致的标注困难问题，采用了跨模态学习方法。为了提取点云特征，设计了一种点云二维化方法，有效地减少了特征提取模块的参数量。为了增强模型的泛化性，设计了一个域适应模块用于抑制模型对环境特征的提取，使模型在不同环境中具有适应能力。

1技术原理

1.1  毫米波雷达数据采集

毫米波雷达可以通过发射天线发射频率为30～300 GHz的毫米波，其通过发射天线Tx发射调频连续波信号，接收天线Rx接收物体反射的信号来获取数据。发射信号和接收信号在接收器处混合形成中频（IF）信号，具体公式如下。

式（1）中：为发射信号的瞬时频率；为接收信号的瞬时频率；为发射信号的初始相位；为接收信号的初始相位。

通过获取中频信号，可以得到发射信号和接收信号之间的频率差fIF，如式（2）所示。物体和雷达的距离由式（3）计算得出，d为物体到天线的距离，τ为啁啾信号的持续时间，B为啁啾信号的带宽，c为光速。

通过使用2根接收天线接收相同的反射信号，可以得到两个初始相位不同的信号， 如式（4）所示，其中λ为调频连续波的初始波长；为两个接收天线的接收信号之间的相位差；l为2根接收天线之间的距离；θ为到达角。

如图1所示，通过测量物体到天线的距离和角度，可以得到被测物体的三维空间坐标，具体公式如下。

式（5）、式（6）、式（7）中： x、y、z为检测物体在三维空间中的坐标；为仰角；为方位角。

2 实验方法

2.1点云数据标准化

为了对毫米波点云进行特征提取，我们将毫米波雷达采集的点云数据映射为图像。具体公式如下。

式（8）中：u为图像像素的横坐标；v为纵坐标；K为相机的内参。

本文使用基于视觉的人体关键点检测算法OpenPose[5]作为例子讲述。该算法通过特征提取模块提取特征F来预测部分亲和场和部分预测关键点热图。每个部分都由若干个阶段相同的结构顺序堆叠而成，结构如图2的关键点检测模块，用式（9）、式（10）表示 [6]。

式（9）、式（10）中：?t为在阶段t的部分亲和场预测函数；为在阶段t的关键点热图预测函数；L为部分亲和场；S为关键点热图

2.2跨模态学习

在模型训练阶段，把包含知识的基于视觉的人体关键点检测模型称为源模型，把需要获取的模型称为目标模型。如图3所示，使用源模型对彩色图像上的关键点进行预测，将预测结果作为目标模型上相应二维图像的标签。损失函数公式如下。

式（11）中：fop为跨模态学习的各阶段的损失相加的总体损失

2.3域适应模块

域适应部分由3个卷积层、4个全连接层和一个Softmax层组成，具体公式如下。

式（12）中：J为输出向量的长度；D为输出向量；D*为真实向量；i为向量的第i个元素。

为了抑制特征提取模块提取属于环境的特征，将fa作为全局损失函数的负因子对抗模型[7]训练，具体公式如下。

式（13）中：μ用于调节域自适应部分对整个模型参数的影响。

3  实验与分析

使用SKY32B750毫米波雷达作为点云数据采集设备，使用海康威视摄像机作为视觉图像采集设备。如图4所示，左侧是雷达数据采集板，右侧是摄像头。使用笔记本电脑驱动雷达板和摄像头进行数据采集，让人在采集区域内随机移动，并随机做出各种姿势，如举手、抬腿、行走等。

如图5所示，mmWPose目标模型能够较准确地预测人体关键点。本文将mm-Pose的二维化方式与我们的方式进行对比，如表1所示，在参数量只有其一半的情况下，本文的方法实现了相当的检测性能。为了展示域适应模块的性能，本文将其与未添加域适应模块的模型进行比较，如图6所示，mmWPose*表示添加域适应模块的目标模型性能，由此可以看出，加入域适应模块后，模型对各个关节的预测精度都有所提高。

4  结论

为了解决现有的毫米波点云人体关键点检测存在的问题，本文提出一种二维化点云的方法，使点云特征提取能够使用基于视觉的特征提取方法。使用跨模态学习的方式训练目标模型，实现了较高的人类关键点预测精度。本研究模型中加入了域适应模块用于抑制环境特征，提高了模型的鲁棒性，能够进一步增强现有的毫米波点云人体关键点检测方案的性能。

参考文献

• ZHAO M， LI  T， ALSHEIKH  M A， et al. Through-Wall Human Pose Estimation Using Radio Signals[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， UT， USA， 2018： 7356-7365.
• LI Z， GAO Y， HONG Q， et al. Keypoint3D： Keypoint-Based and Anchor-Free 3D Object Detection for Autonomous Driving with Monocular Vision[J]. Remote Sensing， 2023， 15（5）： 1210.
• Sengupta  A ， Jin F ， Zhang R. mm-Pose： Real-Time Human Skeletal Posture Estimation Using mmWave Radars and CNNs[J]. IEEE Sensors Journal， 2020： 10032-10044.
• Gochoo M， Akhter I， Jalal A， et al. Stochastic Remote Sensing Event Classification over Adaptive Posture Estimation via Multifused Data and Deep Belief Network[J]. Remote Sensing， 2021， 13（5）： 912.
• CAO Z， SIMON T， WEI S-E， et al. Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA， 2017： 7291-7299.
• TIAN C， YU R， ZHAO X， et al. Posedet： Fast Multi-Person Pose Estimation Using Pose Embedding[C]//Proceedings of the 2021 16th IEEE International Conference on Automatic Face and Gesture Recognition （FG 2021）. Jodhpur， India， 2021： 1-8.
• CAO Z， LONG M， WANG J， et al. Partial Transfer Learning with Selective Adversarial Networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， UT， USA， 2017： 2724-2732.