人体运动形态估计技术发展综述

林浩翔 黄靖敏 李万益 邬依林 黄用有

摘要：人体运动形态估计技术是目前国内外研究的热点方向，该技术主要用于体育、音乐、舞蹈等运动形体化教学;制作角色动画、3D人物的立体电影;人体运动形态识别、检测及跟踪监控;医学保健和无人驾驶;AR体育赛事运动追踪以及辅助评分系统等很多领域。文章以人体运动形态估计为主题，对该技术的应用和发展做一个综述，供相关方向读者了解。

关键词：人体运动形态;三维可视化;技术应用和发展

中图分类号：TP18      文献标识码：A

文章编号：1009-3044（2022）16-0003-05

1 前言

人体运动形态估计也称人体运动形态三维可视化，是目前国内外研究的热点方向。其可以把二维图像的人体运动形态进行三维化展示，该技术主要用于体育、音乐舞蹈等运动三维形体化教学[1- 2];制作角色动画、3D人物的立体电影[3-5];医疗保健、无人驾驶、AR、智能评审辅助系统;人体运动形态识别，检测，跟踪监控[6- 7]等很多领域。该技术发展已经有一段时间，国内外许多学者都在研究，并且所研究的成果都能在各个领域成功运用，发挥了关键作用。下面本文就运动形体化教学、角色动画制作、无人驾驶、智能评审辅助系统、人体运动跟踪、运动形态识别与检测监控几个方面技术发展和缺陷进行综述。

2 三维形体化教学

形体运动教学[1-2]是大多数教学机构开设的必备课程，其涉及体育、音乐舞蹈的学习，可以为参与教学的人提供一套立体的姿态进行参考学习、矫正动作。其可以在各个角度去查看正确的姿态动作，并可以通过所录视频还原自己三维运动形态进行对比，是形体运动教学良好的教学材料。国内外目前形体运动三维可视化这类教学材料比较少，需要更稳定技术进行制作和开发，该技术应用如图1所示。

形体运动的三维可视化的案例如图1所示，其均为单视角人体运动形态的三维估计。该三维可视化效果比较真实，其姿态表示清晰，可以供使用者参考标准姿态，并且对照自己的训练姿态进行矫正，在形体化教学上有巨大的促进作用。教学3D可视化结合深度学习会取得比较理想的教学效果。

运动形态视频三维可视化过程中的2D关键点检测，对于高速运动图像和模糊图像要适当地处理，保证2D关键点检测的位置准确，以此确保估计出的3D人体运动立体模型的准确。目前，一些姿态检测技术还要进行不断完善，才能还原出更准确三维运动形态。

3 角色动画制作

制作角色动画及3D人的立体电影通常用于媒体发布、游戏开发。这类技术应用很广[3-5]，比如腾讯视频中的3D国漫，在国漫中人物打斗、人物一些运动姿态展、动物角色场景合成现等都可以运用本项目的技术;还有一些大型游戏中游戏角色的模型设计，角色的动作设计及相关配套的连贯性姿态表示也可以用本项目的技术，如图2所示。目前，国内外相关基础研究还在进行中，技术还存在很多地方需要提升，比如多人姿态估计、角色间的姿态交互设计，以及姿态和语音匹配的设计等问题仍需进一步解决。

图2为形体运动可视化的3D角色模型生成的一些应用。图2（a）显示单视角图像进行轮廓提取预处理，然后场景分割，再生成场景深度图，利用深度学习的神经网络模型预测出3D角色模型，该模型可以在此基础上进行细节修改。图2（b）显示了3D角色模型可以用于场景融合，融入生活的场景中，该应用用于电影制作和游戏过场动画制作也比较常见，较难拍摄的动作姿态和场景都可以通过3D角色模型与视频场景进行融合。图2（c）展示了所计算3D角色模型与相应视角的匹配程度，如果模型在相应视角的投影能和该视角的人物基本重合，就说明该模型大小与真实人物大小基本匹配，同时也说明了形体运动的三维可视化的真实性可以达到比較高的精确水平。

视频或图像三维可视化时，如何实现多或单角色模型互动的三维人体运动估计，并且所生成人体运动立体模型（骨架）换算成3D角色模型细节的计算和生成方法需要得出，其中有身高、体重、皮肤、肢体粗细等细节计算和生成。3D角色模型如何自然地融入真实世界的视频和场景，并且实现和场景的物品或环境进行交互，比如打电话、丢垃圾等。该技术涉及的图像预处理技术比较多，非常依赖于图像预处理技术的好坏。

4 运动形态识别、检测与监控

形体运动的三维可视化可以很好地实现人体运动形态识别、检测及跟踪监控[6-7]，可以对人的一些设定的高危动作进行识别，并进行实时监控。比如乘坐地铁或其他交通工具，站立乘客需要扶好车内扶手栏杆，若乘客疏忽时，可以语音提示乘客，此时姿态识别的应用就派上用场，形体运动可视化就可以计算站立乘客的3D姿态，判断是否拉好扶好的姿态。部分检测样例如图3所示。目前这个方向的研究，国内外也还是在进行，也是一个热点方向，技术拓展也需要大幅度提升。同时也存在一些问题，比如，多人物的动作识别和分类如何进行建模。其可通过形体运动的三维可视化形成多个人体运动立体模型，并对多个立体模型的肢体位置进行建模计算，做约束模型并实现最后分类，把分类结果输出到原二维视频。此外，姿态的多分类问题，姿态相互遮挡识别问题等都需要进一步去解决。

从图3可以看出，运动形态识别在运动形态三维可视化的基础上进行判断，在还原出三维运动形态的同时，进行较完善的数学建模，根据数学模型判断姿态的类型。

5 无人驾驶

无人驾驶同样可以运用到3D人体姿态估计技术[8]，倘若车内有人，可以根据人体的姿态判断合理的车速和更加平缓的路线。如图4 （a）所示，人在看书，前方有车辆，无人自动驾驶系统会自动降速并选择安全路线，就可以在行驶时减少意外发生的可能。

随着社会的发展进步，智能汽车、无人驾驶技术逐渐成为近几年汽车行业研究和发展的重点，而行人检测作为智能汽车外部环境感知中的核心技术之一，也一直是研究的热点。人体三维姿态估计技术的实时性和高精确度性可有效提升无人驾驶汽车智能化水平。如图4（b）所示能实时检测到行人3D姿态，并对人体姿态信息进行快速判断识别（如行人打车、挥手等典型动作、交警指挥动作等），则能有效提升无人驾驶汽车的智能化水平。运用面向无人驾驶的交通行人三维姿态检测和估计方法，可实现分层式优化，实时计算求解行人的3D姿态，可以达到实时准确检测行人的要求。

6 訓练机器人

人体姿态估计技术亦可运用到机器人的训练中，既可以给机器人提供大量的数据参考，也可以按照比例将动作还原，让机器人的自我学习速度大幅增加，也可根据数据去纠正错误。在医疗保健领域，可以通过机器人实施康复训练。运用伤患以往的姿态估计数据，更快地配合机器人实施康复训练，让伤患的恢复效果更好。

康复机器人目前是一个新兴的研究领域，随着社会老龄化和肢体残疾患者康复意识的崛起，康复机器人产业越来越受到重视。通过康复机器人，患者可以进行重复运动，重新学会控制运动系统。此外，机器人可以帮助物理治疗师进行工作辅助，设定康复目标，将物理治疗师从繁重的工作中解脱。

如图5（a）所示，上肢康复机器人[9]和老年人互动样例，上肢运动功能障碍是脑卒中、创伤性脑损伤、脊髓损伤、多发性硬化症的常见后遗症，严重影响患者的日常生活能力。研究人员希望这种机器人系统能够优化患者大脑运动功能神经的重塑，恢复大脑对上肢运动的有效控制，从而提高患者的日常生活能力。

下肢康复机器人的研发，一直是国际康复医学的难点、热点和痛点。主要适应于有脑卒中病人、脊髓损伤病人、高龄老人等引起下肢功能站立无力、肌肉萎缩、关节僵硬等症状。可以帮助病人重新站立、恢复行走的功能，很多国家都在探索这个领域。

康复机器人还配有显示器，病人在使用机器人进行锻炼恢复时，显示器上会显示骑马、跑步、走路等游戏，通过游戏建立的虚拟场景，能帮助病人激活脑部重塑，帮助他们更好地康复。图5（b）所示为下肢康复机器人训练样例。

随着人类衰老，人形机器人将会在中风和痴呆等老年病的治疗中越来越普遍地应用。而人形机器人中社交辅助机器人的使用案例较多。不久的将来，社交辅助机器人能够帮助严重功能障碍患者提高生存率，对患者进行更细致地照顾。机器人将成为病人康复中的伴侣，鼓励患者完成康复训练，并详细记录康复数据。

7 体育竞赛评审辅助系统

人体运动形态三维可视化可用于体育竞赛评审辅助系统[10]，如图5（a）所示上肢康复机器人，该评分系统可通过向选手的身体及其周边投射红外线，完成动作追踪，AI技术根据动作的三维立体图像进行分析，结合历史表演数据，按照打分标准判断该技术的完成度。裁判在此类技术的协助下，可以提供更加准确的分数。不仅如此，AI评分系统还可捕捉运动员的瞬间动作和身体扭转角度（三维立体图像举例），并清晰展现给观众，让观众通过画面了解更多的比赛细节，提高比赛的娱乐性。在系统功能实现的过程中，可以依靠深度特征和骨骼关节数据实现特征数据提取，然后利用傅里叶算法完成特征融合和动作分类识别。从系统功能测试结果来看，能够用于准确识别各组难度动作，满足竞赛评审辅助需求。

体操竞技的动作华丽炫目、动态感十足，且技术难度大，对于裁判而言，评分也愈发困难，历届奥运会上质疑裁判员评分不公的情况多有发生。为了让赛事评分更加公正，此次东京奥运会在体操项目上引进了由日本富士通公司开发的AI评分辅助系统，在本届东京奥运会运动员的最终得分，就是结合AI和裁判的判断，再经裁判综合判断后，最终打出的分数。总而言之用AI技术协助评判，可以大大降低判罚不公之类的情况。一些关于AI评分系统的应用如图6所示。

综上所述，开发的体育竞赛评审辅助系统能够帮助人员从繁重的评审处理工作中解脱出来，在节省赛事管理人力、物力的同时，保证比赛结果公平、公正。实际在系统开发与实现过程中，需要加强计算机智能算法应用，通过与标准动作比较，完成运动员3D动作识别，辅助人员合规开展评审工作，继而使竞赛评审技术水平得到有效提升。

8 运动员追踪功能

人体运动三维可视化技术被应用在英特尔开发的3DAT（3D Athlete Tracking，3D运动员追踪）技术，该技术可通过摄像机捕捉和AI智能算法把计算机视觉和AI技术结合在了一起，再结合阿里巴巴的云计算技术，构建3D网格并捕捉运动员的多个关键骨骼点，并在几秒钟内提供运动员速度、身体角度、加速度、步长等方面的数据，实现对运动员3D形态的数据提取，这是过去运动员和教练员用肉眼无法捕捉到的信息。

因此在平时训练中，3D运动员跟踪技术可以作为运动员的“隐形教练”，借助3DAT技术，记录运动员的历史数据还能够实现对训练趋势的追溯，在精准分析运动姿态、聚合运动数据的基础上，教练员可以整理并提出科学训练计划和专家策略，有效提升训练效率，可以极大地帮助运动员通过更科学的手段实现运动表现的突破。

在2021东京奥运会的田径赛场上首次出现的“3D运动员跟踪技术”，成为赛事转播的新亮点。例如在田径短跑项目中，通过3DAT技术观众可以看到每个运动员的实时奔跑速度，并在即时回放中对比赛亮点进行分析、解读和复核，能为奥运会观众带来全新的体验。该技术的一些应用如图7所示。

9 结束语

人体运动形态估计技术是一项比较前沿的技术，计算机视觉热点的研究技术，也是人工智能发展的关键技术之一。人体运动形态估计技术涉及的应用远远不止本文提及的几个方面，其还涉及遥控遥感技术、AR人机交互和罪犯追踪等研究领域，是一项应该广泛的核心技术。人体运动形态估计的研究目前仍然在继续中，只要不断完善该项技术，就能使得计算机视觉乃至人工智能领域有本质上的突破。该项技术的研究还依赖于计算机硬盘的配置，必须配置高端性能的计算机才能很好地完成计算任务。总体来说，该技术是一项值得重点发展的技术。

参考文献：

[1] Zhen J N，Fang Q，Sun J M，et al.SMAP： Single-Shot Multi-person Absolute 3D Pose Estimation[C].Proceedings of the ECCV 2020， Glasgow， United kingdom， Springer Science and Business Media Deutschland GmbH，2020：550-566.

[2] Benzine A，Luvison B，Pham Q C，et al.Single-shot 3D multi-person pose estimation in complex images[J].Pattern Recognition，2021，112：107534.

[3] Ionescu C，Papava D，Olaru V，et al.Human3.6M：large scale datasets and predictive methods for 3D human sensing in natural environments[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（7）：1325-1339.

[4] Pe?a-Tapia E，Hachiuma R，Pasquali A，et al.LCR-SMPL：toward real-time human detection and 3D reconstruction from a single RGB image[C]// Recife，Brazil：2020 IEEE International Symposium on Mixed and Augmented Reality Adjunct. IEEE，2020：211-212.

[5] Bogo F， Kanazawa A， Christoph Lassner， Gehler P， et al. Black. Keep it SMPL： Automatic estimation of 3D human pose and shape from a single image[C]. Scottsdale，AZ，United States：Proceedings of the 21st ACM Conference on Computer and Communications Security， CCS 2014.Springer Verlag， 2016： 561-578.

[6] Bagautdinov T，Alahi A，Fleuret F，et al.Social scene understanding：end-to-end multi-person action localization and collective activity recognition[C]// Honolulu，HI，USA：2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE，2017：3425-3434.

[7] Zhu K J，Wang R X，Cheng J，et al.A novel skeleton-based action recognition method via cuboid rearranging[C]// Wuyishan，China：2018 IEEE International Conference on Information and Automation.IEEE，2018：286-292.

[8] 徐彬，鄭燕萍，曹高兴.面向无人驾驶的行人三维姿态估计方法[J].科学技术与工程，2018，18（34）：85-91.

[9] 吴炳坚.基于互联网的上肢康复机器人[J].机械制造，2021，59（7）：6-10.

[10] 尹霞.基于计算机智能算法下的体育竞赛评审辅助系统开发与实现研究[J].现代科学仪器，2020（1）：50-53.

【通联编辑：唐一东】