具有自主感知行为的虚拟人运动控制技术研究综述

何长鹏+罗鸿斌+张燕

摘要：由于人体结构及其运动的复杂性，导致在虚拟人形象化建模、运动控制方面存在诸多困难和挑战。本文通过对相关研究工作进行归纳总结，指出了在形象化人体建模方面存在的问题，并给出了解决这些问题的关键技术和方法；在运动控制技术方面，将传统的方法与最新的方法对比分析，重点分析了如何建立自主虚拟人感知模型，实现自主虚拟人行为控制和决策，使虚拟人具有“自我意识”。

关键词：虚拟人；形象化；运动控制；感知模型

中图分类号 TP391.41 文献标识码 A 文章编号：1009-3044（2016）27-0147-03

虚拟人（Avatar）是人类自身在虚拟空间中的化身[1]。在人机交互研究领域内，研究者往往会考虑到虚拟人、虚拟人环境和终端用户这三者之间的交互作用，通过在虚拟空间中建立各种形象化的虚拟人模型，并借助可视化的虚拟人集合外观、动作姿态变化，来反应用户的行为和表情特征，从而达到增强用户交流的效果和沉浸感[2]。随着人工智能技术和多媒体技术的发展，虚拟人技术的研究更趋向于智能化和多样化，人们将现实生活中的一些娱乐活动搬到了虚拟空间当中，例如虚拟舞台的出现，通过建立虚拟场景，让虚拟人来演绎音乐与舞蹈的内在联系。在建立虚拟场景以后，让虚拟人通过逻辑推理与学习，形成自身对虚拟环境的认识，使虚拟人具有“自我意识”，并将用户意图解释为具体任务。如何构建个性化的虚拟人，实现具有自主感知行为的虚拟人运动控制，是虚拟人研究领域内所关注的焦点。

本文首先介绍虚拟人体建模方面的研究工作，就虚拟人形象化建模存在的问题，给出具体的关键技术和方法；然后，对传统的运动控制技术和方法加以归纳总结，并分析了自主感知行为的运动捕获数据驱动方法；最后，就自主感知行为虚拟人运动控制研究方面的存在的难点以及未来研究的方向，给出一些自己的想法。

1人体建模方法研究

人体是一个复杂的生命体系统，由骨骼、皮肤、肌肉和神经系统等组成，其中关节和骨骼的自由度较多。目前，人体建模面临两方面的问题：一是虚拟人骨骼结构的简化及数学表达；二是建立逼真的外形，这是两个相互依赖的问题[1]。虚拟人的运动控制大部分是基于骨骼模型，也称之为骨骼动画。由于肌肉和神经系统的建立存在着很大的困难，研究的难度巨大，所以骨骼模型忽略了肌肉和神经系统。依据人体解剖学原理，人们制定了两个重要的国际标准H-Anim和MPEG-4来表示虚拟人骨骼结构[3]，主要是将人体的骨骼和关节进行简化，减少其自由度，这样可以降低建模的难度。人体建模的方法主要有基于几何的方法、基于二维照片重构方法和基于人体测量学的方法等[4。

（1） 基于几何建模技术研究较多，常常采用棒状型、体模型和表面模型（如图1所示）。虚拟人几何建模主要是使用三维造型软件，如Poser、3dsMax、Maya等来构建人体模型。针对 Poser 软件输出的人体模型缺乏关节点数据问题，文献[7]提出一种基于模型的快速人体建模方法。给出一种骨架提取算法。此方法从Poser输出的人体模型中提取出其骨架以后，将骨架层与皮肤层绑定，应用运动学方法使得骨骼驱动皮肤变形。依据H-Anim标准建立分层的骨骼模型，通过设置所有关节的自由度（DOF），采用三角网格方法来仿真皮肤层。

（2） 基于二维图片重构方法，采用数字图像处理的方法，提取二维图片中人体的特征点和参数，来重构三维人体模型。李毅等人[6]针对输入的草图，提出一种通过草绘三维人体建模的模板形变方法。将草图特征映射到三维人体模板，实现个性化的三维人体建模。有文献提出了一种基于视频的人体骨架建模新方法，通过提取视频序列中人体骨架的特征，建立透视投影下的三维人体骨架模型，然后通过蒙皮来建立虚拟人皮肤模型。

（3） 基于人体测量学的方法，主要是借助一些三维扫描仪，依据人体测量学的原理，来构建三维人体模型。文献[7]提出一种采用 Kinect 扫描人体重建个性化人体模型方法，此方法的主要目的是用来解决三维试衣系统中人体建模方法难于建立大量个性化的三维人体模型的问题。通过扫描获得各种不同类型人体的测量数据，可以迅速构建参数化的人体模型，实现个性化、多样化的逼真虚拟人模型。

以上三种人体建模方法，存在的主要问题就是建立的虚拟人模型，只有单一的骨骼层或皮肤层，即便已经将二者关联起来，即将骨骼层和皮肤层绑定，通过骨骼层驱动皮肤层变形。但是在虚拟人运动过程中，存在皮肤层的塌陷、断裂等问题，研究者往往忽略了这些问题，未来研究的主要方向就是如何有效的解决上述问题，建立肌肉层模型，实现逼真的虚拟人外形。

2 虚拟人运动控制技术的相关方法

虚拟人运动控制一直是虚拟人研究领域的关键技术之一。早期的虚拟人运动控制，主要是通过数值计算方式控制虚拟人运动。近期国内外出现了大量有关虚拟人应用软件，最显著的特点就对运动控制的效率以及实时性有了很高的要求，研究者关注的焦点是如何将人工智能技术与运动控制技术结合在一起，实现“自主”虚拟人。在自主虚拟人行为感知系统当中，虚拟人根据行为决策系统输出的决策结果，依靠运动控制系统，执行相应行为动作，例如前往某个地方、闲逛、攻击目标、逃避危险等[15]。

2.1 传统的运动控制技术

在虚拟人研究领域，传统的运动控制技术主要有基于关键帧的方法、基于物理控制方法、基于动力学方法、基于运动学的方法等。

1）关键帧方法。

2）物理控制的方法。

3）运动学方法。

4）动力学方法。

5）视频数据驱动的方法。

2.2 基于运动捕获数据的控制方法

人体运动捕获数据是直接记录人体的运动数据并将其用于生成计算机动画 ，因其视觉真实感、富有表现力等优势，越来越多地被应用于动画、电影制作以及游戏等产业中。利用传感设备捕获人体运动数据，捕获到的运动数据描述了骨架的结构以及在各个时间点的运动参数，它可以视为一个时变函数[10]，给定时间参数，可以确定该时刻人体各关节的状态信息。由于捕获的数据存在一定的冗余，为了驱动虚拟人在三维虚拟空间中更流畅运动，需要对捕获的运动数据预处理，提取一些关键帧数据11]，将关键帧数据与人体模型进行映射。

对于精度较高的捕获设备，得到的运动数据准确度高，能充分体现出运动的细节。文献[12]中作者将捕获的动作文件进行编辑，来合成逼真的虚拟人运动。文献[13]中采用实时的动作捕获技术，在虚拟舞台上进行现场戏剧表演，实现了仿真人体的舞蹈动画。这是将传统的艺术表演形式搬移到了虚拟空间，是艺术领域内一次技术革新，引起越来越多研究者们对这种新的艺术表达方式的关注。文献[14]提出一种“模板化”的运动控制方法，主要是将捕获的运动数据，根据稀疏主成分分析方法、Group lasso以及 Exclusive group lasso三者结合起来，找到每一种运动内在的具有语义特征的自由度，并将其包装成模板化的运动参数留给用户，用户便可根据该参数的语义描述，直观地进行实时的模板化运动合成和控制。

上述方法各有优缺点，基于运动捕获的方法，虽然可以提高运动控制的效率和实时性，但是其无法适应虚拟环境的变化，运动显得死板僵硬的缺点也很明显；基于物理控制的实时计算方法，虽然可以使虚拟人运动显得真实，但是计算复杂、占用资源的缺点也限制了应用的范围。因此，可以采用多种方法综合的途径进行，糅合每一种方法的优点，这样能极大地提高虚拟人运动控制的实时性。

3 自主感知行为的运动捕获数据驱动方法

前面所述的内容，研究者关注的焦点是虚拟人运动的逼真性与实时性，根本上忽略了虚拟人与虚拟环境之间的交互性。考虑到虚拟人与虚拟环境之间的交互作用，研究者提出通过建立自主感知模型APM，Autonomous Perception Model），使虚拟人实现自主行为控制。自主感知模型是自主虚拟人理解周围环境、进行自主行为控制以及决策的基础，其主要目标是通过不断地监测虚拟环境的变化，为行为控制模型提供必要的信息。

3.1 感知模型

通过建立感知模型来模拟虚拟人对虚拟环境感知限制，主要由视觉、听觉和触觉过滤器组成。视觉过滤器的原理是采用计算机视觉计算的方法计算出虚拟环境中各个对象与人眼之间的相对距离，根据设定的虚拟人所观察的范围，判断某个对象是否在虚拟人视野范围之内。为了提高感知模型检测的准确性，可以采用经典的可见性计算方法分别求解虚拟人到包围盒8个顶点的视线与其他物体包围盒矩形是否有交点来判定空间的遮挡关系，包围盒的选取要求光线与包围盒的求交测试尽可能的简单。将得到的对象信息与虚拟人直接关联，植入能否被感知的状态值，设置虚拟人对物体的感知权限。听觉和触觉过滤器主要作为视觉过滤器的补充，扩大虚拟人的感知范围。

3.2 行为决策模型

决策网络是一种表达解决决策问题的有向无环图。有文献中使用GeNie&Smile决策网络包编程实现虚拟人行为决策模型。作者在行为决策模型设计中，将决策网络划分为顶级网络、一级子网络和以下各级子网络组成。一级子网络包括熟识行为网路、攻击响应网络、呼救响应网络以及补充能量行为网络。

3.3 运动控制模型

虚拟人根据行为决策系统输出的决策结果，依靠运动控制系统，执行相应行为动作。在高层控制中，通过设计路径规划器，根据目标地点，生成虚拟人的运动路径轨迹。路径规划器采用A*算法进行路径搜索。通过使用碰撞检测，可在运动控制物理层上检测出虚拟人之间及与虚拟环境景物之间发生的碰撞，并进行相应的碰撞反应处理[8]。

4 总结与展望

由于人体结构及其运动的复杂性，导致在虚拟人形象化建模、运动控制方面存在诸多困难和挑战。本文在阅读大量文献的基础上，通过分析总结了具有自主感知行为的虚拟人运动控制的方法。在形象化虚拟人建模方面，针对建立的虚拟人体模型缺乏逼真度等问题，将相关研究成果进行概括总结，分析了虚拟人体建模的关键技术和方法。在运动控制技术方面，将传统的方法与最新的方法对比总结，重点介绍如何建立自主虚拟人感知模型，实现自主虚拟人行为控制和决策，使虚拟人具有“自我意识”。 如前文所述，由于人体自身的复杂性，自主感知行为的虚拟人运动控制技术还存在着一些问题有待于解决。

参考文献：

[1] 何长鹏，侯进，王献.基于骨骼的三维虚拟人运动合成方法研究[J].计算机工程与科学，2014，36（4）：737-740.

[2] J. Hou， F. Xu， L. Wu， and H. H. Mi. Avatar-based human communication： a review[J].International Journal of Modelling and Simulation，2012，32（4）：273-278.

[3] 夏时洪，王兆其.虚拟人合成研究进展[J].中国科学F辑：信息科学，2009，39（5）：483-498.

[4] O. Schreer，R.Englert，P.Eisert，and R.Tanger.Real-time vision and speech driven avatars for multimedia applications[J].IEEE Trans. Multimedia， 2008，10（3）：352-360.

[5] 吕治国，李焱，贺汉根.基于Poser 模型的三维人体建模方法[J].计算机工程，2008，34（13）：256-261.

[6] 李毅，刘兴川，孙亭.草绘3维人体建模的模板形变方法[J].中国图象图形学报，2015，20（6）：0828-0835.

[7] 姚砺，李奥琼，王慧洁.个性化人体特征曲线驱动的三维服装变形[J].计算机仿真，2015，32（7）：426-432.

[8] 刘渭滨，周亮，邢薇薇，等.自主虚拟人真实感行为与运动建模的研究[J].北京理工大学学报，2010，30（10）：1189-1193.

[9] J.L.Ren，Z.B.Zheng， Z.M.Jiao.Simulation of virtual human running based on inverse kinematics[C].//in Proc. 2nd Int. Conf. Education Technology and Computer， Shanghai， China， Jun.2010：360-363.

[10] S.L.Li，J.H.Liang，B.Wu，and L.Chen，etc.Dynamic motion editing by combining an extension of the prioritized inverse kinematics with active dynamic control[C].//in Proc. IEEE Int.Conf.Mechatronics and Automation，Changchun， China，Aug.2009：4067-4074.

[11] F. Multon，R.Kulpa，L.Hoyet，and T. Komura.Interactive animation of virtual humans based on motion capture data[J].Computer Animation and Virual Vorlds，2009，20（5）：491-500.

[12] C.E.Colvin，J.H. Babcock，J.H.Forrest，C.M.Stuart，M.J.Tonnemacher，and W.S.Wang.Multiple user motion capture and systems engineering[C].//in Proc. IEEE Systems and Information Engineering Design Symposium，Charlottesville， VS，USA，Apr.2011：137-140.

[13] C.TAY and R. Green. Human motion capture and representation[C].//in Proc. 24th Int. Conf. Image and Vision Computing， Wellington，New Zealand，Nov，2009：209-214.

[14] J.Geigel and M. Schweppe. Motion capture for real-time control of virtual actors in live， distributed， theatrical performances[C].//in Proc.IEEE Int. Conf. Automatic Face & Gesture Recognition and Workshops， Santa Barbara， CA， Mar. 2011：774-779.

[15] 夏贵羽，孙怀江.模板化的人体运动合成[J].自动化学报，2015，41（4）：758-771.

[16] W. Meng，W.B.Guo，and C. M. Zhu. Motion fusion technique based on characteristics of human motion[J]. Journal of Computer Applications，2011，3（1）：42-44.

[17] 罗陆锋，邹湘军，张丛，谢雷.基于实时数据的角色运动建模与仿真[J].系统仿真学报，2015，27（4）：677-681.