基于关键姿态约束的人体运动序列插值生成

杨 华，苏势林，闫雨奇，李宝川，刘翠微

(沈阳航空航天大学 计算机学院，沈阳 110136)

人体运动序列的生成，涉及图像采集与处理、模式识别、数据挖掘等理论和技术，在人体运动仿真、姿态预测、体育辅助训练、影视动画制作、体感游戏、仿人机器人研制等方面应用广泛[1-2]。有大量的人体运动数据库被用于商业发展和科学研究，例如：卡内基·梅隆大学的GLMCD(Graphics Lab Motion Capture Database)、加州大学洛杉矶分校的Multiview Action3D、德州大学达拉斯分校的MHAD(Multimodal Human Action Dataset)等[3-4]。其中GLMCD使用12个MX-40摄像机以120Hz的采样率捕获人体43个关节点的运动数据，而Multiview Action3D和MHAD则基于Kinect体感设备以30Hz的采样率捕获人体20个关节点的运动数据。然而，人体运动捕获数据呈现出周期非线性、难以实时计算等特点。为满足视觉和数据驱动方面的要求，需从不同的行为运动数据中解析出关键姿态用于生成新的人体运动序列，常用算法有PCA(Principal Components Analysis)、PPCA(Probabilistic PCA)、K-means、GMM(Gaussian Mixed Model)等[5]。近年来，随着采集设备的发展和动作数据库的建立，如何利用既有人体运动数据库生成新的符合不同应用需求、自然逼真的人体运动序列成为运动数据重用技术中的研究热点。Lucas等提出了一种有向运动图模型，该模型包含关键姿态运动数据，根据对图的遍历实现不同运动的连接[6]。Min等构建了一种基于运动图的语义运动分析与合成模型，通过对不同关键姿态间的迁移概率来实现运动的编辑[7]。Holden等采用深度学习框架来实现角色动作的合成与编辑[8]。夏时洪等则采用无标记异构人体运动的实时风格转换方法，构造自回归模型的局部混合来捕捉不同风格间的复杂运动关系[9]。然而，由于人体运动内在的复杂性和时序性，上述方法普遍存在网络结构复杂、训练时间长、参数调试困难、计算量大等问题。

本文提出了一种基于关键姿态约束的人体运动插值序列生成方法：采用PPCA[5]聚类分析将动作的高维数据投影到低维空间，从而抽取出关键姿态数据，建立动作节点；基于有限状态机(Finite-state Machine,FSM)概念构建含有关键姿态的运动图谱；应用过程发生数据缺失时，通过计算不同关键姿态的帧间最小距离解析出最佳过渡帧，再通过帧间插值算法实现动作序列平滑过渡。本方法为克服设备捕获数据缺失、生成复杂人体运动长序列以及提高人体运动数据的可重用提供技术支撑。

1 数据格式及转换

本文选用BVH[10]文件用于运动数据处理，包含骨架层次和运动数据两部分。骨架层次描述以人体髋关节为根节点组成的树形结构，运动数据记录了各节点相对于其父节点的旋转角度。使用m(t)=[h(t),r1(t),r2(t),…,rJ(t)]描述t时刻捕获的人体运动位姿数据。其中，h(t)表示根关节的世界坐标，ri(t)表示第i个关节相对于其父关节的旋转变换。BVH文件记录的是人体关节点的欧拉角，存在非线性、耦合等特点，造成在插值过程中位姿数据难以预测。为便于计算，本文将欧拉角转化成四元数来实现插值过程的平滑过渡，四元数比欧拉转换矩阵所需的运算量更小，更节约存储空间，其一般形式如公式(1)所示

(1)

2 运动图谱

2.1 运动数据提取

人体运动插值生成是通过对已有数据的分析来揭示运动数据的规律，在样本间进行线性和非线性插值来生成新的人体运动数据。人体运动捕获数据经常具有周期非线性、特征维度高、难以实时计算等特点。本文采用PPCA算法[11]将高维数据投影到低维空间，用于数据特征选择。从GLMCD数据库中抽取出典型动作的关键姿态，并建模为一系列运动节点M={M0，M1，…，Mn}，每个运动节点包含一组关键帧序列Mi=[m0,m1,…,mt]。图1给出从连续人体序列中抽取出典型动作节点(奔跑、走、下蹲等)的分割过程示例。图2给出了奔跑动作所对应的几个关键姿态。

图1 人体运动序列分割提取

图2 提取出的奔跑序列

2.2 关键姿态运动图谱

以提取的动作节点为基础，本文设计了一个基于有限状态机的关键姿态约束运动图谱。图谱中的顶点是运动节点，由一组起始状态、终止状态和状态迁移函数组成；允许从一个动作过渡到另一动作，实现不同关键姿态间运动序列过渡。在某一状态下给定输入后，状态迁移使不同的关键姿态合成平滑的运动序列。状态机从M0开始，根据状态迁移函数来合成不同的人体运动序列，状态迁移函数则为帧间插值算法。

图3 运动图谱

对GLMCD数据库进行PPCA算法分割提取出关键姿态数据(包括：行走、奔跑、拳击、跳跃等)，建立运动图谱如图3所示。矩形框则表示为提取出的关键姿态序列(如站立、下蹲等基本姿态，行走、跑、拳击等典型动作)。

3 运动插值生成

3.1 最佳过渡帧计算

不同关键姿态间往往具有不同的空间位置和朝向。为了使运动平滑过渡，需计算查找不同运动节点间的最佳过渡帧，本文通过查找最小帧间距离来衡量和选取。帧间距离计算如公式(2)所示

(2)

图4 运动插值生成过程

3.2 运动插值

常用插值方法有四元数样条插值、欧拉角线性插值、B样条插值等[12-13]。本文选用四元数球面插值算法，该算法计算量小、插值平滑，被广泛地应用于游戏引擎和控制领域[14-15]。由于坐标系的不同，插值之前要将不同的人体运动序列规约到相同的坐标系下，变换方法如公式(3)所示

PA(t)=Tθ,x,y,z(t)PB(t)

(3)

其中，A,B∈M，PA(t)和PB(t)表示根关节的坐标；Tθ,x,y,z(t)表示变换矩阵，是平移变换(x,y,z)和绕y轴旋转θ角度的旋转变换组成。两段序列经过规约操作后可利用四元数球面插值计算。根据找到的最佳过渡点A(m)、B(n)，生成A(i)～A(m)，B(n)～B(j)的插值序列。插值序列sk计算方法如公式(4)所示

sk=slerp(qAi+k-1,qBj-k+1,α(k))=

(4)

其中，k∈[1,2,…,N]表示插入帧序，N为总插值帧数，α(k)表示插值系数，范围0<α(k)<1，计算方法如公式(5)所示

(5)

此外，公式(4)的角度可通过计算四元数q和p点积的反余弦获取计算，如公式(6)所示

(6)

3.3 算法设计

采集的实时运动数据在运动图谱中进行跟踪查找匹配，通过帧间距离D与预设阈值Δ比较进行丢帧判断，D(Mc，Mi)>Δ表示丢帧。

当数据缺失发生在运动节点内时，则查找缺失数据前后的边界帧进行插值计算；当数据缺失发生在运动节点间时，根据图谱遍历查找运动节点，经由运动节点间最佳匹配帧进行插值计算，算法流程如图5所示。

图5 插值序列生成算法

4 实验

实验采用GLMCD人体运动数据库进行测试，确保结果的客观性和有效性。该数据库记录了2605个实验数据，分成6大类、23小类，包含髋部、脊柱、肩部等43个关节点信息。本文选取行走过程所需要的13个主要关节点信息，如表1所示，包含行走关节角度值在各个轴上的角度范围。

实验选取495帧行走运动数据来模拟一个动作节点内数据缺失的情况，按等间隔插值验证公式(4)的有效性。图6(a)为一个行走周期的原始数据，图6(b)为行走数据缺失时插值生成的人体运动序列，图6(b)中，第5帧、第35帧为原始数据，第10帧、第15帧、第20帧、第25帧、第30帧为插值数据。以左髋(lThigh)为例，图7给出关节角在各个轴向上插值数据与原始数据的差异，虚线代表原始数据，实线代表插值数据。可以看出，该算法能有效、准确地克服运动节点内的数据缺失。图8给出当复杂连续动作(跨运动节点)数据采集发生缺失处理，以从“奔跑”到“下蹲”为例。该过程通常不能直接完成，需要根据运动图谱进行跨运动节点的遍历匹配，再经由不同动作节点的关键姿态间的最相似帧进行插值。过程如下：第1帧为“奔跑”动作，第12帧为“下蹲”动作，两帧之间发生数据连续缺失；遍历运动图谱找到“行走”、“站立”作为过渡动作节点；查找并计算过渡动作节点间的关键姿态过渡帧(第5、8帧)；插值计算生成其它缺失姿态帧(第2、3、4、6、7、9、10、11帧)，最终生成“奔跑-行走-站立-下蹲”的连贯动作，克服了运动数据采集的缺失。

表1 行走过程的主要关节点数据

图6 运动节点内插值生成序列

图7 行走时左髋(lThigh)角度变化

图8 奔跑-行走-站立-下蹲(M2-M1-M0-M7)关键姿态插值生成序列

5 结论

本文提出一种基于关键姿态约束的人体运动序列插值生成方法，当发生运动数据缺失时，根据建立的动作图谱的过渡关系计算并插入若干过渡动作帧，实现动作的接续连贯。该方法能有效克服动作数据采集过程的缺失，并可用于复杂人体动作的组合生成，实现动作序列的流畅，提高人体运动捕获数据的可用性、鲁棒性。