基于改进坐标转换的人体运动轨迹识别方法

于燕山，郭鹏

(1.西安工程大学 体育部，陕西 西安 710048；2.沧州交通学院 通识教育学院，河北 沧州 061199)

0 引言

视频内容中人物活动分析在人机交互、虚拟现实、视频检索以及内容识别等方面应用广泛，引起学术界的广泛关注[1]。唐超等[2]提出基于多视图半监督学习的人体行为识别方法，提出3种模态视图数据表征人体动作，使用多视图半监督学习框架建模，利用不同视图提供的互补信息确保少量标记和大量未标记数据半监督学习取得更好的分类精度，实现人体行为识别。李梁华等[3]提出高效3D密集残差网络及其在人体行为识别中的应用。设计了高效 3D卷积块替换原来计算量大的 3×3×3卷积层用于人体行为识别。高效 3D卷积块由获取视频空间特征的 1×3×3卷积层和获取视频时间特征的3×1×1卷积层组合而成。将高效 3D卷积块组合在密集残差网络的多个位置中，完成人体行为的识别。

当前常用的人体行为识别方法受到复杂背景、可变光照及视角变化等影响，无法准确识别人体运动轨迹。为此，提出基于改进坐标转换的人体运动轨迹识别方法，通过研究关节活动幅度轨迹对人体运动轨迹进行深入分析。

1 改进坐标转换下人体运动轨迹识别

1.1 人体运动区域分割

本节对视频中人体运动区域进行分割，为后续处理提供基础，降低整体计算量[4]。区域分割通过背景提取与差分二级化实现。

通过背景消除法对人体运动轨迹区域进行分割时，需从图像序列中恢复背景图像[5]，假设{Om,m=1,2,…,M}为含M帧图像的视频，那么背景图像G获取式为式(1)。

G=γ1Om+γ2G′

(1)

式中，γ1+γ2=1，在初始化时G′=O1。

为了将前景人体运动区域从背景中分割出来，完成差分处理，需通过式(2)。

(2)

式中，0≤F(u,v)<1；0≤u(x,y)；v(x,y)≤255；u(x,y)与v(x,y)依次用于描述当前图像与背景图像在像素(x,y)处的亮度值。针对人体运动图像O(x,y)，利用二值化提取函数得到图像中改变的像素，得到前景图像G′，实现人体运动区域分割。

1.2 人体运动关节点坐标系建立

为了最大程度地降低人体运动中个体间的差异，需把人体运动空间描述转换至人体运动关节点空间坐标系，构造符合人体运动的交互动作特性[6-7]。本节将人体右手方向看作X轴正方向，头部正上方看作Y轴正方向，面向正前方当成Z轴正方向，两肩中心当成坐标原点。

在进行人体运动关节活动幅度轨迹识别的过程中，身体正方向不一定和拍摄设备平面垂直，需对得到的人体关节节点数据进行转换[8-9]，构造关节节点坐标系，空间坐标系转换示意图如图1所示。

(a)人体运动空间坐标系

图1(a)所示的是运动空间坐标系，O′代表坐标系O′X′Y′Z′的原点。图1(b)所示的是拍摄设备空间坐标系下人体绕Y轴旋转的俯视图，其中P(x1,z1)用于描述设备空间坐标系中左肩映射坐标点；Q(xq,zq)代表右肩映射坐标点；φ(-45°<φ<45°)用于描述针对设备XOY平面的旋转角度[10]。

因为得到的关节点数据为镜面对称数据，所以设备空间坐标系下坐标点S(x,y,z)和人体空间坐标系O′X′Y′Z′下坐标点S(x′,y′,z′)间的转换关系如式(3)

(3)

式中，O′(x0,y0,z0)为人体空间坐标系；O′XY′Z′为原点坐标；φ为相对于XOY平面的旋转角度，φ=arctan((xq-xp)/(zq-zp))，其中xq>xp。

1.3 活动轨迹描述及特征提取

通常情况下，可将人体看作局部刚性不变的链式结构，其包括很多关节点，而关节活动幅度的改变体现了人体活动的改变过程，为人体动作的分析提供有效依据[11]。从影像采集设备获取的深度图像中有20个节点的三维空间坐标[12]，如图2所示。

图2 关节点位置示意图

20个关节点在图2中详细标识，这些关节点空间坐标构成关节活动幅度轨迹，从而利用关节活动幅度轨迹描述人体动作A，也就是A=[V1,V2,…,Vi,…,VN]。其中，Vi为关节点i的运动轨迹；N为关节点数量。

关节活动幅度轨迹为该关节不同时刻位置向量组成的序列，不同动作关节活动幅度轨迹长度不同，所以把轨迹有重叠地分割成相同长度的轨迹片段[13-14]。假设关节点i在t时刻的位置为式(4)。

pi(t)=(xi(t),yi(t),zi(t))

(4)

将t时刻作为起点，长度是L的轨迹为式(5)。

Vi=(pi(t),pi(t+1),…,pi(t+L-1))

(5)

为了描述关节i的局部运动模式，求出关节i在相邻时刻的位移向量，也就是(Δpi(t),Δpi(t+1),…,Δpi(t+L-1))，其中Δpi(t)=pi(t+1)-pi(t)。

下面通过归一化位移向量序列[15]标识关节活动幅度轨迹为式(6)。

(6)

Fisher向量有很好的分类结果，本节将其作为特征，为人体运动关节活动幅度轨迹识别提供依据[16-17]。

通过高斯混合模型对运动关节活动幅度轨迹进行建模，用J={xj,1≤j≤n}描述训练集合中关节i的活动幅度轨迹集合，其可通过含c各成分的高斯混合模型获取，如式(7)。

(7)

式中，φ={λc,εc,σc}，c=1,2,…,C；λc代表高斯成分系数；εc代表最小围距；σc代表边缘区间关节点个数。

Fisher向量主要包括2部分，如式(8)、式(9)。

(8)

(9)

1.4 人体关节活动幅度轨迹识别

人体关节活动幅度轨迹识别选用DTW方法[18]，其可有效实现对不同关节活动幅度轨迹长度模板的匹配。

假设参考模板为B={B(Ψ1),B(Ψ2),…,B(ΨM)}，测试模板为U={U(Ψ1),U(Ψ2),…,U(ΨN)}，其中B(Ψm)与U(Ψn)代表其内部特征矢量。用r[U(Ψni),B(Ψmi)]描述特征矢量U(Ψni)与B(Ψmi)获取的失真量，R[U(Ψni),B(Ψmi)]可从U(Ψ1)与B(Ψ1)开始计算，经若干关节点对，直至U(Ψni)与B(Ψmi)的累积失真量，也就是式(10)。

(10)

可以看出R[U(Ψni),B(Ψmi)]相当于求解一条连接不同特征关节点对的轨迹累积失真量。

为了减少计算量，给出迭代过程如式(11)—式(13)。

R[U(Ψni),B(Ψmi)]=r[U(Ψni),B(Ψmi)]+

R[U(Ψni-1),B(Ψmi-1)]

(11)

(12)

R[U(Ψni-1),B(Ψmi-1)]=min(R[U(Ψni-1),

B(Ψmi)],R[U(Ψni-1),B(Ψmi-1)],

R[U(Ψni-1),B(Ψmi-2)])

(13)

在上述迭代的基础上，从U(Ψ1)与B(Ψ1)开始反复递归至U(ΨN)与B(ΨM)，从而获取参考模板与测试模板间的最小累积失真量。把测试模板和全部参考模板匹配，将测试模板归类于全部累积失真量最小的一类。完整算法流程图如图3所示。

图3 算法流程图

2 实验和性能比较

本节依据实验数据库，将基于光流关键点多尺度轨迹的人体动作识别(文献[6])、基于深度图像的人体运动姿态跟踪和识别算法(文献[7])作为实验对照组，验证本文提出的人体动作轨迹识别方法的有效性。实验系统建立在32G内存的3.20GHz的PC机上，采用MATLAB 9.0进行仿真实验，并通过OpenPose人体姿态识别软件生成人体关节点，关节识别示例如图4所示。

图4 OpenPose人体关节识别示例

2.1 实验数据库

实验数据库源于MPII人姿数据库(http://human-pose.mpi-inf.mpg.de/)，数据库中包含410种人类活动视频，背景含摄像机抖动，背景、尺度和光照条件存在差异。数据集示意图如图5所示。

图5 数据库图像示意图

2.2 识别结果

针对数据库图像，进行Fisher向量提取，发现大部分人体运动动作Fisher向量符合趋势如图6所示。

图6 人体运动动作Fisher向量

依据人体运动动作Fisher向量，通过DTW方法匹配，对走、跑、跳3种典型动作关节活动幅度识别，得到的轨迹变化情况，如图7所示。

观察图7可知，将所提方法轨迹识别结果与实际结果相比，所提方法识别的人体动作和实际动作趋势基本吻合，没有明显差异，说明所提方法识别结果有效。

2.3 不同方法识别率

为了进一步验证所提方法能否有效识别人体运动轨迹，将文献[6]方法和文献[7]方法作为对比进行测试，验证所提方法的识别有效性。采用所提方法、文献[6]方法和文献[7]方法识别实验数据库中随机选取的200段未分割的视频中人体运动轨迹。通过仿真平台判定，以可以准确识别为判断标准，识别率越高，识别效果越好，识别率计算公式为式(14)。

(14)

式中，tα表示准确识别视频数量；Tβ表示识别视频总数量。实验结果如表1所示。

由表1数据可知，在运动轨迹识别过程中，所提方法识别率均高于95%，而对照组方法的识别率均低于92%。因为所提方法依据人体关节活为该关节不同时刻位置向量组成序列，将轨迹有重叠地分割成相同长度的轨迹片段。通过高斯混合模型对运动关节活动幅度轨迹进行建模，提高了人体运动轨迹识别率。

(a)走步动作

表1 不同方法轨迹识别率

2.4 不同方法识别时间

为进一步验证所提方法的识别速度，基于上述实验环境，识别200段数据库中的人体运动轨迹，对比3种方法的识别时间，实验结果如图8所示。

图8 不同方法轨迹识别时间

由图8可知，在相同样本数量下，所提方法识别时间低于30 s，而对照组方法的识别时间则高于35 s。综合分析上述实验结果可以看出，采用所提方法对人体运动轨迹进行识别，识别结果可靠，准确性明显高于其它方法，识别效率较高，为人体运动轨迹识别提供有效的科学依据。

3 总结

为了为人体运动识别提供可靠依据，提出一种基于改进坐标转换的人体运动轨迹识别方法。

(1)通过背景提取与差分二级化实现人体运动区域分割，为后续处理提供基础，降低整体计算量。

(2)把人体运动空间描述转换至人体运动关节点空间坐标系，构造符合人体运动的交互动作特性。将人体右手方向看作X轴正方向，头部正上方看作Y轴正方向，面向正前方当成Z轴正方向，两肩中心当成坐标原点。对得到的人体关节节点数据进行转换，构造关节节点坐标系。

(3)从影像采集设备获取的深度图像中有20个节点的三维空间坐标，通过归一化位移向量序列标识关节活动幅度轨迹。

(4)人体关节活动幅度轨迹识别选用DTW方法，获取参考模板与测试模板间的最小累积失真量，把测试模板和全部参考模板匹配，将测试模板归类于全部累积失真量最小的一类中，实现对不同关节活动幅度轨迹长度模板的匹配。

(5)实验结果表明，所提方法识别的人体运动轨迹和实际轨迹间趋势趋近相似，说明所提方法识别结果有效。

综上可知，采用所提方法对人体运动轨迹进行识别，识别结果可靠，准确性高，有较强的可行性，能够为人体运动识别提供有效的科学依据。