一种优化动作特征表示的动作姿态评测模型

王 婧,谷 林

(西安工程大学 计算机科学学院,陕西 西安 710048)

0 引 言

计算机图像处理技术的发展对动作识别的精度提出了更高要求。动作识别技术已广泛应用在康复训练、智能家居和体感游戏等多个方面。随着计算机视觉的高速发展,越来越多的学者致力于人体动作识别的相关研究[1-7]。对于动作识别,人体动作特征的提取和表示是前提和关键,也是难点和重点。

基于人体骨骼位置信息的动作特征是较为成熟的动作特征表示方法之一[8-10], 相较于传统的提取视频图像特征的方法[11], 基于人体骨骼位置信息的动作特征表示方法,具有更好地观测角度无关性和复杂背景无关性。 基于人体骨骼位置信息的动作特征包括人体动作特征算子、 统计直方图算子[12]、协方差算子[13]、旋转矩阵、特征矩阵、特征向量、三维坐标矩阵均值、协方差矩阵和骨骼点运动轨迹等。在此基础上,冉宪宇等[14]采用刚体间的相对位置矩阵作为动作特征描述人体姿态。Peter Blank 采用特征点的运动轨迹作为动作特征,以运动轨迹的顺序和类型为依据,将动作划分为不同类型。该方法受测试者身高等因素的影响较大,识别精度不高。 刘沿等[15]采用3D骨架片段中的坐标均值和协方差矩阵作为动作特征,进行动作识别。 该动作识别方法受动作类之间相似性的干扰较大,导致动作的识别效果较差。

针对上述问题,本文在Kinect获取的人体骨骼点三维位置信息基础上[16],提出将动作整体特征与动作局部特征表示方法融合,采用传统人体姿态矩阵[17-19],作为动作整体特征的表示[20],并结合人体骨骼点的旋转量,作为动作局部特征的表示。由于人体结构的特殊性,各肢体的自由度不同,本方法仅采用部分人体骨骼点的旋转量,作为动作局部特征的表示,此方法能够较为有效地避免动作类之间相似度的干扰,达到提高动作识别准确度的目的。

本文通过神经网络具有的非线性逼近函数和存储记忆能力,对运动特征集合进行学习训练,得到稳定收敛的网络模型。并针对BP神经网络,采用5种不同的训练函数对网络进行优化,通过分析对比网络的训练效果,选取一种训练函数优化网络模型。依据网络模型输出的动作符合度,实现对动作姿态的评测。

1 动作特征表示

1.1 动作整体特征表示

考虑到系统的准确性,提取的动作特征必须能够表示运动动作的本质特征。人体关节的坐标、关节的瞬时三维矢量速度等运动参数对无关因素比较敏感,会导致网络模型振荡收敛甚至无法收敛,不能表示动作的本质特征,因此不适合作为动作特征的表示,因此本文采用传统的人体姿态矩阵表示动作的整体特征。定义一个骨骼有M个节点,人体姿势可以表示为

RF=(Ri,j)M×M

(1)

式中:Ri,j表示的是第i个骨骼点到第j个骨骼点的相对位置关系,可以通过计算第i个骨骼点指向第j个骨骼点的单位向量得到两骨骼点间的相对位置关系;矩阵RF表示在第F帧时,一个动作之间的所有骨骼点的相对位置关系组成的矩阵。

1.2 动作局部特征表示

Kinect的人体骨骼信息不仅包含人体的身体参数特征,还包含了人体结构的拓扑信息,如图1所示。

(a) 人体骨骼点分布图

(b) 人体骨骼点拓扑关系图图1 人体拓扑信息图Fig.1 Topological information of body

Kinect采集到的人体骨骼信息,包含人体25个骨骼点在的三维空间位置信息和以SpineBase为根节点的拓扑结构信息。三维空间位置信息如图2(a)所示,坐标的数据格式为(floatx, floaty,floatz),四元数的数据格式为(floatx, floaty, floatz,floatw),其中x,y,z为骨骼点的横坐标、纵坐标和竖坐标,w为骨骼点的欧拉角。

为更好地描述动作中肢体的自旋转情况,本文在传统人体姿态矩阵作为特征表示的基础上,提出结合骨骼点的旋转量作为动作局部特征的表示,此动作特征表示方法能够更加详细地描述动作的本质特征,减少动作类间相似性对识别精度的干扰。本文通过计算父骨骼和子骨骼上的笛卡尔坐标系的旋转量表示肢体的自旋转情况,骨骼点的笛卡尔坐标系旋转如图2所示。

除末端骨骼点无法计算旋转量之外,其余20个骨骼点均可计算旋转量。图2(a)表示骨骼坐标的初始坐标系分布,图2(b)表示左肘骨骼点逆时针旋转180°后的坐标系分布。通过计算左肘骨骼点相对于其父骨骼点(左肩骨骼点)坐标系的旋转角度,记为左肘骨骼点的旋转量。

以SpineBase作为原点,以竖直向上为Y轴,Z轴指向传感器,X轴位于人左手方向,三维空间中优化的人体动作姿态可被参数化为

SF=[RF,GiF]

(2)

式中:RF表示各个关节点之间的相对位置关系构成的矩阵;GiF表示第i个骨骼点在第F帧时的旋转量。

(a) 肘关节初始位置 (b)肘关节点旋转180°图2 肘关节笛卡尔坐标系的旋转Fig.2 Rotation of cartesian product coordinates of elbow

2 动作姿态评测模型

2.1 BP神经网络

本文采用BP神经网络建立网络模型输出的动作符合度,实现对动作姿态的评测,BP神经网络模型结构如图3所示。BP神经网络的训练过程主要包括正向传播训练数据和逆向传播进行网络参数的修正2个过程。BP神经网络通过多次训练,对网络参数中的权值和阈值进行更新校正。通过训练集数据,正向传播逐层训练权值和阈值得到评测输出。若输出的误差超出预设误差,则通过反向传播的方式逐层对权值和阈值进行更新。重复上述过程,直至输出的误差达到预设误差,神经网络模型训练结束。

图3 BP神经网络模型Fig.3 BP neural network model

通过实验不断改变网络参数,包括权值级别、步长系数、稳定系数、误差阈值、最大迭代次数和隐藏层节点数等,以提高网络的收敛性能,达到最佳的学习训练效果。

2.2 建立网络模型

本文在提出的优化的动作特征表示方法基础上,利用神经网络具有的非线性逼近函数和存储记忆能力,对运动特征集合在Matlab中进行学习训练[21],得到稳定收敛的网络模型,对动作特征集合进行处理,实现计算动作的符合度,以评测动作姿态的功能。

实验采用GAMING DATASETS-G3D数据集[22]进行测试,该游戏动作数据集包含10个测试者的20个动作。实验分别以矩阵RF和SF的特征向量作为神经网络的输入,神经网络N1的输入为RF的特征向量,神经网络N2的输入为SF的特征向量。神经网络N1和N2的输出为动作符合度,建立网络模型,对比分析2个网络模型的准确率。

对输入的样本数据进行归一化处理。采用的归一化算法为

(3)

式中:输入量为x,xmin是输入数据中的最小值,xmax是输入数据中的最大值。ymin=0,对应归一化前x的最小值xmin,ymax=1对应归一化前x的最大值xmax。归一化后的值域为[0,1],将结果进行反归一化处理,还原数据的初始值。

在网络训练过程中,通过反复实验确定BP神经网络最佳的网络参数。当采取动态改变学习率的策略,设定网络模型的学习效率0.01,学习率增长比1.05,学习率下降比0.65,初始权值变化为0.07,权值变化增加量1.2,权值变化最小量0.5,权值变化最大值为50,动量因子0.945时网络的性能达到最佳。设置最大迭代次数为5,当训练过程中的迭代次数超过5次则认为网络学习失败,停止学习。设置误差阈值为0.000 1,训练结果的均方误差低于0.000 1时结束学习。隐藏层的节点数为

(4)

式中:n为隐藏层节点数;ni为输入节点数;n0为输出节点数,a为1～10的常数。

选择训练函数和传输函数,通过学习函数确定网络中各层权值和阈值的梯度,训练过程中通过训练函数更新校正权值和阈值。传输函数采用S型函数,函数的值域为[0,1]。通过反复实验测试不同训练函数对网络模型的精度影响,实验结果如表1和表2所示。

表1 不同训练函数对网络模型N1精度的影响Table 1 The effect of different training functions on the accuracy of N1

表2 不同训练函数对网络模型N2精度的影响Table 2 The effect of different training functions on the accuracy of N2

从实验结果看出,LM算法在训练误差和训练时间方面具有较好的性能,且优化后收敛性能较好。因此选取LM算法作为N1和N2的优化函数进行训练学习。

3 实验及分析

本实验的准确性能指标是神经网络模型预测的准确率。图4是N1和N2网络性能的对比情况。

(a) N1的网络性能参数

(b) N2的网络性能参数图4 网络模型N1和N2网络性能的对比Fig.4 Comparison of network performance between N1 and N2

图5是网络模型N1和N2准确率的对比情况。从实验结果可知,运行时间均为4 s,说明2种动作特征表示方法对效率的优化不明显。网络模型N1的准确率为90.981%,网络模型N2的准确率为95.624%,网络模型N2输出的动作符合度准确率更高。说明本文提出优化的动作特征表示方法能够使网络快速稳定收敛,并得到较为准确的输出结果。因此采用优化动作表示方法的网络模型输出动作符合度,评测动作姿态的方法准确率更高。

(a) N1的准确率

(b) N2的准确率图5 网络模型N1和N2准确率对比Fig.5 Comparison of network precision between N1 and N2

4 结 语

传统动作特征表示方法,在很大程度上限制了对动作局部特征的描述,降低了动作识别准确率。本文给出一种采用将动作整体特征表示方法与动作局部特征表示方法融合优化的动作特征表示方法,用于动作符合度的预测。通过实验表明,相较于传统的动作特征表示方法在识别精度上提高了4.643%,能够有效提高动作识别的精度,从而证明此动作特征表示在动作姿态评测的有效性和可行性。此方法可以应用到动作训练辅助,如乒乓球削球动作的识别,也可以应用到动作预测等领域。此动作表示方法详细描述了动作的局部特征,有利于对动作细节的识别。