基于三维人体语义骨架点的姿态匹配

王大鹏 黎 琳 韩 丽 张美超 王露晨

(辽宁师范大学计算机与信息技术学院 辽宁 大连 116081)

基于三维人体语义骨架点的姿态匹配

王大鹏 黎 琳 韩 丽 张美超 王露晨

(辽宁师范大学计算机与信息技术学院 辽宁 大连 116081)

针对三维人体模型结构复杂，处理数量大且不易提取控制点等问题，提出通过对人体形状进行特征分析描述人体结构并进行姿态识别的算法。融合测地线与空间结构等特征提取骨架点有效减少数据的计算量，并通过ICP算法进行姿态的行为识别。实验证明，该算法有效地提升了三维姿态的识别效率，并有很好的鲁棒性。

三维人体 语义骨架 姿态识别

0 引 言

近年来，人体姿态识别成了计算机视觉领域中的一个重要研究方向。人作为社会活动的主体，对人的动作行为进行识别分析具有重要的研究价值，在医疗、监控、人机交互等方面具有广阔的应用前景。对于大量的三维人体模型数据，如何去自动获取人体特征、学习并分析其动作行为[1]已是目前研究的重点和难点所在。

人体姿态行为具有高度灵活、内部结构复杂的特性，很难用单一特征进行描述或分类提取。在常用的基于统计的方法中，可从统计学的角度分析动作特征和之前的关联情况，常见的统计模型主要有：隐马尔科夫模型HMM(Hidden Markov Model)[2]、高斯混合模型GMM(Gaussian Mixture Model)等。基于时空特征的方法是将一段时间序列的动态过程进行分析，通过训练样本来获取动作的模型参数，常见的方法包括线性动态系统LDS(Linear Dynamic System)等。Natarajan等人[3]通过动态贝叶斯网络DBN(Dynamic Bayesian Network)来表示分解后的运动序列，描述复杂动作拆分后的转换关系。基于时空特征的分析法中，Wang等[4]利用局部兴趣点的密度特性，观察局部兴趣点的多尺度时空上下文特征进行行为识别。Wu等[5]结合两种分布特征类型：时空上下文和外观分布特征，利用多核学习方法有效融合这两种异构和互补分布特性进行姿态识别。基于模板的大致可分为两类，一类为模板匹配法，另一类为动态的时空规整法和动态规划法。基于模板方法将识别出的模型姿态与样本模型进行比较，算法效率较高，简单高效，可广泛地应用于日常行为姿态的识别。

大多人体姿态识别方法通常通过单视角或多视角的二维图像进行提取，描述特征主要为目标人物的颜色、轮廓、形状、深度信息等，导致一些算法容易受光照、环境、遮挡等因素的影响，具有一定的局限性。三维模型数据从本质上克服了二维信息的不利影响因素，本文在充分考虑三维人体模型特性的基础之上，提出一种新颖的人体姿态分析及识别算法，层次化提取出人体骨架结构后，基于迭代最近点算法ICP(Iterative Closest Point)进行日常姿态模板识别，有效提升了姿态识别的计算效率(如图1所示)。

图1 算法流程图

在日常行为当中人体的姿态虽然具有高度的灵活性，但都基于人体骨架所驱动而发现形变，通过获取人体基本骨架即可识别出其行为状态，而不需要观察其外部细节。姿态识别的关键问题是：所提取的特征和采用什么方法进行姿态判别。通过二维图像信息所提取的特征很难应用于复杂环境的行为系统中。因此，本文提出一种多尺度提取三维人体结构特征方法基于人体语义结构层次化提取骨架姿态模型，融合测地线、内部空间体积和结构比例特征分析提取层次结构。最后，通过ICP算法实现快速的姿态识别。算法不仅保留了了人体的结构特征，且便于理解与实现，可快速识别出简单的日常人体行为姿态。

1 人体语义骨架点

根据人体日常活动的姿态变化，定义14个关键行为关节点[6]，并将其划分为三个层次：外层关节点、内层关节点和中层关节点。人体姿态大致经由这些关键关节点的变化而组成，准确获得关键行为关节点后连接而成的骨架即可描述人体姿态，将大量复杂的三维数据简化成全局性描述的骨架信息。

首先，通过计算表面测地线距离建立人体模型的初始结构，遍历叶子节点区域，通过极值点判定得到外层关节点；结合空间体积特征，检测模型内部体积的突变区域确定内层关节点；结合已获得的关节点信息和人体测量学理论，联合定位中层关键点的预测位置。根据三层关节点连接形成的层次骨架，通过ICP算法进行姿态识别，将待测模型姿态与标注姿态进行匹配识别，实现日常行为姿态的快速检测。

2 人体姿态骨架的层次提取

(1)

其中，area为模型参考点{ai}所占模型表面的面积，geod(v,ai)表示顶点v到参考点ai的测地线距离。

图2 人体模型初始结构提取

假设以模型内部的点出发作为可视化视角，每一点的可视化区域将是保持稳定或逐渐变化的。我们首先将模型表面上的点标准化后映射到模型内部；再从映射点采样发出射线，将所有射线与模型表面交点的长度进行求和，作为该点的内部体积特征值[8]。根据人体组织架构的几何特征，内层关节点位于内部体积值显著突变区域，可以通过内部体积特征有效得到人体内层关节点，有效识别出模型内部关键区域(如图3所示)。令模型表面顶点为{K1，K2，…，Ki,…,Kn},以Ki为顶点，其负法向量ni为主轴朝模型内部发射m条射线，射线d与之间的椎角为(0≤β≤90°)，与模型表面点Ki相交的最大内切球直径可用式(2)求出：

dj=argmin{‖Dj‖/cosβj}

(2)

图3 内部映射点计算

为了获得各个顶点局部收敛性，引入权值wi对特征值进行去噪处理。其中μ是平均值，σ为标准差。对于人体模型而言，无论其姿势形态如何改变，所提取的层次结构特征应该是相对稳定的。

(3)

骨骼作为更高级别的形状特征，可以作为人体姿态内在结构的描述和转换。Wu等[9]对人体模型的测地线值进行度量研究，发现尽管人体结构形状较为复杂，人体特征在不同个体上存在细微差异，但通过研究发现各关节之间的相对比例存在稳定的数量关系，且不会受姿态等外界因素的影响。结合外层关节点和内层关节点，依据人体测量学比例理论，采用测地线比例定位中层关节点位置。由于人体结构具有对称性，测地线值最大的两个外层关节点为腿部末端点，次大距离关节点为手部点，最小的为头部点，进行语义判别后，自动求解比例从而实现中层关节点的定位提取(如图4所示)。

图4 人体层次骨架提取

3 人体姿态识别

到目前为止，已提取到人体结构关节的层次骨架信息，链接而成可获得简化后的高级骨架描述特征。针对不同层次的骨架关节，根据其生理特征采用不同的算法提取关节点位置，有效识别出人体姿态的骨架信息，将复杂的三维数据简化为提炼后的骨架进行姿态的识别。

在计算机视觉的应用研究领域，目前国内外应用最为广泛的模型匹配经典方法为迭代最近点(ICP)算法[10]。算法分为点集数据采集、确定对应点集、求解优化转换矩阵等步骤，该算法计算简单、精确度高且具有较高的稳定性，具有非常高的应用研究价值。迭代最近点算法的实质为通过最小二乘法的计算得到最优匹配变化，通过迭代优化两点集的转换矩阵，使得误差函数值最小，从而实现两模型间的精确匹配。在算法计算过程中，最耗时的步骤为计算模型间对应点，当点集数据个数很大时，计算所花费的时间会大大增加，算法执行效率因此降低。本文算法将庞大的三维面片信息简化为有限的三维骨架点集，大大缩减了对应点的搜索范围，同时保证了算法的精确度。

(4)

步骤一 读入点集Dq、Dq信息。

步骤二 求解待匹配点集的对应点对，使得‖pi-qi‖→min。

步骤五 若更新后的点集与参考点集的误差距离小于阈值，或k达到最大迭代次数(设k=10)，则算法结束，否则将更新点集带入继续进行迭代。

图5 两姿态匹配前后对比

图5中，(a)为人体站着和蹲着的姿态匹配，匹配前姿态差异较大，匹配后基本关节点均能呈现出较好的对应关系；(b)为不同站姿的匹配，匹配前差异程度较小，经过匹配两姿态能准确对应。经试验层次提取后的骨架点集经过ICP算法匹配后，算法能有效匹配姿态各异的骨架模型并用于姿态匹配识别中。本文方法将复杂的三维模型简化为有限的骨架点集信息，对提取骨架的精度要求较高，对骨架信息的识别过程能很好地将不同姿态的模型进行匹配，且算法具有很好的精度和鲁棒性，适用于各种人体姿态的匹配。

4 实验结果分析

为了验证本文算法姿态识别的有效性，在Intel(R) Xeon(R) CPU的Windows 7操作系统上，基于Visual C++和Matlab进行三维人体姿态识别，人体库为150个不同姿态的三维人体模型。

本文算法在姿态识别的精度上和速度上均有一定的优势，且当三维人体模型面片数量越大时，通过人体层次提取后再进行姿态识别，算法执行效率越占优势。本文方法将复杂的三维模型简化为有限的骨架点集信息，对提取骨架的精度要求较高，对骨架信息的识别过程能很好地将不同姿态的模型进行匹配，且算法具有很好的执行效率，适用于各种人体姿态的识别。

在三维人体模型库中，将人体日常行为动作划分为三类：行走，站立，蹲坐，组成动作集合A={行走，站立，蹲坐}，将不同人体模型与标注姿态进行匹配，可发现动作近似的模型姿态差异度值较小，而在走的姿态中，不同人因行为习惯不同，存在一定的误差，但差异值变化较为稳定，如表1所示。

表1 人体姿态差异度值比较

为进一步验证不同姿态的骨架与标注姿态识别的有效性，将待测姿态骨架点集与样本库中姿态进行一一匹配，选取日常姿态中的六个最佳标准姿态建立样本库，计算待测姿态与样本库中姿态平均差异值，我们定义匹配识别函数S为：

(5)

匹配识别函数S中，E表示待测姿态i与库中标准姿态j姿态识别后骨架对应点间的平均欧氏距离，Zn、Dn、Xn分别表示姿态样本库中标准姿态站立、蹲坐、行走模型集合。将人体模型库中模型与标准样本姿态库中模型进行识别，实验结果如表2所示，并与基于MRG骨架树的检索方法进行比较。本文方法所提取的骨架点包含语义信息，并且能较为高效准确地识别出日常的基本姿态，能有效识别人体的刚性变换，但是对于行走和站立的静态模型，有些姿态较为相似，容易出现识别错误的情况。方法只适用于简单标准姿态的行为识别，但对复杂行为姿态不作语义识别判定。文献[11]方法基于MRG原理提取骨架，骨架节点具有拓扑属性和几何形状特征，但缺乏语义和姿态的行为属性判定，在结构提取前需要对模型进行统一的分区，同一模型不同结构分区的拓扑骨架相差较大，较为适用于相同分区的统一结构。

表2 实验结果比较

5 结 语

本文利用测地线距离、内部空间体积特征分析人体模型后，结合人体测量学理论层次化提取人体骨架信息来进行姿态识别。本文方法通过简单的骨架信息点集来有效表示复杂的人体三维模型，这种层次化的姿态识别方法，有效简化了人体姿态识别过程，提高了算法执行时间，在计算大量三维数据时具有明显优势，并且便于拓展应用，能与步态识别、人体检测等方向进行结合，有很强的延伸实用性。算法虽然能高效解决人体姿态识别问题，但是通过骨架信息识别姿态仍具有一定的不确定性，目前样本库中姿态只能识别出较为简单的日常行为动作。日后工作会对复杂姿态进行进一步研究，实现高层次的人体姿态识别与应用。

[1] Aggarwal J K, Ryoo M S. Human Activity Analysis: A Review[J]. ACM Computer Surveys, 2011, 43(3):194-4218.

[2] Xia L, Chen C C, Aggarwal J K. View invariant human action recognition using histograms of 3D joints[C]//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2012:20-427.

[3] Natarajan P, Singh V K, Nevatia R. Learning 3D action models from a few 2D videos for view invariant action recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010:20006-42013.

[4] Wang J, Chen Z, Wu Y. Action recognition with multiscale spatio-temporal contexts[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011:3185-43192 .

[5] Wu X, Xu D, Duan L, et al. Action recognition using context and appearance distribution features[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011:489-4496.

[6] 陈启华, 潘翔, 张三元. 语义知识约束的三维人体特征点检测和分割[J]. 计算机辅助设计与图形学学报, 2011, 23(6):1061-41068.

[7] 韩丽, 楚秉智, 高小山. 高斯曲率约束的MRG骨架提取优化算法[J]. 计算机辅助设计与图形学学报, 2009, 21(9):1227-41231.

[8] Liu R, Zhang H, Shamir A, et al. A part-aware surface metric for shape analysis[J]. Computer Graphics Forum, 2009, 28(2) 397-4406.

[9] Wu W, Hao A, Zhao Y. Geodesic model of human body[C]//Proceedings of the 2010 International Conference on Cyberworlds. Los Alamitos, CA: IEEE Computer Society Press, 2010:391-4397.

[10] 戴静兰, 陈志杨, 叶修梓. ICP算法在点云配准中的应用[J]. 中国图象图形学报, 2007, 12(3):517-4521.

[11] 韩丽, 张黎娜, 楚秉智. 一种MRG骨架树的三维模型检索方法[J]. 计算机工程与应用, 2011, 47(31):167-4170.

ATTITUDE MATCHING BASED ON THE THREE-DIMENSIONAL HUMAN BODY SEMANTIC SKELETON POINTS

Wang Dapeng Li Lin Han Li Zhang Meichao Wang Luchen

(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116081，Liaoning,China)

Aiming at several problems such as the complex structure, large processing quantity and difficult extraction of control points of three-dimensional human body models, an algorithm of describing body structure and doing pose recognition by analyzing characteristics of shape of human body is proposed. It fused the characteristics of geodesic and spatial structure to extract skeleton points which reduce the calculation effectively and make behavior recognition of attitude by using ICP algorithm. Experiments proved that using this algorithm could recognize the three-dimensional pose more effectively with good robustness.

Three-dimensional human body Semantic skeleton Pose recognition

2015-05-23。辽宁省高等学校优秀人才支持项目(LJQ 2013110)。王大鹏，讲师，主研领域：计算机图形学。黎琳，硕士生。韩丽，教授。张美超，硕士生。王露晨，硕士生。

TP3

A

10.3969/j.issn.1000-386x.2017.01.031