基于层次聚类多任务学习的人类行为识别

李云红，郑婷婷，王震亚，王延年，惠史科

(西安工程大学电子信息学院，陕西 西安 710048)

基于层次聚类多任务学习的人类行为识别

李云红，郑婷婷，王震亚，王延年，惠史科

(西安工程大学电子信息学院，陕西 西安710048)

为了实现对人类行为的有效识别，提出了一种基于层次聚类多任务学习(HC-MTL)的人类行为识别方法。采用正则化最小二乘法制定目标函数，并对模型参数和分组信息这2个潜在的变量进行联合优化。使用聚类范数正则化方式进行多任务学习，并求解任务相关性，进而对人类行为进行有效识别。该方法打破了所有行为是独立的个人学习的假设，通过任务聚类的方式建立起多任务之间的关系，共享同类任务之间的相关信息，提高了人类行为识别的准确度。试验结果表明，与聚类多任务学习方法(CMTL)和鲁棒多任务学习方法(RMTL)相比，HC-MTL方法可以发现任务的潜在相关性，有助于诱导群体多任务学习。通过同一类任务之间的共享信息，减少了误差，并提高了行为识别的精确度。

行为识别； 多任务学习； 任务相关性； 层次聚类； 任务分组

0 引言

人类行为识别[1-4]是视频监控、多媒体内容分析和数字娱乐等多种应用的基本构件。作为计算机视觉和机器学习中最活跃的研究领域之一，已经有多种方法用于行为识别。

传统的行为识别方法[5]是在单任务学习(single-tasklearning，STL)模式下工作，忽略动作之间存在的相关性，不能区分具有类似运动模式的行为(如步行、跑步和慢跑)。近期的研究采用多任务学习[6](multi-tasklearning，MTL)进行人类行为的识别，大大提高了人类行为识别的准确度。然而，在实际应用中，多个学习任务之间的关系是非常复杂的，不同的学习任务往往会由多个相关的任务聚类组成。在处理这种多任务的情况时，所有的任务共同学习可能对行为的分组产生负面影响，因而不适用于许多复杂的应用。

针对以上问题，提出了一种用于联合动作相关性发现的层次聚类多任务学习(hierarchyclusteringmulti-tasklearning，HC-MTL)方法。该方法采用2个潜在变量，即模型参数和分组信息，来制定目标函数，用于联合优化，并将其分解为2个子任务。①多任务学习：用最小二乘法对模型进行学习并制定目标函数，通过“迹范数”和“组稀疏”的形式发现任务的相关性。 ②任务相关性发现：通过模型参数，利用稀疏表示任务相关性度量，然后将获得的行为分组信息反馈给较早的子任务，以进一步诱导分组多任务学习。本文方法可以在各个迭代中实现模型分组和识别(相关集和无关集)，通过迭代交替求得最优解，实现对人类行为的识别。

1 层次聚类多任务学习方法

目前，关于人类行为的识别，国内外的研究人员已经取得了一些成果。针对单任务目标域的学习，利用局部特征，可以捕获动作的显著特点，识别人类的行为。STL、MTL、HC-MTL的系统框图对比如图1所示。

图1 系统框图对比示意图

多任务学习利用类别之间的共享信息，在不同动作类别之间传递共同知识，并建立行为分类器，进而对人类的行为进行识别。

Kang等[7]利用聚类多任务学习(clustering multi-task learning,CMTL)进行行为识别，假设任务的相关性仅存在于聚类模型中，引入1个聚类变量，利用聚类正则化的方式建立任务之间的关系，以区分不同的行为。Zhou等[8]提出了鲁棒多任务学习(robust multi-task learning,RMTL)，即假设大部分任务都是相关的，探索模型的共性(无论是结构共享还是参数共享)，得出结论：多任务学习可通过任务之间的相互学习来提升整个学习任务的泛化性能。

然而，上述模型均存在假设，在实际应用中往往并不成立。根据任务之间的潜在相关性，得出行为分组信息，以诱导相关行为的建模，同时避免不相关任务的负面影响。为了保持单个动作(如步行和拳击之间的不同运动区域)的特征以及多个动作的共享信息(例如，步行和跑步之间的类似运动模式)，通过低秩矩阵和组稀疏设置正则化[9]目标函数，挖掘相关任务之间的共享信息，提升对行为识别的准确性。

2 层次聚类多任务学习算法及实现

2.1求解目标函数

在工作中，有2个紧密相关的子任务要完成。

②任务相关性发现。wi表示第i个任务，其目标参数矩阵可以表示为W=[w1,w2,…,wm]∈Rd×m。其目的是发现分组信息T包含的潜在任务的相关性信息。例如，所提出的方法是学习相关动作(如握手、拍手、拳击可被视为考虑显着肢体的相关动作和手动作)，同时识别那些非相关动作(如慢跑、步行、跑步可视被为前述肢体动作的非相关动作)。因此，目标函数可以表示为：

W,T，i∈Nm}+ρ‖L‖*+β‖S‖1,2

(1)

①主要任务。

(2)

②正则化ρ‖L‖*+β‖S‖。

第一项中，矩阵L表示低秩矩阵正则化的模型。第二项中，S表示列方向的组稀疏矩阵。ρ和β是平衡这两项的权重。设计关于模型参数集W和分组信息T的正则化项，用于行为的建模和分组(相关组和不相关组)。对于人类动作识别，潜在的动作模型可以位于具有低秩结构的假设空间中，其中可以使用一组共享因子来耦合多个动作。例如，拳击、挥手和拍手可以共享一些基本动作单元，诸如手臂伸展、手臂拉回和手臂水平移动。这些类似的动作单元将诱发低秩结构的共享特征子空间。然而，不同的行为也可能具有显著的差异。例如，放下和拾取具有类似的动作单元(保持手臂、手垂直移动的动作)，但是动作单元之间的不同过渡可以引起不同的运动特性。采用稀疏矩阵正则化，即可以通过低秩结构来耦合相关任务。具体来说，将W分解为2个分量，低秩矩阵L=[l1,…,lm]∈Rd×m; 列方向的组稀疏矩阵S=[s1,…,sm]∈Rd×m。该模型第i个任务的参数可以表示为:

wi=li+sili∈Rd,si∈Rd,i∈Nm

(3)

式中：li和si分别来自上述低秩结构和组稀疏结构。

如果第i个任务来自相关组，则期望si是零向量，因此wi保留由指定的低秩结构约束其任务相关性。如果第i个任务来自不相关组，则期望si为非零，并且期望li是非零wi和非零si的和，被分类到不相关组中。

因此，所有组的正则化可以表示为:

(4)

目标函数可以表示为：

ρ‖LTt‖*+β‖STt‖1,2]

(5)

式(5)中的目标函数表示所提出的HC-MTL将实现组群模型，潜在分组信息T由实际组数而不是任务数直接决定。

假设任务分组信息T是已知的，可以实现联合学习模型中各个任务组的多任务学习。如果所有任务的模型均是已知的，即可利用参数进行任务分组。因此，为了处理这个具有挑战性的问题，建议将这个联合任务分解为多任务学习和任务相关性发现这2个单独的步骤。通过迭代交替，可以得到最优解。

2.2多任务学习及任务的相关性分析

(6)

总而言之，在每个级别中，利用多任务学习来进行模型学习，然后将实现的参数模型反馈到任务相关性的模块中进行任务分组；保留相关的任务集模型，并在下一级处理其他优化，这将反馈到模型更新的多任务学习模块。因此，下一次迭代的Th的任务数量将减少，直到停止。算法流程如图2所示。

图2 算法流程图

3 样本选择与试验结果

为了证明所提出的方法的有效性，对数据集的选择及评估如下所示。

3.1行为数据集

采用的数据集为SARCOS数据集[8]。该数据集是由7个自由度的仿生机器人生成的回归预测数据集，共包含7个力矩，有48933个数据任务。每个数据任务由21维的向量组成，分别表示7个关节位置信息、7个关节速度信息和7个关节加速度信息。

3.2试验结果及分析

在该试验中，对数据集进行评估，因为这些现实数据集中的行动类别太复杂，因此，所提出的方法通过预期发现任务相关性来提高性能。

从任务中随机选择50、100和150的样本作为训练集，并将其余样本作为测试集。对HC-MTL、CMTL和RMTL进行比较，使用归一化的均方误差(normalizedmeansquarederror,nMSE)和平均均方误差(averagedmeanssquarederror,aMSE)作为评价标准。3种方法的性能对比如表1所示。

表1 性能对比

表1表明，通过不同多任务学习方法的比较，使用nMSE和aMSE作为误差指标。当训练样本为50时，HC-MTL方法比CMTL和RMTL方法的nMSE分别减小0.0074%和0.0068%，aMSE减小了0.0311% 和0.0137%。当训练样本为100时，HC-MTL方法比CMTL和RMTL方法的nMSE分别减小0.0186%和0.0074%，aMSE减小了0.0247%和0.0132%。当训练样本为150时，HC-MTL方法比CMTL和RMTL方法的nMSE分别减小0.0125%和0.0069%，aMSE减小了0.0194%和0.0113%。HC-MTL多任务学习方法得到了更低的错误率和更小的方差，在nMSE和aMSE方面均明显优于其他方法，更加有益于挖掘任务之间的相关性，进而对人类行为进行识别。

4 结束语

本文提出了一种联合人类行为识别的层次聚类多任务学习方法。与大多数的多任务学习方法不同，使用低秩结构和组稀疏正则化的约束方式，使目标任务避免了因非相关任务带来的负面影响。该方法对人类行为进行聚类分析，挖掘任务之间的潜在相关性，使同一类任务共享相关信息，可以实现最佳行为模型的分组，并识别相似行为。试验结果表明，层次聚类多任务学习方法在人类行为识别中的错误率和方差均小于其他方法。该方法提高了行为识别的精确度。

[1] 谷学静,高贝贝,朱朝月.基于人工情感的Q-学习算法在机器人行为决策中的应用[J].自动化与仪表,2015,30(7):13-16.

[2] 张爱辉,孙克辉.PCRM的改进及其在人体行为识别中的应用[J].计算机工程与设计,2016,37(9):2515-2519.

[3] 瞿涛,邓德祥,刘慧,等.多层独立子空间分析时空特征的人体行为识别方法[J].武汉大学学报(信息科学版),2016,41(4):468-474.

[4] 王红梅,任晓芳.基于深度图序列和时空占用模式的人类行为识别研究[J].科学技术与工程,2014,14(24):102-107.

[5] 陆涛涛，姚明海,瞿心昱,等.基于视觉的人体运动分析综述[J].计算机系统应用,2010，20(2):245-253.

[6] 朱响斌,邱慧玲.基于智能手机传感器数据的人类行为识别研究[J].计算机工程与应用,2016,52(23):1-5.

[7] 浦剑.多任务学习算法研究[D].上海：复旦大学,2013.

[8] 胡正平,高红霄,赵淑欢.基于低秩分解的联合动态稀疏表示多观测样本分类算法[J].电子学报,2015,43(3):440-446.

[9] 刘建伟,崔立鹏,刘泽宇,等.正则化稀疏模型[J].计算机学报,2015,38(7):1307-1325.

HumanBehaviorRecognitionBasedonHierarchicalClusteringMulti-TaskLearning

LI Yunhong，ZHENG Tingting，WANG Zhenya，WANG Yannian，HUI Shike

(School of Electronic Information,Xi’an Polytechnic University,Xi’an710048,China)

In order to realize the effective recognition of human behavior,the method based on hierarchical clustering multi-task learning(HC-MTL) is proposed.Using the regularized least square method,the objective function is formulated,and the two potential variables of model parameter and grouping information are jointly optimized.The multi-task learning is conducted and the task relevance is solved with the clustering norm regularization approach,then the human behavior is effectively recognized.The method breaks the hypothesis,i.e.,all the behaviors are independent individual learning,and through the way of task clustering,the relationship between multi-task and the relevant information among similar sharing tasks are established,thus the accuracy of human behavior recognition is enhanced.The test results show that compared with clustered multi-task learning method(CMTL) and robust multitasking learning method(RMTL),the HC-MTL method can discover the potential relevance of the tasks and help to induce the group multi-task learning,through sharing information among the same types of tasks,the error is reduced and the accuracy of behavior recognition is improved.

Behavior recognition； Multi-task learning(MTL)； Task correlation； Hierarchical clustering； Task grouping

TH701；TP391

10.16086/j.cnki.issn1000-0380.201710019

修改稿收到日期:2017-05-17

陕西省科技工业攻关基金资助项目(2016GY-047)、陕西省科技厅自然科学基础研究重点基金资助项目(2016JZ026)、大学生创新创业计划基金资助项目(2016052)

李云红(1974—)，女，博士，教授，主要从事红外热像技术、数字图像处理、信号与信息处理等方向的研究。

E-mail：hitliyunhong@163.com。

郑婷婷(通信作者)，女，在读硕士研究生，主要从事机器学习方向的研究。E-mail2550249497@qq.com。