图卷积网络的行为识别技术在空手道技战术分析中的应用

郭建平，李 希，刘俊明，徐大宏，谢 健

(湖南师范大学 a.体育学院，b.信息科学与工程学院，中国 长沙 410081)

空手道组手运动与跆拳道、散打等运动项目同属于格斗对抗类项目，该项目在世界范围内特别是在日本及欧洲等国家和地区经过长期的发展，已达到很高的水平。2016年8月3日，国际奥委会宣布空手道成为东京奥运会的正式比赛项目，我国空手道队正面临世界空手道强国的挑战。因此，通过对国内外优秀空手道运动员技战术的跟踪分析与研究，发现空手道组手比赛的技战术运用特点，探索空手道竞赛的制胜规律，可以为运动员的训练及比赛提供科学指导。

技战术分析是体育竞技比赛中十分重要的一个环节。传统的技战术分析，通过观看训练及比赛视频，分析运动员的技术动作特点，比赛过程中的移动习惯等信息。在训练中利用这些信息提升运动员的训练效率与效果。在比赛中则可利用这些信息，针对对手的技术特点和运动习惯制定相应的战术。但是，传统技战术分析方法是通过人工观看大量训练及比赛视频的方式获取的，存在着人力成本高、数据丢失严重、延时长、精度低等问题，从而也制约了技战术情报分析工作的效率。

我们建立一种新的图卷积模型，以运动员关节点信息作为输入数据，实现对空手道运动员的技术动作识别，在此基础上可以完成技战术分析中的运动员动作频度统计及其轨迹跟踪的自动智能分析。在传统方法中融入人工智能技术，实现高效的技战术分析方法，从而解决传统技战术分析中的一些问题，使后续的训练以及赛前的准备及技战术运用更加精准有效。

1 文献回顾

对体育训练和比赛中的技战术进行分析和研究是体育科研工作的重要内容，近年来越拉越多的专家学者对空手道比赛和训练的技战术作了研究。周永盛等人[1]通过对空手道竞技方式的演变进行研究与总结，得出空手道竞技方式的演化体现现代竞技体育的趋势；文献[2]中提出空手道已成为我国大学生生活的组成部分，通过采样上海理工大学和湖州师范学院，采用问卷调查法及文献资料法等方法对空手道训练后大学生的认知情况进行研究，有利于更好地推广空手道项目；还有学者运用对比分析的研究方法对空手道运动进行分析，如文献[3]中赵桃杰等使用对比法及逻辑分析法等方法，参考跆拳道、散打、空手道和拳击等项目的无氧供能能力测定，从空手道无氧耐力训练的重要性方面着手，阐述了空手道运动中组手和型的训练对机体无氧糖酵解供能能力的影响；文献[4]中将2017年全国竞技空手道锦标赛作为研究对象，使用文献资料法及数理统计法等研究方法，得出在此比赛中参赛选手相比于往届技术水平更高；任洁[5]为研究空手道中运动损伤发生的规律，将河南省空手道运动员作为样本，对运动员的运动损伤状况进行研究得出空手道运动员损伤率、损伤部位、损伤时间以及损伤的原因；文献[6]通过使用逻辑分析法、数理统计法及专家访谈法等研究方法，将2016年全国空手道锦标赛男子组手运动员比赛视频作为研究对象，发现全国男子组手运动员常用技术以及总结出战术使用的规律和特点；谢劲文等人[7]使用文献综述等方法梳理了日本空手道入奥的经历，总结了日本空手道备奥的模式与体系，分析运动员的技术战况，为中国空手道奥运备战提供依据与指导；冯亚杰等[8]对2018年全国空手道冠军总决赛采用文献资料法等研究方法，分析了空手道项目目前在国内的竞争格局，提出了理论性的建议，为我国2020年东京奥运会上的空手道项目助力。

随着摄像头技术的不断发展，训练行为分类模型的数据集对数据的处理也更加精准。视频中人体骨架信息与常规视频数据相比，背景的干扰小。随着骨架数据的出现，多位学者试着将图卷积神经网络(Graph Convolutional Network，GCN)应用到基于人体骨骼的行为分类中，GCN与CNN性质相同，都是特征提取器，但是CNN处理的是有规则的网格结构，而GCN可以将人体骨架的拓扑图作为输入。2018年以来，基于GCN的研究取得了不错的进展。文献[9]提出新的动态骨架模型即时空图卷积网络(Spatial-Temporal Graph Convolutional Networks，ST-GCN),能够自动从骨架数据中学习到空间和时间的模式；文献[10]提出一种新的双流自适应图卷积网络(Two-stream Adaptive Graph Convolutional Network，2s-AGCN)用于基于骨架的行为分类。文献[11]提出了行为-结构图卷积网络(Actional-Structural Graph Convolution Network，AS-GCN)，其中引入了一个编码-解码结构来获取特定行为潜在的依赖性，即行为链接，使用现存在的骨架图来表征高阶依赖性，即结构链接，通过叠加行为-结构图卷积和时间卷积来学习行为中空间和时间特征；Si等[12]提出了一种新的注意增强图卷积LSTM(Attention Enhanced Graph Convolutional LSTM Network，AGC-LSTM)，其不仅能够捕获空间和时间的显著特征，而且能够探索时空域的共现关系。目前的方法没有充分利用骨架图的拓扑结构，仅是对输入样本的骨架节点或者邻接矩阵进行人工的设置和固定，未能解决这一问题，文献[13]设计一个由节点推理网络(Joints Relation Inference Network，JRIN)和骨架图卷积网络(Skeleton Graph Convolutional Network，SGCN)组成的端到端的体系结构，JRIN可以全局的聚合每个关节的时空特征，然后推断每个关节的最优关系，SGCN使用最优矩阵进行行为识别。

2 图卷积模型

图卷积模型大量应用于基于骨架关节点的序列数据中，其中构建图模型是图卷积算法中的关键环节。现有的图卷积模型如ST-GCN，AS-GCN存在着图结构单一、关节点之间关联性不强、对于不同行为区分度不够等问题。本文设计使用Delaunay三角剖分方法来构建图模型，从而可以获得更丰富的特征信息，提高了行为的区分度。

2.1 基于骨架节点的图的构建

2.1.1 Delaunay算法原理 在Delaunay三角剖分过程中，对每一个插入点集中的点，都需要经过局部优化处理，对插入的点进行判断，以便确定局部剖分图。

局部优化处理具体实现过程为：

(1)相邻两个三角形组成一个四边形；

(2)对两个三角形做外接圆，查看点集中其它点是否在外接圆内；

(3)若点集中的某点在任一三角形的外接圆内，对角线进行对调，完成局部优化处理。如图1所示。

图中点A，B，C和D表示点集中的四个点，三角形ABD与三角形BCD是相邻的两个三角形，两个三角形形成一个四边形ABCD，点A在三角形BCD的外接圆内，使用对角线对调规则，将四边形ABCD中的对角线BD换成对角线AC，使外接圆内不包含点集中任意一点。

2.1.2 人体骨架关节点序列图模型 把从视频序列中得到的人体骨架关键点时空序列，当做三维点阵实施Delaunay立体三角剖分，将每个三角面片的3个顶点作为邻接点而构成图。因相邻三角面片具有公共边，因此依据每个三角面片构建的子图都具有公共顶点，从而形成了一个稳定的图结构。能够更好的描述一个关键点序列的立体空间结构信息，提高了行为识别模型的辨识度。

构建的结果图模型如图2所示。

图1 局部优化处理过程Fig. 1 Locally optimized the process

图2 空手道比赛视频中生成的Delaunay三角剖分图Fig. 2 Delaunay triangulation generated from karate competition video

2.2 行为识别算法

图3 时空图结构示意图 Fig. 3 A structural sketch of the space-time diagram

基于图卷积行为识别算法中的拓扑图是一个时空图。其中的空间图是利用每一帧图像中的关节节点，通过Delaunay三角剖分三角面片的顶点连接得到的，即Es={vtivtj|(i，j)∈H}，如图3(a)所示。时间图是通过把不同帧中同一个关节点连接生成的，即El={vtiv(t+1)i}，如图3(b)中黄色线条所表示的边。

在深度网络中，通过对该拓扑图结构进行图卷积得到行为的特征，并使用标准的SoftMax层对得到的高层特征进行分类，如图4所示。图卷积的网络结构base bone主要有9个时空块组成，如图5所示。

图5中9个块的前3层输出的通道数为64，接下来输出的通道数为128，剩下的3层输出的通道数为256。

对于每一层，又由对应的空间图卷积和时间卷积和其它一些操作组成，如RELU和归一化操作，如图6所示。

图4 网络模型结构图Fig. 4 Network model structure diagram

dout=64 dout=128 dout=256stride=1，1，1 stride=2，1，1 stride=2，1，1图5 base bone的组成Fig. 5 The composition of base bone

图6 每层中所包含操作Fig. 6 The operations contained in each layer

算法具体训练与测试的过程见表1。

表1 实验算法描述

3 空手道比赛视频技战术智能分析及实验

空手道比赛视频技战术分析通常需要得到技术动作使用频次、技术使用成功率、技术动作习惯、战术类型及使用、移动轨迹等方面的信息。利用新设计的行为识别算法完成了运动员技术动作使用频次的统计，以及移动轨迹的记录及分析。为此，测试了新的拓扑图在图卷积的行为识别算法中的性能。并在自制数据集的基础上通过统计技术动作频次，验证了所设计算法的有效性。同时，也实现了运动员移动轨迹的智能分析。

3.1 空手道训练及比赛数据集

本研究跟踪湖南省空手道队并拍摄队内共10位运动员的训练及模拟比赛视频，自制成为训练及测试数据集。本数据集中采集踢腿、移动和挥拳这3类动作视频片段。将“踢腿”、“挥拳”和“移动”分别标识为kicking，Hook Punch和moving。视频采集角度分8个方位。数据集中共有1 847个视频片段，其中包含696个踢腿片段，625个挥拳片段，526个移动片段，每个片段持续了大约10秒。

本数据集中，使用1 786个视频片段作为训练集，其中包括679个踢腿片段，608个挥拳片段，499个移动片段。使用另外61个视频片段作为测试集，其中包括17个踢腿片段，17个挥拳片段，27个移动片段。

图7中例举踢腿，挥拳和移动视频中对应的视频帧，图8中例举测试视频中随意3个角度的视频帧。

图7 数据集中3类行为对应的某帧图像Fig. 7 A frame of image corresponding to three types of behavior in the data set

图8 测试视频任意3帧的截图Fig. 8 Test screenshots of any three frames of the video

3.2 拓扑图性能对比分析

基于文献[9]与[11]的基本框架进行改进，采用基于Delaunay三角剖分的方式构建拓扑图。ST-GCN[9]，如图9(a)所示,只是简单的关节点自身连接。AS-GCN[11],如图9(b)所示，它能够把特定行为中潜在相关的关节点关联并进行连接。本文提出了图的构建方法，如图9(c)所示，针对不同的行为通过Delaunay三角剖分算法得到视频帧的拓扑图。

图9 ST-GCN，AS-GCN和本文生成的拓扑图 Fig. 9 ST-GCN，AS-GCN and the topology generated in this paper

3.2.1 拓扑图信息容量对比分析 基于骨架点提高视频中人体行为分类准确率，主要在于得到丰富及有用的特征信息。在网络的学习过程中，通过特征多层卷积之后会使特征减少或表示行为的信息丢失。因此在研究的过程中，其目的是丰富更多有用的行为信息。

图10所示，为ST-GCN中对于特征表示与本文中特征对比。

图10 ST-GCN与本文拓扑图的信息容量对比Fig. 10 Comparison of ST-GCN's information capacity with the topology diagram in this paper

白色的圆圈表示特征的关联度。圆圈越大，表示某一关节点对于某一行为的特征表征关联度越强；圆圈越多，表示某个动作中提取出来有关联的特征点越多。从图10(c)所示，构建的拓扑图，能够获得更多有关联性的关节点，从而获得更丰富的行为特征。

如图10(b)和(c)所示，在 “踢腿”行为过程中，ST-GCN中右手臂的特征已明显减弱，而本文中的特征响应度仍存在。在“踢腿”动作，相对于ST-GCN，从对应特征响应度来讲，关联的关节点较多，对于行为提供更丰富的特征。

3.2.2 行为识别准确率对比 通过1 786个视频片段进行训练，并在61个测试视频片段上进行测试，本文中提出方法得到较高的准确率，如表2所示。

表2 实验对比

3.3 动作频次统计及实验分析

针对比赛视频中特定运动员的技术动作进行识别，并分类统计出各自的使用频次，从而分析出该运动员的战术习惯和特点。根据训练模型得到的行为标签序列，对于有T帧的可视化视频序列，在每帧t中，使t整除4对应模型得到的标签序列并显示相应的类别。如图11所示，是测试视频的可视化效果图。

图12是依据3.1节的算法对视频中运动员的踢腿和挥拳的动作频率进行统计。当运动员出现“踢腿”行为或者“挥拳”行为，逐渐累加，统计测试视频中“踢腿”和“挥拳”行为的次数，在对运动员“踢腿”和“挥拳”进行统计后，得到运动员对应的运动规律，能够在训练过程中不断的调整，给出相应的训练规则。(a)和(b)分别是统计踢腿和挥拳的次数。

图11 行为可视化效果图Fig. 11 Behavior visualization renderings

图12 统计技术动作频次Fig. 12 Statistics of technical action frequency

在测试集的视频中，对17个踢腿视频和17个挥拳视频进行统计，正确率达到95%。我们的系统通过在海量视频中统计特定运动员的各类技术动作的使用频次，分析出该运动员的技术动作的优缺点。

3.4 运动员移动轨迹分析

为了方便观察，根据相机三维坐标和地面右下角三维坐标，把地面右下角坐标转换成坐标原点，得到新的三维空间坐标，其中需要提取关节点(黑色的关节点)的三维信息坐标如图13。图14是针对某一场空手道比赛绘制得到的轨迹图(黑色为坐标系)。

系统能把比赛中双方运动员的运动轨迹进行统计，并通过红点的绿点在战术图中进行标识区分并展示，如图14所示。通过海量视频中提取特定运动员的移动轨迹，分析出该运动员在竞赛中进攻和防守的移动习惯，真正达到技战术分析的效果。

图13 关节点轨迹跟踪Fig. 13 Node trajectory tracking

图14 视频中的轨迹图Fig. 14 Track from the video

4 总结

本文设计使用Delaunay三角剖分来构建图卷模型中的拓扑图，并提出基于新的图卷积模型的行为识别算法。同时利用该算法实现了空手道竞赛视频技战术分析系统。通过大量的实验分析证明：

(1)新的构建图的方法信息容量更大，更有利于行为识别效果的精确度，

(2)新的行为识别算法提高了技战术分析的智能化程度和精度。

但在轨迹分析环节中，缺少移动序列信息，降低了轨迹分析的实用性，还需要在后续的研究中加以解决。