基于改进全卷积神经网络的体育运动员动作识别方法

摘要：传统的体育运动员动作识别方法，直接对运动员动作识别结果进行输出未对运动区域进行提取，识别精度低。该文提出基于改进全卷积神经网络的体育运动员动作识别方法，使用摄像机对体育运动员动作图像进行采集，并对图像进行基于改进全卷积神经网络的运动区域提取，体育运动员动作识别流程，输入动作图像并对结果进行输出，实现基于改进全卷积神经网络的体育运动员动作识别。实验结果表明该研究方法识别精度高，具有一定优势。

关键词：改进全卷积神经网络；体育运动；动作识别；识别方法

doi：10.3969/J.ISSN.1672-7274.2024.07.019

中图分类号：G 642；TP 393.08 文献标志码：B 文章编码：1672-7274（2024）07-00-03

Sports Athlete Action Recognition Method Based on Improved Fully Convolutional Neural Network

HAO Junfeng

（Shanxi Provincial School of Traditional Chinese Medicine， Taiyuan 030012， China）

Abstract： Traditional sports athlete action recognition methods directly output the results of sports athlete action recognition without extracting the movement area， resulting in low recognition accuracy. The article proposes a sports athlete action recognition method based on an improved fully convolutional neural network. By using a camera to capture images of sports athlete movements and extracting motion regions based on an improved fully convolutional neural network， the process of sports athlete movement recognition is carried out. The input action image is then outputted to achieve sports athlete movement recognition based on an improved fully convolutional neural network. The experimental results indicate that the research method has high recognition accuracy and certain advantages.

Keywords： improving fully convolutional neural networks; sports activities; action recognition; recognition methods

0 引言

传统的动作识别方法通常采用手动标注和特征提取的方法，不仅耗时，而且容易出错。全卷积神经网络（FCN）被广泛应用于图像识别领域，取得了很好的效果。但是，FCN卷积层参数固定，无法适应不同尺寸和形状的目标，以及训练过程中容易过拟合等[1]。近年来，国内外学者针对全卷积神经网络在动作识别中的应用进行了广泛研究。例如，一些研究采用了基于区域的全卷积神经网络（R-FCN），将目标检测和分类两个任务结合起来，提高了目标识别的准确性[2]，但是需要手动标注目标框位置，增加了工作量。一些研究采用了基于注意力机制的全卷积神经网络（A-FCN），通过引入注意力机制来关注图像中的重要区域，提高了目标识别的精度，但是注意力机制的计算复杂度较高，增加了模型的计算负担[3]。还有一些研究采用了基于数据增强技术的全卷积神经网络（D-FCN），通过对数据进行增强来增加模型的泛化能力，提高了模型在测试集上的表现[4]，但是只是在一定程度上解决了过拟合问题，不能完全避免。因此，本文提出了一种基于改进全卷积神经网络的体育运动员动作识别方法，旨在解决以上问题，提高动作识别的准确性和效率。

1 基于改进全卷积神经网络的体育运动

员动作识别方法设计

1.1 体育运动员动作图像采集处理

使用两台摄像机获取运动员的动作，这两台摄像机可以获取运动员的彩色信息，还可以获取运动员的深度信息。在用两个摄像头收集运动员动作图像时，首要步骤是校准摄像头，目标是以二维平面图的形式来描绘运动员的立体信息[5]。一旦完成校准，需要在两台摄像机之间进行立体调整，以确保左右两台摄像机所拍摄的照片处于同一水平面上。为了进行双目相机的立体校正，采用了Bouguet的方法。如果双目相机的旋转矩阵和平移向量分别用和表示，为了最大程度地降低左右两侧双目相机之间重投影的畸变程度，并保证两个相机的平面处于共面状态，Bouguet的立体调整方法变换了对左右双腔都进行调整的复合矩阵。具体表达式为：

（1）

式中，和分别是左相机和右相机的旋转矩阵。通过应用式（1），两个相机平面将被放置在同一平面上的相同位置。为了确保它们在这个平面上的有效对齐，计算极点矩阵是必要的，以找到无穷多个多项式。的公式如下：

（2）

式中，用于描述矩阵的换位操作；代表极点。在方向上，对应于平移矢量的不同行，存在多个多边形形状，这个关系由式（3）表示。与相机光轴方向相互正交，表示图像平面的方向向量，这个关系通过在和上的式（4）得出。在和点之间，通过对正交进行处理，得到，该过程由式（5）描述：

（3）

（4）

（5）

相机的光轴是由水平和垂直平移矢量和定义的，结合式（2）可以获得用于双目相机的立体校正矩阵，具体公式如下：

（6）

根据式（6），完成了双目相机的立体调节，确保了图像线的准确对齐。在此基础上，进行了立体协调，以获得运动员的深层图像。使用块的相应算法来完成立体平衡。采用块匹配算法来完成立体匹配。基于其他相机的视图，获取与划分图像块最近的块，以此实现体育运动员动作图像采集。

1.2 基于改进全卷积神经网络的运动区域提取

采用深度可分离卷积操作，减少网络的参数量和计算复杂度，提高特征提取能力，进而改进全卷积神经网络。改进全卷积神经网络公式如下：

（7）

式中，ConvSeparable为深度可分离卷积操作。

在识别运动员运动动作前，需要依据上述体育运动员动作图像采集处理结果提取运动区域。从体育视频中提取出运动员的运动区域，并进行标注。设计了一种新的损失函数，将空间连续性和时序信息纳入考虑，以更好地适应运动区域的特性。具体公式如下：

（8）

式中，和分别为像素级别的交叉熵损失和边界损失，和分别为网络的预测输出和真实输出，、和是平衡不同损失的权重参数。

通过上述处理，能够有效地去除不同大小的区域。由于视频序列中动作运动幅度各异，给目标提取带来了困难。此外，在实际场景中，运动背景往往复杂多变，也会干扰到目标提取的准确性。为了解决这些问题，采用帧间差异的方法进行进一步处理。

1.3 体育运动员动作识别结果输出

在完成了对运动员深度背景图像的提取之后，将提取出的动作图像引入到体育运动员动作识别的流程中，以便对运动员的动作进行精准的识别。该动作识别流程是基于全卷积神经网络的，并在局部函数提取模块的基础上进行引入。体育运动员动作识别流程如图1所示。

图1 体育运动员动作识别流程

在运动员完成部署后，体育运动员动作识别流程采用批量归一化和提取的局部特征之外的方法，在预处理的背景图像中生成RGB帧和密集流图像。同时，两个网络都配置了A-softmax损失函数用于活动分类。这样可以获取前景图像中的表观信息和运动信息，并极大程度地提升对于动作的识别效果。最后，对两层网络的分类结果进行加权和组合，以获得运动员的最终运动识别结果。

2 实验论证

2.1 实验准备

为了验证所提出方法应用的效果，将该方法应用于某省运动队。在训练过程中，收集了该省运动队200组运动员位移图像。

随机选取一组数据，具体内容如表1所示，包括击球动作的基本位置。

共收集了1 200项网球运动数据，使用多种数据类型对所提出的方法进行分析，以确保实验的准确性，其中80%的数据用作训练集，其余20%用作实验集。在随机选取的数据集中利用本文方法、传统方法1和传统方法2分别对正手击球动作进行识别，识别结果如表2所示。

2.2 对比实验

由表2可知，本文方法对体育运动员动作识别中的正手击球次数识别结果更加接近实际值，识别精度达到100%，明显优于传统方法1和传统方法2。这也表明了基于改进全卷积神经网络的体育运动员动作识别方法的优势。

3 结束语

本文提出了一种基于改进全卷积神经网络的体育运动员动作识别方法。该方法旨在解决传统动作识别方法中的问题，提高动作识别的准确性和效率。采用改进的全卷积神经网络模型，能够更好地适应不同尺寸和形状的目标，减少过拟合现象的发生。实验结果表明，该方法在体育运动员动作识别任务中取得了很好的效果，为教练员、裁判员和运动员提供了更加准确和高效的辅助工具。

参考文献

[1] 张伟．基于机器视觉技术的体育网球错误技术动作识别研究[J]．齐齐哈尔大学学报（自然科学版），2021，37（6）：26-30．

[2] 马倩倩，贺莉．基于动作识别算法的健美操难度自动评分系统设计[J]．西昌学院学报（自然科学版），2021，35（2）：106-110．

[3] 吴晓军．基于时空图卷积神经网络的网球底线正手击球动作识别方法[J]．河北北方学院学报（自然科学版），2022，38（9）：14-20，29．

[4] 王辉，宋佳豪，丁铂栩，等．三角形网格序列表示的人体动作识别[J]．计算机辅助设计与图形学学报，2022，34（11）：1723-1730．

[5] 李新春，张光锐，于洪仕，等．基于HHT和改进PNN的CSI人体动作识别研究[J]．重庆邮电大学学报（自然科学版），2022，34（6）：976-986．