基于图像特征的铅球投掷数据同步方法

任泓宇，聂余满，王为田，汪步云，李世银，宋全军

（1.中国矿业大学 信息与电气工程学院，江苏 徐州221008；2.中国科学院合肥智能机械研究所，安徽 合肥230031；3.中国科学技术大学 自动化系，安徽 合肥230026）

0 引 言

铅球训练指导系统，可提高训练效率和质量，减少重复训练。目前的铅球训练指导系统［1－3］，往往只是单纯地采集动力学数据和运动学数据，并没有将 “力－姿”信息同步。为进一步提高训练质量，量化技术指标，突出训练过程中的各个细节，需要将动力学数据与运动学数据相结合。数字铅球系统，可采集铅球投掷过程中的 “力－姿”数据。为有效结合两种数据，需要准确可靠地找到两者的同步点。如何在不干扰运动员正常发挥的情况下，实现动力学数据与运动学数据的精确同步，成为这种训练系统设计上的一大难点，也成为运动技术分析中急待解决的问题［4］。

1 相关研究

针对这一研究课题，以中科院合肥智能机械研究所为代表的研究机构先后研制了第一代和第二代数字铅球训练系统。第一代由内置三维力传感器的数字铅球、普通摄像机和录像解析系统构成［5］。该系统在数字铅球上设置一个同步接口和光源插口，光源插口连接铅球的采集触发开关。当进行投掷训练时，按下采集触发开关采集数据，同时启动外界光源闪动，这时摄像机所采集到的光点可作为数字铅球采集数据的起始点，从而实现动力学和运动学的同步测量。然而这种同步方法存在操作误差，且闪光灯在一定程度上影响了运动员的发挥。同时在实用化过程中发现，铅球装配过程复杂、测量精度不高。为了解决这些问题，研究人员设计了第二代数字铅球，其模块化设计方案便于后期的安装和维护，铅球内嵌入三维加速度传感器，进一步提高测量的精度［6］。由于第二代数字铅球训练系统没有运动学信息采集以及数据同步模块，训练中使用不便。

本文涉及的第三代数字铅球，内置9自由度传感器 （加速度传感器和陀螺仪），可测量铅球出手前铅球的三维加速度、角速度以及其角度等投掷信息。这样在充分获取投掷信息的同时，进一步提高了测量精度。如图1所示，实验平台由3个部分组成：动力学数据采集装置 （数字铅球本体）、运动学数据采集装置 （高速高清摄像机）、图像显示及处理装置。实验平台中像机的分辨率为1280×720pix，最高帧率150fps。在初期验证实验中，帧率设置为60fps。本系统使用一种非接触式的同步方式，即通过图像特征提取同步信息，实现动力学数据和运动学数据的精确同步。

图1 训练系统实验平台

2 基于图像特征的数据同步方法

使用上述第三代数字铅球训练系统，在运动员开始投掷时，像机侧向拍摄，可以得到运动员每一次投掷过程中的动力学数据和投掷图像帧序列。在忽略空气阻力的情况下，铅球出手后运动员不再对其施加作用力，其加速度将保持稳定，直到落地。

如图2所示，描述了运动员背向滑步投掷过程中数字铅球加速度的变化。可以看出，0到t1时间段为无动作准备阶段，此时3个方向上铅球受到的作用力基本无变化。t1到t2期间为蹬摆期，此阶段中铅球受力先缓慢增长，然后趋于平稳。t2到t3进入滑步阶段，铅球受力先增长后有所减小。滑步动作结束后，即左脚落地瞬间，进入最后用力阶段，即t3到t4时间段。此阶段施加在铅球上的作用力迅速增大，而在运动员持球手即将离开肩膀的时候增加到最大值。接着运动员手臂开始向前伸展，而对铅球的作用力随之减小。t4到t5为铅球刚出手在空中飞行的阶段，施加在铅球3个方向的作用力都没有变化，在加速度曲线图中显示为直线。在这阶段终点处，即t5时刻，铅球的受力信息发生剧变，这是铅球落地时的受力变化［7］。

图2 典型投掷过程中铅球的加速度变化

可以看出t4为铅球出手时刻，可方便提取这一时刻的动力学数据。接着通过图像特征提取的方式从图像帧序列中捕获关键帧即铅球出手帧，以这一帧为数据同步点，实现数据和图像的精确同步。

2.1 基于帧间差分的关键帧提取算法

运动员的整个投掷动作在8s内完成，本文的主要工作是在此时间内，从图像帧序列中准确获取关键帧。这里采用帧间差分的方法，提取运动目标，然后进行关键帧提取。关键帧提取算法主要包括以下几步：

（1）出手帧预判：假设投掷时间为8s，帧率为60fps、分辨率为1280×720的高清摄像机可采集480帧图像数据，数据量较大。为了提高算法效率，需要对出手帧进行预判，滤除图像帧序列中不含有出手帧特征的图像，以减少不必要的计算。

（2）Hough变换圆形检测：关键帧提取算法最终目标是识别铅球出手帧。采用Hough变换［8］圆形检测，从上一步提取的图像数据中检测出包括伪出手帧和铅球出手帧的图像帧序列，也就是在差分图像中识别铅球。

（3）出手帧识别：这里采用出手帧识别算法，在排除伪出手帧的同时，精确识别出手帧。

本算法处理步骤如图3所示。图中 （1）～ （4）为出手帧预判，其工作是滤除不含有出手帧特征的图像帧序列；（5）为Hough变换圆检测，在检测之前先设置感兴趣区域（ROI），以提高检测性能；（6）为出手帧识别，提取出手帧。

2.2 出手帧预判算法

2.2.1 预处理

图3 出手帧提取算法

在原始图像I（x，y，t）中每隔时间a抽取一帧图像相减，并计算其绝对值，得到差分图像D（x，y，N）。可在差分图像中检测运动目标的变化

为方便处理进行阈值分割，得到二值图像B（x，y，N）

式中：θb——二值化阈值，分割效果见图3中二值图像。

2.2.2 筛选检圆图像

出手帧预判算法目标是判断差分图像中是否存在出手帧信息。出手帧中，铅球刚与运动员脱离并在空中高速飞行。利用这一特征，在二值图像中检索 “非连通”区域，滤除没有出手帧特征的图像。

图4为出手帧信息检索算法。以隔行扫描的方式搜索正方形区域S，并计算区域内非零点的面积，同时要求区域S内非零点面积在区域中所占比例大于参数η。接着计算区域S周围阴影部分的占空比μ。当μ＜θμ时，认为此图像可能含有出手帧信息，定义为检圆图像C（x，y，N’），其中θμ为占空比阈值

图4 出手帧信息检索算法 （d为正方形区域S的边长，Δd为阴影部分的宽度）

如图5所示，图 （a）和图 （b）不含出手帧信息，而图 （c）和图 （d）中包含出手帧信息。设定恰当大小的θμ，可在成功筛选出出手帧的前提下，滤除大部分与出手帧无关的图像帧序列，提高了算法的运行效率。

图5 区域S位置 （其中μa为0.276，μb 为0.623，μc为0.129，μd 为0.011）

2.3 圆形检测

本文基于Hough变换提出关键帧提取算法。为了提高Hough变换圆检测在本算法中的性能，首先在检圆图像中设置ROI，然后进行高斯滤波以降噪，从而缩小检测范围，提高检测精度和检测效率。

2.3.1 设置ROI

基于上述出手帧预判算法中提取出的区域S，以S为基点向上下左右4个方向扩展，向左、下扩展50pix，向右扩展150pix，向上扩展100pix，得到感兴趣区域C（x’，y’，N’）。当边界超出检圆图像C（x，y，N’）的边界时，自动调整边界大小

图6为ROI设置结果，图 （a）和图 （d）显示了算法在ROI超出图像边界时的自适应调整功能。我们只需在矩形框内进行高斯滤波以及Hough变换圆形检测，降低了算法的计算量。

图6 ROI设置结果 （其中μa为0.113，μb为0.129，μc为0，μd为0.064）

2.3.2 Hough变换圆检测

Hough变换圆检测，受噪声和曲线残缺的影响较小，能有效地检测到圆的特征信息。其主要处理步骤如下［9－14］，所有操作都只在ROI内进行：

（1）高斯平滑，去除高频噪声［15］。

（2）Canny分割检测边缘信息［16］。

（3）计算x和y方向上的局部梯度。

（4）在参数空间中，进行3维累加计算，计算结果中的局部极大值对应于原始图像中的圆。

利用圆形检测算法，可方便的检测出ROI中的铅球，但由于算法需要将原始图像映射到3维参数空间上以进行3维空间的累加计算，从而导致计算量较大。故本文设置了圆形检测的半径范围 （r1，r2），进一步降低检测算法的计算量。表1给出5组图像数据的出手帧中，使用不同的检测策略所对应的检测结果，可以看出设置ROI和检测半径，在很大程度上提高了检测效率。

表1 检测耗时／ms

2.4 出手帧识别算法

由于通过上述圆形检测算法，可以检测到出手帧以及出手帧之前的伪出手帧信息。如图7所示，其中图 （a）和图 （b）是伪出手帧，图 （c）为待提取的出手帧。可以看出，图 （a）和图 （b）中圆周围存在大量的非零像素，而出手帧中圆周围非零像素很少。为了定量地描述这一特征，一种简洁有效的方法就是采用占空比阈值法，在二值化差分图像中统计圆周围非零像素点的个数。

图7 Hough变换圆形检测结果

如图8所示为出手帧识别算法，图中r为Hough变换检测出的铅球半径，r∈（r1，r2）；Δr为铅球在图像中的形变值，且r＋Δr＜r2。统计出阴影区域占空比λ，当λ＜θλ时，得到出手帧。这里，θλ为占空比λ的阈值

图8 出手帧判别算法

3 主要参数设定分析及实验结果

3.1 主要参数设定分析

本实验运行的主机配置为intel core（2）CPU，主频2.4GHz；2G内存。通过多次测试知r1＝15pixel，r2＝25pixel，Δd＝r1，Δr＝r1／3时，算法鲁棒性好，且其大小对算法效率的影响较小。为了在不检错的前提下，提高算法效率，这里从30组运动员实际投掷训练的图像数据中随机抽取5组，分别对出手帧预判算法中的d和θμ等参数进行分析。

图9是d为40pixel时，图像数据4中出手帧之前332张二值图像中μ值分布图。从图中可以看出，在铅球出手之前，二值图像中μ的大小主要分布在0.15到0.45之间。通过设定阈值θμ，可提前滤除图像数据中μ＞θμ的与同步信息无关的图像帧序列，避免不必要的检测和判别运算。

图9 μ值分布

当d分别为40pixel和50pixel时，5组图像数据中的μ值分布见表2。可以看出，出手帧中μ值很小，一般小于0.06。在背景噪声较大的情况下 （如图像数据2），μ值也不会高出0.15。而出手帧之前大部分图像数据中的μ值都大于0.15，所以可以认为θμ＜0.15。

表2 各图像数据中μ值分

下面分别分析并统计参数d和θμ的大小对出手帧检测算法运行效率的影响。当θμ＝0.13时，不同大小的d所需的检测时间见表3；当d＝40pixel时，不同大小的θμ所需的检测时间见表4。

表3 参数d对算法效率的影响／s

表4 参数θμ对算法效率的影响／s

从表3中可以看出，d越小检测时间越短，同步信息检出效率越高。这是因为检索区域面积变小，从而减小迭代运算的计算量。但是当d＜2r2－Δd时，出手帧中μ值迅速增大，超出0.15，从而影响检测的准确性，发生检错。同样，表4中的数据表明，随着θμ的减小，检测效率不断提高。当θμ减小到0.1后，检测效率不再随θμ的减小而明显提高，且此时θμ越小，检错的风险越高。

3.2 实验结果

通过以上数据分析可见，在d＝40pixel，θμ为0.13时，可以大幅度提高算法运行效率，且不检错。实测结果见表5，5组图像数据中的同步信号提取的相对速度，其值越小，同步越快。

表5 同步信息检出的相对速率（同步时间／实际铅球出手时间）

统计30组图像数据，同步准确率达到93.1%，同步信息检出的平均相对速率为0.24；该结果表明，基于关键帧提取的数据同步方法可以在精确同步的同时，实现实时处理。

4 结束语

本文在分析数字铅球训练系统中 “力－姿”同步问题的基础上，提出一种非接触式的关键帧提取算法。该算法基于图像特征提取，通过关键帧预判算法以及设置ROI，在准确提取关键帧的同时，实现实时处理。实验结果表明，该同步方法在不影响运动员正常训练的情况下实现了可靠同步。该同步方法为运动技术分析以及其它类型的数据和图像同步的提供了一种创新性的解决方案。

［1］LIU Liqing.Research on mechanics and myoelectricity character of Li ling glide shot put ［D］.Dalian：Dalian University of Technology，2012 （in Chinese）. ［刘立清.李玲背向滑步推铅球技术力学及肌电特征研究 ［D］.大连：大连理工大学，2012.］

［2］LI Jianchen，YAN Guiping.The three－dimensional kinematic mechanism research of“two math.”efficiency of china’s excellent men’s shot put athletes ［J］.Journal of Beijing Sport University，2011 （4）：127－131 （in Chinese）.［李建臣，颜桂平.我国优秀男子铅球运动员 “两差”效应的三维运动研究［J］.北京体育大学学报，2011，34 （4）：127－131.］

［3］YANG Shengli.Design of shot put training instrument and experimental research on its application effect ［D］.Changsha：Hunan University，2012 （in Chinese）.［杨胜利.铅球投掷训练器的研制及其应用效果的实验研究 ［D］.长沙：湖南大学，2012.］

［4］SHI Yinbin.The application on 3Dimage analysis construe motion technique in sports ［J］.Contemporary Sports Technology，2012，2 （35）：127－128 （in Chinese）. ［史银斌.三维影像解析在运动技术分析中的应用现状及对策研究 ［J］.当代体育科技，2012，2 （35）：127－128.］

［5］Song G M，Yuan H Y，Tang T，et al.A novel three－axis force sensor for advanced training of shot－put athletes ［J］.Sensors and Actua－tors A，2006，128 （1）：60－65.

［6］Gao Z，Song B，Liu M，et al.Design and application of a multidimensional acceleration sensor for coaching of shot－put athletes ［J］.Sensors and Ac－tuators A，2009，149 （2）：213－220.

［7］MA Jinghua，GE Yunjian，SUN Wangqiang，et al.Measurement of throwing multi－dimensional force information of athlete and feature analysis ［J］.Chinese Journal of Sensors and Actuators，2006，2 （1）：116－119 （in Chinese）.［马静华，葛运建，孙旺强，等.运动员投掷多维力信息的测量及特征分析［J］.传感技术学报，2006，2 （1）：116－119.］

［8］Fernandes LAF， Oliveira MM. Real－time line detection through an improved hough transform voting scheme ［J］.Pattern Recognition，2008，41 （1）：299－314.

［9］Sonka M，Hlavac V，Boyle R.Image processing，analysis，and machine vision ［M］.United States：CL－Engineering，2008.

［10］Cuevas E，Wario F，Zaldivar D，et al.Circle detection on images using learning automata ［J］.Computer Vision，2012，6 （2）：121－132.

［11］Xing C，Ling L，Yang G.A new concentric circle detection method based on hough transform ［C］／／Melbourne，Australia：The 7th International Conference on Computer Science＆Education，2012：753－758.

［12］HUANG Yonglin，YE Yutang，CHEN Zhenlong. New method of fast Hough transform for circle detection ［J］.Journal of Electronic Measurement and Instrument，2010，9（9）：837－841 （in Chinese）.［黄永林，叶玉堂，陈镇龙.一种新的快速Hough变换圆检测方法 ［J］.电子测量与仪器学报，2010，9 （9）：837－841.］

［13］Laganiere R.OpenCV 2computer vision application programming cookbook ［M］.United Kingdom：Packt Publishing，2010.

［14］ZHANG Chao，DUAN Fajie，DONG Yuqing，et al.Visual localization algorithm for automatic programmer ［J］.Chinese Journal of Sensors and Actuators，2011，24 （3）：382－385（in Chinese）.［张超，段发阶，董宇青，等.自动编程器视觉定位算 法研究 ［J］.传 感 技 术 学 报，2011，24 （3）：382－385.］

［15］JIANG Aide，CHEN Yanlong.Edge signals offset problem after Gauss smooth in image ［J］.Computer Systems ＆ Applications，2007，5 （3）：395－397 （in Chinese）. ［蒋爱德，陈炎龙.图像中边缘信号高斯平滑后的偏移问题 ［J］.计算机应用系统，2007，5 （3）：395－397.］

［16］HE Chun，YE Yongqiang，JIANG Bin，et al.A novel edge detection method based on fractional－order calculus mask ［J］.ACTA Automatica Sinica，2012，38 （5）：776－787 （in Chinese）.［何春，叶永强，姜斌，等.一种基于分数阶次微积分模板的新型边缘检测方法 ［J］.自动化学报，2012，38（5）：776－787.］