篮球运动中AR技术运用探索及辅助训练系统的设计

孟超杰 黄卓 彭勃宇

(1.江西交通职业技术学院 江西南昌 330013;2.南昌大学 江西南昌 330031;3.中国人民解放军95429部队 云南昆明 650100)

增强现实（Augmented Reality，AR）技术，是一种将计算机合成的虚拟信息按照人类认知规律叠加在真实场景上的信息呈现方法，具有信息呈现友好、沉浸感强、交互高效等特点。近几年，AR技术在装备维修［1］、交通管控［2］、教育［3］、传媒［4］、军事训练［5］等众多领域得到了广泛运用。

目前，体育运动领域的AR应用主要集中在体育传媒［6］、休闲娱乐和体育教育［7-8］方面，AR技术在各项专业运动领域的应用还处在探索和起步阶段。近年来，随着移动计算、无线通信、人工智能等支撑技术的发展，AR技术在专业运动领域的应用变得更加可行和实用。在篮球运动上，将AR 技术与运动跟踪、分布式计算等技术结合，使其辅助球员、教练员、裁判员完成动作教学、数据统计、战术决策、团体协同等内容，可有效提高训练质量和实战效率。

为此，该文结合篮球教学、训练、实战对抗中的关键环节，分析了AR技术在篮球运动中的应用潜力和优势所在，研究应用实现的关键技术和难点，设计了AR辅助篮球训练系统的整体架构和功能模块，以期为实现AR 技术在篮球运动及其他专业运动项目中的实践应用提供模式参考和经验借鉴。

1 AR技术在篮球项目中的应用需求分析

1.1 球员层面

1.1.1 训练环境营造

随着城市公共用地短缺与公民日益增长的体育运动需求之间的矛盾升级，专业的篮球运动场地正在逐步成为“稀缺资源”，给篮球、足球等对场地要求较高的“大球”类运动的集体合训带来了不小的困难，很多队伍常常在“找场地”问题上遇到困难。特别是在新冠肺炎疫情背景下，由于各地采取隔离防控措施，对于缺乏专用固定场地和运动员相对分散的非专业队伍来说，篮球训练受到了较大影响。为此，可使用AR系统进行辅助训练，将队友、场地、篮筐等训练资源通过AR影像的方式“虚拟”呈现，为运动员营造具备较强“沉浸感”的多人训练环境；通过多传感器采集球员动作数据，并通过无线网络和AR影像重建参训球员动作，以提供真实的协作训练效果，通过这样的方式可有效解决训练资源紧缺、人员聚集不便等现实问题。

1.1.2 训练质量提升

篮球训练对抗性强、体力消耗大，在日常训练中受到运动损伤风险、训练节奏把控、球员心理等因素限制，往往难以模拟真实比赛的激烈对抗环境，在球员训练方面受到了一定程度的限制。采用AR 系统营造训练环境，相对于传统训练模式有几点优势。一是突破心理限制。球员在虚实结合的环境中能够采取比日常训练和实际比赛中更加“自由”的动作和决策，能够激发自身的自主性和创造性。同时，系统还能通过对动作的采集和分析，帮助球员对动作、决策的风险和价值进行判断，有助于帮助球员设计适合自己的动作风格和战术。二是模拟对手。结合采集到的先验模式，AR系统可为球员呈现虚拟“对手”，提供多种类型的对抗环境，帮助球员创新对抗方式方法。三是降低风险。AR系统以“虚拟影像”替代“肢体对抗”，可降低高强度对抗动作的风险，可在为球员营造逼真氛围的同时，最大程度减少激烈对抗中的运动损伤，尤其对赛前适应性训练有较大帮助。

1.2 教练员层面

1.2.1 高效信息传递采集支撑教学

美国奥委会专家皮特温特博士曾强调，“‘练习’和‘反馈’这两件事情，对于技能发展和个人表现远比其他事情更为重要。［9］”“反馈”过程的关键，就在于教练教学意图的准确表达和对球员错误的及时发现、纠正。传统教学中使用理论讲学、媒体演示、亲身示范等方法实现教学意图表达和传递，存在动作呈现不生动完整、意图表达不准确高效等局限。将AR 技术应用到篮球教学中，使其与传统教学过程有机结合，可以有效改善上述问题，提升篮球教学效率。如可使用叠加在真实运动场上的虚拟影像，直观展示篮球动作要领；可对比赛实况或录像添加标注和说明，准确强调比赛重点、分析战术打法。结合运动跟踪技术，教练员能够全面准确采集到每名球员运动数据，更加科学地监控球员运动状态，纠正和调整问题动作或行为，帮助使“反馈”过程更加准确高效。

1.2.2 降低认知负荷辅助决策判断

篮球是快节奏的攻防对抗运动，场上的形势瞬息万变。教练员需要关注每一名球员所扮演的角色、体能的储备、心理的变化等要素，并以此为依据及时调整战术策略、球员配置，并进行心理干预。教练员处于高认知负荷状态，容易因注意力分配不当、认知疲劳导致决策判断失误，从而影响比赛。AR系统可通过及时的信息采集记录、科学的诱导要素呈现、高效的人机工程设计，有效降低教练员在激烈比赛中的认知负荷，帮助其梳理纷繁复杂的信息，集中精力进行关键环节的分析判断和重要决策，从而提升篮球比赛的对抗效率和观赏性。日常训练中，AR 系统还能够辅助教练员及时、高效记录和标注每名球员的训练进度、身体状态、技术特点等信息，为教练员科学调整训练计划、合理配置球员阵容提供有力支撑，有效提升训练水平。

1.3 裁判员层面

篮球规则内容庞杂、条目众多，国际篮联最新的篮球规则共有十章300余条，涉及内容点多面广，不同的赛事还会有差异，这对篮球裁判员的掌握提出较高要求。在激烈的快节奏对抗中裁判员需要建立起球员动作和篮球规则间的快速映射，迅速作出准确判罚。裁判员处于此种高认知负荷状态下，容易出现判决失误，使用AR 技术根据固化的规则生成判决引导信息为裁判员提供指示，可帮助裁判员及时准确作出判罚，有效提升判罚的可信度和实时性，进一步确保比赛公平公正。

2 AR技术在篮球项目中运用关键技术及其适用性分析

2.1 位姿注册技术

AR 技术实现的首要关键是各类图形和文字信息在正确的位置呈现，使虚拟影像与真实环境自然无缝融合。AR系统通过测量观察视角位姿，并变换显示坐标系的方式实现信息的正确显示，该过程称为位姿注册。现有的注册方案可分为三类，分别是基于计算机视觉的注册、基于硬件跟踪设备的注册、混合式注册。

2.1.1 基于计算机视觉的注册

由固连在观察者头部或固定在环境中的摄像头采集视频图像，利用计算机处理图像序列恢复观察者视角姿态。其硬件开销小、适应性强、注册精度高，被各类AR系统广泛采用。谷歌的ARCore、开源的ARtoolkit 以及国内的EasyAR 等平台和工具包都是基于计算机视觉实现位姿注册的，华中科技大学管涛［10］和沈阳工业大学刘嘉敏［11］研究了基于自然特征的视觉注册方法，有效解决了非合作环境下的位姿注册问题。但该方法受图像质量制约较大，容易受外界环境变化干扰，且软件开销大，对计算性能有较高要求。

2.1.2 基于硬件的注册

通过在使用者身上佩戴机械、电磁、超声或惯性传感器直，接采集观察者视角姿态。最常用的是使用MEMS 器件作为传感器，其具有动态响应好、测量直接、软件开销小的优势。但由于MEMS 惯性器件的零点漂移特性，测量误差会随时间推移而不断放大。因此，通常需要将惯性注册和视觉注册融合，并通过滤波算法来修正漂移和补偿误差［12］。

2.1.3 混合注册

通过融合不同的注册方案，取长补短以获得更好的注册精度、速度和稳定性。如利用电磁跟踪器预测姿态变化以降低视觉注册延时的视觉—电磁混合注册［13］，使用GPS 补偿IS-300 跟踪器的惯性—磁力混合跟踪［14］，以及结合头戴式和外置固定式两种不同类型视觉跟踪器的视觉—视觉混合注册［15］。但由于设备体积、使用范围和成本等多方面因素的制约，使用最广泛的要数视觉—惯性注册方案，结合视觉跟踪的高精度和惯性跟踪的快速响应的特点，视觉—惯性注册方案成为混合注册中的黄金组合。

Young M C［16］采用间接滤波组合策略，利用KF 融合视觉人工标志和陀螺仪数据以获取更好的跟踪响应，Gerhard Schall等在户外大范围AR注册中通过两个KF 滤波器融合GPS、陀螺仪、加速度计、电子罗盘和视觉数据，分别计算位置和姿态，实现了位置和姿态估计的解耦［17］。Taragay Oskiper 等［12］利用EKF 融合AR 头盔上两对双目摄像头和惯性传感器的数据实现了大范围的跟踪定位和稳定的户外注册。微软的HoloLens AR 眼镜同样采用了视觉—惯性的混合跟踪方案。北京理工大学陈靖等在EKF滤波框架下利用视觉数据校正惯性传感器，并利用SCAAT 法解决传感器采样不同步问题，获得了较好的跟踪精度和稳定性［18］，李薪宇和陈东义利用STF代替EKF弥补其对复杂模型跟踪能力差的缺陷，同时利用多频采样理论解决了各传感器数据同步问题［19］。

2.2 运动跟踪技术

AR 技术在篮球运动中运用的第二关键是系统对外界环境的感知，为系统进行运算、判决和显示提供基本输入，主要是对球员和篮球的位置动作进行采集。可行的技术手段包括基于计算机视觉的跟踪、基于穿戴式传感器的跟踪、基于射频收发的跟踪以及多方法混合跟踪。

2.2.1 基于计算机视觉的跟踪

通过计算机将光学、红外或激光摄像头采集到的图像序列进行处理和运算，还原出球员或篮球的运动姿态和轨迹。特点是所需设备轻巧、硬件成本相对低廉、运动员不需要承受额外负担。但受到传感器性能限制，其作用距离较小，需要布置多个摄像头以覆盖场地。且测量精度相对较低，易受外界环境干扰，难以应对存在多个球员肢体相互干涉的复杂场景。其核心算法的开发适配也较为复杂，并对计算性能有较高要求。微软的Kinect套件就是利用计算机视觉完成运动捕捉采集的，其被广泛运用在家庭趣味运动和体育游戏当中。电子科技大学王亚琴［21］提出使用人体关键部位特征点检测结合卷积神经网络的方法，实现了较为精准的人体姿态跟踪。

2.2.2 基于穿戴式传感器的跟踪

通过将惯性、射频、红外或GNSS 等传感器固定在球员躯干及篮球上，通过传感器感知自身的位移和姿态变化，从而采集球员动作和篮球位置。随着近年来微机电技术的迅猛发展，陀螺仪、加速度计等传感器的尺寸不断减小，穿戴式传感器的应用变得更加广泛。

大连理工大学李晓辰［21］研究使用惯性传感器监控人体运动数据，并进行关节损伤、运动规范及疲劳分析。哈尔滨工业大学孙一为［22］将UWB 技术与MEMS传感器结合，实现了对羽毛球运动中人体姿态的高精度跟踪。北京体育大学徐昌橙等人［23］研究使用惯性传感器采集获取跑步步态的方法，有效解决了长跑运动数据采集手段缺乏的问题。该方法的特点是动态响应特性优秀，对复杂场景的采集相对准确。但由于球员需要穿戴传感器，会给运动带来一定负担，因此设计高集成度的传感器和科学的穿戴方式是必须的。

2.2.3 基于射频收发的跟踪

通过主动发射电磁波信号对外界环境进行探测，根据一次或二次回波信号对目标运动状态进行测量或对环境进行重构。其不需要在球员身体上布置物件，不会对球员运动造成干扰。且与计算机视觉相比，雷达探测精度较高，作用距离更远、抗遮挡能力更强。但该方法的传感器成本相对更高，且工作状态受电磁频谱环境影响。

桂林电子科技大学蒋留兵等人［24］研究了超宽带雷达对人体动作的识别，识别率可达96%；中国电波传播研究所的王君超等人［25］研究了一种穿墙雷达的人体跟踪定位方法，有效解决了电波折射反射环境下的目标定位问题。

2.3 人机交互技术

人机交互是用户与应用系统沟通的桥梁，球员、教练员和裁判员需要通过人机交互模块接收和输入信息，交互的质量直接决定AR系统功能的发挥。

2.3.1 对用户显示输入

考虑到各用户端需要单独显示，可行的方案为穿戴式的近眼显示（Near-Eye Display，NED）设备，NED有两种方案，分别是视频透视式和光学透视式［26］。视频透视式将摄像头采集到的真实场景图像与虚拟信息在屏幕上合成虚实叠加影像，如图1中的a所示。该方案成本较低，但图像在传输过程中质量的降低与时间的延迟等问题较为严重，且用户通过屏幕接收外界信息，成像不直接；光学透视式将直接将虚拟信息显示在半反射透镜上，真实场景的实像和半反射透镜上的虚拟信息在成像平面上合成虚实叠加的影像，如图1中的b所示。此时外部环境光直接进入人眼，该方案相对于视频透射式具有更强的真实性与交互性，微软的Hololens和谷歌的Google Glass都采用的是此类方案。

图1 两种NED显示方案原理框图

2.3.2 对系统指令输入

篮球运动的应用环境下，用户处在动态过程中和系统进行信息交互，交互方式的设计需要综合考虑人员精力分配和肢体占用问题。不同的指令输入方案有不同特点，传统的触摸、按键方式与UI 界面配合能够实现较为复杂的交互；手势［27］、语音［28］等自然交互方式对用户操作负担小，但输入的准确性和实时性相对较差，适用于相对简单的交互。针对不同用户端的需求和应用场景，组合多种交互方式设计逻辑科学、相互补充、高效友好的交互方案，是人机交互设计的关键。

2.4 分布式计算技术

位姿注册、运动跟踪和人机交互环节都需要对大量的数据进行实时处理，无论是基于何种技术方案，AR 系统的实际应用都需要建立在强大计算能力的基础上，这需要庞大的硬件设备维系，而AR 在篮球等体育运动项目上的应用需要保证穿戴式设备对运动员的最小干扰，必须采用分布式计算的方式消解这两者间的矛盾，由可穿戴设备负责信息显示和数据采集，后台计算机负责大量数据的处理。可通过架设短距离通信设备连接服务器或其集群实现，也可通过5G通信设备连接云计算服务的方式实现。

前者优势在于服务器按需配置，软件部署针对性强、运行效率高，数据信息在内网流转安全性可得到较好保证。不足在于硬件部署复杂，设备移动性能较差。南京理工大学袁浛天等人［29］就是按照此种方式开发了AR 士兵分布式对抗训练系统；后者优势在于依托5G网络部署快捷，无须自行增设服务器设备。不足在于软件不便于针对性适配，且信息存储在云端，私密性和安全性相对较差。北京邮电大学的于敬延［30］和北京理工大学的高文婷［31］就针对5G环境下AR系统在云端的部署应用进行了研究。

3 基于AR技术的篮球辅助训练系统设计

3.1 系统总体架构设计

该文针对前述篮球运动项目中AR的应用需求，结合现有技术手段，提出并设计了AR 篮球辅助训练系统。主要实现三大目标功能：一是球员层面，实现训练场地环境拟真拓展、异地多人协同训练；二是教练员层面，实现球员和赛场数据全方位统计监控、信息提示辅助决策；三是裁判员层面，实现规则辅助记忆和判罚提示。

系统在硬件层面主要由球员端、教练员端、裁判员端以及运动跟踪设备、无线通信设备、本地服务器和云端服务器组成。球员端、教练员端、裁判员端用于为不同用户实现位姿注册、提供AR信息显示和进行人机交互，运动跟踪和无线通信设备用于实现运动跟踪、数据传输，本地服务器和云端服务器用于核心数据运算，系统整体架构如图2所示。

图2 辅助训练系统整体架构框图

3.2 分布式计算架构设计

球员端、教练员端、裁判员端和运动跟踪模块负责操作指令处理、信息显示和数据采集等轻量级运算。本地服务器负责位姿注册、运动跟踪核心算法等实时性要求高的运算工作。云端服务器负责数据库存储查询、场景仿真渲染等运算量大的处理工作。

3.3 位姿注册子系统设计

篮球运动对抗强、节奏快，位姿注册技术应具备优秀的动态响应和高实时性能，因此选用“视觉+惯性”的混合注册方案。通过设计互补滤波器融合陀螺仪、加速度计和地磁传感器的数据，获取观察视角姿态。将系统量测分为惯性和视觉两个通道，视觉通道通过匹配关键帧和分解单应性矩阵更新量测。并通过无迹卡尔曼滤波器（Unscented Kalman Filter，UKF），融合两个量测通道数据，得到最终观察视角姿态和位置，技术实现框图如图3所示。

图3 位姿注册子系统技术实现框图

3.4 运动跟踪子系统设计

为保证对球员激烈动作的实时追踪，将惯性姿态采集和射频定位技术结合，实现对球员和篮球的运动追踪。球员仅需要在躯干上布置小型MEMS传感器和射频芯片，便可将影响降低到最小。选用的MEMS 惯性传感器主要是加速度计、陀螺仪和磁强度计的组合惯性模块，模块通过腕带的方式布置在球员的关节上。射频标签集成在组合惯性模块上，配合4 个定位通信基站，采用TDOA 法［23］实现定位功能。采集的数据通过2.4GHz 通信模块发送至基站，传输至本地服务器进行处理。技术实现框图如图4所示。

图4 运动跟踪子系统技术实现框图

3.5 人机交互子系统设计

在用户的输入上，选用光学透视式的可穿戴NED设备作为显示输入设备，并辅以入耳式耳机完成对用户的音频输入。在系统的指令输入上，由于球员、教练员和裁判员对显示信息需求的不同，导致其交互需求存在差异，应针对性地设计不同的交互方案，指令输入方案如图5所示。球员需求信息侧重于比赛环境的呈现，显示内容绝大多数可进行预先设置，对交互需求较少，且其不便分配精力和肢体进行交互，因此仅引入少量简单的按键操作，直接操作系统；教练员需要球员运动状态数据、球场整体态势、细分统计数据等多种信息，信息需求最大、最全面，需要通过相对复杂的交互切换或选择，呈现信息，且其肢体可进行相对复杂的操作，因此选用触摸作为主要操作手段，辅以按键操作进行备份，并通过UI 与系统交互；裁判员需求信息主要是判罚提示信息和少量的比赛统计信息，大部分显示内容可预知，交互复杂度介于球员和教练员之间，考虑到其判罚是通过哨音和手势输出，为兼顾判罚情况的采集，选用按键和声音、手势结合的方法实现交互。

图5 指令输入方案设计框图

通过上述设计，完成基于AR技术的篮球辅助训练系统样机开发，实现了显示、识别、互操作、引导等基本功能，效果如图6所示。此处以裁判员端为示例，（a）、（b）分别为系统开启AR 显示、虚拟球员上线前后的显示效果。

图6 系统裁判员端显示效果

4 结语

该文从球员、教练员、裁判员的视角，综合分析了AR应用在篮球运动中可发挥的作用和优势；结合篮球运动中AR应用需要达成的主要目标功能，分析了国内外现有关键技术的可行性、适用性和优缺点；针对目标功能和现有技术，对基于AR的辅助篮球训练系统进行了有益探索，设计了系统整体框架和技术路线，研究了关键功能模块的实现方案，完成了系统样机的开发，后续将持续进行功能完善和使用优化，不断深化AR辅助训练系统在篮球运用中的实践应用。