文_金 可
国际奥委会名誉主席萨马兰奇先生曾说过:“电视转播让大型体育赛会生存下来,并繁荣发展下去。”一场成功的体育赛事,不仅仅需要赛场上体育健儿赛出水平、赛出风采,而且要让体育精神透过镜头,去鼓舞全世界的人民,这便是竞赛转播的核心意义。
杭州第19 届亚运会和第4 届亚残运会正是遵循这一理念,通过电视转播使全亚洲人民能身临其境感受亚运比赛的特点与魅力,展示中国文化,最大程度提升观众的观赛体验。笔者作为亚运游泳项目的转播服务工作人员,亲历了亚(残)运会奥体游泳馆全部比赛项目转播服务的管理规划、技术实施、赛事转播管理等工作。我们对标国际一流赛事的转播制作标准,采用最新的广电前沿技术,实现有史以来最高制作标准的一届亚运会电视转播,为亚运会电视转播树立新的标杆。我们不仅使用了常规的拍摄设备制作国际电视广播信号(ITVRS),还充分利用高倍数长焦摄像机、水下摄像机、轨道摄像机、EVA 回放系统、增强现实系统等多种先进设备,呈现了比赛的多样性和丰富性,为观众提供了全新的视听体验。本文将以杭州亚运会游泳比赛为例,探讨增强现实技术在国际赛事转播中的应用和实践。
增强现实(Augmented Reality,简称AR)技术是一种将真实世界的图像或视频信息和计算机产生的虚拟信息“无缝”集成的技术,通过将虚拟物体实时、精准地叠加到真实视频场景中去,实现对真实场景的增强和补充。[1]目前的体育视频增强现实技术可分为两类,第一类研究的重点是通过给定体育赛场的多重同步视频生成虚拟场景,观众只能获得单视点的视频;第二类是采用摄像机校准算法,建立赛场图像与虚拟场景之间的映射,识别镜头内场景画面、运动员的姿势与速度,通过计算机图形学技术(如OpenGL),与真实场景叠加生成一个增强现实场景画面。[2]
在电视转播中,AR 的实现主要在于找到现实场景中的一个参照平面,然后将这个三维场景下的平面映射到我们的二维屏幕上,并在这个平面上绘制需要展示的画面和图形。[3]主要涉及以下关键技术:
视觉标记识别,实景标记追踪:使用摄像机镜头捕捉场景中的特殊标记,通过图像识别算法进行实时追踪,确定虚拟对象的位置和方向。常用标记方式包括ArUco 标记,具有较强的鲁棒性(指系统随故障和干扰的能力)和实时性。
同时定位与地图构建技术(Simultaneous Lo-calization and Mapping,SLAM):SLAM 技术允许设备在未知环境中定位自身并创建地图,有助于实时追踪虚拟对象在真实世界中的位置。常用算法有ORB-SLAM、PTAM等。
惯性测量单元(Inertial Measurement Unit,IMU):加速度计和陀螺仪用于测量设备的加速度和角速度,实时感知设备运动,提高追踪的准确性。
深度传感器:使用时间飞行(ToF)、LiDAR等深度传感器获取场景中物体到相机的距离信息,提供准确的虚拟对象与真实世界的相对位置。
视觉惯性融合:将视觉信息与IMU的数据融合,克服视觉跟踪的漂移问题,提高位置和方向的准确性。
滤波算法:使用滤波算法(如卡尔曼滤波器)对传感器数据进行融合,平滑追踪结果,提高鲁棒性。
深度学习和机器学习:使用深度学习进行图像识别和语义分割,通过机器学习训练模型以适应不同场景和环境,提高跟踪的稳定性和准确性。
可扩展性和实时性:可扩展性能使系统适应不同尺度和复杂度的场景,实现对多种应用的支持;高实时性可确保虚拟对象能够及时准确地与真实世界同步。
这些技术要点共同构成了AR跟踪技术的关键方面,为虚拟对象与真实环境的交互提供了流畅的用户体验。
杭州亚运会的游泳比赛电视转播中,AR 被应用于运动员姓名国家等信息、成绩排名、纪录线的展示等环节,尤其是泳道上的运动员信息、赛时成绩与世界纪录线的动态显示,使比赛更为激烈,大幅提升了游泳比赛电视转播的可看性。那游泳比赛转播中的增强现实是如何实现的呢?这主要由摄像机、虚拟渲染引擎、相机动态跟踪系统或动态捕捉传感器及AR媒体服务器组成。
首先,在泳池到达侧设置固定机位摄像机,通过该摄像机读取泳池实景环境信息,明确参照定位。由于游泳池是一个25 米宽50 米长的标准矩形,有明确的边界,同时游泳池泳道线色彩鲜艳且醒目,泳池在参照定位的选取上可以选择泳池四角以及各泳道的道边顶点。
其次,虚拟引擎根据泳池定位点在三维空间中的位置和姿势信息以及镜头焦距、光圈等参数信息,使虚拟摄影机与真实摄影机的运动轨迹保持同步。
然后,读取由赛会计时计分系统提供的比赛成绩信息,配合摄像机跟踪泳池内关键信息,通过渲染服务器渲染并生成增强现实画面,叠加输出实景后输出到电视画面,虚拟场景内容随着摄像机移动而实时变化,世界纪录线就跟进该项目比赛的实时世界纪录成绩推进,这样画面显示的增强现实画面更加真实紧凑,并且可以起到烘托气氛的效果。
值得一提的是,由于参照点信息需要通过定位摄像机读取,该机位的基准坐标就非常重要,不能随意移动改变,否则需要重新调校基准。这对该机位的架设环境提出了较高的要求。此次亚运会,该机位架设在观众看南侧台顶部22至26排位置,通过前期测试赛发现:附近看台上观众满席时,比赛中出入看台,以及赛事精彩激烈时观众起立欢呼都会对该机位产生一定程度的影响,所以在亚运正赛该机位架设时,为了避免干扰,我们“牺牲”了附近多个观众席位,在独立架设机位台的同时,保障周围3 个座位空置,最大程度减少了该机位由于共振对画面准确性产生的干扰。
在游泳比赛的转播中,AR 通过各种方式增强观众的观赏体验,以下是一些应用场景:
虚拟赛道信息:使用AR技术,可以在游泳池上方叠加虚拟的赛道信息,显示每名选手的位置、速度和当前排名,有助于观众更好地理解比赛进展。
生物力学分析:AR可以用于实时生物力学分析,显示选手的姿势、动作和技术细节。这有助于专业观众和教练更深入地了解游泳运动员的表现。
实时统计数据:在比赛期间显示选手的实时统计数据,如速度、游泳姿势、翻身次数等。这样的信息可以为观众提供更深层次的了解,同时也增添了一些竞技性。
虚拟水下摄影:利用AR技术,可以模拟水下摄影效果,使观众能够看到选手在水下的动作和技巧。这样的视角有利于分析和欣赏游泳运动员的技艺。
实时评论和互动:AR 可以用于在屏幕上显示实时评论、社交媒体互动和观众投票。这样的互动性可以增加比赛的参与感和趣味性。
赛前分析和回放:利用AR技术,可以在比赛开始前提供选手介绍、技术分析和预测。同时,在比赛暂停或结束时,可以通过AR 回放功能展示关键时刻和精彩瞬间。
实时环境状况展示:AR可以显示实时天气状况,包括风速、温度和湿度等,这对于理解游泳条件的变化对比赛的影响很有帮助。
这些应用使得观众可以更全面、深入地了解欣赏比赛,大大增加了观赛的趣味性与竞技感。
另外,值得一提的是,在本次亚运会、亚残运会开闭幕式的电视转播中,也同样运用了大量的增强现实技术。开幕式电视转播中,钱江世纪城上空的亚运数字花园,点火仪式中在钱塘江上形成的一个金色超大的、迈着大步跑入大莲花上空与汪顺共同点燃主火炬的“弄潮儿”等,这些都是增强现实画面。这些技术的运用,不仅为亚运会增添了无限的激情和动力,还彰显了亚运会的现代化和科技感,也向世界展示了中国的创新实力和文化魅力。
增强现实技术为大型赛事电视转播创作带来了全新的制作模式,大幅提升了节目视觉效果和互动效果,这也必将推动新一轮电视转播创作“内容+科技”的变革,为广播电视融合制播带来更多可能性和新的发展空间。