摘要:随着互联网技术的普及和XR(扩展现实)技术的成熟,节目生产的方式也在趋于轻量化、便捷化。新闻报道的方式也在经历一场革命性的变革。与以往的异地同框新闻连线方式不同,湖南广播电视台在2024全国两会新闻报道节目中采用5G+XR技术,让北京演播室的代表和长沙演播室的主持人通过虚拟合成方式,给观众一种处于同一演播室面对面直接交谈的观看感受。这种模式的新闻制作对传输技术提出了更高的要求。该文对2024全国两会新闻报道节目的传输方案及问题进行分析,志在为未来更多此类节目的技术应用及远程制作提供思路。
关键词:5G+XR;SRT;WebRTC;M-TECH;轻量化
doi:10.3969/J.ISSN.1672-7274.2024.09.064
中图分类号:G 222;TN 943.3 文献标志码:B 文章编码:1672-7274(2024)09-0-04
Lightweight Transmission Facilitates National Two Sessions News Interview
HUANG Zhenghai1, ZHAO Pinzheng1, YAO Di2
Hunan Radio Film and Television Group, Changsha 410003; China;
2.China Space-Time Information Co., Ltd., Beijing 100029, China)
Abstract: With the popularity of Internet technology and XR (extension) reality technology matures, program production way is also tend to be lightweight, convenient.News report way is also experiencing a revolutionary change. Different from the previous way of different places with the same frame news connection, Hunan Radio and Television Station adopted 5G+XR technology in the National Two Sessions news report program in 2024, so that the representatives of the Beijing studio and the host of the Changsha studio through virtual synthesis, giving the audience a viewing feeling of being in the same studiov/fUmvlA1aefx+OHcPoSLA== and talking directly to each other. This mode of news production also puts forward higher requirements for transmission technology. This paper analyzes the transmission scheme and problems of the national Two Sessions news report program in 2024, aiming to provide ideas for the future technical application and remote production of more such programs.
Keywords: 5G+XR; SRT; WebRTC; M-TECH; lightweight
0 引言
XR技术是一种涵盖增强现实(AR)、虚拟现实(VR)和混合现实(MR)的综合性技术,它通过将计算机生成的环境和真实世界的结合,为用户提供沉浸式的体验。5G技术以其高速率、低时延和大连接数的特性,为XR技术提供了更加稳定、高效的网络环境。因此,5G+XR的结合成为行业发展的必然趋势。
湖南广播电视台这些年也在积极探索5G+XR在节目生产上的技术创新与运用。在2023年正式投入使用的芒果XR虚拟棚宣告其已具备5G+XR创作的硬件条件。其以UE5为核心,使用高精度XR屏幕,能同时提供虚拟制片(VP)和扩展现实(XR)拍摄两种拍摄手段,为内容制作提高赋能力度。影棚主要拍摄的区域呈半环形结构,其中LED立屏长12 m,高5 m,地屏近60 m2,纵深达6 m,可以满足综艺XR、VP虚拟拍摄和4~5人的访谈节目录制需求。
除此之外,以往两会直播采用现场制作的方式,需要传统大型转播车、卫星车到场,动用大量人力财力。在确保业务安全的前提下,我们积极探索轻量化生产模式,此次全国两会新闻报道采用互联网+5G传输的节目生产模式,主会场在长沙,北京会场只需要绿背景的演播室及轻量化的制作和传输设备,相比往年人数减少40%,整体费用大幅降低50%。
本次全国两会新闻访谈节目在使用5G+XR节目创新生产技术的基础上,还真正实现了低成本、轻量化新闻内容生产模式。这次新闻报道案例的成功应用,为以后此类型节目生产提供一个可实施性方案,也是当今融合媒体下新质生产力方式的重要尝试和突破。
1 传输方案设计
本次节目制作采用基于互联网+5G的远程虚拟制作方式。前方现场在北京,台内演播室在长沙,集团机房将对两地合成后的信号进行剪辑与收录,生成最终播出素材。此次两会新闻节目制作的重点在前方现场与台内演播室的远程信号实时传输与虚拟合成处理。
本次节目制作信号传输采用基于互联网+流媒体协议的方式进行,前方采访嘉宾和台内主持人的信号互联后,再通过实时绿幕抠图技术进行虚拟合成,实现异地同屏、面对面直接交谈的节目制作效果,以低成本、高质量、高效能打造科技+文化融合的新闻节目生产新模式。
北京现场共三路不同机位信号需要实时回传台内,长沙演播室需要返送两路信号至北京现场(一路主持人实时连线互动信号,一路虚拟合成后的PGM信号)。
基于需求及后续测试录制调整,制定最终传输系统方案如下所述。
(1)SRT点对点双向低延时传输系统作为新闻节目制作录制系统。该系统具有低延时、高画质特点,正适配该节目制作。其中,以某品牌SRT硬件编解码推流系统作为主路,在北京会场配置2台双通道编码器和2台解码器;在长沙会场配置1台双通道编码器及3台解码器。另外一品牌SRT软件编解码推流系统作为备路,该设备单台支持8路可选择高清信号编解码,两边各配置一台即可。
(2)SRT传输系统与M-TECH云平台连线系统混搭配合,作为节目制作对话系统。其中M-TECH云平台连线系统支持基于WebRTC的低延时、高质量视音频实时交互,曾用于2023年双十一晚会“穿屏互动”节目环节。在北京会场配置云连线终端,长沙会场配置云连线网管服务器,其超低延时的特点,使得对话系统更适合面对面访谈。
(3)台内调配开通光纤网络传输系统,实现长沙演播室与集团机房之间的主备光纤互连和网络互通。机房的互联网专线信号通过光纤系统传输至长沙演播室,虚拟合成导切后的信号通过光纤链路送至机房。
(4)北京现场做好网络接入资源保障。使用一条当地运营商互联网专线作为网络信号传输主路由;配备一台多链路网络聚合路由设备,聚合多家运营商4G/5G移动网络、会场办公网络作为网络信号传输备路由。同时协调北京场地方提高现场办公网络QoS等级。
2 技术难点
在远距离5G+XR传输中,存在着几个关键的技术难点。首先,传输延时是需要解决的问题之一。由于新闻访谈对实时性要求极高,任何微小的延时都可能导致信息的滞后或失真。因此,技术团队需要致力于在保证图像质量和虚拟成像效果的同时,降低传输延时。
其次,图像效果和虚拟成像效果也是重要的考量方面。新闻连线传输的画面质量必须满足长沙演播室的虚拟制作要求,以呈现出逼真的虚拟场景。这需要解决如何提升图像质量和实现更精确的虚拟成像的问题。
再次,新闻类节目的交谈性质要求双方对话延时可靠。缩短对话延时以保障节目制作的顺畅性是需要重点考虑的问题。
最后,传输系统的稳定性和可靠性是基本要求。新闻连线是新闻报道的关键手段,任何技术问题都可能影响新闻的传播效果。故而我们选择使用专线SRT协议传输的信号作为节目制作的主体。
3 具体实施情况
在互联网传输中运用SRT协议越来越普及,其可靠性、高质量、低延时、带宽利用率高、安全性等已经得到大量的实践证明。但是到底能否满足虚拟合成的需求,我们进行了反复测试。我们对SRT硬件编码传输系统和SRT软件编解码传输系统进行测试和比对,并且重点关注传输延时、图像效果和虚拟成像效果等指标,根据测试结果多次调整,最终找到一个合适的编解码参数。
3.1 传输延时
我们在长沙进行了数天的模拟测试。将新闻中心信号编码后传至会场进行解码;再将会场解码输出信号传回至新闻中心。
在第一次延时测试中,主路整个系统包含新闻中心演播系统、会场演播系统、两次编解码推拉流系统,测试整体延时为2.26 s;第二次延时测试甩开会场演播系统,测试整体延时为1.65 s。第三次延时测试使用新闻中心录机作为信源输出,不经过两边系统,测试延时为1.23 s。常规推拉流系统的纯粹编解延时包括编码延时、解码器延时以及设定的Latency缓存延时,再加上网络波动所产生的延时,便是编解码系统的传输延时。查看硬件编解码系统的后台数据:Buffering Delay为270 ms,即解码器延时为270 ms。已知该系统纯编码延时不超过50 ms,Latency设置为125 ms,可知纯编解延时大约为450 ms左右。双边闭环1.23 s延时包括:双边纯编解延时加上双边网络波动,再加上两台监视器的成像延时,大致符合标准。
3.2 传输画质
延时测试符合节目录制要求后,需要考虑画面质量的优质性。如何兼顾两者,我们也做了多次调整。在网络带宽稳定性得到保障的前提下,我们陆续调整码率10 Mbps/12 Mbps/15 Mbps/20 Mbps,Video Encoder熵编码使用Cabac/Cavac,GoP(Group of Pictures,画面组)使用IP帧/IBP帧结构,长度选择120/75/50,通过这三种参数的搭配测试提升画面质量,在保障画面质量的同时,保障稳定性、安全性、低延时。
经过反复测试以及与厂家的深入沟通,在进行新闻节目制作时,在两端带宽充足的情况下,建议使用的视频编码配置为:码率15 Mbps(新闻节目制作,由于动作幅度不大,动态画面信息量不多,使用H.264编码方式的有效带宽为15 Mbps左右,再往上增加带宽画质不大)。Encoder熵编码使用Cabac,GoP结构使用IP帧结构,GoP长度50。这样整体画质及解码平顺性是比较好的。
在北京继续测试这两套采用SRT协议系统的综合画质、延时等多方面因素,我们采用SRT协议硬件编解码系统作为最终的主路,SRT协议软件编解码系统作为备路。主路传输延时优于备路,其图像效果符合节目要求,略低于备路。
3.3 虚拟合成
在编码画质和传输延时都符合要求的前提下,需要观察虚拟合成前后的效果。在这一环节发现一个问题,虚拟合成后画面边缘部分存在少许在可接收范围内齿痕,而未经合成的画面未出现该情况。经过分析和对比,长沙会场虚拟UE5系统使用的是1080 P分辨率,而北京摄像机输出只支持1080 i格式,不支持1080 P的输出格式。通过理论分析得出,若使用支持1080 P输出的摄像机,配合支持H.265编码、1080 P制式的SRT协议编解码系统,应可完美解决该问题。
3.4 对话访谈
在单纯使用SRT编解码系统进行节目制作时,发现有声画延时轻微不同步、对话反应时间较长的问题。经与节目组沟通,我们决定采用SRT推拉流的录制系统和M-tech云平台演播室的对话系统。其中录制系统传输稳定,延时符合虚拟成像要求,画质符合节目制作高质量要求;对话系统使用我们自主研发的M-tech云平台演播室,其基于WebRTC的解决方案,低延时、可消除回声,更适用于主持人与代表观看及对话。该系统在不考虑网络链路的情况下,可达到单边延时100~200 ms,在专线使用情况下,既能有效保障其传输的稳定性,又能极好地体现其通话效果。
WebRTC基于UDP传输,UDP的包头小,采用成熟的RTP/RTCP技术,重传策略基于NACK完成[1]。UDP的运用就保障了WebRTC解决方案的延时会很低。除了低延时,还利用到WebRTC的三个功能:回声消除、责编管理和统一监看。其中,回声消除功能通过建立回声路径模型来减少回声,提高音频通话质量;责编管理功能用于管理和协调音频和视频流,提高通信质量和稳定性;统一监看功能则可以监视和控制通信中的音频和视频流,确保通信质量和可靠性,并允许用户进行管理和调整。
长沙演播室使用的录制系统采用基于SRT协议的硬件编码传输,延时较大,导致与M-tech云平台连线系统的WebRTC对话延时相比,声音比图像传输快,从而会对长沙演播室的导演和工作人员造成误导。针对声音比图像快的问题,经过与音频科的分析论证,决定采用两套系统混搭的方法。北京到长沙使用录制系统SRT硬件编码传输声音,长沙到北京使用M-tech云平台连线WebRTC传输声音。这样既不会影响长沙录制的平稳性,又可减少对话延时500 ms以上,将其控制在700 ms以内,有效保障节目制作和观看效果。这种混搭传输方式很好地解决了声画延时不同步和对话反应时间长的问题。
4 结束语
该文介绍了借助互联网专线+5G/云平台的传输模式,采用SRT编解码推流与WebRTC通话的互联网方式混搭配合使用,为远程XR新闻节目制作提供解决传输延时、图像效果、虚拟成像、对话访谈等技术难点的方案,该方案为节目生产节约了成本并提供便捷。该案例的成功践行,为未来类似节目的技术应用及远程制作给予思路指引,是现行轻量化生产的表象之一,亦是融合媒体里新质生产力发展的思路呈现。新质生产力的特点是创新,关键在质优;而本次节目生产正是使用了创新的传输模式,为远程XR节目的新媒体形式提供了高效率、高质量的传输服务。相信伴随新质技术的革故鼎新,未来媒体文化输出将愈发出色。
参考文献
[1] 刘琼,郑锋.新技术赋能全国“两会”报道——5G+XR助力人大代表异地同屏“云访谈”[J].现代电视技术,2021(04):126-128.