2021世界智能大会“5G+VR”直播系统设计及应用实践

周 薇

（作者单位：天津海河传媒中心技术管理部）

世界智能大会作为世界智能科技领域学术交流、展览展示、开放创新、深化合作的盛会，自2017年起在天津已成功举办五届，具有较高的社会影响力。2021世界智能大会于2021年5月20日至23日在天津举办，海河传媒中心作为主制作单位，在面向28家重点网络媒体与12家全国具有突出影响力的网络直播平台提供高质量、零失误的高清公共信号的同时，借此重大盛会的契机，进行了“5G+VR”直播的尝试，在多环节进行了技术应用的试验性探索。

1 虚拟现实技术

虚拟现实（Virtual Reality，VR）技术是一种使用现实生活中的数据，利用计算机生成模拟环境，使用户沉浸在环境中的一套创建和体验虚拟世界的计算机仿真系统，是借助计算机和最新传感器技术创造的一种崭新的人机交互手段。

相对于传统领域的内容制播，VR制播的不同主要体现在360°全景、三维（3—dimension，3D）图像和交互方面，可以给观众带来无与伦比的沉浸感，让观众感觉仿佛置身于现场一般。VR制播在刚兴起时，只在王菲演唱会、NBA赛事直播、春节联欢晚会等大型赛事活动中使用过，现在开始逐渐普及大众VR内容制作，VR制播也在不断发展。艾媒咨询发布的数据显示，用户对直播中所运用的VR技术很感兴趣，60%的用户很期待对其进行实际运用[1]。但目前，VR直播由于受到网络带宽、视频压缩及传输技术等方面的限制，无法很好地进行高分辨率画面高效缝合，直接影响到了自身的发展。

随着信息技术的不断发展，第五代移动通信技术（5th Generation Mobile Communication Technology，5G）诞生，其具备大带宽、低时延、广连接的特性，为媒体行业实现新发展提供了机遇[2]。媒体行业对于无线通信技术有着天然的需求，“到得了，拍得到，传得回”是电视节目的重要诉求[3]。2020年7月，《中央广播电视总台5G媒体应用白皮书》（2020版）正式发布，其对中央广播电视总台基于5G的视音频采集传输、移动云制作和VR制作及分发等应用技术要求进行了详细描述。5G+VR直播视频制作流程如图1所示，在外场进行多机位的VR视音频采集，通过客户终端设备（Customer Premise Equipment，CPE）、5G手机等5G接入设备无线连接到5G网络，网络提供包括服务质量（Quality of Service，QoS）、切片服务、边缘云平台等保障，并提供相关的云端服务，通过5G的接入网、承载网和核心网进行传输，台内的内部基础网络通过无线空口或光纤专线的方式就近接入5G网络，信号和数据进入台内各制播系统，如总控、5G新媒体平台、制作系统等，从而形成完整的基于5G的媒体应用体系[4]。

图1 5G媒体制播应用流程图

2021年正是5G应用创新发展的关键时期，媒体应用是5G应用的重要场景。海河传媒中心技术团队结合实际，认真组织并做好落地实施工作，进行了此次“5G+VR”的直播，使观众全面感受到了“5G+VR”的独特魅力。

2 VR全景直播方案设计

此次智能大会开、闭幕式在梅地亚剧场举行，技术团队联合天津联通公司进行现场5G网络覆盖；外场使用VR摄像机拍摄全景画面，通过ZOOM H4N Pro录音机进行音频信号的采集，在Pro 2摄像机内进行视频的实时拼接缝合，并嵌入音频信息后压缩为IP化的视音频流，通过5G CPE进行上传，接入5G网络。台内通过专线落地，利用部署在梅江院区的实时消息传输协议（Real Time Messaging Protocol，RTMP）服务器进行分发，用户在不同区域利用发布的公网地址或内网地址，就可以在手机、电脑或VR头显进行实时观看。

直播方案设计流程如图2所示，现场实际搭建和效果图如图3所示。

图2 直播方案设计流程图

图3 现场实际搭建及效果图

3 VR直播具体实施步骤

3.1 5G网络覆盖测试

对于广电行业来说，5G最主要的应用场景就是高数据传输速率。5G网络的峰值传输速率可达10 Gbps， 是 4G 长 期 演 进（Long Term Evolution，LTE）蜂窝网的100倍，可满足高清视频乃至4K视频和VR等大数据的传输[5]。

在梅地亚剧场，由联通公司进行5G网络覆盖支持，在现场开通了5G室分，提供5G信号。图4是通过CPE终端将5G信号转换成无线网（Wireless Fidelity，WIFI）信号后手机连接测试情况，上传速度达到73.6 Mbps，抖动为22 ms，丢包率为0，很好地满足了VR信号稳定上传的传输要求。

图4 手机连接测试情况

3.2 机位选择

由于此次VR直播只有一个机位，为满足观众的沉浸式体验需求，技术团队在机位选择上进行了反复比较权衡。为不影响正常现场的转播，机位布置上不能穿帮，就需要避开杂乱的背景。最终开幕式选择在主会场的2楼设置机位，闭幕式选择在台口设置摄像机，以呈现良好的拍摄效果。具体摆放如图5、图6所示。

图5 开幕式机位布置

图6 闭幕式机位布置

3.3 参数设置

Insta360 Pro 2 VR摄像机配备了九轴陀螺仪，能够实现针对运动场景的防抖，具备机内推流、自定义服务器推流、机内缝合拼接的功能，在直播准备工作中，在保证2 m内不存在遮挡物的情况下，提前对当前场景进行拼接校准。由于推流服务器性能限制，此次直播没有采用8K的分辨率，而是采用4K 3 840×1 920@30 fps的分辨率，投影模型采用等距矩形方式，直播推流地址使用台内的一台推流服务器，并采用RTMP，推流地址为：rtmp://111.160.193.202/LIVE/111。

3.4 声音收录

由于Insta360 Pro 2 VR摄像机在进行直播推流时需要进行散热，风扇散热会产生风噪，导致在现场通过摄像机本机收声的噪音非常大，几乎听不清楚声音，于是尝试使用调音台声音通过3.5 mm接口导入至Pro 2中，但仍然存在音质不佳的问题。为解决声音收录的问题，通过比选各种设备，最终选择专业级全景收声话筒H4N输入现场混音后的模拟音频，经过机内转换成48 KHz采样的数字音频，通过摄像机的USB接口进行声音的嵌入。经过测试，转换后的音质良好，能够满足直播需求。

3.5 调整曝光设置

在智能大会现场，舞台上下光线差异较大。全景摄像机采用6目摄像头环绕结构，对于环境中各个区域不同的光线曝光设置为相同，导致拼接后的视频出现局部过曝、画质不佳的现象。经过调整，设置画面曝光控制为手动，在大会期间，根据大会不同环节、不同场景手动调整摄像机的曝光曲线，以解决背景大屏亮度超标溢出的窘境。

3.6 Logo的叠加

此次VR直播，摄像机是支在一个大约2 m高的三脚架上，拍摄360°全景画面，但经过画面的缝合，会出现三脚架的元素，影响画面美观。一个有经验的做法是，为直播制作并设置底部商标（Logotype，Logo），在缝合后的画面中三脚架的位置叠加上Logo，遮挡部分画面，不仅能够丰富画面的表现形式，增加画面信息，而且能够修饰画面的缺陷。Logo叠加后图像如图7所示。

图7 设置底部Logo

3.7 收看方式

在智能大会期间，不能来现场的观众可以通过手机打开特定的insta360 Player软件进行收看，可以在办公室利用办公电脑下载Potplayer应用程序进行观看，亦可使用VR头显收看大会直播实况，让大家“可操作、可交互”的近距离感受会场气氛，充分享受创新、赋能、生态的智能大会新体验。

4 结语

5G作为新一代网络基础设施，是经济社会数字化转型的关键支撑。而VR全景直播是5G应用的首选场景。技术团队总结分析本次直播的技术系统设计和实践经验，对于在融媒体发展背景下，更好地应用5G通信技术、探索媒体的多样表现形式、完善VR直播技术保障有着重要意义。

针对此次直播中面临的各种问题和最终呈现效果，技术团队通过反思，总结了一些需要改进的地方。首先是直播机位过于单调，观众容易产生疲劳感；其次是画面清晰度有待提高；再次是由于推流服务器上没有安装全景播放器插件，导致观众在观看时受到了限制，无法通过浏览器直接打开VR视频，只能通过下载相应的应用程序进行观看。针对这些问题，技术团队也在积极探索大型会议的VR直播形式，会在后续的VR直播中，通过增加更多机位实现不同位置、不同角度的全景视频内容切换，丰富视频画面。同时，制作VR图文，并将其叠加在VR视频上，使整个直播更生动、更灵活，能够满足人们日益分化的观看需求。