AR沉浸式全景仿真演播室系统在杭州文广集团的应用

杭州文化广播电视集团：韩一骐

1.AR沉浸式全景仿真演播室系统特色

AR沉浸式全景仿真系统通过多通道空间的立体显示技术、大范围红外动作捕捉技术、物理PBR实时三维渲染技术，LED无缝拼接技术、无限蓝箱技术、全景实时显示等众多高新技术的应用，在一个较小的立方体空间内，可以通过系统内模型的变化，展现出富有创意的舞台变化，模拟出真实且多样的空间场景，甚至在同一个栏目或者活动中，可以在短时间内展现出多个不一样的场景，打破了以往实景演播室单一场景的局限性，拓展了使用的方向，满足了新闻访谈、小品曲艺、歌舞节目等多种节目形式的需求。

明珠频道采购的AR系统，采用了“L”型结构，由1块地屏和2块侧屏（墙面）构成一个立方体空间，侧屏采用了规格为P1.875的屏幕，地面采用了规格为P4的LED产品，并在屏幕上安装了亚克力材质的透明保护板，使得摄像机脚架等设备可以在AR系统地面上使用。

该系统特色：

一是“够大”，活动范围能满足电视台众多节目多机位的拍摄需求而不穿帮，给主持人留有足够富余的活动空间。

二是“多变”，系统可以进行多人互动节目的拍摄，可以使用桌椅等道具，也可以用前景虚拟技术来加入虚拟物品，从而表现更多样化内容，在短时间内可以切换各种类型的拍摄环境，可以使用高清图片、高清视频、三维模叠加实景视频等形式使用，方便快捷多样。

三是“所见即所得”，大型可视化仿真环境所有内容都是实时可见的，主持人的表演与解说毫无压力，完全可以在这个仿真环境中精准解说与自由发挥。

四是“真实”，基于LED屏自发光的原理，可以实现真实环境的漫反射效果，从而免除“蓝抠”“绿抠”时主持人肤色带有蓝色漫反射或者绿色漫反射的问题，大幅度的光景变化也可以轻松应对，光影的时间轴都可以调节，各种材质的道具的使用也非常自然表现。

五是“精准”，使用最精准的红外摄像头进行系统定位，毫米级精度与超低的跟踪延时保证系统定位的稳定运行和多种方式的移动拍摄与体感互动的实现。

六是“有层次”，系统具有AR前景植入功能与AR虚拟背景系结合，可以实现多层次前后遮挡的场景渲染效果。

显示空间支持多种素材：

1.支持清晰度高达8K的图片输入作为显示环境使用。图片可以放大缩小、上下左右移动或Y轴旋转调整位置，构建不同的拍摄场景；

2.支持高清视频甚至4K视频实时接入与播放，视频可作为场景背景使用，通过更换不一样的视频，呈现不同的场景特色；还可以在环境中开“窗”，置入不同的视频，用于事件回放等；

3.通过3ds Max软件构件的模型作为场景使用，支持快速加入多重粒子效果，打造更为多元更为酷炫的舞台效果，比如动态的雨雪等天气以及光影变化等；

4.支持前景植入，可以使用PNG图像、带通道视频或动画、模型显示在拍摄真实人物前方，达到与后方显示环境前后呼应的效果，使拍摄画面更富有空间感；还可以同场景中的人物进行互动。

七是“无限蓝箱技术”，可以把屏幕显示的虚拟空间进行扩展展示，打破物理显示尺寸的限制，达到内容显示的无缝链接全屏显示。跟踪摄像机的任意自由运动过程，提取摄像机的位置，环境场景跟随摄像机的运动而运动，区域精确、计算简单、通用性强。

图1 :系统结构

图2 ：红外动作捕捉系统连接以及信号图

2.核心应用技术、子系统构成和功能

2.1 系统结构

2.2 多角度屏幕三维缝合技术

多角度屏幕三维缝合技术是使用多个摄像头组成的红外定位系统对摄像机位置进行定位，通过红外定位系统读取每个摄像机红外定位点在空间中的位置参数，不断修正在红外标记点与摄像机镜头的差值，把修正过的坐标信息不断匹配到各自的空间坐标系使用。其核心技术是，通过算法的调整把不同的空间坐标进行配对使显示的三维空间与其匹配，每一个屏幕都有空间位置坐标信息，每一块屏幕都显示精准的空间透视效果。

2.3 PBR三维渲染技术

该系统运用了全球最先进的实时PBR渲染引擎与强大的渲染硬件，来处理三维立体环境模型。PBR的定义正如其名所言，Physically Based Rendering就是“基于物理过程的渲染”，这个概念是指先从现实中不同材质所表现出的自然现象作归纳，最后将这些物理特性一一拆分为独立的物理属性，将这些物理属性通过不断的组合，最终形成一个完整的材质。PBR渲染常常伴随着“实时渲染”一起出现，而实时渲染一直是游戏行业一直不懈追求的效率，运用该技术，不但降低了材料模拟的难度，还提高了

渲染的真实度，同时也提高了渲染效率。

图3 ：显示系统连接以及信号输入、输出图

图4 ：杭州市对外宣传双语节目《看杭州.

图5 ：健康科普节目《阿六嫂说健康.

图6 ：虚实结合的《云上动漫游戏产业交易会新发会.

图7 ：沉浸式城市旅游线路讲解

2.3.1 基于物理渲染的优点

•容易达到真实世界中的场景效果。

•同一配置可以适用于在不同HDR光照环境下。

•基于真实参数（Shader（着色器）、Texture（纹理）、BW Map（黑白图的作用）、Base Color Map（基本色纹理）、Metallic Map（金属度纹理）、Roughness（粗糙度纹理）、Normal Map（法线纹理）、Displacement Map（置换纹理））。

•更容易去解决材质问题。

2.3.2 基于物理的渲染和传统区别

•有着基于物理规则的光照模式。

•无处不在的菲涅尔效应。

•次表面散射，物体平面的反射光无法超过它所接受的入射光。

•基于物体材质，会分辨金属和介电质，微平面的概念。

•线性空间光照，支持HDR级别渲染和伽马校正。

2.4 红外动捕子系统图

功能：本系统使用红外动作捕捉模块来获取摄像机的位置，为系统的空间定位提供位置、方向、角度等数据。红外摄像头可以同时获取多个不同摄像机的动态位置信息，用于多个机位切换拍摄。

应用：在这套系统中，配备了六台高清红外摄像头OptiTrack来采集摄像机在实际空间中的位置信息，通过算法上的交叉验证，空间中就算有一定的干扰源存在，系统也可以稳定工作，通过网络交换机，红外摄像头的数据与动捕电脑通讯，动捕电脑再把分析后实时数据发送到总控服务器，控制服务器把红外数据对三维环境进行匹配，同步到三个通道渲染服务器。动捕电脑通过网络交换机获取由六台红外摄像头OptiTrack得到的多台摄像机的标记点三维空间参数，利用电脑中的Motive软件，通过软件算法，不断修正在空间坐标点与摄像机镜头标记点之间的差值，以获取多台摄像机镜头的精准位置，数据再通过交换机传输给渲染服务器和总控服务器进行使用。

2.5 仿真虚拟渲染显示系统

功能：显示系统是用于显示完整的仿真虚拟场景，图片或是视频。显示系统具有视频开窗功能，实时外接视频可以在场景中任意位置有一个开窗，硬盘内的视频可以在场景中任意位置有四个开窗。

应用：在本系统内，网络交换机与各个通道服务器、总控服务器均是由网线连接的。外部视频输入与各个通道服务器利用相应的数据线（SDI/DVI/HDMI）相连接，各个通道服务器与视频拼接处理器利用HDMI数据线相连接，视频拼接处理器被大屏控制电脑所控制，视频拼接处理器又分别与LED显示屏利用DVI数据线连接。总控服务器通过网络交换机把修正过的摄像机坐标信息分别匹配到虚拟空间中使用，通过算法的调整把虚拟空间坐标进行匹配，通道服务器渲染后，再经过大屏控制电脑以及视频拼接处理器对LED屏幕的校准，呈现一个完整的三维场景空间。

信号：外来视频的信号源（三种接口SDI/DVI/HDMI），接入各自独立的分配器（例如接入SDI信号用SDI数据线接入SDI分配器），通过分配器的信号内容再进入各通道服务器的采集卡中，采集卡将采集这些外来的视频流，进行渲染后作为材质纹理贴入模型场景中。

3.AR沉浸式全景仿真演播室系统在西湖明珠频道节目中的运用

AR沉浸式全景仿真演播室系统在杭州文广集团正式使用3年以来，在较小的LED屏显示空间里展现出无限可能的环境，快速生成编导所需的不同类别的空间，使节目人员身临其境。演播室技术人员充分发挥了此系统的“多变”“有层次”“拓展性强”等特点，独立制作了超过50个不同的场景，满足了集团日常节目的需求。例如，构建了一个“真实”空间，主持人在仿真环境中精准解说与自由发挥（图4），主持人与医学大咖走进身体，探索疾病根源（图5），使用虚实结合的方式，让主持人在实景中与虚拟人物互动（图6），主持人置身于三维立体地图之上，讲解城市旅游线路（图7）。AR系统的启用，大大丰富了集团现有的节目形式。

4.结束语

随着科技的进一步发展，AR、XR等技术不断革新，演播室技术攻关团队正与厂家研发团队一起，进一步拓展更多元化的使用场景，以内容建设为根本、先进技术为支撑，增强先进科技与媒体实际使用场景的融合，形成后端开发人员和前端实际使用者之间不断互动交流的合作机制，让技术服务于节目，媒体融合发展提供有力保障。