基于NDI和vMix的轻量化多场景网络直播

上海东方传媒技术有限公司：厉明

随着互联网短视频及直播平台的迅速发展和普及，小屏端观看和分享直播已逐渐成为主流，用户不受时间和地点的限制，自由选择观看自己想看的直播。近两年媒体发布会和产品发布会也都采用了网络直播和现场发布并行的方式。以往的线下发布活动，由于展会地点和场地大小的局限，传播范围较小，如果要扩大影响范围则要多次多地重复开展活动，消耗大量人力物力；而传统的演播室直播架构系统复杂，设备成本高，人员众多，不灵活。因此相对于大屏端的传统直播制作系统，轻量化，易搭建，制作快，兼容好，性能强的融媒体制作系统成为广大新媒体技术工作者探索的方向。

1.项目概述

整场发布活动由线下主持人与嘉宾座谈现场观众互动提问和线上视频会议协同进行。通过线下会场，线上会议，网络平台等多个场景进行直播。线下部分为一个会场，会场设置了大屏系统和同声传译系统，主要功能是与现场主持嘉宾和线上外国艺术家进行多方座谈。线上视频会议部分使用ZOOM视频会议系统，现场要与远在法国和英国的艺术家进行艺术交流，同时还有不少国内外同行在线上参会收看直播。网络平台直播部分主要面向国内用户，在多个主流互联网平台直播。

由于发布会场地有限（见图1），留给技术区的空间十分狭小，并且需要在大屏现场，ZOOM会议系统，网络平台上同时直播。如果用传统的广电直播系统来建设恐怕场地不允许。考虑到ZOOM会议系统本身就要使用网络作为支撑，基于网络IP协议的信号传输方案不仅不用远距离布线而且能够复用原有的网络设备，所以成为了优选方案；同时能够进行视频直播、视频制作和实时推流拉流且支持网络IP协议信号输入的一体化直导播平台也是本次项目的优选设备。最终节目组采用了NDI和vMix导播分发系统组合的方案，通过实践，该方案运行稳定可靠，满足了经济效益和节目收视的需求。

图1 发布会现场与后台技术区

2.系统解决方案

2.1 NDI协议和编码器

NDI协议是一种网络编码和传输协议。使用NDI协议传输具备超低延时，无损耗，交互控制等特点，这种传输方式摆脱了实体HDMI和SDI线缆，同时传输编码延时控制在100ms以内。使用NDI协议编码3G-SDI信号压缩比大约15:1，多次处理迭代无损耗。NDI协议在传输视频数据的同时还可携带音频数据，TALLY以及通话信息。NDI协议采用mDNS发现机制，在局域网上登记源信息，接受设备可以自动发现这些NDI信号源，并提供自身信息。

要让传统的便携式摄像机具有网络传输功能，外置NDI编码器必不可少，NDI编码器支持3G-SDI视频输入，最高可以支持12G-SDI 4K视频，本案采用了KILOVIEW N3 NDI编码器（见图2），支持3G-SDI视频与Full NDI双向转换，编码器上内置Tally灯，只需要配置IP地址接入局域网即可，三台Sony Z280便携式摄像机通过3G-SDI线缆输出进入NDI编码器传输视频信号，视频信号在局域网中会自动被导播电脑发现并调用。

图2 KILOVIEWN3NDI编码器

2.2 桌面级NDI的应用

NDI Tools是一套由NewTek面向桌面级用户开发的免费的应用程序，目前已经升级到了5.5版本，其为桌面用户提供了包括桌面传输，虚拟摄像头，远程控制等功能，而且完美兼容Full NDI和HX编码方式。

本次我们通过这个软件实现了将VCR的画面和声音转换成NDI流媒体，通过无线网络送入导播电脑，并且将导播电脑切换完成的最终PGM信号送到大屏和ZOOM会议系统。

在大屏电脑以及ZOOM会议软件电脑上安装NDI Tool系列软件，选择套件中的Webcam，选择图3所示的导播电脑的output就可以接收由NDI虚拟的网络摄像头的信号，然后在对应的大屏播出软件和ZOOM会议软件的视频输入中选择NDI Cam就能在软件中获取PGM画面。

图3 在大屏和ZOOM会议电脑上获取PGM画面

2.3 Vmix一体化直播导播系统

直播导播系统由一台高配电脑、一套vMix视频切换与直播软件组成。vMix导播软件的功能强大，视频直播转播以及简单的编辑制作，还可以添加图文信息，虚拟演播室，获取共享屏幕信号，录制甚至是即时重播的功能。软件还提供mix，wipe，PinP等多种切换功能，作为切换台来使用非常合适。

vMix导播软件也是完美支持NDI协议的专业导播软件之一，其可以从网络上任何NDI兼容设备上接受多个视频和音频通道，最高支持4K，方法是选择Add input，input setting页面中选择NDI/Desktop Capture页签（见图4）就可以自动搜索局域网中的NDI信源。不过如果需要接入的NDI信源数量多的话，一定要选择正确的vMix版本，一般选择pro或4K版本，basic版本只支持3路输入源。

图4 vMix添加NDI源

vMix导播软件支持将输出共享给任何NDI兼容设备，在4K和pro版本中可以共享第二输出，这个输出可以是任何一个源和任何一个输出，类似于广播级切换台的AUX输出，共享方法是在设置页面中选择Outputs/NDI/SRT页签，对需要输出的Output口选择信号源并NDI ON（见图5），这样在局域网中的NDI设备及电脑就可以自动发现这个NDI信号并使用。

图5 vMix通过NDI方式共享输出

通过以上的操作，大屏系统和ZOOM会议系统这两个场景就能方便地调用导播电脑进行切换制作后的PGM画面并进行直播。vMix导播软件还支持实时推流和拉流，在add input界面里可以添加rtsp、rtmp、srt等多种主流流媒体数据，在streaming setting里可以设置三组基于FFMPEG编码的RTMP流（见图6），码率及分辨率都可以调整，输入推流地址后就可以在任意网络平台上进行网络直播了。

图6 vMix的推流功能

2.4 传输方案

NDI协议分为HX和全码NDI，全码FULL NDI对于视频做了15:1的压缩，这种压缩视觉上是无损的，一般来说，一路3G-SDI占用的带宽是100Mbps，如果选择HX这种基于H.264编码的NDI则带宽可以减小为10 Mbps左右，但是HX的延时要比FULL高出许多，Full NDI延时不超过100 ms（1-3帧），甚至于只有40 ms，而HX则在150 ms左右甚至更高。

由于是直播，所以我们选择低延时的Full NDI作为编码方式，交换设备选择具备千兆交换能力的Wi-Fi6设备。相较于前几代Wi-Fi技术（见图7），它具有速率更快，最大速率理论值可以达到9.6 Gbps，单流带宽高达1 Gbps；采用正交频分多址OFMDA技术，在频域上将无线信号划分为一个个子信道，形成一个个资源块，数据在块上，在传输时不会占用整个信道，传输销量有了提升。

图7 各代Wi-Fi技术对比

整个传输链路见图8，三台摄像机分别接入NDI编码器，编码器使用网线接入一台Wi-Fi6路由器，ZOOM会议系统，vMix导播电脑，大屏电脑，还有一些作为信源的PC机均链接到这个无线路由器上，通过无线的方式进行信号和数据的交互。在实际的直播过程中，画面延时，信号传输的稳定性以及画面质量都反应良好，FULL NDI和Wi-Fi6的组合能够比较完美地完成任务。

图8 传输框图

3.思考与问题

3.1 项目总结

通过本次发布会的实践，小型网络直播中使用NDI和vMix相结合的小直播系统满足了设备轻量化和灵活性。NDI的编解码效率满足了直播画面的各项需求，vMix对各类输入源和输出方式的间兼容性满足了多场景直播和传输的各项需求；两者相结合组成的轻量化网络直播系统提高了节目直播的效率，也减轻了搭建施工的难度。

3.2 轻量化网络直播的亮点

就目前的融媒体直播，带货，产品发布等形式而言，输入和输出相对于大型赛事以及综艺直播都比较简单，但是功能要求全面，使用一体化直播导播系统只需要摄像和导播就可以完成几乎所有的直播工作，人力成本可能从原来的两位数变成了2-3人，设备成本从原来的几十万级变成了万级。相比之下技术投入维护投入都大为减少，有效提高了利润。

网络传输协议的出现，使得无线网络尤其是移动网络5G在视音频信号传输上提供了更大发展的可能性，5G网络具有带宽大，速率高，延时低等功能，能够完美支持高清码率视频音频信号的实时传输，并且高效的传输协议如NDI保证了画面传输的信号质量，它们的结合打破了直播在空间上的限制。

聚合云技术的出现也解决了单链路无线网络信号丢失的问题，网络聚合功能实际就是将三大运营商以及Wi-Fi信号进行带宽的叠加，实时对每一路的信号质量进行检测，选择最佳质量的通路传输，任何一路信号丢失均可以将负载加载到其他通道上，不会影响信号的传输。

流媒体直播的方式代替了传统电视直播需要将信号通过专线传输到电视总控，再由电视总控做分发的方式，技术人员只需要通过互联网平台的后台申请相应的推流地址和流串码，就可以通过软件将直播信号推送到对应的直播间进行直播，网络流传输方式的成本远远低于铺设光发光收光链路，使得异地传输视音频信号的成本更低。

3.3 面临的问题

本次NDI的应用场景为一个相对独立的局域网环境，网络结构简单，NDI5版本支持不同网段发现信源，结合公网IP端口映射等技术完全能够实现远程制作，但是NDI由于其自身发现机制几乎不需要任何认证，如果仅仅在局域网中传输，因其本身的封闭性，这并不会成为一个大问题，然而随着在互联网的各种场景中应用，安全性问题是需要考虑的，目前NDI数据流的加密级别在256位数据加密，未来应该考虑更具加密型以及更先进的算法来保护数据的安全性。

在复杂网络下的延时和码率间的平衡问题也值得考虑，FULL NDI在不同路由间传输或在公网多节点情况下传输仍旧受到网络带宽和节点设备转换的影响，1080p的带宽在130 Mbps，4K信号带宽在250 Mbps，这样的带宽对于多路传输来说，网络压力非常大，延时也会增大，而NDI HX方式虽然压缩效率更高，但是它的延时可能无法满足目前的远程直播转播要求，期待能够发布更优化的编码方案，能够在较低成本，较小系统下平衡多路由环境下的超高清IP流的传输与播放。

NDI5的发布对于视频及音频系统的支持有很大的提升，但目前来说NDI在视频处理上已形成了一个较为完整的系统架构，诸如基带和HMDI的编码器、视频矩阵、多通道视频录制设备、多画面分割器等等，在音频方面虽然对于很多的软件都有所支持但是硬件上并没有成规模的产品出现，将来应该会在音频上出现基于NDI的IP架构，甚至于从桌面级到云端业务的转变，NDI或许能够成为一种基于云端的视音频输入输出标准。