NDI技术在融合媒体生产中的应用

张艳华

（徐州工程学院，江苏 徐州 221018）

0 引 言

近年来，在主要面向互联网、移动终端的融合媒体领域，网络设备接口（Network Device Interface，NDI）技术在传输、接入、调度、监控、live制作、播出、安全、收录、存储、后期制作及分发方面得到了应用，对数字分量串行接口（Serial Digital Interface，SDI）技术起到了补充甚至替代的作用。

相对于大屏端传统广播电视制播体系，融合媒体的制作分发体系有自己的特点。首先，系统架构要灵活，能快速响应部署；而且设备要轻量化。其次，融合媒体制作对信号的客观技术指标相对大屏要求较低，主观感受对信号压缩的容忍度也相对较高。相对于大屏端的高清、4K/8K的无压缩信号，面向小屏的融合媒体生产，因为最终推流分发是面向互联网和移动终端，所以输入和输出都是低带宽的压缩信号。再次，融合媒体的制作分发体系在满足设备轻量化和系统灵活性的基础上，在技术性能指标满足要求的前提下，要能实现当前制作系统的主要功能。最后，高性价比。在人人都是自媒体的时代，传统广电领域的高成本重装备不适合于融合媒体生产。

综上所述，NDI技术的很多特性都契合融合媒体的技术体系，因此在融合媒体生产领域的应用越来越广泛。

1 NDI技术原理

1.1 NDI协议

NDI协议于2015年由NewTek公司提出。该协议支持视频信号通过局域网进行传输。它首先对视音频进行压缩编解码，所以是编解码的协议。另外，它在压缩编解码的基础上进行低延时传输，所以也是网络传输协议。

NDI协议属于IP交互协议，具备延时低、帧精度处理、支持设备及数据流间可相互识别等优点。同时，在传输视频数据流以外，NDI协议还可同时携带多通道无压缩音频数据流及元数据信息。其元数据信息支持双向收发，发送者和接收者均可通过NDI识别并连接。NDI支持广播级IP传输协议转换，适用于多数通用网络设备，并可延伸与多种第三方工具进行连接。另外，NDI是一种开源接口定义，开放了主要的软件开发工具包（Software Development Kit，SDK）功能，在应用中只需通过调用函数即可直接使用SDK现有功能[1]。

NDI相对的高指标、低延时，满足了主客观图像质量评价要求；即插即用自发现的特性，满足快速响应部署的要求；支持TALLY和通话，保证了传统广电演播的功能，开源特性使得总体拥有成本降低。可见，NDI的这些技术特点非常符合前述融合媒体技术体系的需求。

1.2 NDI码流

NDI协议包括FULL NDI和NDI|HX（NDI|HX2）两种。FULL NDI是基于I帧压缩的，占用的带宽高，延时小，信号质量好。NDI|HX是基于长GOP H.264的改进版本，占用带宽低，相对FULL NDI延时较大，信号质量较低。NDI厂家给出的NDI信号带宽数据如表1所示。

表1 NDI信号带宽

单个高清（High Definition，HD）的NDI流带宽典型值为16 Mb·s-1（NDI|HX）或者180 Mb·s-1（FULL NDI），4K超 高 清（Ultra High Definition，UHD）的NDI流带宽为250 Mb·s-1或者350 Mb·s-1。理论上，万兆网络可以支持40路以上的HD NDI或者20路以上4K UHD的NDI流。

1.3 图像质量

据其他文献研究，将高清图像测试信号经NDI协议以80～120 Mb·s-1可变码率编码并解码后输出，图像质量分析仪的测试结果如表2所示[2]。

表2 图像质量测试结果

在图像质量测试结果中，图像质量等级（Picture Quality Ratio，PQR)算法首先对经过被测系统的图像序列进行标准化处理，之后再对处理后的图像序列和原始参考图像序列进行最小可觉差异（Just Noticeable Difference，JND）计算。PQR_Y越小则图像质量越好。平均主观得分差（Differential Mean Quality Score，DMOS）计算人眼对原始图像和处理图像评价得分的差异, DMOS_Y值越小则图像质量越好。峰值信噪比（Peak Signal to Noise Ratio，PSNR）在压缩数据流协议传输中，达到40 dB时信号即被认为非常接近原始图像的质量，在SDI系统中串行传输标准信噪比要求65 dB。PSNR_Y值越大，图像质量越好。而NDI的技术特性，保证了画面在多次迭代后，质量不会进一步损失。

2 NDI技术在融合媒体制作中的应用

2.1 系统解决方案

2.1.1 摄像机和编解码器

目前，市场上有很多支持NDI协议的PTZ摄像机，一些传统的广电设备商如Panasonic，Newtek，Lumens等公司也在积极跟进。这些摄像机内置NDI|HX编码器。如果摄像机不支持NDI编码，也可以通过外置的编码器来支持FULL NDI+NDI|HX协议,实现视频传输和设备控制。

编解码器支持HD或者12G-SDI 4K视频，端到端延时小于100 ms。支持NDI发现服务器功能，可实现NDI跨网段传输。支持Tally灯、通话、多方式供电等传统广电实用功能。通过与软件集成，还支持设备远程管理和控制、NDI流管理和分发、大规模节目制作管理等功能。

2.1.2 切换台

切换台是节目制作的核心设备，NewTek公司的TriCaster系列产品是其中的代表作。它提供IP和SDI等输入接口，兼容各式视频信号源。以QuickTime或H.264文件格式录制多通道全分辨率视频，用于剪辑、切换、回放、归档、点播。可实现实时流媒体传输、记录、数据驱动图形、虚拟布景及社交媒体发布等。还可利用色度键在实时视频、图文和虚拟场景中创造各种合成场景，并将其用于报告、演讲、演示等用途。

2.1.3 传输方案

NDI作为网络传输协议，一个重要的特性就是网络发现性。编码器把信号源编码成NDI信号后在跨网段的局域网传输，网络内包括PC、导播软件在内的终端都可以实时发现、调度、制作网络内的所有NDI信号。网络内允许存在多个推NDI流的编码终端和多个拉NDI流的解码终端。

如果采用常规的网线传输，一个24口千兆以太网交换机可以支持50路以上的UDP、RTMP、SRT等TS流。除了有线连接，实际使用中也有用无线网桥或者WiFi的方式当成无线图传来传输FULL NDI的案例。如图1所示。

图1 FULL NDI的无线应用

2.2 音频制作

NDI可以像SDI嵌入音频信号一样，在视频数据流以外可同时携带多通道无压缩音频数据流及元数据信息。要求不高的融合媒体制播场景，切换台可直接从可选NDI资源中获得音频数据流[3]。视频信号切换时绑定的音频信号跟随视频信号一同完成切换，或者使用推子单独控制音频通道音源输出。要求较高的制播场景，会采用NDI+DANTE的全IP架构，如图2所示。

图2 DANTE处理流程

DANTE作为音频系统的核心交换协议，支持NDI音频数据流转换，DANTE虚拟声卡从NDI中获得音频数据流。一个IP视音频数据流以DANTE协议将音频信号传输到DANTE调音台接口卡，再通过调音台模拟音频接口接入切换台。这种工作模式会产生音频延时。通过NDI网关调整视频信号延时量，通过调整调音台的音频信号延时量，可以将声画延迟对齐。

2.3 远程制作

在NDI5之前，NDI默认采用multi-TCP的传输方式。TCP的传输方式虽然可靠，但在传输稳定性较差的环境下，其传输效率低、实时性差。所以NDI通常运行在局域网上。

2021年6月推出的最新迭代版本NDI5，采用 了QUIC（Quick UDP Internet Connection），它是一种新的可靠用户数据报协议（Reliable UDP，RUDP）传输机制。RUDP在传输稳定性较差的网络环境下，性能要优于TCP。QUIC基于UDP，所以它具备UDP的简单、低延时的特点，又因为它采用了与TCP相似的拥塞控制/数据重传机制，它又具备TCP的传输可靠性。采用RUDP传输的NDI在传输上更稳定、延时更低。这使得NDI协议具备了广域网协议的特征，可以在云平台上运行，远程进行视频协议传输及解码，在不同的设备之间进行视频共享，将固定的演播室连接到云端演播室，高效快捷地进行视频演播制作。

3 NDI技术在调度分发域的应用

不仅仅在制作域，目前在融合媒体生产的其他领域，采用NDI的音视频网络传输协议代替传统的SDI信号传输，完成全台技术系统的IP化和IT化升级也有很多应用。

3.1 汇聚接入

汇聚接入模块的主要功能就是协议转换，其原理如图3所示。

图3 协议转换原理

RTMP、SRT、HLS、DVB-UDP、WebRTC等多种外来的流信号和文件信号接入，可以实时转换成NDI信号和SDI信号。

3.2 调度交换

当业务中有多路NDI信号需要并发、调度、集中管理，可以使用NDI矩阵。有的产品是先将NDI信源引入一个专有的NDI流服务矩阵，然后由服务器进行分发，此时流服务矩阵会成为系统的单一节点，这样的结构无法充分发挥IP架构的优势。

目前，NDI切换调度矩阵不再采用传统矩阵的通路方式，而是通过交换机控制网络中的NDI视频信号元数据，通过地址重定向的方式进行信号直接调度，但并不对信号进行任何物理集中[4]。由于没有视频数据实际汇聚到矩阵，自然也不存在单点溃点。

随着支持NDI协议的摄像机、编解码器、矩阵、字幕机、多画面分割器、帧同步、加解嵌等系列产品的出现，这些不同公司的产品虽然可以互联互通，但是没有统一的管理配置。一些国内公司自行研发的NDI管理与调度产品，可以实现对现有NDI网络中的各种设备进行管理、控制，使众多的NDI产品快速、便捷地一体化协同工作[5]。

3.3 分发处理

3.3.1 NDI多画面

NewTek公司提供了监看软件NDI Studio Monitor，但是只能监看单画面。现在实际应用的多画面系统实质上是一款解码软件，可根据业务应用需求理论上不受限制地创建NDI窗口，每个窗口可添加多路各种规格的NDI视频流，而且画面样式可完全自定义，多窗口播放，窗口之间可以一键切换，还可以通过HDMI接口上屏。作为辅助功能，多画面通常还具备音柱显示、安全框、中心线及边框等。

3.3.2 推 流

经过内部NDI网络的调度和处理后，根据实际应用需求，系统往往还需要实时对外推送。例如，要支持SRT对外实时交互，实现远程传输，支持RTMP互联网快速推流，实现信号的多平台同步播出，有的还需要支持DVB-UDP，为有线电视等传统播出平台实时提供信号。

4 问题和挑战

随着整个技术生态的发展，NDI正向着一种面向云端视频业务的基础视音频I/O标准方向发展。未来，NDI还需要解决一些实质性的问题。

（1）安全性问题。NDI在视频的连接、获取过程中完全不需要鉴权机制，可以即插即用。随着NDI5开始支持面向互联网和远程制作，传输方式改成了天生具有较高等级加密能力的QUIC，但是身份验证、连接握手的机制、防火墙/NAT穿透等安全性问题还应进一步解决。

（2）编解码问题。使用软件进行NDI编码的性能，相对于解码仍差很多。4K分辨率下的图像质量和编码效率如何平衡，也是一个很大的挑战。

（3）音频问题。NDI5在音频部分有很大提高，目前几乎兼容所有的音频软件、应用程序，并且还允许客户自定义选择、接收和生成多通道音频，而延迟近乎于零。但是还没有构建出一个完整的基于IP架构的音频体系。

5 结 语

基于融合媒体生产的互联网化、移动化，NDI技术在制作、调度、分发等领域的应用越来越广泛。随着技术生态的建立，NDI技术还在不断发展完善。