基于WebRTC技术的远程教育制播系统

朱绚梅子

（山东教育电视台，山东 济南 250014）

0 引 言

近两年，疫情反复导致的隔离和停课时有发生，对广大学子的学业产生了深远的影响。为了响应国家教育部提出的“停课不停学”政策，帮助广大教师、学生正常进行学习活动，山东教育电视台积极探索节目制作新形态，搭建了一套专门用于远程教育的制播系统，用于节目互动、课程录制及网上直播教学活动。该系统在功能上解决了多人在线异地交流互动的难题，能够让身处多地的专家、教师、学生以及主持人能够流畅地进行互动交流；在技术上实现了视音频信号采集、数字视音频图片文件播放、多机位视频切换、多人互动直播、音频调音混音、字幕图文制作与播出、抠像、虚拟演播三维合成、虚实景结合、在线视频包装、摄像机控制、监看输出、直播、延时播、网络推流等功能全覆盖。

1 方案设计

1.1 技术理念

网上直播教学活动离不开流媒体技术。实时消息传输协议（Real Time Messaging Protocol，RTMP）是当前应用最广泛的直播推拉流协议，是Adobe公司为Flash/AIR平台与服务器之间音、视频及数据传输开发的实时消息传送协议[1]。在RTMP协议中，视频编码方式必须使用H.264格式，音频编码必须使用AAC或MP3格式，且多以FLV格式封包。标准的RTMP协议传输层基于TCP协议，因此它的缺陷也是显而易见的：抗丢包能力差，丢包时发送窗口直接退避导致发送速率很慢；整体延时不可控，主要依赖于接收端的ACK的可靠传输；拥塞控制优化成本高，TCP算法拥塞控制策略是在操作系统内核层实现的，其优化的成本很高，一般只有在服务端做内核层面TCP拥塞控制的相关优化，而客户端只能依赖各平台的操作系统自己做的拥塞控制优化。因此，标准的RTMP协议不适用于低延时场景[2]。

为在远程教育中实现主持、嘉宾、老师、学生的实时互动，满足直播多人互动的超低延时需求，本次搭建的远程教育制播系统，采用当前处于技术前沿的网页实时通信（Web Real-Time Communication，WebRTC）协议和技术。

WebRTC实现了基于网页的视频会议，标准是网页超文本应用技术工作小组（Web Hypertext Application Technology Working Group，WHATWG）协议，目的是通过浏览器提供简单的Javascript就可以达到实时通信（Real-Time Communications，RTC）能力。视频采集支持多种媒体类型，如I420，YUY2，RGB及UYUY等，并可以进行帧大小和帧率控制；主要采用I420/VP8编解码技术，VP8能以更少的数据提供更高质量的视频，特别适合视频会议这样的需求。

WebRTC采用iLIBC/iSAC/G722/PCM16/RED/AVT编解码技术。该技术提供了在Web，iOS，Android，Mac，Windows及Linux在内的所有平台进行实时语音对话或视频对话的应用程序接口（Application Programming Interface，API），保证了 API在所有平台的一致性，提供了一套统一的、开放的实时通信能力描述和连接建立标准，同时也大大降低了直播互动的延时，目前直播双向互动延时控制在200 ms以内。WebRTC还提供NetEQ功能，即抖动缓冲器及丢包补偿模块，能够提高音质，并将延迟减至最小。

1.2 系统架构

该系统的制播平台采用云技术，在云端完成内容的多元汇聚、多任务加工及多渠道分发，整体架构如图1所示。来自现场主持人、嘉宾、异地嘉宾以及嘉宾的PPT课件等多格式的信息源在云端汇聚，并在云端进行云存储、云编辑、云导播以及云流媒体服务，完成码流的转换以及多渠道的云端分发，实现了电视端、手机端、Web端等直播渠道的全覆盖[3]。同时，系统基于WebRTC直播技术，确保了现场主持人、嘉宾与异地嘉宾之间低时延的双向交流。

图1 系统的整体架构

1.3 业务流程

系统业务流程如图2所示。来自现场演播室的摄像机视频信号和音频信号以SDI和Audio信号的形式汇聚到云直播平台上，来自异地的摄像机、手机以及笔记本等多格式的信号以IP流的形式汇聚到云直播平台上，在云直播平台上统一完成信号的处理、转换以及在线包装，经云导播台切出的信号以HDMI的形式返回直播演播室进行监看和互动，同时，该信号以SDI的形式进行频道直播，以IP的形式进行新媒体端的直播[4]。

图2 系统的业务流程

该系统采用本地建设模式，由“手机端及摄像机信源采集”“直播/导播/在线制作模块”“直播推流”“云端收录、点播”组成，构建“采集、导播、多人在线互动、在线制作、直播推流”的全流程远程教学直播系统，实现了包括视音频信号采集、数字视音频图片文件播放、多机位视频切换、多人互动直播、音频调音混音、字幕图文制作与播出、抠像、虚拟演播三维合成、虚实景结合在线视频包装、摄像机控制、监看输出、直播、延时播作以及网络推流直播等功能全覆盖。

1.4 设计的先进性

本方案设计采用WebRTC技术，确保了低时延双向视音频传输，支持NDI，RTMP，M3U8，RTC及SRT等各种信号标准输入输出，适应不同应用场景、不同终端设备，支持一对一视频通话、多人会议模式通话，支持横屏、竖屏两种方式，支持iOS和安卓双系统。

系统的在线制作功能强大，支持多画面扩展输出，支持多达20种横竖屏布局模板，同时支持布局自定义，带有2D、3D包装效果，内置丰富的开窗关窗过渡特技，在线包装精美，内置多套多画面、台标、字幕、过渡特技及转场动画等多种在线包装模板，具有丰富的虚拟场景及场景编辑器，内置10套以上的虚拟场景，支持虚拟摄像机移动、实时光影反射，能够制作出沉浸式视觉效果[5]。

系统的切换功能强大，支持最高16路高清信号、最高8路4K信号切换，支持各种色域、高动态范围（High Dynamic Range，HDR）转换；同时支持4路DDR、2路DAR、4路多视窗瞬时切换，帧精确同步，支持多类型场景，支持横屏、竖屏、HD、4K等多种直播形式，可以轻松满足各类终端用户观看。

系统操作简单方便，支持一键将直播内容分发到多个平台（如电视频道、微信、微博、网站及App等）。手机随时随地推流，支持双流模式。小窗口模式时，每路信号采用低码流模式；单画面播放时，采用高码率模式，保证多人视频的流畅度。支持静音模式、接收听筒模式及扬声器模式，支持镜头切换、关闭模式，支持本地视频文件回传。

系统高度集成化、便携化，一台设备即可完成直播/导播的工作任务，在保证安全、实时、有效的情况下，设备成本低，运输不局限于任何交通工具，人员配置也更简单。

2 应用部署

该系统自2020年初在山东教育电视台搭建完成，已稳定运行2年，完成了本台《空中课堂》《名师开讲》《开学第一课》《同心战“疫”》以及山东省教育厅《“手牵手心连心”——山东精准支持留英学子抗疫辅导计划启动仪式》、中俄高校对话等节目、活动的录制和直播工作。

在《开学第一课》节目中，主持人身在山东教育电视台演播室，嘉宾与省内多地的小学生在各自家中，武汉抗疫一线的医生在隔离宾馆。要实现他们之间的连线互动，成为节目中最重要的环节。为确保节目制作中连线互动直播顺畅，制作人员全程采用了索贝灵焕在线视频制作系统进行直播云录制，实现多窗口同屏录制节目、直播信号导播切换、多机位信号云端收录、台标字幕在线包装和低延时直播互动，其现场的实际应用画面如图3和图4所示。

图3 手机端互动画面展示

图4 演播室云导播平台展示

3 系统创新性

该系统利用云端收录、点播和推流技术，具有字幕、过渡特技、转场动画等多种在线包装功能，使录制效果更加生动多彩，同时其完善的云端收录、制作和分发技术，实现了云端录入、内置Web剪辑、多渠道分发等应用，实现了电视、手机及Web等直播渠道全覆盖，并支持下载及在线发布到网站、App、微信及微博等功能，为课程录制和在线学习提供了极大的便利。系统具有以下创新性。

3.1 管理机制创新

基于WebRTC技术的远程教育平台，颠覆了传统远程教育的制作和播出模式，因此，在管理机制上也必须创新。在节目团队的建设上，策划、制作、网络技术与播出技术紧密结合在一起，组成同一个团队，以技术引领和驱动节目的策划和制作。

3.2 技术创新

多个异地嘉宾直播互动，多窗口同屏录制；双向传输，异地嘉宾用手机在本地可以实时查看节目效果，多人连线延时低至200 ms，主持人、现场嘉宾、异地嘉宾之间互动无阻。系统包含多画面、台标、字幕、过渡特技、转场动画等多种在线包装应用，课堂效果更鲜活。直播多渠道分发，电视频道、手机、Web端均可观看，实现直播受众全覆盖。内容云端收录及二次加工制作和分发，并支持下载及在线发布到网站、App、微信、微博等渠道。

3.3 应用创新

系统将传统的电视制作技术通过云平台与远程教育制作和播出技术相结合，利用智慧广电技术实现了互联网+教育的应用，为今后广电行业向教育领域拓展和延伸提供了一个很好的应用案例。

3.4 模式创新

系统基于一个云平台，实现了演播室、异地多元信息的汇聚，在同一平台上实现信息的转换、加工和多渠道分发，同时，也实现了对信息源的统计和管理。电视技术与网络技术做到了有机的结合，展现出最好的效果。

4 社会效益及可持续性分析

4.1 社会效益

面对突发的疫情，在主持人、嘉宾、教师、学生不能相互见面的情况下，本系统发挥了远程低延时互动的特性，完成了山东教育电视台以及山东省教育厅多个节目和活动的录制和直播工作，共远程录制节目百余期，并在电视端和新媒体端播出，严格落实了教育部“停课不停学”的要求，受到家长和学生的欢迎，为山东教育电视台带来了良好的经济效益和社会效益。

根据中共山东省委宣传部和山东省教育厅的安排，山东教育电视台利用该系统录制了《开学第一课》中小学版和高校版两期节目，节目播出后引起强烈的反响，当天电视端收视率达到2.6%，网络端收看人数为668.6万人，受到省委宣传部和省教育厅的表扬。

《“手牵手心连心”——山东精准支持留英学子抗疫辅导计划启动仪式》是山东省政府与中国驻英大使馆联合开展的精准支持留英学子抗疫辅导计划，同样借助了该系统。系统完美地实现了驻英国大使馆大使、山东会堂主会场领导、山东医学高校专家三方的异地在线互动，使启动仪式顺利完成，得到山东省教育厅领导的高度表扬。

4.2 可持续性分析

本设计方案利用云汇聚、云制作和云分发平台进行远程教育节目的录制和直播，既发挥了广电媒体在节目制作方面的专业性，确保了录制节目的质量，同时又发挥了网络媒体快捷方便的优势，使现代互联网技术与教育进行了完美结合，解决了传统远程教育存在的不足，极大地方便了学生学习。此系统在远程教育方面的推广，可以有效扩大远程在线教育的覆盖面，解决农村学校课程开设不全、师资不足、优质教育资源难以共享等问题，助力线下教学。该系统必将受到教育部门、各类学校、教育培训机构等的青睐，具有良好的应用前景。

近几年，随着融媒体平台建设的推进，广电系统也在大力推进智慧广电的发展，加快广播电视与互联网的深度融合。该案例中，系统设备采用云制播平台，信息源在云端汇聚，并在云端进行云存储、云编辑、云导播以及云流媒体服务，完成码流的转换以及多渠道的云端分发，使互联网技术与广电技术做到了深度融合，可以有效完成异地多场景访谈类节目以及综艺类节目的录制和在线直播，其低廉的成本以及轻量化、高效的部署，可以克服传统广电节目制播中的重装备现象，在提高节目录制效率的同时，也可有效节约节目的制作成本，符合各类媒体在融媒体时代对制播设备的技术要求，因此在媒体界具有广泛的推广价值。

5 结 语

通过在百余期节目制作中的实际应用可以看出，该套基于WebRTC技术的远程教育制播系统具有低时延、云制播、成本低等特点。它将互联网技术与广电技术进行了深度融合，可以有效完成异地、多场景访谈类节目以及综艺类节目的录制和在线直播，将现代互联网技术与教育进行了完美结合，解决了传统远程教育存在的不足，极大地方便了学生学习。无论是在媒体界还是教育部门、各类学校、教育培训机构等，都具有一定的推广价值。