基于5G多视频融合的流媒体应用探索与研究

冯九龙 杨海涛 栾晓鹏 马营营 冯荟璇

摘  要：随着5G和智能视频技术的快速发展，国内流媒体技术取得了突飞猛进的发展，应用接入规模不断扩大，涌现了大量的平台服务商。然而，现实的智慧化建设方面，面临多视频接入、多协议、多应用融合的问题。为此，文章通过研究流媒体技术的价值，阐述多视频融合的方法。通过对智慧建造项目建设思路的思考，从视频远程现场指挥调度的需求角度出发，探索流媒体技术的应用场景与未来展望。在这样的产业背景下，基于多样性接入、融合互联互通的应用的价值显得尤为重要。

关键词：5G;Rtmp;多视频;流媒体

中图分类号：TN929.5        文献标识码：A文章编号：2096-4706（2022）05-0060-05

Exploration and Research on Streaming Media Application Based on 5G Multi-Video Fusion

FENG Jiulong， YANG Haitao， LUAN Xiaopeng， MA Yingying， FENG Huixuan

（Beijing Telecom Planning & Designing Institute Co.，Ltd.， Beijing  100048， China）

Abstract： With the rapid development of 5G and smart video technology， domestic streaming media technology has developed rapidly， the scale of application access has continued to expand， and a large number of platform service providers have emerged. However， in terms of practical intelligent construction， it is faced with the problems of multi video access， multi protocol and multi application integration. Therefore， this paper expounds the method of multi-video integration by studying the value of streaming media technology. Through thinking about the construction idea of smart construction project， this paper explores the application scenario and future prospect of streaming media technology from the perspective of the demand of video remote on-site command and scheduling. In such industrial context， the value of applications based on diversity access， integration of interconnection is particularly critical.

Keywords： 5G; Rtmp; multi-video; streaming media

0  引  ;言

5G的快速發展给我国的通信技术注入了新的活力，同时，通信技术与流媒体视频技术存在着相互影响、相互促进的关系。在网络层面，5G为流媒体视频应用提供了有力的支撑，网络通信的延时越低、带宽越高，视频的应用领域就越具有多样性（例如在智慧城市、智慧建造等领域，超高清视频都是关键应用场景），而5G技术彻底改变了流媒体技术的通用性，视频是一种应用，表面上看，它似乎是为5G打造的，通过5G的传输能够大幅增加带宽并获得极低的延迟，从而孕育出各类移动应用（如短视频、视频直播、城市慢直播等），依托传输优势助推各种技术与场景的深度融合，如人工智能AI分析、虚拟VR/AR、数字孪生、视频识别等都呈现了新一代应用生态。

本文基于智慧建造领域的典型场景，分析了5G通信技术在智慧建造平台的接入方式，重点阐述流媒体平台的典型价值及融合技术策略，并建立基于多终端、多协议的适配，融合典型视频协议的应用平台设计，探索以视频为基础的人工智能分析、安全行为管理规范等，提供流媒体融合建议及应用探索。

1  5G视频应用概述

1.1  5G视频发展分析

近年来，智能建造及智慧工地迅猛发展，中国各部委也对建筑行业信息化建设提出了更高的要求。2018年12月，中央经济会议首次提出“新基建”这一概念，并明确了新基建三大发展方面，即信息通信基础设施、融合基础设施、创新基础设施，新基建本质上是信息数字化的基础建设，而5G作为通信基础设施的重要载体，不仅能从根本上改变移动网络的现状，促进数据要素的生产、流动和利用，还更加便于各行各业的联通协同、服务供给，带动形成5G相关产品和服务市场。近几年，以视频为中心的社交活动、沉浸式娱乐、教育、以及许多其他影响消费者的内容都逐渐火热起来，这使基于5G的实时视频传输也成为商业生活中多种应用的重要组成部分。随着我国5G网络建设进入快车道及商业化的逐渐开启，5G成为促进产业数字化升级、商业模式创新和经济社会转型的重要动力。

围绕智慧化建造场景的高清视频、安全作业、施工行为等实时视频发挥着重要价值，同时在助推创新应用方面，基于流媒体技术的视频直播，短视频也使信息传播的方式发生了巨大改变。5G“万物智联”的到来使直播、视频在内容的制作、输出、分发等环节步入新轨道。在5G的赋能下，直播、视频结构化、人工智能+视频等诞生了更多的新模式、新玩法，5G+VR/AR/MR以及物联网等新技术助力直播，视频不再局限于4G下的二维观感，视听的沉浸式体验、身临其境的场景感将会加强，画面的清晰度、延时性和互动性等将会明显改善，万物“视”联将走进现实，长短视频交织将成为主流的信息表达方式，真实世界与虚拟世界之间的界定会越来越模糊，社会化协同模式也将随之发生改变。

5G与流媒体技术的结合，既能够满足人工智能视频结构化的发展需求，形成具有低时延、高可靠、广覆盖特点的关键网络基础设施，也将是新一代信息通信技术在视频领域深度发展而形成的新兴应用模式，更会在此基础上形成全新的应用生态引领体系。

1.2  视频应用典型需求

目前，国内视频厂商及流媒体技术提供商的产品及技术特点、平台提供商的接入协议各不相同，终端制造商需要为每款终端维护提供适用于不同平台的软件版本，造成了极大的资源浪费，其次是多种视频协议标准的出现，给视频服务平台与前后端视频设备的互联互通带来麻烦。为了解决视频终端采用不同视频协议标准的平台对接困难的问题，构建一个能够同时兼容多种协议的视频服务平台，以确保不同格式高清视频的流畅传输，而传统单一的视频平台显著影响用户体验，随之而来的轻量化、场景化视频应用及平台的嵌入需求呈井喷式增长。

随着互联网应用需求的大量涌现，推动了需求场景的拓宽：

（1）跨品牌接入需求。国内各个厂商的高清监控摄像机ip camera，遵循监控传输标准，一般只支持自有技术产业链的私有协议，无法满足跨平台、跨协议、跨品牌的业务需求及利旧需求，制约着视频产品的覆盖面。伴随着商业应用需求的扩大（如各类球机、枪机、手机、PC、移动摄像头等终端类型的出现），单一的流媒体技术手段无法实现跨品牌应用，无形中形成了行业壁垒，增加了建设成本，直接影响经济效益转化率。

（2）多协议的流媒体技术。多品牌的接入伴随着多协议的融合、流媒体技术能力的支持，如海康的Ehome、宇视Onvif等流媒体厂商只支持私有协议的转码、解码、推流等，虽然有国标GB/28181的适配要求，但流媒体处理过程和接入方式较为复杂，形成了潜在的接入障碍，并且实时流质量和画质严重受影响。而解决各供应商的私有协议保护问题，形成共性的流媒体融合平台则是现实需求。

（3）基于人工智能的视频媒介。视频源的归一融合是流媒体的技术趋势，AI事件分析可有效完成对视频源的动态分割、分类、分析，视频融合可有效针对事件、行为、环境进行实时分析，无须重复性的模块化AI加载，提升技术栈和中台向大型业务系统延伸扩展的创新应用需求。

（4）轻量化的开放应用能力。高清视频的应用应该是轻量化的，随着业务发展，可形成互动的引用机制，与对外业务系统的高度集成，可在視频媒介的基础上孵化出各类轻型应用（如实时打赏、鼓励点赞、视频追踪、LBS联动等），例如对视频的调度可采用API的链接方式，建立无限制的视频业务引用，形成开放式的嵌入能力，扩大视频生态的业务延伸能力。

2  流媒体技术的典型价值

2.1  提升智慧建造安全管理

安全是智慧建造领域的首要关注对象，建造领域涉及工地、工厂等相对复杂的场所，基于视频监控的安全监管是通用做法，但涉及跨区域、跨城市、跨平台的视频+图像、视频+文字、视频+地图的多模态联动，融合流媒体平台是很好的解决方案，可针对建造施工领域的安全问题建立动态发现机制，基于多维度的视频机制发挥流媒体的融合处理能力，提升智慧化的全周期管理。

2.2  助推前沿技术的创新生态应用

流媒体的发展撼动了传统广播电视的根基，碎片化时间利用和内容整合都迎来了直接面向消费者的流媒体新时代。人们对视频随时随地可看、可控、可互动、可调度指挥、可智能预警、可智能检索回溯的诉求越来越高，尤其是移动视频应用技术和智能语音技术的普及和发展，使得视频智能分析和语音智能理解支持的需求在各行各业越来越受到青睐和重视。尤其是移动互联网、物联网、深度学习、智能分析、云端组网等方面的融合技术，完全能够满足新形势下各种行业终端智能化的需要。

3  关键技术分析

3.1  流媒体技术基本概念

所谓流媒体是指采用流式传输的方式在Internet上播放的媒体格式，流媒体又叫流式媒体，是指项目现场用一个视频传送服务器把节目当成数据包传送到网络上，用户通过解压设备对这些数据进行解压后，节目就会像发送前那样显示出来，流媒体以流的方式在网络中传输音频、视频和多媒体文件（由服务器向用户计算机连续、实时传送）。在采用流式传输方式的系统中，用户不必像非流式播放那样等到整个文件全部下载完毕后才能看到其中的内容，而是只需要经过几秒或几十秒的启动延时即可在用户计算机上利用相应的播放器对压缩的视频或音频等流式媒体文件进行播放，剩余的部分将继续进行下载，直至播放完毕。

针对智慧建造场景的视频源我们采用5G接入，通过搭配MEC边缘计算的能力进行部署，结合CDN的终端内容分发网络技术，实现流媒体服务中台进行转码、解码、拉流，完成视频画面的获取，形成（5G）端+（MEC）边+（CDN）云一体化解决方案，以保障流媒体的实时性。

3.2  多视频融合的流媒体关键要点

多视频是指多个设备品牌、多种视频协议、多类接入手段的统称，通过兼容多样性的设备，打造流媒体处理、转码、推流，实现融合的流媒体中台能力，形成开放性的应用平台。

多视频主要以多源视频的融合为基础，通过多协议的传输中台能力以及多样性的用户终端，形成端到端的流媒体处理场景，主要体现在以下几个方面：

（1）多视频融合方式。视频源接入模块首先将不同厂家的前端设备接入进来，对于支持互联网接入的采集设备，我们利用标准的流媒体协议接口，实现视频和音频数据的传输;对于不支持Rtsp/Rtmp的采集设备，我们利用SDK进行接入或私有协议转化，将采集到的高清视频信号解码后再重新编码，在满足用户需求的同时降低对网络带宽的消耗，同时将转码后的视频流推送给流媒体服务器分发出去。

以海康ISC平台为例，接入海康ISC平台，兼容EHOME协议，通过SDK的集成对接以及视频转码，将视频推送至云流媒体平台，流媒体平台形成解码、通过CDN下发，由云平台支撑兼容的可视化平台，根据项目类型及项目精细化要求进行排列组合展示，以达到协议融合、终端融合。

（2）多协议传输方式。多视频可实现的跨品牌是指基于协议融合通过流媒体转码达到一致，解决了协议一致（即可完成跨品牌的接入），通过多协议可不断补充视频源的接入层，如圖1所示。不限于球机、枪机、移动视频源、PC摄像头、手机端等实现视频的多源，建立多源后的业务高度适配定制化，提升业务延伸的持续扩展，助推项目的广泛落地。

图1  RTSP多协议流媒体

多视频的传输涉及传输的方式、用户终端的兼容适配，将非私有协议进行统一接入，流媒体通过RTSP实时控制协议进行解码、编码、处理。

目前视频发展的一大趋势是低延迟，在流媒体技术编解码方面，H.264相对比较完善，而PC等设备上则有硬件编解码，除了编解码，再往上如推流OBS、FFmpeg等则主要被集成在系统当中，如果从PC端直接推流，则是采用OBS建立推流视频源。

（3）多样性终端实时视频。为了解决多视频的传输延时问题，通过内容分发网络（CDN）技术，实现流媒体的下发，完成视频接入、转码，下发推流的关键流程。形成HTTP协议的视频画面，根据终端用户的类型（如苹果终端采用FLV协议地址，普通计算机采用HTTP的浏览器）以及其他公共媒体进行大屏幕的媒体流播放。对于其他互联网形态的开放应用，采用RTSP及WEBRTC的技术协议进行封装集成，基于HTTP流媒体地址进行分类兼容适配。

通过部署MEC边缘计算的服务器网络，引入主动内容管理、全局负载均衡和内容缓存等技术，将用户请求的流媒体内容发布到距离用户最近的网络边缘，解决由异步网络、网络延迟和抖动导致的数据包错序问题，将数据包先缓存在本地，防止缓存溢出，从而提高响应速度，减轻骨干网络的压力。

通过MEC边缘计算，实现低于5毫秒的延迟，边缘计算使计算和数据存储更接近用户，将流媒体平台服务部署在MEC，通过分散处理和相应决策缩短响应时间并节省带宽，流媒体已经为大量的应用提供了十足的动力。

MEC根据媒体流发送到多个接收服务端，客户端可以就近访问服务器获得较高质量的媒体流，同时减少带宽的使用。推流是指将直播内容推送至服务器的过程;拉流是指服务器已有直播内容，用指定地址进行RTSP拉取的过程。至此，实现视频推送、视频获取、视频集成、视频内容分发播放、实现多视频的云门户全屏联动的智慧应用平台，同时根据传输协议的选择（如RTMP、FLV、HLS及WebRTC），适配多样性的观看终端，达到最佳的视频体验。

4  多视频融合的应用探索

基于5G多视频接入的融合流媒体技术特性，依托多视频接入、多场景的融合流媒体平台，在搭载AI引擎的基础上进一步打造产品内容生态。

在流媒体方面，5G将消除部署流媒体技术的障碍，以降低延迟、提高能力、扩大应用场景。5G将与边缘计算在设备之间提供更优越的创新模式、更简化的集成手段，利用边缘服务分布提升传输的响应能力。

在流媒体技术处理能力和网络技术的加持下，涌现了诸多新兴应用场景，以多视频、跨场景、广覆盖为主要特点。

4.1  融合高清视频

通过部署多台高清摄像机、360度全景镜头、多个麦克风，共同形成立体视频感知，所拍摄的一切，用户可以在视频终端进行24小时观看，实现轻量化适配。

以4K进行流式传输时，屏幕宽度大约有4 000个像素，这种超高清格式胜过1 080 p，而作为超高清的下一个发展阶段，8K是4K分辨率的两倍，通过不同视角的拍摄画面，以抢球联动、视角完善、姿态补充的形式将多个画面组合成一个整体画面。如智慧建造的场景下，将各项目施工工地不同画质的高清视频、4K超高清视频，以及移动端视频和空中无人机拍摄的视频充分融合，实现管理人员对施工现场的鸟瞰以及对主要位置的实时监控，通过角度互补，实现流媒体技术在多个画面的协议下的下发与推流处理，形成整套超高清视频画面，达到融合的技术与产品补位的效果，保证施工现场实时监控画面高清、流畅、无延迟传输至智慧建造指挥中心，如图2所示。

图2  融合高清视频应用  来源：大兴项目现场

4.2  智慧融媒体

融媒体是指充分利用媒介载体，将存在共同点的广播、电视、报纸等既有媒体，以及存在互补性的不同媒体，在人力、内容、宣传等方面进行全面整合，实现资源通融、内容兼融、宣传互融、利益共融的新型媒体宣传理念。

随着5G等新兴技术的快速发展，媒体边界在未来的某一时刻将被彻底打破，融合将无处不在。文字、图片、音频、视频之间无缝转换，声音一键转文字，图像和音频一键转视频，长视频一键转短视频，看视频时用文字发评论、刷弹幕，小说看累了一键转成听书，这种信息的无限融合、无边界呈现，已经成为媒体发展变化的大趋势。

融媒体中的视频，早已不是录像或者胶片状态下的视频，而是数据流的视频。各种信息元素中的视频是最复杂的，可是通过数据化的处理，就可以把视频无限细分、重组，便捷地呈现给用户。电视台在视频化过程中最常见的做法是“拆条”，其实就是把传统视频内容变成数据颗粒，变成视频的数据流。视频中的每一帧可以用作通过查找学习的嵌入空间中最近邻居来检索相似帧的查询，嵌入功能足以区分看起来非常相似的帧。一旦视频内容变成视频数据流，平台就可以通过算法来进行定向推荐和流量分配，大大缩短了视频信息传播转换路径，如图3所示。

图3  智慧融媒体（基于视频标签提取）

能否成为平台的关键在于能不能把传统的视频转变为视频数据流，从底层彻底打通数据系统，构建视频化的数据平台，让视频内容在平台上顺畅流动。AI智能拆条、智能标签系统，这些还只是从视频节目向视频数据流转变的第一步，而在视频数据流基础上构建平台，满足用户的无限需求，可实现精准了解用户的目的。

4.3  城市直播

如新冠疫情期间的直播造楼，城市全景直播、中国联通的直播珠峰都是通过部署实时高清摄像头，实现现场同步采集、跟踪、发布视频的案例，形態丰富、信息多元，能够承载更为丰富的视频内容，使视频去中心化，让任何人都可以实时观看操作内容，实现指导及监督目的，这些都是通过视频融合的方式实现的，在形成多个视频群以后，多视频就发挥着巨大的集成价值，建立了立体、多角度的视频直播，以使用户获得多维度、全周期的实时观看体验。

在城市慢直播的场景下，越来越多的流媒体技术正朝着提供实时视频和用户分析的视频直播模式迈进，将数据用作最终的用户画像行为进行分析和处理，借助流媒体视频，内容分发者可以通过手动操作和相关功能来分析、预测和建立平安城市。

4.4  互动直播

互动直播连麦功能支持全平台多方音视频连麦，用户随时可以通过不同设备、不同平台建立视频直播。近年来，互联网直播和连麦的应用场景是热门，通过建立切屏、分屏及PC端与手机端同步直播机制，形成多场景联动形态，如图4所示，通过CDN网络将内容分发给许多观众，采用适配的H5播放器，通过RTC与WebRtc的交叉功能来实现互动直播的音视频实时效果。

图4  互动直播（多场景联动）

4.5  人工智能识别

人工智能在安全领域的应用最为广泛，AI可提供更为有效的方式来编码、分发和管理流媒体的多源数据，然后通过计算机视觉或机器来识别对象，如图5所示，在获得自动执行能力以前需要借助人类视觉系统执行任务的能力，这对内容检索来说非常关键，建立多形态的识别规范。

图5  人工智能识别（识别分类）

通过移动视频和固定视频机位，从多视频角度建立行为、操作、标准的立体建模数据，不断完善视频库数据规范，形成AI识别和分析流媒体内容并自动提取元数据，通过先验概率分析，帮助企业或管理部门更有效地监管危险和标记非法内容，如图6所示。

图6  人工智能识别（先验概率）

在5G高清视频传输的基础上，通过系统搭载的AI智能识别模块，可以实现对工地视频的实时分析，对施工现场的不安全行为及时预警，通过标准化多形态训练库，实现训练施工现场的AI算法，通过AI可有效指导施工现场安全操作、规范化作业，约束传统的工人日常安全行为管理，防范火灾等意外发生。将5G传输、视频及AI功能进行整合，AI分析展示系统将基于AI识别抓拍能力和抓拍数据为项目安全管理、质量管理提供智能实时报警、统计分析与展示功能。

4.6  互联网广告

在流媒体视频广告的世界里，内容相关性至关重要，视频的互动性也将成为焦点。视频的处理可以由具有多样性的终端来收集数据，通过多元化的创新形式和娱乐化视频内容可以提高用户的参与度，比如观众可以在选择自己的体验经历或选择产品之间进行切换，通过视频的面部识别可以启用针对每个路人的个性化广告。

5  结  论

视频的最大优势是不受时间和地域的限制，能够高效地完成多媒体信息传播，为视频用户提供一个交互式、广视角、全方位的交流空间，获得等同于或高于现实情境下的沟通效果。实时视频点播、实时网络对话、远程监管和教学等，这些是流媒体技术的常见应用，从技术层面来讲，流媒体是多媒体与网络通信的结合，是网络与媒体通信业发展的结晶，符合人们对高品质、快节奏生活的迫切追求，在验证了技术的可行性后，流媒体行业的应用前景将十分广阔。

随着移动通信网络和移动终端技术的发展，人们随身携带的智能手机、笔记本电脑等成为集语音、文字、图像为一体的信息平台，即成为移动媒体，也被誉为“第五媒体”。从中可以看出，流媒体将是未来互联网的发展趋势，视频流将运用于越来越多的场景中（如智能家居、智慧城市、教育、交通、安防等领域），构建“5G+视频+场景落地”商业模式、实现技术创新升级，成为未来创新应用发展的重点。

参考文献：

[1] 张瑷涵，刘翔，石蕴玉，等.基于深度学习的双流程短视频分类方法 [J/OL].计算机工程：1-8.[2022-02-07].DOI：10.19678/j.issn.1000-3428.0061913.https：//kns.cnki.net/kcms/detail/detail.aspx？dbcode=CAPJ&dbname=CAPJLAST&filename=JSJC20210908002&uniplatform=NZKPT&v=g9BjGJf5ZLVfjammXSrkEpYRNYIXSA5b0fQPGeJIg48EBT6lr_U3Z5EDLdjsxGD9.

[2] 苏永红.基于内容分发网络的实时流媒体直播系统设计 [J].软件工程，2021，24（12）：35-39.

[3] 刘浩，黄荣，袁浩东.面向上行流媒体的压缩感知视频流技术前沿 [J].中国图象图形学报，2021，26（7）：1545-1557.

[4] 张远.视频会议系统中TCP/RTMP/WebSocket协议间转换的研究与实现 [D].广州：华南理工大学，2016.

[5] 陈积银，胡睿心，孙鹤立.用户体验视角下人工智能视频生产平台使用效果研究 [J].新闻大学，2021（12）：92-107+124-125.

作者简介：冯九龙（1987.12—），男，汉族，湖北襄阳人，工程师，学士，主要研究方向：5G+人工智能关键技术的创新产品应用与研究;杨海涛（1975.12—），男，汉族，北京人，高级工程师，学士，主要研究方向：5G相关技术及行业典型应用;栾晓鹏（1993.02—），男，汉族，北京人，工程师，硕士，主要研究方向：5G+视频在建筑行业的应用及解决方案;马营营（1992.01—），女，汉族，河北保定人，工程师，硕士，主要研究方向：5G智能建造领域的应用研究;冯荟璇（1993.01—），女，汉族，山东菏泽人，设计师，硕士，主要研究方向：大数据技术的行业应用与研究。