基于DASH的全景视频传输应用研究

杨福星 孙博文 夏进

摘要：随着虚拟现实的兴起，全景视频业务迎来了快速的发展期。然而，全景视频较于传统视频有着更大的数据量，往往网络环境并不足以支撑全景视频的在线播放，用户在观看全景视频时会出现卡顿、模糊、黑屏等影响用户体验的现象。基于HTTP的DASH技术的发展，为解决全景视频传输所面临的问题带来了很大的助益。文章阐述了全景视频技术以及DASH的发展，提出了一种基于DASH的全景视频自适应传输方法。

关键词：全景视频；DASH；自适应传输；用户视窗

目前，Youtube和Facebook都已经支持智能终端（智能手机、头戴式显示器）对全景视频的观看，各大公司也加大研究制定针对360度全景视频传输的方案。Facebook公布的视频转码工具宣称可以节约80%的带宽，而HHI提出基于切片的HEVC编码方案。然而，如何在节约带宽的情况下保证全景视频用户的体验度（Quality of Experience，QoE）则是目前研究的热点。 VR和全景视频业务正在快速增长。全景视频因其具有更高的比特率和更大的分辨率，给网络流传输带来了挑战。然而，通过仔细研究全景视频特性表明，从基于用户视窗的角度出发，我们有显著的机会来减少传送到客户端设备的实际比特率。根据分析发现，全景视频在比特率方面变化波动性较小，并且比传统视频少运动，由于摄像机在传统视频中的运动（或摄像机之间的切换）而引起的比特率的变化现在被转换为端对端全景流式架构的响应要求。

本文中，我们设计了一个基于动态自适应流（ DynamicAdaptive Streaming over HTTP， DASH）的全景视频自适应传输方法。该方法综合考虑了网络环境和缓冲区状态以及用户视窗对全景视频传输的影响，借助于DASH技术自适应传输全景视频。

1 相关工作

国内外对于传统视频的传输做了大量的研究工作。Pessemier等[1]提出了一种视频质量动态优化方法，此方法实现了当网络环境变化时视频质量自适应调整，但并未考虑缓冲区对视频传输的影响，造成码率频繁切换或出现卡顿现象。Alberti等[2]提出了一种基于DASH的增强自适应方法，通过将用户的体验质量评估结果作为自适应决策的控制因素，建立QoE模型。De Cicco等[3]建立了视频流切换控制系统，通过调整服务器端的发送速率将缓冲区状态控制在目标范围内，但并未考虑到切换的平滑过渡，影响用户体验质量。Zhou等[4]提出了基于控制理论的方法控制缓冲区长度和码率自适应，达到稳定地调整视频码率及切换视频质量的目的，避免了传统的基于缓冲区的码率自适应方法带来的视频码率震荡的问題。Qian等[5]运用模糊逻辑理论控制发送速率，提出了一种无线网络中基于QoE的实时视频自适应传输算法，动态调整视频质量，改善用户体验，但并未考虑缓冲区对用户体验质量的影响。Xu等[6]建立了码率切换的QoE分析模型来预测无线网络中自适应流媒体的QoE，该模型可计算播放缓存匮乏概率、连续播放时间以及平均视频质量，在综合考虑当前缓存长度和信道状态时，用户可利用该模型预测待选的切换策略的QoE，在保证QoE的情况下选择合适的切换策略。Suh等[7]从降低成本的角度出发，将码率自适应过程建模为马尔科夫决策过程，在蜂窝网与WiFi的环境中灵活切换，在播放不中断的情况下减少蜂窝网数据的使用。 全景视频通常比传统视频消耗更多带宽，因为它们需要更多数据才能覆盖所有空间方向。由于这种丰富的视频模式带来的高容量需求，要求考虑如何在满足用户体验质量的同时实现可行且可接受的限制带宽消耗的方法。DASH技术的发展使得能够以最适合于可用带宽的质量来传送内容，以使流的停滞最小化。

目前，国内关于全景视频传输的研究较稀少，而国外的全景视频传输的相关研究大多数还是处于实验室研究阶段，尚未达到成熟阶段。虽然关于传统视频传输的相关研究在国内外都取得了很大的进展和突破，但随着视频模式的变化，已有的传统视频传输方式并不能很好地解决全景视频传输所带来的问题，挑战仍然存在。新的视频形式需要有效传输数据的新方法，以减轻网络和用户的负担。在本文中，在传统视频传输技术的基础上，我们着重提高对全景视频的特性以及对流媒体的理解，综合考虑网络环境、缓存状态和用户视窗，基于DASH技术自适应传输全景视频。

2 基于DASH的全景视频自适应传输方法

基于DASH的全景视频自适应传输方法的基本架构如图1所示。服务器端存储全景视频的切片集，DASH客户端根据服务器端传送的媒体文件展示描述（Media PresentationDescription，MPD），再结合网络环境、缓存区状态以及用户视窗选择下载不同质量等级的视频集合，达到自适应传输全景视频的目标。

DASH于2011年成为国际标准，现已是目前业界内大力研究的ISO标准（ISO/IEC 23009-1）。快速的启动时间、较好的用户体验以及较少的缓冲是DASH技术最显著的特点。DASH技术通过探测终端的状态和网络环境，配合自适应决策算法，智能自适应地传输视频。DASH技术根据当前网络质量和终端能力，自适应地切换不同码率的视频片段进行传输，客户端播放器会根据现有的资源采用不同速率的流进行解码播放，保障用户在当前网络环境下得到最流畅的视频播放体验。DASH缓解了全景视频对网络的高负载，确保了用户的体验质量。

本研究根据不同用户视窗对视频内容进行分区处理，按照与用户视窗距离远近的程度对视频内容进行等级分区划分。为了确保用户当前观看时的视频内容的质量以及视频播放的流畅度，本研究对不同视频分区内容进行组合，再进行传输，达到根据用户视窗传输不同视频组合内容的目的。根据用户视窗的分级反馈机制，将反馈得到的视频分区信息与媒体文件展示描述（Media Presentation Description，MPD）[8]内的空间关系描述（Spatial RelationshipDescription，SRD）[9]携带的全景视频子栅格的空间信息（x，y，width，high）进行匹配，获取视频分级划分映射到二维平面全景视频栅格文件上，确定视频栅格文件质量等级划分。最后，结合当前网络环境对全景视频传输的影响，合理确定某一等级比来进行自适应视频传输。全景视频自适应传输保证了用户观看视频清晰度以及流畅度，极大地确保了用户体验质量QoE的高水平。本方法的整体流程设计方案如图2所示。

3 结语

本研究首先对全景视频和DASH技术的发展进行了简单介绍，然后提出了一种基于DASH的全景视频自适应传输方法，将网络吞吐量、视频资源缓存以及用户视窗作为自适应决策的主要参数。本研究将庞大的VR全景视频以及底层3D几何划分为360度空间的空间分割区域，利用DASH空间关系描述SRD与用户视窗的语义链接来提供动态视窗感知，然后基于动态视窗感知来削弱巨大的流带宽需求。本研究的初步实验结果表明，在保证用户当前视窗的视频质量与用户体验度QoE的同时，有效节省了全景视频传输过程中的带宽。