基于人工智能的自适应软件京东直播应用平台模型的构建研究

杨振辉

摘要：在流媒体技术快速发展的背景下，用户对网络内容的需求不断提升，视频传输迎来了全新的挑战。针对传统流媒体技术视频直播过程中忽略网络环境变化且不能根据网络变化适时调整视频传输的问题，文章设计了一种基于人工智能的码率自适应软件，通过连续时延和码率控制算法实现视频直播传输的动态调整。仿真结果表明，基于人工智能的码率自适应软件可根据直播过程中的网络变化情况实时调整视频直播效果，有效提升用户的观看体验感。

关键词：人工智能；自适应；码率算法；直播平台

中图分类号：F062.9  文献标志码：A

0 引言

当下，自适应视频传输技术在视频点播场景中已得到广泛应用，大部分直播平台开始通过此技术传输相应的音频数据与图像数据［1］。相比较之下，直播平台播放视频过程中需根据弹幕内容与用户进行实时互动，对直播视频流对码率控制和低时延要求相对较高。

基于此，本文设计了一种码率自适应软件，通过连续时延和码率控制算法，有效提升用户的观看体验质量。

1 基于播放速率和跳帧控制的连续时延和码率控制算法

当下，大部分直播平台侧重于静态码率的使用，并未考虑直播过程中的网络与传输条件。在视频直播传输条件发生变化的情况下，需通过手动的方式调整视频码率，以满足用户观看需求。虽然此种方式可解决部分问题，但会降低用户的体验质量（Quality of Experience，QoE）。因此，為有效提升用户QoE，需根据网络条件的变化情况以及用户设备信息，对视频直播传输进行自适应管理，为用户提供一种高质量的实时视频直播流。基于此，本文设计了一种码率自适应决策软件。该软件基于播放速率和跳帧控制的连续时延和码率控制算法PRFDCLRC，实现视频码率的自动调整［2］。

1.1 QoE度量问题

在视频点播场景中，QoE分为3个部分，即视频质量、卡顿时间、视频码率切换等。而在视频直播场景中，综合考虑了时延控制与码率控制，QoE分为视频质量、卡顿时间、直播时延、跳帧时长、视频质量切换等，分别将这些因素对QoE的影响定义为：QoEquality、QoErebuffer、QoElatencv、QoEskip、QoEchange。码率切换只能发生在I帧中，但选取的码率将会影响2个连续I帧之间的帧并将其视为相应的块。在本次研究中，要对一组中所有帧的质量进行计算，并将其作为相应的奖励。此时，整体的QoE可表示为：

QoE=QoEquality+QoErebuffer+QoElatency+QoEskip+QoEchange=∑kk=1（q（rkbit）-λrTrk-λlTlk-λsTsk-λc|rbitk-rbitk+1|）（1）

式（1）中，rbitk为第k个视频块的码率级别；q（·）为非减损函数；Trk、Tlk、Tsk分别为卡顿时间、延迟时间、跳帧时间；λr、λl、λs、λc分别为Trk、Tlk、Tsk的权重。其中，q（·）为非减损函数，可表示为：

q（rbitk）=vmaf（rbitk）（2）

1.2 播放速率与跳帧控制

1.2.1 播放速率控制

对于直播流媒体系统而言，若在客户端播放器缓冲区存储的视频数据时间较长，说明时延相对较大，此时加快播放器的播放速度，可减少缓冲区视频数据的存储，使用户观看的视频画面与服务器中更新的画面相同，进而降低直播过程中的时延。在缓冲区中视频数量相对较少时，通过减缓播放器播放速度的方式，可避免视频播放过程中出现卡顿的情况。快慢播机制如图1所示。

从图1中可看出，在客户端播放器缓冲区大小低于慢播放的阈值的情况下，客户端会以0.95倍的播放速度播放相应的视频；在大于快播放的阈值时，客户端会以1.05倍的速度播放视频；在缓冲区大小处于两者之间时，通过正常的播放速度播放［3］。

1.2.2 跳帧控制

假设视频的选帧问题为基于VMAF分数的优化问题，则有：

max∑Ii=1vmaf（i）

s.t.∑Ii=1s（i）f（i）≤Sizemax

iffi=0， then fj=0， j∈Pi（2）

式（2）中，s（i）为第i帧的大小；fi为跳帧的变量，若fi=0，说明第i帧被消除，反之，存在；P（i）为相应的帧集且其中包含帧来源于第i帧，当第i帧被消除后，便不会对其中存在的帧进行编码；vmaf（i）为第i帧的VMAF分数；Sizemax为预定义视频块大小的上界。在前帧被消除的情况下，可对前帧进行相应的复制。其中，vmaf（i）可表示为：

vmaf（i）=∑i=1D（vmafD（i）f（i）-D∏Dd=1（1-fi-D+d））（3）

式（3）中，D为最近一次跳帧开始的时间间隔；vmafD（i）为第i帧被取代时的VMAF分数。

在本次研究中，主要通过IBM CPLEX优化技术求解上述跳帧问题。在求解过程中发现，在D≥2的情况下，vmafD（i）≈0。因此，可通过此种条件将跳帧优化问题的复杂程度降低，获取最优的跳帧优化解［4］。

1.2.3 PRFDCLRC算法设计

在本次研究中，结合深度强化学习中的DDPG算法，设计一种基于播放速率和跳帧控制的连续时延和码率决策算法。

（1）特征状态。

将直播系统收集的状态信息（如网络吞吐量、缓冲区大小、时延等）输入网络模型，将输出动作定为目标缓冲区大小以及码率级别，此时网络状态信息sk可表示为：

sk=（P→k，Bk，rek，lk，rbitk-1，Cstallk，Sk，Cskipk，Nk）（4）

式（4）中，Pk→为以往的历史特征状态，包含客户端缓冲区大小、端到端延时、视频大小等信息。基于上述信息可计算出网络吞吐量的大小。此外，通过分析这些状态信息，可使神经网络感知直播过程中的网络吞吐量以及客户端缓冲区存储情况；Bk为直播过程中缓冲区的大小；rek为上个视频至现在累积的卡顿时间；lk为直播过程中的延时；rbitk-1为上个视频选择的码率级别；Cstallk为客户端是否出现卡顿情况；Sk为服务器端是否存在未下载视频；Cstallk为客户端是否存在跳帧下载的情况；Nk为CDN上的帧数量。

（2）網络模型。

对于PRFDCLRC算法而言，其主要是在DDPG算法的基础上实现，而DDPG算法的基础为Actor、Critic 2种网络。在Actor中，主要是通过3层神经网络提取相应状态信息并输出相应的动作。由于sk中存在历史状态序列以及相应的单值数据，因此需通过一维卷积神经网络从第一个隐藏层中提取相应的历史状态特征，通过全连接神经网络提取单值状态；第二层主要是通过全连接的方式实现多维特征向量的融合；第三层同样通过全连接的方式输出相应的动作决策。

此外，在Critic接收到sk后，便会引入Actor中的输出动作，进而有效提升Actor网络训练的稳定性［5］。

（3）动作映射。

对于DDPG算法而言，其输出结果为连续的动作值。为准确获取缓冲区的大小以及相应的码率级别，需将其工作动作映射。对Actor中输出的动作值进行映射，使其成为真实的时延与码率控制决策。具体映射公式可表示为：

rbitk=bit0，rbitk∈-1，-1+2n

bit1，rbitk∈-1+2n，-1+4n

bitn-1，rbitk∈1-2n，1（5）

式（5）中，rbitk为码率决策。

2 仿真实验

2.1 数据收集

仿真数据集主要为网络数据集、视频数据集。其中，视频数据集为京东直播场景，如热点直播、明星直播、KOL直播等。视频数据的码率级别分为 {500 kbps、850 kbps、1 200 kbps}。网络数据集主要为 Live Video Streaming Challen 提供的网络数据，其中的部分数据来源于Wi-Fi以及LTE中采集的网络吞吐量，平均为1.58 Mbps，偏差为1.22，范围为0.2～11.68 Mbps。

2.2 参数设置

QoE评估指标的参数设置如表1所示。此外，Actor、Critic 2种网络中的卷积核数与全连接的神经单元数均设置为128，神经网络学习率分别设为10-3、10-4。

2.3 仿真结果分析

为验证本文算法可行性，将其与DQN算法进行对比。由于DQN算法的神经网络结构与网络参数大致与本文提出算法相同，考虑时延间隔与不同的离散程度，需将时延控制离散为{0.3、1.03、1.77、2.5}和{0.3、0.61、0.93、1.24、1.56、1.87、2.19、2.5}2种，且DQN的动作空间分别设置为32、64。

2.3.1 QoE度量指标

2种算法的QoE指标性能比较结果，如图2所示。

从图2中得知，本文算法除时延之外，其他指标均优于DQN算法。虽然时延大于DQN算法，但从整体情况来看，时延处于正常。

2.3.2 平均QoE

在本地训练集中经过107的训练后，通过平均QoE对比2种算法的性能，结果如表2所示。

通过分析表2得知，本文算法在热点直播、明星直播、KOL直播等场景中的平均QoE相对较高。由此得知，本文设计自适应软件可有效提升用户直播观看体验感，对于京东直播平台的构建有着十分重要的作用。

3 结语

针对传统流媒体视频直播过程中忽略网络环境变化，不能根据网络变化适时调整视频传输的问题，本文设计一种基于人工智能的码率自适应软件。该软件主要是通过连续时延和码率控制算法，提升用户的直播观看体验感。仿真结果表明，该软件可有效提升用户直播观看体验感，对于京东直播平台的构建有着十分重要的作用。

参考文献

［1］詹亘，肖晶，陈宇静，等.面向自适应码率视频直播的码率控制算法［J］.计算机工程，2019（3）：268-272.

［2］洪伟聪.基于无线网络的智能视频编码软件设计［D］.杭州：浙江工业大学，2019.

［3］金肱羽，武霄泳，张志龙，等.面向视频流媒体直播的码率自适应算法研究［J］.中国传媒大学学报（自然科学版），2022（1）：8-14.

［4］宋靳锞，张远，王博.HTTP自适应流媒体直播系统中的用户体验质量优化［J］.中兴通讯技术，2021（1）：48-53.

［5］王平凡，刘淑芬.基于HMM的自适应软件决策模型［J］.吉林大学学报（理学版），2018（3）：645-649.

（编辑 姚 鑫编辑）

Research on the construction of JD Live streaming application platform model of

adaptive software based on artificial intelligence

Yang Zhenhui

（Qingdao Technical College， Qingdao 266555， China）

Abstract：  Against the backdrop of the rapid development of streaming media technology， users demand for online content is constantly increasing， and video transmission is facing new challenges. To address the issue of neglecting network environment changes in traditional streaming media technology during video live streaming， which prevents timely adjustment of video transmission based on network changes， a rate adaptive software based on artificial intelligence is designed， which dynamically adjusts video direct transmission through continuous delay and rate control algorithms. The simulation results show that the artificial intelligence based rate adaptive software designed in this article can adjust the video live streaming effect in real-time based on network changes during the live streaming process， effectively improving the users viewing experience.

Key words： artificial intelligence; adaptive; code rate algorithm; live broadcast platform