网络教学中基于客户端的流媒体同步控制的研究

郜亚丽,杨 艳

(济源职业技术学院,河南 济源 454650)

网络教学中基于客户端的流媒体同步控制的研究

郜亚丽,杨 艳

(济源职业技术学院,河南 济源 454650)

针对网络教育中音视频流和讲义流在网络上同步传输问题,提出了一种在客户端实现多个流媒体同步播放的方法,并且在网络带宽变化的情况下,根据网络带宽变化自动调整媒体流的比特率,保证了客户端的整体播放质量。

网络教学;流媒体;同步;网络带宽

一、引言

随着网络教育应用的深入发展,利用流媒体同步技术实现网上视频教学己经成为网络教育的重要方式。在网络教学中,流媒体同步技术是指实现教师讲课的视频音频流媒体与讲义流 (教师电子讲稿)之间的同步技术。

由于流媒体网络传输所依赖的 IP网络带宽有限和拥塞不断发生,不能满足多媒体实时传输所需求的低延时、抖动和QoS保证等要求,因此解决视音频的同步问题是流媒体系统QoS研究中的一项重要内容[1]。在网络教学中,教师端往往固定在一个地点,而接收教学内容的学生端往往分布在不同的地点。这种特点决定了同步问题不能在发送端解决,因为面对不同的接收端,为了实现各个接收端的同步,发送端必须对所有情况做出调整,这必然给服务器造成过重的负担。本文提出了一种在客户端进行同步控制的方案,采用基于流内同步的流间同步方法,并且能够根据,合理分配带宽,保证流媒体整体播放质量。

二、流媒体同步参考模型

目前的流媒体解决方案,通常只考虑至多只有一个音频流、一个视频流,或者再包括一个脚本流的情况。但是在网络络教学中,可能需要同时播放多个流媒体。流媒体系统不仅仅包括流媒体 (音频、视频和动画),还包括时间无关媒体 (文本、数据、图形和图像等)。在这些媒体流的信息单元之间存在着某种时间关系,当流媒体系统存储、发送和播映数据时必须维持这种关系,这种时间关系就是同步关系[2]。

同步关系主要是通过同步层来实现的,同步层对应于 OSI参考模型中的会话层和表示层。流媒体同步需要系统的许多部分支持,包括操作系统、通信系统、数据库以及应用程序。因此,一个流媒体系统的同步要从几个层次上加以考虑,可以将同步层分为 4个子层,形成一个同步参考模型,如图 1所示[3]。每层有自己的接口,接口定义了一些服务,并提供实现同步的机制,每层的接口都可以直接被上层应用程序使用,或者被上层利用来实现接口。

图 1 同步参考模型

从流媒体同步参考模型中,我们知道在网络教育中,流媒体同步从下往上应该依次完成流媒体的流内同步,即音频流和视频流单道流内的同步。其次是流媒体的流间同步,即音频流和视频流之间的同步。在完成底层的同步之后,在同步描述层完成音频流,视频流和讲义流 (教师的电子讲稿)之间的同步。

三、基于客户端的流媒体同步算法

在分布式多媒体通信网络中,多媒体同步包括两种类型:流间同步和流内同步。流间同步是指若干相关媒体流的基本媒体单元之间存在的时态关系。流内同步是指在一个单一的媒体流内,媒体单元之间存在的关系[4]。目前媒体流之间同步的方法还没有形成通用的模式,许多方法都基于特定的应用环境,如基于全局时钟的时间戳方法和基于反馈的流间同步方法。这里介绍的是一种基于流内同步的流间同步算法。

表 1 同步状态转换动作表

基于流内同步的流间同步算法需要有两个前提:一是同步组内的流有共同的起点和终点,因此服务器和用户时钟之间的频率偏移对同步组内所有流的影响是一致的;二是播放器的接收缓存区可以在一定程度上消除传输延迟时间抖动的影响,保证流播放的连续性。此时只要使同步组内的流的起始播放时间保持同步 (播放起始时间以接收端为准),以后的播放也将保持同步,因此保持同步组内所有流同步播放的关键是保持播放器之间的状态一致。

由于单个播放器的状态包括连接服务器、等待数据、缓存、播放、前 /后搜索、暂停、停止等多个状态,因此通过添加必要的逻辑判断(同步状态动态表见表 1),避免多个播放的状态组合产生状态数爆炸。其状态转换图的主要过程如图 2所示。

图 2 同步状态转换图

四、基于带宽的同步算法调整

In tenet接入方式多种多样,连接速率也有很大差别,而且由于线路质量和网络拥塞,用户的连接速率随时都会发生变化,流媒体必须能够提供不同传输速率下的优化图像,以满足学生的需求[5]。

智能流技术可以在不同类型编码方式的基础上为多种不同带宽提供适合的影音质量,如微软的“M u ltip le B itRate”(多比特编码 )和 RealNetwo rks公司的“Surestream”。采用RealSystem的 SureStream技术,使单个的流媒体文件同对具有多种数据传输速率,可以同时适应不同连接带宽的用户。采用RealSystem的 SureStream技术,在编码生成 Real音频和视频文件时,采用 RealSystem 8的编码方式,可以使得一个媒体文件最多同时具有 8种数据传输速率[6]。

但是智能流技术不能完全解决多个流媒体同步播放的问题,在多个流媒体同步播放时,各个流之间往往是具有优先级关系的[7],对于网络教育的应用而言,流媒体对于带宽的适应主要是体现在当带宽降低的时候,低优先级的媒体流的质量下降甚至消失,而高优先级的媒体流尽量保持质量不变。对于网络教育中的课件传播而言,音频流往往是具有最高的优先级,其次是讲义流,优先级最低的流是教师的视频流。

带宽自适应算法是在智能流的基础上加以改进,根据媒体流之间的优先级关系,当网络带宽降低时,均衡调整各个视频流的比特率,合理分配带宽,保证整体的播放质量,使之更符合人们观看的要求。

媒体流带宽的选择是通过建立带宽矩阵实现的,设视频流的带宽分别为[a0,a1,a2,…,am],其中 a0=0且 ai

实现中使用渐进增长成倍减少的滑动窗口控制带宽。

(1)当进入缓存状态时,设置定时器,如果在规定的时间内,缓存没能完成,则表明当前的流媒体的速率不适台当前的带宽,开始进行调整,将滑动窗口的值减半,通过选择算法确定新的流媒体比特率,然后重新设置定时器;

(2)当处于播放状态时,出现某个缓存器排空,则表明当前的流媒体的速率不适台当前的带宽.开始进行调整,此时将滑动窗口的值减半,通过选择确定新的流媒体比特率;

(3)当处于播放状态时,从进入播放状态或上一次带宽调整开始,设置定时器,如果在规定时限内没有再出现缓存器排空的情形,则认为带宽有所恢复,开始进行调整,此时将滑动窗口的值增加 1/10,通过选择算法确定新的流媒体比特率。

当信道带宽减小时,流媒体的速率降低,可能会出现视频流 (或讲义流)消失的情形,当信道带宽恢复时,需要重新播放视频流 (或讲义流),其过程是:

(1)确定流媒体重新开始播放的位置;

(2)连接服务器,开始缓存;

(3)缓存结束,做好播放准备后,判断当前音频流播放位置是否已超过媒体流重新开始播放的位置,如果已超过,认为恢复流的尝试失败;

(4)根据当前音频流的播放位置,设置定时器,当音频流的播放位置到达要恢复的媒体流的位置时,开始播放视频流(或讲义流);

(5)在音频流的播放位置到达要恢复的媒体流的位置之前发生缓存器排空的情形时,认为恢复流的尝试失败。

(6)在音频流的播放位置到达要恢复的媒体流的位置之前收到用户暂停播放请求,则同时暂停此定时器,重新开始播放时。再恢复此定时器;

(7)在音频流的播放位置到达要恢复的媒体流的位置之前收到向前 /后搜索请求时,停止重播定时器,直接设置新的播放位置。

播放位置的计算方法如下:

Prep lay是流媒体重新开始播放的时间,Paudio是当前音频流的位置,T是播放器在开始播放前需要缓存的时间,B是流媒体的带宽,R是流媒体上一次进行缓存时的比特率,a是放大系数,系数越大,恢复失败的概率越小,但恢复播放需要等待的时间越长[8]。

五、流媒体同步算法仿真实验

仿真实验使用 OPNET软件,该软件是 M IL3公司的OPNET仿真系列产品之一,可以运行在 Sun,HP,W indow sNT/2000/XP等多种操作系统平台上。版本是 8.1.A(Build 1575)。OPNET软件采用动态的 L icense的方法,用户需要配置一台或多台 L icense服务器,和 L icense服务器在一个子网内的仿真工作站才能获取L icense的使用权。

为了真实模拟网络教育的教学模式,实验的系统结构如图 3所示:

图 3 验系统结构图

本系统的界面如图所示,通过在局域网和网络仿真实验中,有一台直播服务器作为远程教育的服务器端,提供教师的三方同步的音频流和视频流和讲义流。分行在三个地方的远程教育点的三个学生端 (StudentA,studentB,Student C)作为接收端接收音频流,视频流并负责音频,视频的同步。教师端负责将视频,音频流多播到学生端,服务器端可以控制音频,视频流的播放速度,接收端接收音频,视频流的同时进行同步处理,使音频,视频流内同步和流间同步。

在网络延迟已知的网络中,通过在接收端缓冲区占用水平的估计来判断音频流,视频流是否出现不同步,通过基于流内同步的流间同步算法调整音频,通过暂停或者重放调整视频,视频和音频之间的流间同步是让音频流为主流,视频流为从流进行调整。而缓冲区的大小是由网络延迟决定。在网络延迟未知的条件下,通过对网络延迟的估计统计排序来确定下一个到来的LDU的延迟来进行音频流内调整。

在对于带宽的考虑上,主要是利用基于带宽的自适应智能流技术来应对不同的带宽要求,同时在带宽变化的时候视频,音频流的同步情况也随着带宽的变化而调整。当带宽恢复的时候,消失的流会重新出现并与已知的流完成同步。

六、结论

在网络教学中通过对客户端流媒体的同步控制,使多种媒体流对带宽变化自动作出反应,允许优先级高的流媒体得到更多的带宽,保证整体的播放质量。学习者在客户端通过点击导航区标题,可显示教师讲解的视频影像、声音和电子讲稿,从而实现课堂教学的网上重现,达到异步学习的目的。

本文的创新点:本文针对网络教育中音视频流和讲义流在网络上同步传输问题,提出了一种在客户端实现多个流媒体同步播放的方法,并且根据网络传输过程中网络带宽不断变化的情况,给出了一种自适应带宽的算法,并根据这种算法设计了仿真实验,保证了客户端的整体播放质量。对研究流媒体同步传输的问题具有一定的参考价值。

[1] 户永清 .基于客户端缓冲区预警界限的流媒体传输速率控制方法[J].微计算机信息,2006,2-1:126-128.

[2] 曹理宇,姚丹霖 .M PEG-4流媒体系统中的视音频同步[J].计算机应用,2005,25(1):128-131.

[3] 彭玮,基于 RTP的流媒体实时传输机制研究与实现[D].昆明理工大学硕士论文,2005.

[4] 胡新荣,扬翠平.音、视频媒体同步技术的研究[J].计算机工程与应用,2003(3):153—155.

[5] 崔莉,王敏,吉逸 .流媒体同步机制的研究 [J].计算机应用研究,2005,22(1):73-75.

[6] 吴国舅等 .网络视频流媒体技术及其应用[M].北京:北京邮电大学出版社,2001.

[7] 纪雯,王迎,史浩山 .基于并行机制解决视音频同步问题的研究方案[J].计算机工程与科学,2006,28(4):39-41

[8] 王津.蒋东兴,严蔚敏.复合流式媒体的同步与带宽自适应的研究[J].计算机工程 .2003,29(7):130—132.

Research of C lien t-based Stream ingM ed ia Synchron iza tion Con trol of Network Teach ing

GAO Ya-li,YANG Yan
(Jiyuan Vocational and TechnicalCollege,Jiyuan 454650 Henan)

In view of the p roblem ofalto stream ing video and handouts flow on the network synchronous transferof network teaching,amethod of themultip le stream ingm edia synchronization broadcast isp roposed.Under the circum stance of the network bandw idth changes,according to the network bandw idth changes automatically ad just the stream bitrates,to guarantee the clients’whole broadcastquality.

network-based teaching;stream ingmedia;synchronization;network bandw idth

TP3

A

1671-5004(2010)06-0016-03

2010-12-10

郜亚丽 (1975-),女,河南济源人,济源职业技术学院讲师,工程硕士,主要从计算机网络与多媒体技术的研究。