常久慧
(辽宁广播电视台,辽宁沈阳110004)
媒资交互平台服务质量控制体系设计
常久慧
(辽宁广播电视台,辽宁沈阳110004)
结合辽宁广播电视台媒体资产管理与交互平台设计及运行情况,从应用环境、网络环境、网络带宽需求等方面分析了媒资交互平台在设计和使用过程中面临的问题。在系统设计时,采用服务质量控制体系设计的思路,为媒体资产管理与交互平台提供更好的服务能力。着重介绍了媒资交互平台服务质量控制体系设计的各种策略,包括流程优先级的设置、EMB传输服务器的任务分配、文件共享服务器负载分配,并重点阐述了使用服务器灵活指定技术实现对文件的转码控制。
服务质量;ESB;EMB;媒资交互平台;服务器灵活指定技术;优先级
【本文献信息】常久慧.媒资交互平台服务质量控制体系设计[J].电视技术,2015,39(10).
随着电视制作系统数字化、网络化的变革性发展,尤其是使用无带化的生产流程之后,对于编辑记者来说,避免了使用磁带介质的诸多不便,但是对于磁带送交的过程他们是可以控制的。在网络化的交互平台上,编辑记者提交的成片、素材等文件何时可以送交到目的地就难以控制了,这取决于媒资交互平台的服务能力。为了提高系统的可用性,必须设置一整套服务质量控制的解决方案。
服务质量指一个网络能够利用各种基础技术,为指定的网络通信提供更好的服务能力,是网络的一种安全机制,是用来解决网络延迟和阻塞等问题的一种技术。对于有多个传输流程和严格实时性要求的媒资交互平台来说,服务质量的控制十分必要。需为媒资交互平台设置服务质量策略,当网络过载或拥塞时,服务质量能确保重要业务不受延迟或丢弃,同时保证网络的高效运行[1-2]。
媒资交互平台承担着全台所有节目生产网络间的互联互通工作,其主要任务是网络传输,大部分电视台使用IP协议,也有电视台使用FC协议,但无论使用哪种协议和网络架构,都面临着相同的压力和问题。
1)应用环境复杂
系统中有不同的应用,也对应着不同的流程,本台媒资交互平台现在运行着19个流程,其中包括8个高清流程,所有的节目生产网络都已经实现了文件化的互联互通,互联结构如图1所示。
媒资交互平台为多个系统提供互联服务,其流程从任务优先级划分可以分为播出流程、下载流程及归档流程,传输的内容包括素材和播出文件,应用环境非常复杂,需要根据节目生产的需求,定义每个流程的优先级,分配网络资源,保证关键业务的实时性。
2)网络环境复杂
媒资交互平台传输实质上是将数据由一个存储传送到另一个存储,这些存储属于不同的节目生产网络,并且根据网络应用的需求,采用不同的存储接口和存储访问形式,包括以太接口和FC接口,SAN存储访问架构和NAS存储访问架构。
图1 媒资交互平台互联示意图
这些存储并不是只为主干互联服务的,还要优先保证存储所在生产网络的应用,比如播出的二级缓存除了接受主干送来的待播文件,还要及时地将待播文件迁往播出服务器备播,存储的总带宽有限,而存储本身无法区分应用,也缺乏服务质量控制,这就需要媒资交互平台来控制对存储的访问。
为了解决这些问题,采用整体的解决方案来应对,包括流程的优先级设置,EMB传输服务器的指定,负载均衡的文件共享策略。
3)网络带宽需求高
现在各省级电视台基本都已实现高标清同播,并且会在未来的几年内逐步实现全高清的制播,电视节目制播由标清变为高清,不只是对节目编辑带来影响,还大大提高了对网络的带宽需求,就本台的应用情况来说,素材文件的码流由标清的50 Mbit/s码提升到高清的120 Mbit/s,播出文件的码流由原来的15 Mbit/s提升到50 Mbit/s,总体带宽需求提升将近3倍。
此外,媒资网络的负载也不稳定,传输任务和高峰期的公共交通拥堵一样,媒资交互平台的带宽需求也总是在固定的时间集中爆发。
2.1流程优先级的设置
现在各个广电系统集成商的主干产品都支持对流程优先级的设置,这是对任务处理顺序的整体把握,本台使用的是大洋公司的产品,为了保证关键的任务优先执行,本台为流程设置不同的优先级,优先级分为1~5的5个级别,级别等级高的任务会得到优先处理,设置所有送播流程的优先级为4,媒资下载流程和收录流程的优先级为3,媒资归档的优先级为2,优先级1和5保留。
优先级在ESB的流程定义中设置,根据ESB+EMB双总线架构的主干接口标准,ESB使用xml格式在各节点中进行数据交互,以制作网送播流程举例,该流程的优先级为4,定义在以下字段:
<m0:AsynRequest>
<m0:SourceID>DYESB</m0:SourceID>
<m0:Priority>4</m0:Priority>
</m0:AsynRequest>
ESB在流程中的调用增加EMB服务时将优先级传递给EMB调度服务。EMB接到ESB发来的任务后,会继承任务的优先级,并根据优先级调整处理队列中任务的顺序。
保留优先级别1和5,可以在EMB配置中,修改默认优先级一样的任务的处理顺序,比如同样是传送给播出任务,默认优先级都为4,如果有任务需要立即执行,可以在EMB任务队列中手动调整优先级,这两种优先级策略的组合控制,可以在最少人为干预的情况下,保证紧急任务得到优先处理。
2.2EMB传输服务器的任务分配
主干的EMB传输服务器负责各网络间的数据交互,这种交互简单地说就是EMB传输服务器读取一个网络存储的数据然后复制到另一个网络存储上,一般有UNC和FTP两种实现方式,两种方式的本质是一样的,采用UNC方式就是将各网络的储存访问路径映射成本地的逻辑盘符,主干的传输任务就变成EMB传输服务器本地两个盘符之间的数据复制。如果目标网络使用NAS结构,网络存储的主机接口使用以太网接口,EMB传输服务器可以直接映射,如果目标网络使用FC SAN架构,EMB传输服务器就必须通过文件共享服务器来映射[3]。
本台媒资交互平台文件共享结构如图2所示。
现在各电视台普遍采用的EMB传输服务器的分配模式有2种,分别是服务器共享和服务器分组,这2种模式都有各自的局限性。
1)服务器共享模式的局限性
各台普遍常用服务器共享模式,在这种模式下,EMB传输服务器和各网络传输设备并不是一一对应的,在EMB任务调度时采用动态指定的方式,每个EMB服务器并不是单独为一个网络或一个流程服务,而是被所有流程所共有。这是考虑到日常工作中基本不会出现在同一时刻所有的网络都并发出现大量的传输需求的情况,为了节约成本,就像不能按照节假日高速公路的交通流量来设计公路的宽度一样,网络中设计的主干网的EMB传输服务器的传输能力要小于各网文件共享服务器传输能力及NAS存储的总和。本台网络中配备有12台EMB传输服务器,各网络的文件共享服务器达到18台,并且有2个存储采用直连方式,这2个存储都使用双万兆以太网主机接口。这种控制方式会带来2个方面的问题。
图2 媒资交互平台文件共享结构示意图
(1)文件共享服务器能力不足
当一个网络同时出现大量传输请求时,所有的EMB同时接到这个网络的任务,在传输层面就会出现多个EMB服务器对少量的接口服务器的情况。例如高清新闻网同时提交多个媒资下载任务,那么传输的链路如下:
媒资网存储→4台媒资网文件共享服务器服务器→12台EMB传输服务器→2台新闻网文件接口服务器→制作网存储
显然,新闻网文件接口服务器带宽不足,成为整个链路的瓶颈,相当于每6台EMB服务器对应于1台新闻网文件共享服务器,造成EMB传输服务器传输效率低下,网络拥堵,而队列中的其他流程的任务因为没有空闲的EMB传输服务器,只能长时间的等待。这种情况时需要有策略控制参与执行传输任务的EMB传输服务器数量,释放EMB资源。
(2)存储能力不足
对于一台存储来说,除了提供主干的数据传输,还要保证本系统的应用。比如图中介绍过的播出缓存,它用2条万兆链路和主干网直接连接,没有文件共享服务器的限制,播出缓存可以提供的总带宽为500 Mbit/s,如果多个EMB传输服务器同时接到传输播出的任务,那么传输的带宽就很容易超过这个限制,导致存储工作在不稳定的状态下,并且导致存储没有带宽资源提供播出网内部的待播文件迁移到播出服务器的关键任务。这种情况也需要策略控制参与执行任务的EMB传输服务器数量。
2)服务器分组模式的局限性
服务器分组的方法简单说就是采用服务器专用,为每条流程指定专门的EMB传输服务器,相应的服务器不能再处理其他流程的任务。就上面的例子来说,在EMB任务调度层面指定2台EMB传输服务器专门处理媒资下载到新闻网这条流程,这样就可以实现对参与任务服务器数量的精确控制,但采用这种模式需要配备更多的服务器,随着媒资网络规模的扩大,服务器数量会成几何级数增加,导致成本增加,网络也变得更加复杂。
3)解决方法:服务器灵活指定技术
为了解决以上2种模式的局限性,本台设计并应用了一种服务器灵活指定技术,可以将每个流程限制在一个或一组服务器上执行,但该服务器并不为这个流程所专用,还可以处理其他流程的任务。
EMB服务器除了执行传输的任务,还可以处理转码任务,比如可以设置为制作网只需提交素材,由EMB传输服务器进行播出格式的转码,但考虑到事故责任的划分,各电视台现在都已经不在媒资交互平台进行转码,EMB传输服务器只做文件的复制工作。笔者利用EMB调度服务对EMB传输服务器转码能力的区分来实现控制,为每个流程设置一个单独的转码位,这个转码位对应一个转码能力,在EMB调度分配任务时,会根据流程的转码位来选择具有转码能力的传输服务器来执行任务。如果具有相应转码能力的服务器都处于忙碌状态,那么任务会排队等待。每个服务器可以配置多个转码能力。
以媒资下载到新闻网的流程来举例。首先在EMB的配置中定义新的转码能力,在参数配置中增加新的外系统自定义的转码能力,名称为mz,能力位为1。EMB配置示意图如图3所示。
图3 EMB配置示意图1(截图)
然后指定2台EMB传输服务器ACTOR1和ACTOR3可以处理mz任务。EMB配置示意图如图4所示。
图4 EMB配置示意图2(截图)
此外,还需修改ESB的流程定义,使媒资下载到新闻网的流程在调用增加EMB任务时,将能力位1传送给EMB调度,在ESB流程的调用增加EMB服务节点,增加以下字段和定义:
<m0:GlobalOption>
<m0:TCAbility>1</m0:TCAbility>
</m0:GlobalOption>
完成以上设置后,所有媒资下载到新闻网的流程都带被定义为类别为1的转码任务,EMB调度任务时,会分配给具有相应能力的2台传输服务器处理。
EMB共享模式结合服务器灵活指定技术可以实现对EMB传输任务细致有效的管理,根据系统的应用情况来选择如何分配传输服务器,需要注意的是,设置中的转码并不进行真的转码工作,只是用来做EMB调度分配任务的依据。
2.3文件共享服务器负载分配
最理想的情况下,与主干互联的网络的文件共享服务器使用集群策略,对主干提供一个统一的服务IP来做文件访问,内部根据各文件共享服务器的负载情况来分配任务,但这种方式成本昂贵,技术复杂。所以,一般情况下,只能在EMB传输服务器的存储映射策略上做合理的安排,实现存储映射层面的平均分配,不能实现按流量的负载均衡。
在设计EMB服务器和文件共享服务器的对应关系时尽量使每个文件共享服务器对应的EMB服务器数量相等,此外,可以利用网络文件系统提供的特性,实现服务器之间的高可用。
媒资交互平台服务质量控制是IT层面的课题,它和电视信号无关,只关心文件如何在网络上的传输。各台在推进网络化、无带化的生产流程时都会遇到类似的问题,就文件送播流程来讲,必须制定时长几倍于磁带送播的“关门时间”,这样就压缩了记者的编辑时间。媒资交互平台的管理人员要根据应用情况,合理应用本文介绍的几种策略,寻找投入成本、系统复杂性和人为干预程度等几个要素中的平衡点,提高媒资交互平台的可用性。
[1]IETF.Policy Quality of Service(QoS)Information Mode,IETF RFC3644[S].2003.
[2]张国清.QoS在IOS中的实现与应用[M].北京:电子工业出版社,2010.
[3]电视台数字化网络化工作组.电视台数字化网络化建设白皮书2007[EB/OL].[2014-11-01].http://wenku.baidu.com/link?url=MpZ 7uVlY-7MK4ePriTksmFBTngkcZmZs4ZyXwDwTgk1ZUOJt0Tism TNkSzmKR4Oa6sLNb-3lr04lgVpcsozGXsKlK8dL3QDw3phPVkU gXoK.
TN948
B
10.16280/j.videoe.2015.10.023
闫雯雯
2014-12-01