姚晴麟,刘科材,王 骏
(1.哈尔滨广播电视台,黑龙江 哈尔滨 150036;2.成都东方盛行电子有限责任公司,四川 成都 610041;3.安徽励图信息科技股份有限公司,安徽 合肥 230088)
哈尔滨广播电视台主干交互中心平台建设
姚晴麟1,刘科材2,王骏3
(1.哈尔滨广播电视台,黑龙江 哈尔滨 150036;2.成都东方盛行电子有限责任公司,四川 成都 610041;3.安徽励图信息科技股份有限公司,安徽 合肥 230088)
介绍了哈尔滨广播电视台主干交互中心平台的设计和建设经验。主要从系统设计和系统特点上进行了详细描述,针对广播电视业务网络结构及媒体文件的特点,有目的性地调整网络结构,开发数据安全交互软件系统。该结构不仅适用于千兆网结构,对万兆网的建设也具有重要的借鉴意义。希望对中、小广播电视台在有限资金下进行类似项目建设起到借鉴作用。
内容分发;病毒查杀;文件分析
哈尔滨广播电视台下属哈尔滨电视台、哈尔滨广播电台、哈尔滨网络广播电视台共三大传播媒介,不同的传播媒介有不同的业务流程和业务网络。随着技术装备的发展,哈尔滨广播电视台已拥有9大业务网络,网络间安全的互连互通已成为当时发展的迫切需要。其实早在2010年在建设媒资系统时就曾立项建设全台主干调度平台,目标就是实现打破业务孤岛,实现全台的网络互联互通。但由于各子业务平台由不同厂家建设,限于当时的资金和技术,虽搭建了主干调度平台,但事实上仅限于完成了电视播出系统、媒资系统和新闻制作网的简单连通。同时当时的网络结构是以媒资系统为核心,星型的网络结构又造成了单溃点的存在。2013年底,民生节目综合制播网建设中,再次提出解决全台各系统互联互通的需求,但建设资金有限。发展就是动力,完成对业务需求的支持,就是广电技术人的使命。困境就是机遇,惟有创新才能打破僵局。哈台技术人员作出大胆的尝试,砍掉民生制作网原有安全模块,民生制作网不配套建设自有安全模块,安全由主干负责,民生制作网原有安全模块建设资金转入主干交互中心平台项目,同时创新的将广域网内容分发原理引入到局域网内,调整各子网存储结构及管理模式,搭建新型网络拓扑结构,并充分利旧,在原千兆网基础上完成主干交互中心平台项目建设。
数据安全交互平台应用软件在64位操作系统下开发的多核的多线程程序,每个功能软件模块支持在多CPU下,多个线程在多个核上并行地执行。数据中心交换机采用万兆以太光纤接口。平台采用双数据库服务器,实现同步镜像备份;磁盘存储采用分布式内容分发存储服务器(Content Delivery Network,CDN)。民生新闻制播网、广告网、全台收录网、苹果制作网、新闻制作网、媒资网、网络广播电视台、播出网、电台业务网之间建立了统一的全台数据安全交互平台,平台核心功能包括数据文件管理、文件杀毒、文件解析、文件挑选、文件迁移、CDN内容分发、文件转码等功能。
数据安全交互平台的节目存储采用分布存储模式,传输采用内容分发机制。新开发最短路径读写算法,中心平台只负责存储元数据管理和低码率素材的存储,存储媒体数据由各个子系统CDN分发服务器完成,可以将中心平台的存储和带宽压力分摊到各个CDN分发服务器。每个业务系统前端设计CDN内容分发存储服务器,各个CDN内容分发存储服务器组成全台数据交互平台的节目资源存储平台。各子业务系统将要交互的多媒体数据上传到各自板块的CDN服务器上。上传的多媒体数据包括视音频、图片、文档等数据文件,也可包含描述这些数据文件的元数据。中心自动扫描各板块的增量数据,并根据各个业务子网的需求自行发起推送任务。
安全机制上,平台配置了多级安全防护设备,根据需要配置不同档次的硬件防火墙、网关,结合国内外多种顶级防病毒引擎进行交叉杀毒,实现“硬+软”、“软+软”多级安全防护体系,所有软硬件都受系统后台统一管理、调度。平台中归档、下载、迁移、挑选、解析、杀毒、转码等功能组件采用模块设计,可将各种功能模块灵活的部署在一台服务器或者多台服务器中,且每种功能组件可集群部署,实现功能备份和负载均衡。导入导出客户端及民生制作网内非编站点具有移动介质安全认证功能,可以快速的对P2卡、SXS移动存储、U盘、移动硬盘等专业存储介质进行自动杀毒[1]、白名单认证、深度解析等安全检查,确保移动介质数据的导入导出安全。外网有数据需要进入到内部网络,通过数据安全交互平台的安全管理功能进行处理,针对外来文件进行至少四级安全处理,包括白名单认证、入侵防护过滤、二级交叉杀毒、文件深度解析等步骤后才能进入内网。
数据安全交互平台采用并行处理,平台可同时对至少16个节目文件执行迁移操作,也可同时对16个节目文件进行安全解析操作,平台所提供的并行处理能力具备可扩展能力,每增加1个服务器即增加4个以上的执行进程以满足平台处理能力的扩展。通过文件传输优先级控制,提高交换中心的交互效率,文件采用多通道并发传输,对多个传输通道分组设置优先级,依次为“紧急文件传输通道”、“普通文件传输通道”,低级别的文件不能在高级别的通道上传输,高级别的文件可以在低级别通道空闲时优先借道传输。在相同的一组传输通道上设定了并行传输和负载均衡功能,并行传输时只对2个或以上数量的文件有效,负载均衡对2个或以上数量的传输通道有效。
数据安全交互平台管理和应用上采用“统一注册、按需分配、就近访问”的核心原则,实时记录用户的操作行为,数据的流转状态,根据业务的类型、形态、优先级等服务于各业务板块,从而实现各业务板块安全、高效的交互。网管对所有上传、下载的历史任务进行查询,可以设定保存历史记录;能对正在处理的任务进行状态查看,包括正在处理的任务和正在排队等候处理的任务。能够实现对执行任务的优先级调整;能够终止、暂停正在执行的任务。利用用户身份认证方式,设定基本的准入条件,防止非授权用户访问。数据安全交互平台具有用户操作权限管理功能,可对不同的用户分别设置不同的操作权限,如不同的浏览和检索范围、不同的下载权限、不同的数据修改权限等。网管管理功能让网管利用网管客户端,对系统进行任务监控、任务干预、板块管理、速度调配和系统各项参数调整等操作。系统软件可对节目素材使用情况统计,对素材进行挑选。举例:各频道记者把拍好的素材放到数据池内,其他用户可根据权限对素材可以浏览,挑选并使用,软件要对素材标记(标记使用次数,被谁使用、使用在何处等功能),该数据可对台里发放绩效提供依据。如图1所示。
图1 主干交互中心平台拓扑结构图
数据安全交互平台支持元数据解析和自动获取功能。元数据解析功能可以定时检测各系统的指定CDN存储目录,如果发现该目录下有新的XML文件,则按约定格式解析出其中的元数据,并将相关信息写入数据库。元数据自动获取功能,通过自动获取业务网发送的元数据,并对其自动解析,再生成新的元数据写入平台数据库。平台将各类媒体文件进行安全检查和文件解析后,分别迁移到各业务系统CDN存储中,CDN与CDN之间采用千兆光纤链路。各业务子网数据上传下载基于“就近原则”模式,只有在本网的CDN分发服务器没有的数据文件时,才会通过中心平台在其他业务网CDN分发服务器上将数据直接迁移过来,以满足各业务子网大数据流量数据交互使用提升快速响应性。中心临时存储上可存储低码率素材,供各个子系统的用户基于互联网的浏览、检索,可同时供300个客户端同时访问。
上传至目标板块成功的数据,集中保存在目标板块的CDN分发服务器上,并以树形结构目录分类展示,带抓取系统的目标板块从缓存服务器上抓取实体文件和元数据,入库到本板块系统中,目标板块用户直接从本系统中调用。在平台上保存的素材受交互中心管控,客户端所展现的素材操作人员可以方便的查看素材的使用情况,包括素材使用次数、使用部门、使用人、使用时间等。系统提供了与民生新闻制播网非编机接入P2、SXS卡所需移动介质查杀认证软件,安全查杀解析时间小于10 s。业务子网间交互流程如图2所示。
图2 业务子网间交互流程
1)互联互通融合共享
系统完成了电视、广播和网络广播电视基于同一平台的互连互通,完成了现有业务系统,民生新闻制播网、广告网、全台收录网、苹果制作网、新闻制作网、媒资网、网络广播电视台、播出网、电台网等9个子网,10个点之间统一的全台数据安全交互平台,实现了内容交互。
2)高效的CDN内容分发网络技术[2]
媒体具有视频、音频、图片、文字等不同的数据,而且视频文件较大,若在千兆以太网采用传统的数据集中存储,共享访问技术,势必会在数据的来回拷贝中降低内容交互的效率。为提高数据交互效率,将在互联网得到深入应用的CDN内容分发网络移植到千兆局域网中,各子业务网络部署CDN存储[3],实现交互内容的“分布存储、就近访问”[4],提高了内容交互效率。
3)基于私有传输协议链路
外网与内网进行数据交互需要链路进行传输,而传输链路一旦采用TCP/IP协议,就始终存在被攻克的危险。数据交互平台项目在进行外网与内网进行数据交互时,采用非公开的私有协议传输链路,彻底杜绝网络攻击。
项目自2014年6月试运行;2014年9月,民生制作网内原有线3个频道节目、网络广播电视台节目,全部通过主干进行无带化传播;2014年11月,都市资讯频道电视剧节目实现文件送播;2015年3月,实现该频道电视剧重播,实现媒资系统经主干文件化送播;2015年4月,新闻综合频道、广告部及各频道广告节目全部文件化传送。截至2015年7月底,累计传送节目20万条以上。2015年春节期间,节目集中送播出,出现等待排队等情况,经过系统调整,增加了送播进程,优先送播。调整后,用户体验较好,给予很高评价。
随着该平台的全面投入使用,哈尔滨广播电视台设备采购和技术维护发生了明显变化。当年台采购设备清单中,已不在包含传统高标清录放像机,取而代之的是能够录制和传送文件的硬盘录放机成为采购热点。原来媒资系统一直难以发挥主要作用,文件化后媒资系统作为检索、存储的作用开始显现。同时该平台的运行,推动了哈尔滨广播电视台全媒体融合平台的建设需求。从广电技术数字化、数据化的技术发展角度来看,按照介质化、文件化、IP化和云化阶段发展方向演进方向。哈尔滨广播电视台正在快速经历从文件化向IP化和云化方向推进的过程。
[1]钟敏.数字电视交互系统中间件技术浅析[J]. 有线电视技术,2007,14(10):55-56.
[2]张涛,刘志宏.三网融合背景下的CDN融合演进[J].信息与通信,2011(5):124-125.
[3]赵成贵.互连网络负载平衡理论与算法[M].北京:科学出版社,2011.
[4]谌丽.基于云计算的CDN平台研究及缓存技术探索[D].广州:华南理工大学,2012.
Harbin broadcasting & TV station main interactive center platform construction
YAO Qinglin1,LIU Kecai2,WANG Jun3
(1.HarbinBroadcasting&TVStation,Harbin150036,China;2.RAGE&EASTElectronicsCo.,Ltd.,Chengdu610041,China;3.LtechInformationTechnologyCo.,Ltd.,Hefei230088,China)
The design and construction experience of Harbin Broadcasting and TV station main interactive center platform is introduced in this paper. Mainly from the design and characteristics of the system are described in detail, according to the characteristics of the broadcast television service network structure and media files, data security interactive software system is developed to adjust the network structure. This structure is not only applicable to the Gigabit network structure, but also has important reference value to the construction of the 10G-WAN. Hope that the small radio and television stations in the limited funds for the construction of similar projects play a reference role.
content distribution;virus killing;file analysis
TN945+.7
B
10.16280/j.videoe.2016.09.014
2015-10-16
文献引用格式:姚晴麟,刘科材,王骏.哈尔滨广播电视台主干交互中心平台建设[J].电视技术,2016,40(9):72-76.
YAO Q L, LIU K C, WANG J. Harbin broadcasting & TV station main interactive center platform construction[J].Video engineering,2016,40(9):72-76.
获奖情况:黑龙江省广播电视科技创新一等奖
姚晴麟(1974— ),硕士,哈尔滨广播电视台总工办网络科科长,长期从事广播电视工程维护与台内信息系统设计、实施与维护工作。
责任编辑:时雯