内蒙古广播电视台新型采、编、发网络建设

2018-06-21 07:10高晓华武利军
数字传媒研究 2018年12期
关键词:虚拟化统一服务器

高晓华 武利军

1.2.内蒙古广播电视台 内蒙古 呼和浩特市 010050

1 项目背景

为贯彻落实中央关于加快传统媒体与新媒体融合发展的重大战略部署,以及自治区党委对我区融合媒体建设提出的相关要求,进一步推动广电媒体融合发展,提升面向媒体融合的综合竞争力,构建新型采、编、发网络,探索实践广播电视全媒体运营的新方式,内蒙古广播电视台根据实际情况设计、建设云架构全媒体生产平台。

内蒙古广播电视台云架构全媒体生产平台(以下简称云平台)是严格按照国家广播电视总局发布的《电视台融合媒体平台建设技术白皮书》《广播电台融合媒体平台建设技术白皮书》指导要求进行设计。生产平台将通过全方位的资源汇聚、多平台的协同生产、多渠道发布反馈来实现统一的运营管理。通过私有云平台方式搭建良好的云服务体系,为未来新业务提供持续发展的框架,具有很强的灵活性、可扩展性和稳定性,既能满足内蒙古广播电视台的节目生产和管理,又能与内蒙古广播电视台现有各个业务板块数据互联互通。

内蒙古广播电视台内现有的制播网络系统主要面对的电视方面的业务,在媒体融合发展的大潮下凸显了不足,主要体现在以下几点:

(1)新闻节目采集方式单一,不适应突发、快速的新闻报道;

(2)新闻节目播出渠道单一,与微博、微信等社交平台结合不足;

(3)节目内容的反馈很难知晓,缺少对受众的有效分析,缺乏与受众的互动;

(4)对新闻生产过程缺乏有效的管控,对新闻线索缺乏有效指挥策划。

2 项目概况及目标

内蒙古广播电视台于2017年7月以来分三次招标,完成了物理设备和IaaS云管、能力服务和PaaS平台、工具和SaaS服务的招标工作。全面展开了以构建新型采、编、发网络的建设。

云平台对内与台内现有主干对接,对外与新媒体系统对接,实现云平台与新媒体系统对接,可快速对互联网、手机报片、web报片,通联回传、两微等内容进行汇聚、统一指挥策划,根据发布媒介的不同使用相应的工具进行生产、审核和发布;对内实现与云平台对接,将多渠道汇聚的内容入云平台内容库,供云平台节目生产所用。对内与主干实现互联互通,实现在云平台制作的节目可通过主干进行送播,同时可将原有系统生产的内容通过云平台快速推送到新媒体系统发布。所有的内容从互联汇聚、收录、手机APP上传和采集上载发起的任务,都通过大屏进行呈现,达到数据看得见摸得着,真正实现可管可控的要求。

云平台主要满足蒙古语卫视(旧址)和汉语新闻(新址)的应用,后续逐步将现有业务系统迁移到云平台上,最终实现去主干化,全台一张网的格局。

项目目标:

(1)实现多渠道汇聚、统一指挥、统一内容库、多工具生产、多渠道发布;

(2)实现一次采集、多元生产、多渠道发布;

(3)实现云平台与新媒体和主干互联互通。

3 云平台总体设计

本次内蒙古广播电视台云架构生产平台项目基于云架构模式设计,以PaaS层内容库为核心,构建集全媒体汇聚、全媒体生产、全媒体发布以及指挥调度为一体的全媒体新闻采编播一体化服务体系,实现全媒体编辑业务模式及传统电视与新媒体融合生产、多渠道发布。

云架构生产平台总体架构如图1所示。

图1

如图1所示,总体架构自下而上的三个层次分别为IaaS层基础资源平台、PaaS层媒体服务平台、SaaS层应用服务平台。

(1)IaaS层基础资源平台

IaaS层基础资源平台是PaaS和SaaS层服务部署的基础。通过虚拟划分通用计算资源、专业计算资源(GPU)、存储、分布式网络、媒体桌面的方式,构建出企业级、安全、可靠、能够弹性伸缩的基础资源池。

(2)PaaS层媒体服务平台

PaaS层媒体服务平台承担着“承上启下”的重要使命,要求向上衔接上层应用和工具,向下衔接基础资源的调度应用,自身提供公共服务、能力服务和业务服务。

(3)SaaS层应用服务平台

SaaS即软件服务化,实现内容汇聚、内容管理、指挥策划、资源调度、生产制作、多渠道发布和工具的服务化。使得工具集和应用呈现出百花齐放的效应,用户可根据业务的需要选择适合的应用和工具进行编辑生产。

3.1 IaaS层设计

IaaS是基础设施即服务,将服务器、存储、网络设备等基础设施资源池化,形成计算资源池、存储资源池、网络资源池集中统一管理,并提供图形化分类界面,以服务的形式提供给上层应用,实现高可用、高安全、易扩展、统一管理、弹性伸缩、按需使用、按量付费的基础服务层。

云平台在物理设备和IaaS云管使用一整套华为的解决方案,从硬件的刀片服务器、交换机、存储和安全设备到虚拟化和云管软件,大大避免了因软硬件兼容问题引起的故障,从而提升了云平台的高可靠性和高可用性。

云平台IaaS层建设分布在两个地址,一个是新台址、一个是旧台址,新址部署所有的核心设备在A楼6层,汉语新闻与新媒体业务在B楼1层,旧址部署汇聚交换、瘦机、非编有卡工作站和一个演播室系统部署在彩电大楼2层和3层。

IaaS层总体设计如图2所示。

图2

3.1.1 计算资源

云平台通过IaaS云管实现对计算资源、网络资源和存储资源的池化,服务、应用和工具可使用IaaS云管分配的虚拟资源。云平台中虚拟化计算业务分为公共应用服务、媒体处理服务、全媒体内容服务、生产业务管理和工具等多种服务。用户可根据各类业务对CPU、内存、存储、GPU性能、安全等不同要求进行合理规划,使用不同的虚拟化配置。

本次云平台使用CPU服务器、GPU服务器和GPU非编服务器,具体如下表:

设备名CPU服务器GPU服务器虚拟化云非编服务器功能描述为PaaS、SaaS层服务提供虚拟化服务器为GPU能力服务提供虚拟化服务器为虚拟化云非编提供虚拟化云桌面工作站数量22 8 24

云平台CPU和GPU设备部署如图3所示。

图3

3.1.2 网络资源

云平台使用软件定义网络(SDN)构建网络资源池,实现网络的虚拟化,保证网络资源的灵活调度和高弹性高扩展。采用SDN+VxLAN技术,兼容标准Overlay网络的同时融合传统网络,实现跨三层的虚拟机迁移,基于三层物理网络实现大二层虚拟网络、广播风暴抑制、虚拟机动态感知等;实现传统网络和SDNOverlay网络的统一管理,为虚拟机资源池和物理机资源池同时提供SDNOverlay网络,并要在SDNOverlay网络中满足与传统网络一样的高吞吐、高并发、低时延等要求。

为了有效防范云架构生产平台网络可能遭受的各种类型的攻击和用户数据遭到破坏等安全威胁,从“网络隔离、攻击防护、传输安全”等多个角度考虑。通过网络划分、隔离手段实现计算、存储、管理、接入等资源的隔离,保证网络安全性。

网络拓扑如图4所示。

图4

云平台的网络设备全部为高可靠性产品,所有部件支持热插拔,可以支持软硬件现场升级而不影响系统的正常运行。所有交换链路全部采用双链路设计,其中任意一台交换机和任意一条链路出现问题,都不会影响网络的畅通,保障了系统运行的高安全性。

(1)新址和旧址汇聚交换机与核心交换机以40Gb链路进行冗余连接,保证链路的带宽和安全稳定性;

(2)接入交换机与汇聚交换机通过10Gb链路进行冗余连接,保证链路的带宽和安全稳定性;

(3)新址分布式存储直接与核心交换机通过万兆以太网进行冗余连接,保证18个节点分布式存储的出口带宽;

(4)刀片服务器和部分机架服务器通过10Gb链路与汇聚交换机进行冗余连接;

(5)新址和旧址实体非编都通过万兆链路与接入交换机连接,保证实时编辑带宽;

(6)防火墙和网闸都是双机热备部署,且通过10Gb链路冗余连接,网闸与核心交换机通过10Gb链路冗余连接,保证各个网络设备无单故障点,确保平台连续无中断的运行;

(7)瘦客户机通过千兆链路与接入交互就互联。

3.1.3 存储资源

云平台采用华为的Oceanstor9000分布式存储,存储提供NAS访问接口,满足媒体内容存储和在线制作的需要,存储的容量和带宽可随着节点数量的增加而线性增长,能够满足未来业务扩展的需要。

分布式存储提供15GB/s带宽,提供2PB可用容量。分布式存储按照N+2的数据安全策略进行部署,容忍2个节点/控制器失效业务不中断,数据不丢失。可基于目录的冗余配比策略,为不同数据提供不同的保护级别。单节点允许2块数据盘故障而不丢失数据。

云平台除分布式存储外,还配置一套(主备FC)虚拟化共享存储,用于服务器虚拟化数据的存储,FC存储与刀片服务器通过FC交换机冗余连接,保证存储的冗余性,主备存储之间采用双活服务器同步技术,确保主备存储数据的一致,确保在任何一台存储故障时不影响业务的延续性和安全性。

3.2 PaaS层设计

PaaS层是平台即服务,是云平台的核心层,承担着“承上启下”的重要使命,向上衔接上层应用服务,向下衔接基础资源的调度,同时自身还管理公共服务、能力服务和业务服务。公共服务有数据库服务、统一用户管理、统一文件管理、统一消息服务、服务注册服务等;能力服务有转码服务、技审服务、打包服务、迁移服务、流程引擎、抽帧服务、文字识别、图像识别、语音识别、分发服务等;业务服务有内容库服务和综合业务制作服务。

PaaS层框架如图5所示。

图5

3.2.1 公共服务

云平台PaaS层通过中间件服务与IaaS云管进行对接,将计算资源、网络资源、存储资源进行统一管理,通过PaaS层统一进行资源的申领,PaaS层的公共服务采用分布式部署,即每个公共服务至少部署在三台不同服务器上的三台不同虚拟服务器中,当一个虚拟服务器、刀片服务器或刀箱故障都不会影响服务的正常运转。

公共服务:除了数据库服务还有消息服务、服务注册服务、统一认证服务、统一文件管理服务等,都是按照分布式进行部署。

(1)数据库服务

平台提供公共的数据库服务,业务系统直接进行库表的申请即可,不需要考虑数据库本身的冗余和安全。

(2)中间件服务

中间件服务是PaaS与IaaS云管对接的统一服务,有了这样的服务可以对接不同的IaaS云管,其中包括公有云(AWS、阿里、腾讯等)、私有云(华为、H3C、Lenovo等)以及Openstack和Vmware等等,从而实现对公有、私有IaaS资源统一管理,即实现混合云资源统一管理。

(3)统一认证服务

通过统一认证服务,全台的用户可通过云平台统一门户进行登录,实现用户在不同的业务服务上一次登录,提高使用效率,同时可统一记录用户的数据,从而进行数据的分析统计,不断完善用户体验和功能。

(4)服务注册服务

提供将服务注册到PaaS进行统一的管理,服务注册服务按服务的类型对服务进行分类,当SaaS层应用调用时,直接调用服务的接口,服务根据调用的ID调用相应的服务完成业务的需要。

(5)统一文件管理服务

统一文件管理包括文件注册、文件零拷贝分享和分件删除三大功能:

文件注册由应用把文件上传到分配的读写存储目录后,调用PaaS平台提供的统一文件注册接口进行文件注册,注册成功后返回文件的全局唯一标识,供应用删除改文件使用。

文件零拷贝分享如图6所示。

图6

应用A把文件上传存储标识为RWA的目录上,并进行文件注册。应用A调用应用B的接口,通知应用B共享文件的存储标识和相对路径。应用B调用文件注册接口,填写应用A通知的存储标识RWA和相对路径及自己的存储标识RB和想要存放文件的地址,由PaaS平台调用存储接口完成文件共享。共享后文件应用B只有读写权限,不能修改和删除。

文件删除提供给各应用的共享存储没有删除权限,必须调用PaaS平台提供的文件删除接口。

通过统一文件管理实现文件的一次采集、多次引用,节省了存储空间和拷贝时间,大大提高了文件交互的效率。

3.2.2 能力服务

通过PaaS申请能力服务所需要的虚拟化服务器,能力服务有多种部署的方式,有的是集群部署、有的是分布式部署、有的是主备部署,不管使用哪种部署方式都是为了业务服务。

本次云平台的能力服务主要是按集群的方式部署,如打包、转码、技审、抽帧等,当业务对能力服务需求增大时,PaaS根据预先定好的策略可以自动从IaaS拉起能力服务镜像,加入集群服务中进行任务的处理,当业务需求量下降同样根据预先制定的策略释放资源,从而达到资源的复用,提高资源的利用率。

3.2.3业务服务

云平台的业务服务主要是内容库服务和综合业务制作服务,这两个服务同样通过PaaS申请计算资源、存储资源和网络资源进行集群化部署。内容库服务与新媒体和主干分别进行对接,满足多工具制作和多渠道发布的需要。

(1)内容库

云平台内容库具备统一内容管理机制,对互联汇聚及生产制作产生的新闻素材、成片、线索等进行统一的管理,通过统一检索实现云平台对互联汇聚、媒资、收录等多来源节目进行联合检索,拆条、转码等环节进行统一配置和管理。

云平台内容库由内容智能检索、内容编目、内容交互、近线管理、大数据分析组成。

内容智能检索:包括分类检索、关联检索、组合检索、全文检索、关键帧检索、语音检索、图像检索、智能推荐、智能排序、敏感词过滤、检索下载(收藏)、个人空间。

内容编目:包括素材编目、多级编目、编目审核、离线编目、关键帧自动提取等。

内容交互:内容库提供面向云平台业务的内容服务。素材内容库从内容汇聚发起,互联网汇聚、手机报片、通联、两微以及传统的上载、收录和媒资入库。指挥汇聚入库的内容根据发布渠道进行统一的策划,通过工具进行节目的生产加工,最后进行多渠道的分发。在整个过程中内容库始终是核心服务,就汇聚的文字、图片、视频和音频等等登记入库,而文稿、B/S编辑、云非编对汇聚内容编辑,就要通过接口调用内容库查询素材编辑,编辑后素材通过打包后形成新素材再登记入内容库,发起审片流程,审片通过发起发布流程,最终发布到多渠道,汇聚服务将发布内容的评论和反馈再汇聚到内容库,形成一个完整的闭环,实现内容的有效控制以及用户的反馈。

内容库业务流程如图7所示。

图7

近线管理:内容库有近线管理的需求,要求管理海量存储资源和持续增加的节目资源,系统要求稳定可靠。内容库支持数据流磁带库、蓝光带库的近线存储。

大数据分析:对接大数据分析平台的信息智能处理服务,在编辑加工过程中,为编辑用户提供稿件智能标签推荐、关联内容推荐、版本关联、知识关联等智能采编服务。

系统提供Eagle智能化搜索引擎,致力于对音视图文等媒体资源进行智能化信息提取和标引,从而能基于关键词、音视图文片段、声音等进行快速精准搜索,大大提高了对海量媒体内容的查找效率和质量。

大数据框架如图8所示。

图8

Eagle大数据分布式搜索引擎服务:采用分布式搜索方式,即有多个节点去执行搜索比对的工作(包括:图片DNA比对、声纹DNA比对、文本全文搜索),在节点服务器运行起来时,第一次会去自动加载索引文件,以后会自动定时去请求将最近更新的索引文件存入到服务器缓存中,当单台服务器的索引文件大于1000w时,自动(前期人工)扩展服务器数量。统一的搜索引擎服务包括:任务管理、节点管理、搜索结果的综合分析等。当有搜索任务请求时,统一的搜索引擎服务会将该任务下发至每个分布式搜索服务节点,各个节点进行比对,并将比对的结果返回给统一搜索引擎,统一搜索引擎负责将各个结果进行筛选、去重、排序,并将最终结果返回给应用层。

(2)综合制作业务服务

综合制作业务平台是基于云架构的媒体内容生产服务平台,以“按需建设”为理念,提供面向全台的多租户、多团队、多业务的综合制作平台,打破了时间、空间和设备的限制,满足终端通过办公网及互联网连接平台,随时随地创作生产。同时,支持集成不同厂商生产终端,完全按需选择适合节目特性的编辑工具。

综合制作云服务包括综合制作协同资源管理引擎、轻量工作流引擎、统一送播管理和多种非编终端组成。

综合制作协同资源管理引擎主要完成用户的个人空间管理、团队工作区管理和成片管理。负责承载整个制作业务所需的所有资源类内容的保存、维护、调用、分享等,包括视音频素材、图片素材、文本素材、序列、成片等多种类型的资源内容,并且底层通过与PaaS层的统一文件管理对接,实现基于文件不迁移的素材、序列等的分享、跨团队复制等。

轻量工作流引擎可以通过可图形化定制的方式,满足不同节目生产形态的流程处理,可完成人工节点、自动节点、服务节点等多种类型的工作节点的整体流程定义。

统一内容库汇聚内容与收录、上载和媒资入库的素材使用一个内容库,通过E-BOX将内容库中检索出来的素材加入到个人空间,之后将素材加入到非编中进行编辑。

统一送播流程只按照台内现有的节目送播体系和规范,完成统一节目制作任务的接收、成品节目的内审和技审以及最终的送播流程。

本次云平台对接大洋非编与索贝非编,大洋非编主要给汉语新闻使用,索贝非编主要给蒙古语卫视使用,通过E-BOX插件与综合制作云服务进行对接,通过工作流引擎完成对PaaS层的各种能力服务的调用,完成打包、转码、技审、迁移和送播工作。

综合制作业务服务设计如图9所示。

图9

3.3 SaaS层设计

SaaS是软件即服务,是用户根据业务的需要选择适配的应用和工具,通过web的方式登录访问。

本次SaaS服务主要是满足蒙古语卫视和汉语新闻,蒙古语卫视两个频道90多个自制节目,主要涉及到的应用有文稿服务、虚拟化云非编、B/S快编、审片和演播室系统。汉语新闻主要涉及到文稿服务、虚拟化云非编、B/S快编和审片等。

虚拟化云非编部署在GPU云非编服务器上,瘦机通过浏览器登录虚拟化云非编主机,进入统一门户选择E-BOX插件接收制作任务、上传素材、查询素材和制作流程,使用非编进行节目制作,制作的成片通过E-BOX进行送播流程。在整个制作过程中要与PaaS层的统一认证服务、综合制作服务、内容库、转码和打包等服务进行紧密的交互,最终节目通过主干送播。

SaaS应用业务流程如图10所示。

图10

3.4 互联互通流程设计

云平台与新媒体和现有内网系统进行互联互通,实现内容汇聚、内容生产和内容发布。

(1)内容汇聚

互联网汇聚内容进行新媒体,通过云平台接口服务登记到云平台内容库;

收录网和媒体网内容通过主干入云平台内容库;

上载的素材通过综合制作服务入内容库;

发布到互联网的内容通过汇聚服务入新媒体库再登记云平台内容库。

(2)内容生产

新媒体直接下发生产任务给云平台大制作,索贝通过接口将任务取走,然后进行新网节目的制作送演播室,成片登记大制作;

新媒体发起文稿任务给大洋文稿,文稿编完发到云平台大制作进行电视节目生产;

大洋非编可直接访问云平台大制作进行节目生产,通过综合制作服务上载素材再登记云平台内容库。

(3)内容发布

综合制作的节目通过云平台内容库与主干对接,遵循主干的标准,接入ESB和EMB服务,实现云平台到播出的发布;

内网节目发布新媒体,同样通过主干与云平台内容库对接,遵循主干的标准,接入ESB和EMB服务入云平台内容库发布到新媒体进行互联网发布。

云平台互联互通流程如图11所示。

图11

4 新型采、编、发网络实践

云平台通过多渠道汇聚即内容采集,包括互联网汇聚、APP报片、web报片、通联、两微、素材上载、收录和媒资入库;多渠道采集的内容入内容库,使用B/S快编工具、虚拟化云非编、物理非编对内容库的内容进行生产加工即内容编辑;编辑好的内容根据发布渠道进行发布即内容发布,新型采、编、发网络即是融合媒体业务生产流程。

新型采、编、发网络业务流程如图12所示。

图12

4.1 多渠道汇聚

多渠道的汇聚是新型采、编、发网络的内容采集端,通过汇聚服务将不同渠道的内容采集到新媒体内容库中,为用户统一呈现不同来源的丰富的最新、最热资讯信息;同时可以根据用户所需定向抓取相关的资讯,用户只需下发包含来源、关键字和汇聚时间等条件的汇聚任务即可,服务将自动汇聚的相关资讯信息提供给用户;利用大数据技术将大量汇聚内容进行数据整理和过滤,实现入库的数据是可用的、唯一的。汇聚服务与新媒体内容库无缝衔接,新媒体内容库的内容自动同步给云平台内容库,使蒙古语新闻和汉语新闻生产更加便捷。

4.2 指挥策划

指挥策划是面向全媒体的新闻报道的指挥协同,内蒙古广播电视台的指挥策划面向新媒体、蒙古语卫视的蒙古语新闻和汉语新闻,所有新闻栏目或频道的相关人员在指挥策划系统中确定今天需要报道的内容,哪些在新媒体报道、哪些在蒙古语和汉语新闻中报道,哪些在三个渠道中都进行报道,以及为报道所申请的人、车和设备,通过这一套系统将之前的各自为战的局面向融合的方向发展。

4.3 生产发布

在云平台的生产工具中有文稿、B/S快编、虚拟化云非编和物理非编。文稿和B/S快编都是通过web的方式直接访问,虚拟化云非编同样也是通过web的方式进行访问,但云非编是将IaaS层的GPU虚拟化云非编通过图像压缩的方式传输到瘦机上进行展现,而终端将键盘和鼠标的操作信息传送给后台虚拟化云非编,从而安全的实现非编的外延和高质量的编辑体验。

生产发布也是两部分组成,一部分是新媒体生产发布,一部分是电视生产发布,新媒体生产是通过B/S编辑工具进行文字、图片、视频和音频的编辑,根据发布渠道的不同使用专有的编辑工具制作,从而发布到两微、web网站和手机APP;电视生产是通过文稿、物理非编、虚拟化云非编、B/S快编等工具进行生产,新闻节目直接进入演播室直播,专题节目直接送主干送播,播出后的内容通过收录或回采回内容库,再通过新媒体向两微、网站和APP发布。

4.4 大数据

大数据在云平台的建设中起到重要的作用,首先在汇聚阶段需要借助大数据手段对新闻的舆情进行分析和预测,从而提升新闻报道的准确性。同时,在发布端有APP、两微、网站等渠道,通过技术手段将用户反馈的信息,抓取回来进行分析,通过积累用户信息,确定用户的喜好等,借助大数据手段向用户推送关注的内容,从而提高与用户的粘度,也为内容运营奠定用户基础。

4.5 大屏呈现

大屏呈现是将互联网汇聚、指挥策划、内容库、生产发布以及IaaS资源使用情况、机房设备情况、PaaS服务情况、SaaS服务运行情况展现出来,实现业务的全流程、多方位整体管控,实现真正看得见摸得着的融合媒体。

大屏呈现效果如图13所示。

图13

结束语

通过云平台的建设实现了新媒体与云平台、云平台与主干之间业务的互联互通,在此基础上对采、编、发等多方面进行了改造,真正实现了资源汇聚共享、统一指挥策划、统一资源调度、多工具生产和多渠道发布的格局。云平台与新媒体和现有主干互联互通,使得新媒体内容与电视节目内容充分共享,同时云平台生产的节目内容可通过新媒体和传统播出渠道发布,大大提高了电视节目在新媒体中的影响力和传播力,实现了传统电视与新媒体的融合,是新型采、编、发网络的完美展现。

猜你喜欢
虚拟化统一服务器
坚持严管和厚爱相统一的着力点
碑和帖的统一,心和形的统一,人和艺的统一
通信控制服务器(CCS)维护终端的设计与实现
基于OpenStack虚拟化网络管理平台的设计与实现
统一数量再比较
对基于Docker的虚拟化技术的几点探讨
中国服务器市场份额出炉
H3C CAS 云计算管理平台上虚拟化安全防护的实现
得形忘意的服务器标准
计算机网络安全服务器入侵与防御