地市级广播中心核心服务器机房架构全解

崔 凯

（长治市广播电视台技术管理中心，山西 长治 046000）

0 引言

5G、大数据、云计算、物联网、人工智能、虚拟现实等网络与通信技术的发展极大地促进了广播电视行业技术升级迭代，大大提升了人与高新技术交互的体验。不过服务器端设置于核心任务环境，绝不容许服务中断，目前来看新技术很难快速融合进来，服务器的基础架构仍然精简单纯。本文以长治市广播电视台广播中心服务器系统搭建运维为例，解析服务器的基础设计，结合日常管理实践，探讨高性能服务器系统的基本架构思路，并提出未来升级改造要点，供广播电视服务器运营与维护的现场管理人员作参考。

1 广播中心内外网总体布局

1.1 核心交换机为中心

位于服务器一端中心部位的核心交换机扮演多重角色，几乎所有的通信都需要经过它的梳理与转发。传统网络架构采用层次化架构的三层式，一是为了提供层次分明的管理结构，降低后续管理人员理清通信流的难度，二是便于把不至于影响全局网络的通信都定位于所属层，遵循局部问题就地解决的原则。一般要求，所涉及的网络硬件设备超过500 台时，需要设置分布式交换机，以衔接接入交换机和核心交换机，集中接入层业务通信的同时，分散核心交换机的处理负荷。以长治市广播电视台实际建设为例，广播电视大楼主体是一幢25 层高层建筑，广播中心服务器和客户机的数量超过100 台，尚未超过常规使用汇聚交换机的场景标准。不过，核心服务器机房建设于8 楼，不同业务的客户机分设于不用的楼层，如20 层的新闻广播频率、21 层交通广播频率、9 层的广播总控部门、3 层的录音棚等，同时外设有三处距离广播电视大楼超过7 km的常态化场外直播环境。同时，作为全台基础性设施，网络架构必须兼顾未来开办更多频率的需求。目前电视台已实际酝酿音乐广播和戏曲广播的申报，因此做了略超前的网络架构，引入了分布交换机来衔接核心和接入交换机。

细分来看，广播网络总体布局以业务不同区分为播出网和非播出网。播出网作为广播中心的重点保障业务，安全等级最高，非播出网则涵盖制作系统、新闻文稿、媒体素材，以完成直接面向节目的采集与后期交互为主。实际考虑到需为播出业务提供可靠的传输，也为了为后续改扩建留出余量，采用高速度、宽频带的光纤交换机作为分布交换机。基于统一管理的需求，楼层交换机采用华为s5700-28P-LI（LI 为简化型），作为终端业务接入使用。不同业务的楼层交换机分类编组后接入分布交换机，最终引入组建主干网络的s5700-52p-EI（EI 为增强型）核心交换机。该5700 系列产品是组建企业数据中心的专业三层网络交换机，其下行接口速率均为千兆，基本能稳定满足数字广播业务的并发通信[1]。此外，中心核心交换机采用了s6700-16-EI（此交换机无上行口），这是长治市广播电视台使用的最高规格的全光纤交换机，用来解决场外直播环境的播出业务传输，其16 位下行接口速率均为万兆，是远距离专线无时延传输的可靠选择。广播中心网络简要示意如图1 所示。

图1 广播中心网络简要示意图

1.2 安全网闸提供数据隔离

NG200 广播专用网闸主、备并列配置，分列于核心交换机两侧，提供严格文件筛查兼具数据摆渡和应用防护功能，为全局网络提供访问控制，阻断网络攻击，对播出内网进行严格保护。播出网设置得小巧而精干，严格限制不必要连接，禁止旁支业务访问，定义为内网—核心网，追求安全稳定不间断。播出之外的总控、新闻、制作、媒资、新业务等，直接满足不同环境下多种业务的并发连接，设备多样连接分散，追求高速访问、高效反馈，定义为外网-交互网。网络安全是播出安全的核心，来自于外网的业务访问必须集中接入外网交换机，由外网交换机链接安全隔离网闸不可信处理单元，对音频数据进行逐帧检查过滤。安全检查逻辑为白名单逻辑，高于防火墙机制的黑名单逻辑，不仅实现格式检查而且进行病毒粉碎，设置对HTTP、TCP、IP、UDP 协议组的有限制支持，且对通过数据进行严格过滤，对通过策略检查机制的访问向后转送到可信处理单元，链接内网交换机，接入播出核心交换机来保证播出网的安全。此举大大增强了播出业务的封闭性。目前来看，长治市广播电视台广播中心播出硬件设备限能至30 台即可高效满足四个直播室的稳定访问。在现实案例中，制作业务终端由于编辑记者访问网站感染病毒，导致病毒代码蔓延到制作网络，导致所有广播录音、电视配音、音频剪辑工作无法进行，但由于安全隔离网闸的布设，此问题并没有蔓延到播出网。工作人员可以在播出业务正常进行的情况下处置制作网络的修复工作，大大减轻了系统维护工程师的工作负荷。外网业务终端访问播出内网流程如图2 所示。

图2 内外网隔离业务图

2 广播中心服务器通信流梳理

服务器机房作为一个单位的基础设施，业内共识都是采取集中布置、集中运营、集中维护的策略。服务器机房内部遍布各类网络元素，纷繁复杂，最能体现技术集成。以长治市广播电视台广播中心为例，统一布设了域控服务部分、播出服务部分、制作服务部分、新闻文稿部分、媒体资料部分、新业务部分（如电话录音、广播可视化、新华社文稿采集、微信采集微信消息同步软件及微博等），下文以播出核心服务为主详细介绍建设经验，辅以各个子服务部分的不同配置要点，力求展现广播中心服务器综合架构的全貌。

2.1 域控服务

以长治市广播电视台为例，广播中心近90 台业务终端和30 台服务器采用域控统一指派用户权限、管理用户账户、统一各业务端客户机软件环境，大大方便集中管控。此处的主要应用场景是将域控服务器接入核心交换机，装载校时程序启用广播网络域环境校时方案，以统一各个子域的时间。广播电视技术部门是直面节目直播、信号转播的开端与结束的最后一道环节，对于时间观念的把握是技术安全先觉条件，如若不准很容易酿成播出安全事故。方案以域控主备服务器接入核心主备交换机，服务器启动网络时间协议NTP。广播中心网络整个架构以核心交换机为中心，只要域控服务器的时间准确，就可以保障整个网络环境的终端设备时间得以准备一致[2]。域控服务器的时间采用GPS 时钟发生器来确保准确，此处采用一个GPS 母钟引出两个GPS子钟，分别接入域控主备服务器的思路，以达到时钟信号的冗余备份。

2.2 播出服务

一般情况下，播出程序客户端是指向服务器的，播出程序所用到的资源也都是通过服务器进行处理的，只有在服务器工作异常的情况下，为保证播出程序的正常运行，才会应急配置为本地。播出服务器主要包括播出Web、播出Ftp、播出核心交换机、播出SQL 以及播出EDI 磁盘阵列。

2.2.1 播出Web

主、备服务器装载Air5 播出服务，单独负责广播直播间播出单自动排单、自动同步、自动洗牌，直观地将经上游编辑制作、由上单人员编排的节目展现出来，供直播主持人和无主持情况下的热线导播人员实时检查编排工作的准确性，实现整档栏目的自动化播出，是电台工作流程的关键节点，属于技术重点保障业务，直接关系到播出安全。接入播出核心主、备交换机，播出业务终端启用socket 与服务器建立连接，向服务器发送数据请求，服务器将处理后的结果返回业务终端，最后断开连接释放进程。如此循环往复地处理播出Air5 调用日播出单进程，为划归广播直播间的各台播出工作机调用节目单、查询节目、音频拖放及直播录音提供可靠支持。一个播出Web 服务器启用3 个网卡模块，从网卡角度看，板载网卡采用双绞线型以太网线连接，用于主备服务器内部通信。此处使用以太网线，使用方便，成本低廉。两个扩展网卡用光纤线连接主备核心交换机，作为上下行数据链路。

2.2.2 播出Ftp

主、备服务器装载Serv-U 和File Streamer 服务端软件，主要根据文件传输协议来为播出业务区提供访问服务。典型应用场景为：主持人通过业务机程序向服务器程序发送上传下载素材的需求，服务器程序执行主持人所发出的命令，并将执行的结果返回到业务机，呈现给主持人。Serv-U 在长治市广播电视台的Ftp 服务器中使用广泛，使用管理非常简洁，易于维护掌握，其最大的特点就是在支持即时的多用户访问的同时，可以基于IP 地址动态地更改最大用户连接，以保证服务器的资源不被耗尽，在日常运维中通过实现域账户的登陆管理、授予用户对文件目录的权限、设置上传下载的速度比率、为每个Ftp 用户配置磁盘空间安全，实现对广播中心所属用户的动态管理[3]。File Streamer 在文件服务系统内基于流真正进行文件的读取、编辑、打开、关闭、移动等操作，基于客户端IP 地址，具体业务流如下：启动服务→客户端请求音频→记录查找时间→读取字节范围→处理成功传递给客户端→打开文件→关闭文件→客户端下线→释放连接。

此处的文件流传输控制在运行时间过长特别是访问连接数过多后会自动关闭。以长治市广播电视台广播中心为例，大概半年时间出现一次，表现形式是在广播直播间播出单节目的预听、替换、跳过、上移、下移等操作没有实质所指内容时，播出单管理器状态栏会实时输出“所操作的文件名不存在，Ftp 服务异常，请联系管理员”的错误信息，方便节目主持人及时发现该异常。

2.2.3 播出SQL

主、备服务器作为存放数据库database 的所在，是播出服务器系统的核心。按照实际运维经验，服务器每月会生成20 GB 的每日播出单操作日志，形成后缀名为.log 的文件，存储于D 盘program files根目录下MSSQL Server 中的data 和backup 文件夹，属于重点保护模块，不可自动清除。避免单点故障的方式区别于前述服务器的双节点热备，将提供相同业务的两台播出数据库集群管理，设置播出心跳监测，自动启动备份程序。一旦主用服务器不能正常提供服务，则自动迁移到备用服务器，以继续为客户机提供所需的服务。这个过程对客户机来说是毫无感知的，不会影响到后端的持续访问，也为工程师留下充裕的时间来排查问题、解决故障，极大地解放了人力，是高可用性设计的真正价值。同时，活动状态服务器和备用状态服务器装载cluster manager 软件，启用群集管理器服务，实时监测主备数据库内核模式LAN 心跳、PING 网络分区解决资源、组移动浮动IP、镜像磁盘监视等各项参数，侦测信息并在主机上反映系统的状况，采用集中式界面简化管理，只需要在一台数据库服务器上启动群集管理器即可完成群集的删除、新建、恢复、移动等操作，降低了维护复杂性。

一个数据库服务器配置有五个网卡模块，集成在主板上的板载网卡，与备用数据库板载网卡组建心跳网络，专门用于两台服务器之间设置信息和状态信息的数据包通信，这是为了实现服务器本身的主备冗余，扩展插槽的四个扩展网卡形成两个网卡组合，分别接入播出核心主交换机、播出核心备交换机、主播出磁盘阵列、备播出磁盘阵列。网卡组合机制决定了某一台核心交换机宕机或某一组储存阵列损毁时可以执行故障转移，选择迂回路径继续提供服务。技术人员在日常运维工作中注意到，不同种类的物理网卡分开使用，能够有效避免由物理链路故障造成的通信中断。一旦出现故障，也方便运维人员能够在不中断服务的情况下更换板载网卡，扩展插槽或者USB 外接网卡。核心交换机在系统中扮演着中心角色，一旦自身故障，影响甚大。网卡连接到不同的物理交换机上，可以应对交换机本身的硬件故障，相比于连接到同一台物理交换机上的方式，极大地增强了容错能力，对服务器系统的高可用性提升巨大。播出SQL 服务器连接示意如图3 所示。

图3 播出SQL 服务器连接略图

2.2.4 播出阵列

主、备存储区采用EDI 公司生产的Fabric Channel 磁盘阵列，是广播中心节目素材长期存放之地，可以形象地表述为广播资料的博物馆。有价值的节目成品、制作素材、录音旁白等以栏目为单位，分类归档于所属频率的资料库。借助于RAID5技术，将14 块小容量磁盘集结成一个逻辑整体，形成一个10 TB 的储存空间，基本满足了尽可能多的安全存放区、便于节目一线人员快速读写的设计需求。该类产品的基本架设经验是，采用双主机控制统一配置，主机连接到阵列柜集成的内部光纤集线器，外部光口分别连接到主备数据库服务器，以实现两台主机的设备冗余和资源共享[4]。

2.3 交互服务部分提供全面而广泛的连接

2.3.1 制作服务

制作采编采用与播出环境基本一致的主从热备兼制作SQL 主备集群架构，直接面向节目录音、配音、剪辑、审听、上载、编单、漫录、广告，门类齐全，业务多样。绝大多数硬件终端设备都要最终接入制作核心主、备交换机，进而与位于底层的制作服务器群交换数据，着重解决XStudio、Power Editor、Log Editor、I Scheduler、Pro AD Arrange、Logger Player 的运行支持。

不同的是，鉴于制作客户机明显多于播出环节的客户机，参与制作业务的人员也较多，单独管理不现实，制作Web 主、备服务器装载dog server 服务，专门满足制作环境的人员访问和身份验证问题，主要用于不良信息过滤，实时拦截网站浏览、文件传输流程中的恶意内容，直接嵌入到服务器操作系统执行，保证过滤功能不被停止，放行可自定义容许通过的链接。

此外，制作Web 服务器网卡的组织也区别于播出Web，配备4 块彼此独立的扩展网卡分别接入主播出交换机、备播出交换机、主制作交换机、备制作交换机，如此在服务器端允许制作网络和播出网络的联通，体现在业务机上是音频编辑制作工程区可以调用位于播出EDI 阵列的播出成品区素材并进行二次加工创作。考虑制作Web 常态化、应对制作网络大量终端访问后端制作SQL 的客观事实，同时制作剪辑有少量访问播出成品的需要，区别于选用使用方便、成本低廉的以太网线连接播出交换机的方式，选用传输快速、没有衰减的光纤线连接制作交换机。对于制作业务机进入播出内网的安全性，具体的访问机制则采用章节1.3 所述的制作安全网闸主、备来实现，在此不再赘述。

2.3.2 文稿服务

新闻文稿的主要业务是满足News reader 新闻读稿器的访问支持。读稿业务机同样使用外网方式链接播出内网，与主播出站、备播出站以端口号（可自定义）设置播出自同步，以共享路径访问主、备播出单，实时显示所有播出栏目，自由配置每分钟播放字数，动态统计稿件数、总字数、音频数。

文稿服务的架构，在Ftp 服务器层面启用Serv-U 服务，组件名称为长治电台news，端口号为21，只规定Ftp 的方式，File Streamer 仍然专一负责具体账户读取服务器资源的文件传递，其特点是从开始连接到映射结束释放路径，完整地记录用户账户的操作。新闻核心交换机、数据库、磁盘阵列的组织与管理则与制作环境保持一致。服务群分布提供新闻文稿的全流程传递，依托文稿网络将稿件的审核流程在系统中流转，支持记者采访、主持人讲稿在业务机内实时编辑与制作，设置了广播稿件公共库，支持跨频率、跨部门用户共享。经过审听发布的代播稿件传递到各频率直播间播出工作站的新闻读稿客户机，视稿件时效性要求做串播单顺序播放或者一点即播。读稿业务机器采用扩展专业Digigram 立体声数字声卡，实现广播级音质。已播出稿件经编辑人员整理后及时上载至服务器的储存阵列，并不在本地存放，避免记者主持人误操作。只有在文稿服务器故障、中断服务的情况下，才配置为本地服务做应急读稿[5]。此处有一点区别于制作服务器：新闻读稿业务机在功能上实际担负着30%的播出业务，但是受限于广播直播间空间布局的限制，只有单一设备，没有布置主备。技术人员借助在后端新闻Ftp 主、备服务器布置新闻心跳、每隔20 秒交换状态信息的方式，迂回解决前端业务机的单点访问缺陷，在日常运行中为节目支持提供了可靠的保障。

2.3.3 媒资服务

媒资主、备阵列和数据库服务器是媒体资料库的储存核心，其组建的节目入库区服务主要解决长期资料的存放与规范管理问题。接入交互核心网络，支持播出业务、文稿业务等关键应用的直接调用，广播中心组建的四类储存阵列从产品规格到RAID 卡数量保持一致，播出阵列组建的播出成品区、制作阵列组建的制作工程区、新闻阵列组建的文稿排布区，都具备一定限度的储存能力。所有频率的节目采编播审相关人员近百人，来自音频慢录、视频慢录的实时数据全天候采集，为了保证各核心业务的稳定开展，减轻大量访问存储区通信的拥挤，技术人员根据各个频率日播单节目的运行实际，设置了数据储存上限，播出阵列为6 个月，制作阵列为9 个月，新闻阵列为12 个月，启用自动删除策略严格排查文件名，文件到期后自动清除。一年期以上的文件均由媒资管理员统一整理分类、归档管理入库。

Trans Code Server 媒资转码服务器是长治市广播电视台广播中心中采用的最高规格的服务器。本系统配置了两台专用转码服务器，一主一备，交叉接入主备转码核心交换机。转码任务是媒体资料服务的数据处理单元，媒资数据向外传送，外部系统内传媒体文件，媒资内部数据交互都要通过转码后传送。笼统来说，主要分为上载抽帧和回调转码，以满足日常的音频视频上变换、下变换，运算极多，任务很重。转码工作对服务器的运算能力要求更高，且工作多为并发链接多线程任务，转码效率的高低直接决定了媒资服务的可用性。因此，采用Dell 高性能十核心二十线程服务器，双路CPU 并行运算，对目标文件执行转码。

与其他服务的区别点在于，媒资服务的Web 和FTP 服务并机运行在一台服务器上，一是考虑播出、制作、新闻与媒资的海量文件来往依赖Ftp 服务的可靠运行，二是着眼于媒资服务远期有创建内部网站进行节目技术交流的可能。这台服务器既装载Serv-U 和File Streamer，也启用了IIS 服务。IIS 是微软公司Windows Server 2016 内置的Web 服务组件，主要用于组建网站，也兼具Ftp、NNTP、SMTP功能[6]。此处，技术中心选择Ftp 角色新建Ftp 站点、配置物理路径、许可用户在站点目录中读取和写入，目前暂未授权更多用户，只设置了一个管理员，在功能上作为对Serv-U 的补充，在Serv-U 故障的情况下提供文件发布服务。长治市广播电视台广播中心服务器机房布置如图4 所示。

图4 广播服务器机房陈列图

2.4 新业务服务

近年来，媒体深度融合不断加速，针对传统广播中心的改进更多地体现在直播的可视化，微信、抖音、电话录音等短消息短视频客户端的统一发布，这类业务属于即时通信类场景，没有必要访问播出制作核心网络，但对服务器的响应速度却有更高要求。为此，技术中心配置独立式服务器并行设置于媒资核心网络，分设了听见广播、视频慢录、音频慢录、微信消息同步、电话录音、新华社文稿等类别，由采集服务器专一针对该类业务快速响应。新业务在此处属于支流业务，数据量不大，由高性能的计算机终端提供服务也可满足需求。长治市广播电视台在此处依然采用专业服务器，不过架构则采用传统的串联式形式，从前往后顺序连接，涉及的业务机也比较少，直接用集线器做接入连接。这种结构比较简单，容易发现故障，管理使用门槛低，目前可能在一些小规模的服务器中心机房采用，长治市广播电视台广播中心在2017 年之前的所有服务器均采用这种简易模式。

3 运行以来的性能情况

长治市广播电视台广播中心服务器群总体设置合理，既考虑了传统直播总控环境，也兼顾了新业务服务需要，具有很好的可扩展性，避免了频繁追加投资改造服务器机房，从而更加经济，节约环境、人力，值得广大系统架设工程师借鉴。同时，全部环节秉承了硬件设备的冗余原则，传输链路的交叉、相似角色的实现方式多样，投入运行三年多以来，从未发生一起因硬件故障导致的服务中断。但也有一些不足之处，一是在实际运行中发现负载均分有所欠缺，大量数据集中在活动状态的服务器一侧，处于热备状态的服务器长时间交换状态信息但无运行任务，未来升级时可以在核心交换机身侧引入专业负载均衡器用于梳理通信流[7]；二是新闻文稿服务仍局限于广播中心，没有打通与电视中心新闻网的联系，目前看来，这导致长治市广播电视台新闻业务比较割裂，固然有硬件供应商、软件提供者的规格不同的原因，但这也是以后技术改造的一个切入点；三是只是在数据库服务部分实现了集群管理，提供相同业务的Web、Ftp、转码、阵列等没有构建集群，目前看来，集群架构比主从热备的方式在不可间断的广播直播环境中更可靠[8]。

4 结语

服务器部门都是重资产单元，不光有排列整齐的机架设备，还有UPS 电源和机房精密空调等的存在，架构再优良，设备再高级，机房的电压、电流、温度、湿度等依旧至关重要。这些关键设备都是双电源模块，长治市广播电视台严格按照《广播电视安全播出管理规定》中的广播中心实施细则配置了双低压回路接入主、备UPS 电源持续供电，同时设置了专业发电机作为自备电源使用。实际检测电压、电流的波动已经限制在千分位水平，均在服务器机房设备的电源上下限。此外，环境温湿度对服务器运行影响巨大，现实条件中，随着服务器机房空调长时间运行故障频出，压缩机、过滤网、制冷剂等都会影响实际恒温恒湿的效果，这对于服务器的安全是一大隐患。目前来看，未来云架构下采用虚拟储存技术的服务器端可能会逐步迈向轻量化配置，届时会缓解对供配电和制冷空调的高要求，同时也将会极大地改变服务器端的架构运营与维护，相关技术人员将持续关注这一新技术在服务器端的变革。