广播电视无线发射台站大数据中心建设思路

黄青逢

（广西广播电视技术中心，广西 南宁 530000）

0 引言

在信息化时代，民众对广播电视提出更高的要求。无线发射台站作为信息传播的关键环节，传统的数据处理方式已经难以满足其快速发展的需求。大数据中心的建设能够实现对海量数据的高效处理、存储和分析，从而为节目传输、播出及监测等环节提供有力支持。因此，建设适用于广播电视无线发射台站的大数据中心至关重要。通过高效处理、存储和分析海量数据，能够深入挖掘潜在有用信息和广播电视行业发展趋势，为决策提供科学依据。

1 系统设计

大数据是指规模庞大、类型多样、处理速度快的数据集合[1]。这些数据集合通常难以由传统数据库工具捕捉、存储、管理和处理，是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。业界通常用5 个V——Volume（大量）、Variety（多样）、Value（价值）、Velocity（高速）和Veracity（真实性）来概括大数据的特征[2]，即数据体量巨大、数据类型繁多、价值密度低、处理速度快、真实性和准确性。

广播电视行业包含的设备监控数据、结构化数据、文本、音频、视频、码流、设备告警信息及监控视频等各类数据符合大数据的特征。因此，有必要建设一个数据中心，数据中心的系统结构应包含数据源、数据采集、数据存储、数据处理和分析以及数据展示，系统结构如图1 所示。

图1 数据中心系统结构

2 详细设计

2.1 数据采集

数据采集应全面、准确收集节目传输、播出、监测和设备运行状态等各个环节的数据。数据中心可以利用各种传感器、智能设备和网络爬虫等技术手段进行数据采集。首先根据台站的业务和数据处理需求，确定需要采集的数据范围和目标。目前，数据中心要处理的数据主要包括台站的基础信息、设备信息、播出信息、监控信息及监测信息等，除台站相关数据外，还包括人员、机构、文件、网络及信息系统等等。这些数据可以采集自远程监控平台、台站数据管理系统、监测系统、办公自动化（Office Automation，OA）软件、人力资源管理系统、通信设备、网络及文件系统等[3]。其次，根据数据类型和采集需求，选择适合的数据采集方法和技术。通常可以使用爬虫程序采集应用程序编程接口（Application Programming Interface，API）、Web页面数据，使用数据采集卡、传感器、Kafka 等采集设备实时数据，使用数据集采集关系型数据里的数据。

2.2 数据存储

为支持大规模数据存储和处理，实现数据的分布式存储和高效访问，可采用Hadoop 架构，部署分布式文件系统（Hadoop Distributed File System，HDFS），并使用高性能、可扩展的存储设备和存储区域网络（Storage Area Network，SAN）。

2.3 数据处理和分析

数据处理和分析需要对采集后的数据进行格式化和规范化处理，从海量数据中提取出对决策有潜在价值的数据、关系、模式和趋势，并在此基础上建立决策支持模型。可以使用MapReduce 进行数据的清洗、转换和加载，使用Microsoft Excel 软件进行简单的筛选、排序、计算等操作，使用Python 进行缺失异常值处理、重复值删除、数据变换等操作[4]，使用润乾报表的集算器进行多源结构化查询语言（Structured Query Language，SQL）查询。数据经过以上复杂的处理后，才能更加准确、可靠地供给业务分析和应用系统调用。

处理后的数据存储在分布式存储系统中，实现数据的统一管理和访问。可以采用MySQL、MongoDB、Redis 等数据库构建灵活、高效的数据存储和管理架构，实现大量分布式数据的快速处理、读写访问。

采用数据挖掘、机器学习等数据分析工具和方法对数据进行深入分析。通过数据分析发现数据的内在规律和趋势，为决策提供支持。数据分析主要关注影响安全播出的主要因素、事故类型，关注台站规划建设的合理性、关注无线广播电视相关业务的发展趋势以及关注隐含的、潜在的、未知的安全隐患等。

2.4 数据展示

数据展示方面，可以使用润乾报表工具实现数据可视化。该工具支持切片、切块、钻取、上卷及旋转等多维分析常见操作，支持复杂报表，集成ECharts 大屏，百万数据秒级展现。展现内容包括节目播出时间、机器维护时间、各级台站节目停播率统计，各类设备故障统计和分析、台站断联统计分析、播出情况统计分析、历年数据对比、监控系统设备通信情况、实时告警查询、工单统计、无音频告警分析以及实时故障统计分析等。这些数据分析的可视化展现，为决策制定、业务优化和创新提供更准确、更全面的数据支持。

3 主要建设措施

3.1 基础设施建设

基础设施建设是实现数据中心的前提条件，需要综合考虑硬件、软件、网络及安全等多个方面，确保高性能、高可用性和安全性。可以选择适用于大数据处理的高性能服务器，部署HDFS 分布式文件系统，采用高带宽、低延迟的网络设备，并进行合理的配置。合理规划数据中心的基础架构，包括计算、存储和网络的布局和配置，实现计算、存储和网络的有机整合和高效协作，提高整体性能。加强数据中心的安全建设，包括物理安全、网络安全和数据安全等方面。建立完善的安全防护体系，采取SD-WAN网关安全组件、日志审计系统和身份认证、数据加密等技术，防止未经授权的访问和攻击，确保数据在传输和存储过程中的安全性。设计并实施完善的灾备和容灾计划，采用定期全量备份结合增量备份和异地备份，确保数据的安全性和可恢复性。

3.2 数据治理和标准化

建立完善的数据治理和标准化体系，可以更好地管理和利用数据，提高数据质量、可靠性和一致性[5]，确保大数据中心的高效运行，具体包括以下内容。一是制定明确的数据管理制度和规范，包括数据的目录、分类、编码、存储及备份等方面；二是制定统一的数据标准体系，包括数据命名、格式、数据交换及处理流程标准等，提高数据的可读性和可用性，降低数据处理和分析的难度，提高工作效率；三是制定数据的访问和授权管理制度，通过访问控制和身份认证，规定数据处理和分析的职责和权限范围，防止数据滥用和泄露风险，确保数据使用的合规性和安全性。

3.3 监控和管理系统

监控和管理系统是大数据中心运维中的重要组成部分，可实时监测、分析和管理计算机系统、网络、应用程序和服务，确保系统的稳定性、性能和安全性。可以部署态势感知系统，对整个系统的关键信息进行实时监测、分析和理解，包括网络流量、服务器性能及应用程序运行状态等，帮助及时发现异常和潜在问题，并实时告警。

3.4 运维管理和优化

运维管理方面，应建立健全的运维管理体系，制定完善的管理制度和工作流程，规范操作流程，监控运维过程，及时发现并解决问题，确保大数据中心的稳定运行。可以采用自动化工具进行运维管理，配置管理监控预警等功能，降低人为错误提高运维质量，提高运维质量和效率。同时，要定期进行性能分析和优化，评估现有资源配置情况，调整资源分配方案，优化系统性能。另外，需密切关注大数据技术发展趋势和行业最佳实践，及时进行升级改造，扩展其功能，适应业务发展需求。

3.5 人才队伍建设

人才队伍建设是实现大数据中心的重要保障。尽管数据挖掘大都依靠自动化工具，但人的参与和干预仍然必不可少，必须建设一支高效、专业、具备创新能力的大数据人才队伍。一是加强对职工的培训和教育，提供专业的大数据技术培训，包括数据分析、机器学习、人工智能等领域的知识和技能，确保团队成员具备应对复杂数据环境的能力；二是建立完善的人才激励机制，包括薪酬、晋升机会等，鼓励员工积极创新和实践；三是积极引进外部优秀人才，充实人才队伍实力，提升整体竞争力；四是鼓励职工自我学习和提升，提供必要的学习资源和支持，创造良好的学习氛围，激发员工的学习热情和创新精神。

4 结语

本文对广播电视无线发射台站大数据中心的建设进行了初步探讨。通过合理设计数据采集、存储、处理、分析和可视化展现等环节，以及加强基础设施建设、数据治理、监控和管理、运维管理和优化、人才队伍建设等措施，以提高台站的数据处理能力、优化资源配置、提升运营效率和质量、为决策提供支持为目标，为建设广播电视领域大数据中心提供具体思路。