广播电视监测中大数据技术的应用探讨

□戴冬云

现阶段，应用大数据技术可以对海量数据和信息进行高效分析和处理，获取有价值的信息，减少人的工作量，有效缓解工作压力。就目前的发展状况来看，监测工作还没有进入到大数据时期。因而，现阶段做好大数据技术的应用对于提升广播电视监测工作具有重要意义。

一、大数据的内涵

大数据技术的应用，需要借助各种各样的网络数据库和引擎等工具，同时该技术可以实现搜索、分类功能，并且可以进行数据的分析等。通过利用电子计算机所具有的高速运算能力，可以对一些事件或者是与事件相关的事物进行精确的研究与分析。这样一来，就能够在一定的范围内对未来发展的方向做出相应的预测。通过大数据技术的应用，还能实现海量数据的快速、自动处理和分析，进而可以减少人力劳动。另外，大数据技术还能提供许多个性化的数据服务与应用，图1为大数据处理平台基本框架。

图1　大数据处理平台基本框架

二、大数据关键技术

（一）数据预处理技术

在进行数据的预处理工作时，需要做好数据的抽取和清洗工作，这样一来能够将结构化的数据进行同质化处理，并且这一过程可以对形式相对复杂的非结构化数据做出同质化的处理，这一技术通常被称为数据的抽取环节，也就是数据的集成。这一工作对于后续的数据分析有着重要的作用。通过抽取可以将一些无关紧要的数据排除在外，进而能够获取到更有价值的数据，这个过程就是数据的清洗环节。现阶段，Datastage以及Powercenter是行业内部应用较广的两款主流产品。清洗之后，可以按照数据结构从简单到复杂的关系，进行大量数据的深层次操作。比如进行数据的收集、变换以及分发等，这对于大数据的高效处理有巨大的推动作用，图2为数据预处理技术示意图。

图2　数据预处理技术示意图

（二）数据存储以及数据管理技术

数据的存储与管理主要借助于计算机的硬件与软件得以实现，这一过程中可以实现数据的收集、存储与处理、应用。通过应用数据管理技术，可以有效体现数据功能。随着时代的不断发展，数据管理也经历了三个阶段的变迁，早期的管理方式主要是以人工管理的方式为主，随后而来的就是文件系统。现阶段，数据管理主要借助于数据库系统来实现。通过将数据结构建立在相应的数据库系统之中，可以实现数据间的联系，同时可以进行数据的修改以及扩充、更新。通过应用数据管理技术，还能确保数据的独立性、安全性与完整性，极大地提升数据管理工作的效率。

（三）数据挖据以及智能分析技术

一般来说，数据挖掘涉及到的领域较为广泛，比如现阶段应用较广的人工智能技术以及模式识别技术等。对于数据的挖掘过程来说，主要是以算法的方式从海量的数据中找出相应的有用数据。该技术将计算机科学作为载体，同时还应用了统计、在线分析处理以及专家系统、检索、模式识别、机器学习等方法。通过应用该技术，可以达到高效的搜索目的。另外，搜索到的相关信息也经常被应用到商务管理、市场分析以及生产控制等环节，图3为数据挖掘处理系统结构图。

图3　数据挖掘处理系统结构图

三、广播电视监测发展现状

目前，随着现代化信息技术的不断发展，广播电视监测技术逐渐朝着自动化、网络化、数字化的方向发展，该技术的应用极大地保障了广播电视节目的安全播出。但是，现阶段广播电视监测监管工作还存在着一些问题，需要引起重视。

（一）广播电视不同监测业务的分散造成的浪费问题

对于广播电视行业来说，其不同的监测业务相对独立，不同监测业务单位之间缺乏必要的协调与沟通。这样一来，就造成不同监测系统之间很少进行数据上的交互。同时，由于同业务网内部的一些监测都是各自进行建设的，所以就会导致资源数据的利用方面出现浪费。因而，广播电视监测工作要跟着行业发展的趋势走，还要注重监测模式的融合以及合作、创新，最终形成一个智慧监管的大网。

（二）平台升级困难

近几年来，随着监测行业硬件升级速度的不断加快，与之相匹配的硬件操作系统和数据库环境也在不断地进行着更新。目前，各个业务系统经常需要向新的平台移植业务软件并进行实时的升级，这在一定程度上对业务系统的稳定运行造成了一定的影响。由于软件版本以及硬件配置没有进行统一规划，因而导致后期阶段的硬件性能升级工作出现较大的困难。

（三）监测智能化程度较低

随着广播电视行业的不断发展，行业内监测系统在技术等方面有了很大的进步。但是，对于广播电视的智能化程度来说，还有很大的改善与提升空间。一方面，因为大数据分析和新技术的应用相对较少，同时在应用方面质量不高，所以造成了行业内很多监测工作需要人工来完成；另一方面，监测数据的关联分析效果较低，同时行业内不同监测模块之间的关系较为独立；此外，在进行相关监测数据的采集、分析工作时，也存在着较大的局限性，这一局限性主要体现在本单位设备的测量以及相应的监测数据方面。因而，对于广播电视来说，要做好数据的采集以及制作、传输等工作，必须不断提升监测的智能化程度，进而有效提升监管的效率与价值。

四、广播电视监测中大数据技术的应用

（一）信息采集并形成初始信息库

在应用大数据技术的过程中，首先要做好信息的采集工作，并且要形成初始信息库。在这一过程中，要把繁杂的监测数据采集到相应的数据库中，同时还要做好数据的分类工作，进而提升初始信息库的利用价值。采集过程中，工作人员要适当降低正常频谱存储的精度，同时还要做好一些异常频谱的重点存储工作。

（二）信息处理并构建出专业化模型

对于目前的广播电视监测工作而言，从最初的数据采集工作到初始数据的处理，需要经历重新的过滤、排列以及分类等环节，并且这一过程中要建立相应的专业化模型。对于专业化模型而言，可以支持手动记录信息情报。在进行信息的处理工作时，如果发现相应的重点或者是难点内容，工作人员要结合实际情况做好相关数据的加工、处理、删除等工作。

（三）信息的分析与挖掘并发出相应的预警

信息采集与处理工作结束后，工作人员要做好相关信息的分析工作。通过进行数据分析，能够充分应用监测体系的信息导航功能，这样一来就可以提供一系列的信息服务，同时还能对监测报告以及信息统计图表起到良好的规范作用。这一环节中，一旦发现与异态相吻合的信息，工作人员要及时通知用户并进行查看，同时还要适时地发出预警。另外通过做好监测信息的分析工作，并结合实际的状况，可以随时进行信息导航树的定义、管理与监测，使之更加完善、合理。此外，在进行大数据技术的应用时，还要注意对大数据潜在价值的挖掘工作。一项数据可能现在没有价值，但是在未来可能存在相应的价值，因此，我们要积极改变思维，用创新性的方式与思路进行数据的整理。比如可以对有线电视单个频道的EPG信息以时间为序进行相应的纵向分析，进而帮助工作人员详细掌握频道节目的主要构成；通过全国范围内的有线电视节目EPG信息的横向分析工作，可以清晰地了解到节目的重播率，进而分析出节目的受欢迎程度。

（四）不要迷信大数据

大数据技术虽然是一项具有预测分析、数据挖掘、数据存储等多种功能的综合技术，但是不能过于迷信大数据，也不能认为数据分析能够揭示出一切的问题。对于大数据分析而言，它的方法主要包括统计理论、数学理论、计算机科学理论等。大数据架构并不是一种万能的架构，传统的数据结构也具有相应的优势与特点。在大数据时代，单位内部的数据结构主要表现出混合式的架构。精确数据具备一定的优势，每一条数据均有准确的含义和确定的价值，同时还能够表达出明确的信息。

五、结语

进入二十一世纪以来，伴随着信息技术的快速发展，大数据技术在广播电视行业的应用越来越广泛，并且这一技术已经成为平台构建、海量数字信息分析以及数据存储环节中的一项重要技术。因此，在新媒体时代，广播电视行业要注重大数据技术的应用，并且要进行违法、违规信息的分析，防止不良信息的散布和传播，净化广播电视大环境，促进广播电视行业的和谐稳定发展。