无线广播频谱监测与管理系统中的数据处理

■文/李 丹 陈太沁

无线广播频谱监测与管理系统中的数据处理

■文/李 丹 陈太沁

本文主要介绍了频谱监测与管理系统中频谱数据处理的解决方案及其基于LabVIEW的实现方法。关键词：大数据；频谱分析；LabVIEW；图形化

引言

近年来，随着无线通信技术的快速发展， 电磁环境变得日益拥挤和复杂，开展对频谱使用情况的有效监测十分必要。无线广播频谱监测与管理系统就是通过实现对中短波、调频、电视全频段的频谱监测，进而对整个频谱使用情况有整体的把握。该系统由频谱扫描、单频测量和前台分析三大部分组成，采用统一的软件平台，易于编程、控制和维护。本文提出频谱监测与管理系统中的频谱数据处理的解决方案及其基于LabVIEW的实现方法。在对IQ文本写入读取、历史数据回放、数据分析等功能进行实验验证后，结果表明，本文设计的系统实用可靠，较好地完成了设计目标。

1. 无线广播频谱监测与管理系统

无线电频谱是一种非常宝贵且有限的自然资源，是属于国家的重要战略性资源。近年来，无线电频谱需求不断增加，频率冲突越来越严峻，给频谱资源的监测和管理带来了新的困难与挑战，对无线电频谱的监测与管理是有效使用无线电资源的前提，因此，如何开展对信道和频段使用情况的有效监测，记录全频段和全时段内所有信号的基础数据，掌握用频变化，评估信道占用度和利用率，把握频谱的整体使用情况，提高频谱感知与管理能力成为亟需解决的问题。

研发频谱管理与监测系统就是对全频段(400kHz～1GHz)频谱监测与管理的探索。该系统实现对中短波、调频和电视波段的全时段扫描、测量、存储、显示和分析，按照无人值班的形式进行设计和配置，监测终端和前台用户可以遥控监测，频谱历史数据和分析数据可通过图形化进行集中显示。

本系统分为三部分：频谱扫描、单频测量和数据分析。其中，频谱扫描程序实现对全频段频谱进行实时扫描，单频测量实现对单个频率进行模式识别并实时测量各项指标参数，频谱扫描和单频测量都将采集到的数据加载到数据库中，它们为数据分析程序提供数据支持。系统架构如图1所示。整个系统的软件架构采用C/S架构，分为后台数据采集存储服务端和前台显示回放端。

图1 无线广播频谱监测与管理系统架构

2 .无线广播频谱监测与管理系统中大数据处理的解决方案

2.1 无线广播频谱监测与管理系统中的大数据

本项目数据库采用ORACLE10g，并引入“大数据”概念，利用大数据管理进行高效的数据存储和访问。本项目大数据具有以下五大特性。

2.1.1 巨大的数据量（Volume）

本项目中的频谱扫描模块、单频分析模块都会在短时间内产生巨大的数据量。以本项目中单频分析模块对调幅信号进行分析的过程中产生的原始IQ数据量为例。单频分析模块对疑似调幅信号的扫描每次历时0.2秒，产生3125组数据点，一个信号需要进行五十次扫描才能最终判定是否为广播信号，因此每频每次产生的原始IQ数据以文本文件存储大小约为1.7MB，每次历时10秒。假定本模块有50%的时间进行中短波段作业（本模块亦对调频电视频段进行扫描分析），满负荷运行24，小时扫描分析4000个左右信号，将产生约合6.8GB的数据。

2.1.2 多结构化数据（Variety）

本项目需要存储的数据类型多样化。首先，我们会将大量的波形数据以CLOB（Character Large Object）类型存储入Oracle数据库；其次，对AM信号分析产生的庞大IQ原始数据，我们以文本形式存储入本地磁盘；另外，我们还对判定为广播电视信号的频率进行音频采集，并将其存入本地磁盘。

2.1.3 处理速度快（Velocity）

本项目的频谱分析模块需要从数据库中提取海量频谱数据，以便能够及时有效地提供各项分析，快速直观地让使用者了解全频段频道使用情况。同时，历时频谱数据的回放也需要快速地对大文本和音频文件进行读取，以实现无缝查询。2.1.4 价值密度低（Value）

本项目中，无论是对频谱占用度的分析还是对单个频率的指标分析，都需要大量相关数据作支撑，单一的数据记录（如一个数据点）并不能够独立地形成概念。

2.1.5 足够的精确性（Veracity）

本项目的频谱数据分析模块需要对大量数据进行查询分析，并最终筛选出有用数据，以方便使用者直观了解任意频段频谱的占用情况。这就要求我们在考虑I/O效率的同时，尽可能完整精确地对原始数据进行存储。在最终的方案中，我们选择将调幅波段的频率原始数据全部存储入库，而对庞大的调频电视数据，我们选择对其采样后进行存储作业。

综上所述，本项目实现了大量频谱数据的存储、访问、查询、统计、处理等功能，利用索引查询、并行处理与访问技术等实现了海量数据的性能调整与优化，并且利用大数据超高速装载来解决频谱扫描模块短时间大数据的入库难题。

2.2 基于Labview和Oracle的大数据解决方案

2.2.1 CLOB类型录入

CLOB（Character Large Object Block）是数据库中的内置类型，它可以将字符对象存储为数据库表某一行中的一个列值。在本项目中，我们使用此类型来存储频谱扫描模块产生的全频段及自定义频段的频谱数组（即电平数组）。在Oracle数据库中，当需要插入字节数超过4000的内容时，无法通过简单的拼组sql语句来实现插入，即使是插入clob类型数据，一次性写入的字节数上限为32767，否则会报错。在本项目中，当我们将频谱扫描模块的分辨率提高时，由整个扫描频段频谱数组所组成的字段的字节数会轻易超过这个上限值。因此，我们为数据库编写了存储过程，使用特定语句对表内空clob字段进行update操作，以实现插入字段功能，并且，当单次插入字节数大于32767时，将多余字节循环插入已插入字节的末尾，这样，就解决了对拥有超长字节的字段的存储入库问题。

2.2.2 AM原始IQ数据文本读写

由于频谱变化在一段时间内不会十分频繁，故虽然执行一次频谱扫描动作产生的数据量庞大，但对频谱数据的存储频率却不需要很高，本项目中用户可按照实际情况自行在1分钟/次至30分钟/次，几种存储模式中进行选择。而在单频分析模块，我们需要将模块每0.2秒解调出的数据全部入库，数据库就要在短时间内写入大量超长字节字段（由原始IQ数组组成）。在程序试运行阶段，我们发现在该模块运行一段时间后，会出现待入库数据滞留在程序内的情况，从而导致程序占用内存越来越大。

为了解决这个问题，我们改用以文本形式将中短波原始IQ数组存储入本地磁盘，而调频广播和开路电视信号的原始IQ数据因异常庞大，我们选择将由IQ信号解调出的波形数据按一定比例抽样后存入Oracle服务器中。如此一来，提高了程序的运行效率，减轻了Oracle服务器的工作负担。

2.2.3 基于Labview队列的查询程序优化

Labview中的队列是实现复杂程序设计模式的基础。在历史数据查询模块中我们利用队列来实现FIFO（First Input First Output）数据结构，并配合采用生产者/消费者程序设计模式，对庞大数据的查询、展示进行优化。队列具有下列三大作用：队列可以去除耦合；队列可以处理忙闲不均；队列可以并行处理。

在历史数据查询模块，我们将从数据库中查询到的数据入队列（生产），当队列中有数据时按照FIFO规则输出数据（消费），并依据这些频谱数据形成各类历史图表（折线图、强度图、瀑布图等）和各项指标。利用队列我们可以对具有庞大数据量的历史数据进行流畅查询和显示，使得程序运行更加顺畅，用户使用体验更出色。

3. 结束语

无线广播频谱监测与管理系统通过对大量实测数据的分析，能够直观地向用户展示各项历史数据、频谱占用情况、非法电台等大数据背后的信息，这些对频谱资源的分析、合理利用正是我们搭建无线广播频谱监测与管理系统的最终目标。而如何在庞大的数据中更高效地进行对数据的甄别、挖掘，从而向用户提出有用、合理的频谱资源问题的解决方案，是我们亟待解决的问题。

[1] 白云等．基于LabVIEW的数据采集与处理技术[M]．西安：西安电子科技大学出版社，2009．

[2] 周鸿顺．频谱监测手册[M]．北京：人民邮电出版社，2006．

(作者单位：国家新闻出版广电总局五五三台/国家新闻出版广电总局海南台)

TN934

A

1671-0134（2016）12-047-02

10．19483/j．cnki．11-4653/n．2016．12．016