无线电监测数据可视化平台的设计与实现

2019-07-19 07:44段晓莉崔晋华金维有

烟台大学学报（自然科学与工程版） 2019年3期

段晓莉,崔晋华,施洋,李超,钱俊,金维有

(1.安徽省无线电监测站, 安徽合肥 230031;2.安徽省马鞍山市无线电监测站, 安徽马鞍山 243000;3.安徽省宣城市无线电管理处, 安徽宣城 242099)

为落实国家无线电频谱监测统计工作要求[1],自2007年4月,安徽省全省范围内按月实施无线电频谱监测工作,并形成工作报告,逐步形成了能够适应当前监测工作需要的监测模式与无线电频谱监测工作制度．随着监测工作的开展,积累了大量的监测数据,相关数据除形成报告报送国家无线电监测中心外,均以文件或纸质资料的形式进行归档入库,对于数据的采集分析,则需要相关人员人工地选择需要的数据,利用软件绘制可视化的分析图,该方式的效率相对较低,导致监测数据的利用率很低,不能用于综合分析．因此,如何科学存储海量监测数据[2],有效利用现有数据建立完善的数据对比、分析、评估体系,成为当前工作重中之重．

本文致力于利用GIS(Geographic Information System)实现无线电监测数据的可视化．相关学者对此做了有益的尝试[3-10]．文献[3]在GIS平台基础上对贵州的无线电站管理系统进行了设计;文献[4]在GIS平台基础上对闪电数据进行了可视化监测与分析的实现;文献[5]在GIS平台基础上对无线电管理系统进行了设计与研究;文献[6]在GIS平台的基础上对无线电基站的可视化做了研究;文献[7]实现了三维GIS在无线电管理中的应用;文献[8]进行了基于GIS的无线电信号覆盖模拟系统关键技术研究;文献[9]实现了无线电频率台站评估体系以及其GIS应用研究;文献[10]进行了GIS在无线电波覆盖范围分析中的应用研究．

本文基于B/S 架构的基础上,首先进行功能划分,根据需要,把采集的数据列出规范的表格清单,再对表格进行对应的数据库设计,利用ETL(Extract-Transform-Load)工具[11]结合Python[12]对表格化数据进行汇总整合．本文选择合适的可视化表达方法,实现监测数据在GIS地图上的动态数据分布效果图、数据统计及定位展示,并提供了具有导入、导出、查询、分析、可视化等功能的整套解决方案,从而提供可靠的无线电监测结果,并提高无线电监测数据的使用率．

1 GIS及无线电监测数据可视化概述

1.1 GIS的综述

GIS即地理信息系统,它可以将地理空间上数据通过计算机的支持,变成直观的、更易于接受的视觉信息．通过GIS技术,可以迅速地处理无线电管理中得到的大量监测数据,将数据实现可视化,便于决策与管理．本文所用的ArcGIS就是GIS技术中的一种．ArcGIS[13-15]作为一个可伸缩的平台,无论是在桌面、在服务器、在野外还是通过Web,为个人用户也为群体用户提供GIS的功能,ArcGIS是一个建设完整GIS的软件集合,它包含了一系列部署GIS的框架:ArcGIS Desktop——一个专业GIS应用的完整套件;ArcGIS Engine——为定制开发GIS应用的嵌入式开发组件;服务端GIS——ArcSDE,ArcIMS和ArcGIS Server;移动GIS——ArcPad以及为平板电脑使用的ArcGIS Desktop和Engine;ArcGIS是基于一套由共享GIS组件组成的通用组件库实现的,这些组件被称为ArcObjectsTM．

1.2 无线电监测数据可视化分析

为了实现安徽省无线电监测数据的可视化,就要先分清要对哪些数据实现可视化,期望达到什么样的效果．对于无线电得到的监测数据,主要分为以下几个类型:全省的监测站点以及每个市的监测工作量;全省的干扰信号,包括干扰的种类和干扰的数量;全省的一些不明信号．所以接下来要对这些数据进行详细地统计、归类,实现可视化,发现这些数据的隐藏价值．

2 基于GIS的无线电监测数据可视

化系统设计

2.1 系统总体结构设计

本系统基于GIS平台要完成无线电监测数据的可视化展示、无线电历史数据的统计分析及系统辅助功能等3个方面的功能(图1):

(1)无线电监测数据的可视化展示

监测数据可视化又分为全省监测站点分布图、全省监测工作量分布图、全省干扰排查分布图以及全省不明信号排查分布图．

(2)无线电监测历史数据的统计分析

包括无线电监测历史数据的查询、统计、输出等操作、实现对选定日期段内的无线电监测数据分频段、干扰类型等统计分析并绘制出相关图表,为利用现有数据建立完善的数据对比、分析、评估体系提供支持．

(3)系统辅助功能

主要包括无线电数据基础信息管理及系统管理．主要实现监测站点,监测设备、频段等信息的管理功能;组织机构信息、用户信息等功能以及运行日志等．

整体业务采用B/S 架构建设,通过浏览器即可访问,无需安装客户端．

图1 总体功能规划

2.2 数据库结构设计

2.2.1 数据填报与统计数据库设计的第一步需要数据填报与统计,清楚需要用到哪些数据,如何分类．对于本文来说,安徽省无线电监测月报数据分析系统的数据采集与填报分为4个部分:全省监测站点,全省监测工作量,全省干扰排查以及全省不明信号排查．所以数据填报的来源也不相同．

以全省监测站点分布图为例,全省监测工作量分布图在系统中设计在一张图上进行显示,它的数据填报的来源有两块．分别是国家制定的7张月报表格中的2张——安徽省无线电频谱监测量工作表统计表以及安徽省监测设施数量及工作状况统计表．此处只列出表格1,为安徽省无线电频谱监测量工作量统计表(表1)．

表1 安徽省无线电频谱监测量工作量统计表

2.2.2 ETL抽取数据为了实现安徽省无线电监测月报数据分析系统的可视化,就要对上述统计后的数据进行抽取及导入．因为课题涉及到2007年至今的历史数据导入．近11年的历史监测数据文档、格式都比较杂乱．为了快速地导入历史数据,有效地利用数据进行分析,本文使用了ETL 工具进行数据处理．ETL工具结合Python 整合历史数据,Excel批量导入oracle 数据库．利用Python 将分散在Excel 中的历史数据表格汇总到一个Excel文件中,然后通过ETL 工具批量转换后导入数据库,再经过业务处理和查重后导入正式业务表中．ETL 工具适合大批量结构化或非结构化数据的清洗和迁移,可结合当前流行的大数据平台使用,是大数据平台数据来源很好的补充．

2.2.3 数据库设计本文直接使用安徽省无线电监测站Oracle 数据库服务器,不需另外安装Oracle 数据库．关于数据库的命名规则,本文如下:

(1)业务数据表:描述具体系统业务信息．如监测站信息等,所有业务相关表均以“RTBT-”为前缀．

(2)基本系统表:描述系统的基础支撑信息和编码．如,公共字典、用户等．所有的系统表均以“sys-”为前缀．

对于以上填报与统计过的数据,都要进行相对应的数据库设计,本文以监测工作量填报表为例,来说明它的数据表设计．

数据表名:RTBT-MONITOR-WORKLOAD

数据表定义:见表2．

对于统计的城市,统计时间,监测站点名称,干扰排查数量以及信号排查数量都作为数据表设计的主要内容,在表2中均设计了字段名,字段类型,且对主键、外键等均进行了设置．

3 基于GIS的无线电监测数据可视

化系统的功能实现

3.1 基于时间的要素可视化

图2是监测数据展示中的频段占用度对比分析图．它实现了以下2个功能:

(1)多维度的数据查询比对:按地市、频段、时间、站点进行多维度查询．如实现多地市、同一时间、同一频段,不同时间、同一站点、同一频段的占用度趋势分析;

(2)提供动态滚动轴,打破x轴长度限制．能自由关注细节的数据信息,概览数据整体情况．

表2 监测工作量的数据表

图2 频段占用度对比分析

这里横轴的时间要素是利用echart组件对统计的数据进行展示．主要代码如下:

tooltip: {

trigger: 'axis',

axisPointer:{//坐标轴指示器,坐标轴触发有效

type: 'shadow'//默认为直线,可选为:'line' | 'shadow'

}

grid: {

left: '3%',

right: 70,

bottom: 70,

containLabel: true

3.2 基于空间的要素可视化

图3是对频段占用度、信号电平值、干扰数据、不明信号实现了多维度的查询比对分析,并以图表的方式展示数据．

图3 数据对比分析

这里的柱状分析图也是使用echart组件对统计的数据进行展示的,主要代码如下:

dataView: {

readOnly: true,

optionToContent:function(opt){

var axisData=opt.xAxis[0].data;

var series=opt.series;

var table='

+''

for(vari=0;i< axisData.length;i++){

Table+='

}

Table+='';

return table;

}

3.3 空间数据组成可视化

3.3.1 时间轴的实现在本次可视化系统的实现中,每一个模块的时间跨度都是从2007年到2018年这11年,可以根据需要自行选择某一年或者某几年,时间轴也是本文具有特色的一个模块,在设计中,使用jquery组件jRange实现,最小年份为2007年,最大年份为当前年份,所用部分代码如下:

var min=2007,max=＄.Date.getYear(new Date());

＄(".range-slider").val(min+","+max);

＄('.range-slider').jRange({

from: min,

to: max,

step: 1,

scale: [min,max],

//format:”,

width: 214,

showLabels: true,

isRange: true,

ondragend: function(a){

self.refreshWorkLoadCount(self.cityId);

self.refreshMyChart();

}

});

3.3.2 监测站点及监测时长在ArcGIS中的实现

(1)监测站点实现监测站点是使用sql对监测站点表中的数据进行统计得到的,根据不同的地市统计各个地市的站点数量．并把数据在前台通过js渲染到页面中;所用部分代码如下:

select FAC-TYPE, count(id) from rtbt-station where city=? group by fac-type

(2)监测时长实现监测时长是使用sql对工作量分布表中的数据关联站点表,按照站点类型进行分类统计出来的数据,并使用echarts 组件展示在页面上．

select b.fac-type,sum(a.occupancy) from rtbt-monitor-workload a, rtbt-station b where a.stat-id=b.id and (year between? and?) and a.city=? group by b.fac-type

3.3.3 干扰排查分布、不明信号排查在ArcGIS中的实现干扰排查分布对地市上报的干扰排查按照时间段,频段进行查询,在ArcGIS地图中进行展示,根据不同的干扰类型展示不同的图标．

不明信号排查对地市上报的不明信号数据按照时间、地市进行统计,在ArcGIS地图中进行展示,根据不同的干扰类型展示不同的图标．

3.4 经纬度匹配

实现监测数据与ArcGIS整合的过程中,要想在ArcGIS上进行监测数据的定位,就需要精确的地理位置信息,在地图中,用经纬度进行表示．实际监测设备获取的经纬度和ArcGIS使用的坐标系在进行匹配时,需对ArcGIS API的WKID设置为WKID=4326,4326对应的是GCS-WGS-1984 坐标系统．通过这种对应关系实现了实际经纬度与ArcGIS系统的匹配．

4 基于GIS的无线电监测数据可视

化系统的研发展示

4.1 运行环境

系统的运行环境如表3.

表3 系统运行环境

4.2 系统设计的标准

(1)先进性

系统设计过程中充分考虑先进性和可用性,采用成熟、具有国内先进水平,并符合国际发展趋势的技术、软件产品和设备．

(2)易用性

本方案的易用性体现在以下几个方面:

①用户界面:操作界面整合一致,布局、风格、字体、色彩符合用户需要．

②操作方法:层次清晰的菜单、操作方便的快捷方式．

③用户习惯:提供操作向导方式,帮助用户简单使用．

(3)灵活性

重点频段、自定义频段等支持灵活配置．根据国家要求的任务不同,可进行灵活设置．

(4)实用性

使用多备份、多服务、负载均衡多个方案保证软件的可靠,可长期稳定不间断运行．

(5)安全性

对于相同的系统功能,系统可以对敏感的数据进行数据权限控制,做到不同数据权限级别的人只能看到其被授权查看的数据．数据迁移时删除原有系统的数据必须确保不会给原有系统带来任何不良影响．

(6)可扩展性

随着业务的拓展,系统需要具有良好的可扩展性:

①性能上的扩展:通过系统硬件资源的横向、纵向扩展,能够保证系统在应用规模扩大时的性能．

②功能上的扩展:能够在业务功能上进行横向、纵向的拓展,在增加新的业务系统、新的功能点时方便升级．

③业务上的集成:能够与其他信息系统无缝集成．

(7)兼容性

软件在设计过程中,充分考虑兼容性问题,主要体现在下面几个方面:

①充分考虑兼容各种主流浏览器及其不同版本,满足客户的不同使用习惯和需求;

②尽量做到软件平台无关性,保证软件能稳定地工作在若干个操作系统之中,使软件对于各系统有良好的兼容性,以适用于后期有跨平台需求的可能;

③能够很好地实现软件共享,无需经过复杂的转换．

(8)稳定性

系统所用的相关数据库必须具备主从配置架构,确保软件稳定持久运行．

4.3 系统技术架构

图4是系统的技术架构．

图4 系统技术架构

(1)应用层:把各种应用系统、客户端程序和资源统一集成到统一的信息平台上,为用户提供统一登录界面,实现对各类信息和应用系统的集中访问,重视流程及整体工作效能,帮助无线电监测工作人员创建一个提供支持信息访问、传递,高效协作的平台,实现界面集成、统一访问、内容整合、应用重组、协同工作、个性服务、安全管理,实现用户界面的良好整合．

(2)服务层:完成来自各系统的数据整合,形成业务交易的数据中心及为应用层提供各类业务服务功能,通过数据存储与整合服务,它建立了以各实际功能为基础的数据服务,支撑运营服务及应用服务,为系统应用层和第三方对接系统提供各业务功能的支撑数据．

(3)数据交换层:指目前运行的业务系统、各业务子系统、第三方系统等系统,各系统通过各种集成方式(Web 服务、DB、文件等)方式与本系统对接,形成数据包装,实现平台间数据交换和存储．体系分层的结构,彼此之间接口清晰,分工明确,各层独立实现各自功能,且以软件和接口等方式对外提供服务能力,符合SAAS 结构的松耦合特性．

4.4 系统的主要功能

“基于ArcGIS的无线电监测数据可视化平台”主要分为5个大功能模块:监测月报管理,监测数据管理,监测数据展示,基础信息管理及系统管理．本文着重研究的是监测数据展示．

监测数据展示又分为监测数据对比分析与监测数据可视化．

由上述叙述可知,监测数据可视化分为4个部分,全省监测站点分布图、全省监测工作量分布图、全省干扰排查分布图以及全省不明信号排查分布图．监测数据的来源主要有三大部分．第一部分是来自国家制定的7张月报填报表格;第二部分是针对干扰信号,数据来源是国家制定的干扰投诉排查单,以及我省制定的无线电干扰投诉表;第三部分是针对不明信号,它的数据来源是监测数据管理中的不明信号管理．这些数据都可根据具体的需要进行合适地选取与利用．将这些数据与ArcGIS整合便可得实现对无线电监测数据的可视化功能．关于时间和空间要素的可视化分别用到了频段占用度对比分析,以及数据对比分析．

4.4.1 全省监测工作量分布图此处以全省监测工作量为例说明地图的操作过程．图5是全省监测工作量在ArcGIS上的效果图．在ArcGIS上分为6个模块,以下对这些功能进行详细介绍．

图5 安徽省监测工作量分布

(1)时间轴

这是本文在实现可视化的一大特色,时间轴的跨度从2007年到2018年,包括了近11年的时间段,可以任意选择其中的某一年或者是某几年的数据进行查看,图5为2007年到2018年的监测工作量的动态图．

(2)监测站个数

在这一模块,通过点击模块5中安徽省地图的某一个市,可以看到安徽省某个市的监测站点总数,固定站,可搬移站,移动站以及小型站的个数．图5中以蚌埠市为例．

(3)监测时长

本模块对应模块2中的对应所在市的监测时长．也分为固定站,可搬移站,移动站以及小型站．可以看到每个站的监测时长以及最终的总时长．

(4)柱状图

柱状图反应了监测时间的高低,颜色越浅,则监测时长越低;颜色越深,则监测时长越高,最高值为模块6中对应的宣城市的监测工作时长,为151 078 h,代表了从2007年到2018年以来在安徽省的所有市中,监测总工作时长最长的为151 078 h．

(5)安徽省监测工作量分布图

这一模块是安徽省的总地图,是在ArcGIS上绘制出来的．其中每个市的颜色深浅都对应着不同的监测总工作时长．

(6)安徽省各市总监测工作时长

这一模块展示了安徽省各个市的总监测工作时长,最高为宣城市,长达151 078 h,在模块5中也可以看到,它的颜色最深．

4.4.2 其他特色功能展示对于每一个市,点击进入,可以得到它的对应的监测站点的图像,如图6(a);全省干扰排查图如图6(b);干扰监测站点分布图如图6(c);全省不明信号排查图如图6(d)．

图6 其他监测站点及其排查

5 结语

随着中国无线电管理事业的发展,对无线电监测工作的要求也是越来越高,对于长期积累的监测数据,如何合理利用并通过直观的方式全面地展现是本文的研究重点．

本文将采集上报的监测数据进行统计汇总,利用信息采集时填报的监测站名称、经纬度数据,将数据标记至地图中,通过与ArcGIS进行整合,得到了安徽省监测站点及工作量分布图、干扰数量分布图以及不明信号排查图．同时给出了时间要素和空间要素的可视化,便于查看和维护．

本文虽然实现了几项数据的监测数据可视化,但是还有许多数据没有被深度挖掘与提炼,在后续的研究工作中,希望能实现监测频段占用度与设备覆盖范围、所处空间地理位置、地形情况,生成频段的区域热力图，让这些数据发挥更大的价值．