基于大数据的空间目标监测数据管理系统设计与应用*

陈洪雁，张大伟，万俊伟，齐宏为

（北京跟踪与通信技术研究所，北京100094）

0 引言

空间目标监测站的主要任务是利用各类设备采集、处理、传输空间目标识别监测数据，并保证系统设备长期连续稳定运行。监测站采集和管理的数据包括轨道及态势数据、支持数据（地球自转、太阳辐射、地磁指数、事件分析）、已发生数据（发射、陨落、碰撞、解体）、未来数据（碰撞预警、陨落预报）等数据，以及原子钟、卫通系统等设备工况数据。随着我国航天事业的稳步发展，空间目标探测与识别试验系统的信息数据获取、处理能力的逐步提升，系统将逐步形成实用化的空间目标监视信息支持能力，监测站的数据质量是空间目标探测与识别试验系统整体性能、服务水平、设计指标的最直接、最准确的体现。由于各种原因，监测站观测数据的管理和深度应用方面还存在一些问题，需要研究解决。

1 现状与问题

1.1 数据管理方法落后

目前，监测站实时接收空间目标探测与识别数据，每天产生几十万行的数据记录，数据量达到了几十吉比特，相应每年产生它比特量级的数据，而且随着空间目标探测与识别试验信息系统的发展建设，空间目标数目不断增多，每年产生的观测数据还在成倍增加。当前采用计算机单机采集、编目、短期硬盘存储、长期光盘刻录的方式管理数据，对某个特征数据的长期变化（一年或者几年）进行分析，需要读取光盘和解压、解帧每天的原始观测数据，才能进行相应的数据分析，耗时费力，效率低下。此外，光盘的损坏、丢失都给数据的安全性带来很大的隐患，不利用数据的长期存储管理。

1.2 数据利用效率不高

监测站各类数据主要用以完成实时原始观测数据采集成功率、卫通数据发送成功率、测量数据一致性和合理性、轨道及态势数据等基础数据，伪距测量精度分析、载波周跳分析、测量值的单双差分析等简单数据处理，监测站各类数据互相独立，缺乏横向之间的相关关系分析，目前还没有有效手段来深入挖掘海量观测数据中蕴藏的有效信息，对更长周期的监测站参数指标的分析处理比较困难，无法为系统状态评测、故障预判和性能分析提供支持。

1.3 分析方法研究不多

目前，在空间目标识别试验信息领域，关注于用户层面的服务性能监测与评估研究较多，关注于监测站日常运行管理研究不多，监测站运行管理存在着重事后监测、轻事前预警的问题。特别是从监测站观测数据层面分析系统性能，运用大数据技术对监测站观测数据进行深入分析挖掘，建立平台进行管理、分析、评估的研究不多。同时综合运用多个监测站数据、差分增强改正数据、用户终端数据等多维导航数据，挖掘监测站与用户端数据的闭环结构关系，研究探索多维数据相关性与影响规律，这类研究目前较少。

鉴于上述现实问题，有必要建立一个管理系统，将系统运行管理与日常监测评估有机结合，促成分析趋势、预报问题、及时处理的良性互动，实现运行与服务的深度耦合。完成对监测站数据的采集、传输、存储、管理、实时分析、显示和预警、告警，实现数据的高效安全管理。利用各监测站观测数据，分析挖掘系统及设备运行状态和规律，查找隐患，提供监测站运行状态的预测评估，为监测站、空间目标识别试验信息系统的稳定运行、评估预警提供数据支持。

2 系统总体框架

按照数据从采集到使用的先后顺序，从左至右流动，分为数据源、数据管理、数据挖掘、质量评估和数据访问。框架结构如图1 所示。数据源从监测站和用户终端获取数据，通过数据解帧软件得到原始观测数据，并将数据存储到管理分系统中，经过数据挖掘对监测站和用户终端数据进行全量分析，得出各测量值和工况信息之间的相互关系，建立监测站系统状态和用户机定位性能的评估模型，真实客观地反映监测站和系统服务性能的变化。

2.1 数据源采集

监测站数据包括监测接收机接收的多通道伪距测量值、多通道载波相位观测值、多通道载噪比观测值、多频点多普勒观测值和干扰电平监测值、轨道及态势数据、气象数据等观测数据，空间目标识别系统、网络通信、原子钟系统等设备工况数据，数据预处理等数据。用户机数据包括伪距值、星历、环路锁定、差分改正信息、定位结果、定位成功率等信息。

2.2 数据管理

将数据进行存储之前首先对采集到的数据进行预处理，按照粗差理论、数据特性先验信息、数据处理要求对数据进行粗差剔除，清除无效数据。同时对原始数据合理性、多路数据一致性、目标信号完好性进行检验。将预处理后的观测数据存入HBase 非关系数据库中，代替使用光盘保存数据的模式，提升数据存储和读写效率，实现大规模数据的随机实时访问。

2.3 数据挖掘

使用R 语言结合Hadoop 平台对监测站和用户机数据进行挖掘，发现各类观测数据之间的隐藏关系，如载噪比和伪距测量精度、轨道角度和伪距测量精度、多普勒值和载波相位等之间的关联关系，探索监测站周围电磁环境的变化对测量数据精度的影响等。

2.4 质量评估和数据访问

根据故障案例的特征数据建立模型，对监测站运行状态进行评估预警。根据特定业务需求，采用图表结合的方式生成相关数据分析结果，方便查询统计分析。

图1 系统总体结构示意图

3 关键技术实现

3.1 数据管理平台设计及实现

监测站生成的海量数据的存储管理和分析处理，需要可扩展性强、易于维护、具有可伸缩、计算处理能力强大的平台来实现。根据业务数据处理的需求选择Hadoop 大数据处理平台搭建，满足业务数据对安全容错性、数据量可扩展、高效读写的需求，同时在HDFS 分布式文件存储系统之上建立HBase 非关系数据库，不但具有HDFS 的优点，可以实现对业务数据的实时随机读写访问，而且使得数据统计处理变得非常简单。监测站大数据平台网络拓扑如图2 所示。

图2 数据管理平台网络拓扑图

在满足早期监测站数据存储要求的基础上，考虑到监测站的年度数据在TB 量级，集群在不增加节点的情况下满足未来3 年的需求，选用HDFS 的默认备份策略（即副本数为3），经过计算集群的初始存储能力至少为120 TB。基于此并考虑Hadoop 的计算需求，综合成本因素，硬件构成如下：6 台PC 服务器（内存：256 GB，硬盘：20 TB），其中包括1 台NameNode节点、1 台SecondaryNameNode 节点（与1 台从节点合并使用）、5 台从节点，集群存储能力达到120 TB，满足项目数据处理的需求，并且可以根据需要动态扩展。选用万兆交换机以满足集群对网络带宽性能的要求。

数据库软件选型方面，采用NoSQL 数据库进行数据存储，数据库模型采用面向列存储的HBase 数据模型，数据是按列存储的，方便存储结构化和半结构化的数据，方便数据压缩，对针对某一列或者某几列的查询有非常大的I/O 优势。而这些特点，正好满足对监测站某些特征数据的长期分析研究需求。数据库设计方面，根据监测站设备和类型作用划分存储不同的数据表，存储不同类型和设备的数据，主要有：监测接收机原始观测数据表、数据预处理打包数据表、卫通天线跟踪数据表、卫通接收电平数据表、卫通基带数据表、气象观测数据等表。

3.2 数据分析挖掘设计及实现

数据分析挖掘设计主要由以下6 个功能模块构成：载波相位周跳探测评估模块、数据质量综合分析模块、多路径效应评估模块、电离层监测分析评估模块、卫星轨道外推性能评估模块、监测接收机完好性监测模块，如图3 所示。

图3 数据分析挖掘功能模块

载波相位周跳探测评估模块功能是精确探测统计监测接收机载波相位观测数据的周跳，并评估接收机载波相位周跳探测的性能。由于监测接收机处于静态，采用多项式拟合法比较合适。

数据质量综合分析模块功能是根据数据质量分析理论，建立监测站导航信号质量分析标准模型，综合分析和统计观测数据质量。对伪距观测数据、相位观测数据进行单差、双差组合分析，提取其变化信息，对卫星测距信号、载波相位信号质量及监测接收机工作稳定性进行评估。

多路径效应评估模块功能是利用载波相位数据、伪距观测数据，进行线性组合，提取伪距观测数据上的多路径变化量，并用载波相位平滑伪距；最后根据多路径效应的特性，对监测站观测环境和接收机抗多路径效应能力进行评估。

电离层监测分析评估模块功能是利用双频观测数据解算电离层的时间序列，评估多频数据对电离层监测能力的稳定性，并评估监测电离层对测距质量的影响。

目标轨道外推性能评估模块功能是根据目标星历计算评估精确动力学模型外推目标轨道技术，主要评估随着外推时间延长带来的误差积累影响。

监测接收机完好性监测模块功能是利用接收机自身的冗余观测量进行卫星故障的检测识别。它无需外部设备的辅助，花费较低，容易实现,是目前应用较为广泛的一种完好性监测方法。主要通过伪距偏差值的计算进行一致性校验。

3.3 设备状态预警评估分系统设计及实现

根据监测站获取大量观测数据，研究业务数据评估分析模型，通过对各类数据的分析挖掘，寻找各类参数指标之间的相关关系，分析和提取系统运行的趋势和规律，实现系统设备状态预测和预警评估。采用观测数据测量质量分析、多频观测数据电离层分析、多路径检测与分析、载波相位周跳探测与修复，以及导航信号载噪比、多路径分析值和伪距测量值的精度、载波相位周跳等测量值的关联关系等分析方法和手段，通过长周期的数据分析挖掘和对故障案例的参数分析比对建立监测站运行模型，为监测站系统预警评估提供数据支撑。

系统故障告警主要从系统综合状态显示、分系统详细状态实时监测、性能指标实时监测、导航信号实时监测、卫星轨道预报显示、告警门限设计等方面来实现。同时建立系统典型故障库，对可能出现的故障部位和节点建立逻辑树关系，分析其中的相互关系，从实时指标变化推断系统设备运行状态和健康状况、从分系统综合状态预判系统可能出现故障的部位，根据可能出现的故障提前进行维护维修或者更换备件，制定预案，从而提前预判设备故障，提前进行预警，实现主动受控式的预警功能。

另外，可利用用户端接收信号的质量、定位精度等来反推监测站运行状态，建立从系统到用户的闭环结构，打通系统设备状态和性能影响的双向反馈链路，从系统数据和用户数据两个维度，相互验证，达到预警评估的目的，提升监测站的运维管理质量和效率。

3.4 导航数据融合评估系统设计及实现

该部分主要研究融合监测站系统运维数据和用户端定位数据，建立监测站、差分增强接收终端、用户接收终端间的网络闭环结构。在监测站数据管理平台的基础上，建立差分增强数据接收子系统和用户接收终端数据处理子系统。利用大数据技术融合分析并研究探索监测站、差分增强改正、用户接收终端数据等多个维度数据间的影响与规律。

4 结束语

本文设计实现监测站数据管理系统，改变了使用光盘刻录保存数据的落后模式。同时深入分析挖掘海量导航数据中蕴藏的有效信息，分析监测站各项数据间的相关性与耦合性，研发观测数据分析和评估模型，实现了监测站数据质量实时分析评估，为系统状态判断提供有效判断依据。研究探索空间目标探测与识别试验系统监测站业务运维模型，建设主动受控式设备预测分析与故障预警系统，实时监测系统的整体运行状态和性能，改变传统“救火式”的被动工作方式，变事后应急抢修为事前分析预测，最大限度避免系统重大故障发生，大幅提升监测的运维管理质量和效率。本项目可用于单个监测站，也可联合多站数据、差分增强改正数据、用户终端数据，实现从大系统到用户端闭环结构所有数据的分析挖掘，为空间目标探测与识别试验系统服务性能提升提供可靠的综合处理平台。■