航天测控网多模式效能评估系统设计与关键技术实现*

马佳楠，张利萍，董 浩，雷永刚

(1.北京跟踪与通信技术研究所，北京 100094;2.中国西南电子技术研究所，成都 610036)

0 引 言

航天测控网是航天工程和空间基础设施的重要组成部分，主要由测控中心、测控站网构成，能够为各类航天器发射、运行和回收等提供测控通信支持服务，是天地联系的关键通道、信息交换的中枢以及应用处理分析的基础[1-3]。近年来，国内外航天事业蓬勃发展，卫星发射频率及在轨卫星数量急剧增加，运行寿命延长，星座化趋势明显，测控数传需求日益增多，测控设备数量也因此急剧增加[4-6]。测控中心作为航天测控网的调度管理中心，面临着资源调度难以求解、设备运维管控繁重等难题。

指标体系的构建是进行系统效能评估的重要工作和基础前提[7-8]。通过构建科学合理的评估指标体系，获取任务满足、资源使用、用户用网等方面指标，对航天测控网进行全方位多维度的效能评估，是提升站网资源使用效率、优化用户用网服务的关键环节。基于效能评估分析结果，能够发现航天测控站网运行的薄弱环节，对系统优化改进提供技术支撑，进而提升航天测控网的综合效能和用户用网服务质量。

目前，国内外结合不同领域具体应用需求，开展了大量效能评估仿真评估的研究与开发工作，形成了诸如EADSIM、FLAMES、WESS、COSIM等通用或专用型效能评估系统。但通用型效能评估系统难以适应具体领域业务场景，应用开发工作量大、操作繁琐复杂，而专用型效能评估系统仅局限在领域特殊应用场景，灵活扩展性不足[8-10]。另外，目前提出的评估方法受限于当时工作需要和条件限制，具有一定的主观成分和局限性[11]。航天测控站网是一项系统性工程，功能组成与业务逻辑极其复杂，文献[6,12-14]分别从多星测控调度、测控设备保障、测控容灾等不同侧面进行了指标体系构建和评估算法研究，并通过仿真方法进行验证。目前国内还未建立起切实易用的航天测控网效能评估系统平台，同时，结合航天测控网业务逻辑特点，需要在日、周、月、年等不同周期、任务完成或设备故障等具体事件发生时、用户手动操作配置等条件下，启动效能评估过程，以满足航天测控站网多模式、全方位、多维度评估需求。

针对上述问题和航天测控站网实际评估需求，本文设计并实现了一套基于云原生架构的多模式效能评估系统，支持周期自动、事件触发、手动启动等多种评估模式，以满足航天测控站网不同维度不同方式评估需求，在提供评估方案、指标体系、评估算法、报表模板等多维度模型管理功能的基础上，根据评估任务配置信息，在效能评估计算引擎的统一调度下，完成评估数据获取、评估指标计算、效能聚合计算、评估报表自动生成等全流程处理。最后，通过具体应用案例对系统进行了验证。

1 功能特点

航天测控网多模式效能评估系统兼顾领域专用性和平台扩展性，具备多维度评估模型管理、多样数据接入、多模式评估模式支持、多评估环节定制可变等特点，既能满足航天测控网多样效能评估需求，也能适应未来站网设备增加、新型测控技术应用等变化。

(1)多维度评估模型管理

将评估任务、评估方案、指标体系、评估算法、指标算子、评估报表(含报表模板)等抽象为模型，在数据库中通过模型标识进行关联组织和统一存储管理，是全部评估信息与配置的承载容器，也是效能评估计算处理的执行依据。

(2)多样数据接入

支持MySQL、Oracle等主流数据库以及csv、xls、txt等多种方式接入，采用统一标准进行抽取、转换和加载，并进行异常值检测、野值剔除、数据过滤等预处理功能，为效能评估计算处理提供数据基础。

(3)多模式评估模式支持

以周期自动、事件触发、手动启动等多种评估模式，启动效能评估计算处理过程，以适应航天测控网在日、周、月、年等不同周期、任务完成或设备故障等具体事件发生时、用户手动操作配置等各类评估场景。通过将不同领域评估场景进行抽象总结为三种标准评估模式，可以适应其他不同领域不同场景的具体评估需求。

(4)多评估环节定制可变

在多维度评估模型管理的基础上，能够针对不同评估对象特点，实现指标体系可定制、评估算法可调整、报表模板可编辑、显示样式可配置等多环节灵活可变。

2 系统架构设计

2.1 系统架构

多模式效能评估系统在航天测控网中心系统统一云原生架构下开发，位于SAAS层，采用B/S多层体系架构，自上而下依次由应用层、服务层、数据层等组成，为操作员提供全流程效能评估服务。多模式效能评估系统架构如图1所示。

图1 系统架构设计

(1)应用层

面向操作员提供效能评估全过程的交互操作和配置管理功能，主要分为多维度模型管理和效能分析两部分功能。其中，多维度评估模型管理包括评估方案管理、评估算法管理、指标体系管理、报表模板设计管理等，效能分析功能包括评估过程监控、评估任务配置管理、评估报表管理、评估结果显示及评估结果管理等功能。

(2)服务层

分为两类：一是具体的业务服务，由多模式效能评估系统实现，包括针对评估方案、指标体系、评估算法、报表模板等提供的获取、编辑、查询、导出、保存、删除等通用服务，以及评估过程执行时后台运行服务，包括指标数据汇总、指标计算分析、指标规范化处理、效能评估计算、评估报表生成(评估报表管理)等服务；二是由中心系统统一提供的服务接口、配置接口、消息队列等通用共性服务，是业务运行的底层支撑。

(3)数据层

提供多模式效能评估系统运行的公共数据环境，包括评估方案数据库、指标体系数据库、报表模板数据库、算法模型数据库、评估报表数据库及评估结果数据库等。数据层完成各类评估数据的管理，并建立统一的数据规范，为上层应用提供统一的数据模型、统一的数据编目机制及统一的数据存档与数据存储服务。

2.2 工作流程

根据实际评估需求和评估对象特点，分为模型管理、任务配置、评估执行、评估应用等四个阶段，完成多模式效能评估计算处理全流程生命活动的配置管理和执行，如图2所示。

图2 系统工作流程

(1)模型管理阶段

根据实际评估任务需求，建立评估方案，构建评估指标体系，完成底层可测量指标的定义、可视化显示设计及评估报告内容配置等。

(2)任务配置阶段

建立评估任务，确定评估模式并完成相应参数配置，进而绑定一个或多个评估方案，根据具体任务需求，完成根节点指标和中间层能力指标评估算法的选择和参数配置、底层可测量指标输入与数据源中具体字段的关联配置，任务配置完成后，发起评估启动。

(3)评估执行阶段

完成评估任务配置解析后，识别周期自动、事件触发自动、手动发起等评估任务模式，建立周期计时器或事件监听器，在满足周期时间或事件触发条件时自动启动或立即启动评估执行过程，依次完成评估数据汇总处理、指标计算分析、系统效能聚合及评估报告生成等处理过程。

3 关键技术实现

3.1 评估模型组织管理

多模式效能评估系统通过评估任务、评估方案、指标体系、报表模板、评估报表等对评估计算处理过程中的全部数据结构和结果进行组织管理，作为效能评估执行的依据。各评估模型数据的组织关系如图3所示。

图3 评估模型数据组织管理

下面进一步说明各评估模型的作用和组织关系。

(1)评估任务

评估任务聚合一个或多个评估方案进行统一管理，记录了评估模式与参数配置、评估方案绑定关系、评估算法参数配置、指标与输入数据的关联配置等全部评估信息，是效能评估启动执行的总体依据。

(2)评估方案

评估方案表征单个评估对象的评估信息，同样是效能评估执行的依据。一个评估方案中仅包含一个评估对象的评估指标体系及相应报表模板，并允许绑定到多个评估任务中。在基本信息配置、指标体系绑定和报表模板绑定完成后，根据指标体系结构和定义，依次完成评估结果显示设计和报表文档内容配置。

(3)指标体系

指标体系与具体评估方案进行绑定，是各类不同性质指标组成的有机整体，是综合测量评估对象的尺度集合。本文设计实现的多模式效能评估系统中，按照“系统根节点指标-中间能力层指标-底层可测量指标”的层次化结构进行各层级指标模型的组织管理。其中，系统根节点指标是评估对象系统效能的综合体现；中间层能力指标是评估对象某一方面能力的表征，允许出现多个层次的中间层能力指标，但最终要与底层各测量指标进行关联；底层可测量指标不可再分，直接与输入数据关联，由输入数据直接或间接处理计算后得到，能直观反映评估对象最基本能力。每个节点指标都通过指标名称、指标类型、指标标识、父指标等属性进行表征和层次关联，对于底层可测量指标，通过指标算子拓扑图定义输入输出并表征计算方式等信息。指标体系层级结构如图4所示。

图4 指标体系层级结构

(4)报表模板

报表模板与具体评估方案进行绑定，按照指标体系标准结构，预定义评估结果显示内容和风格样式，同时确定报表文档输出内容、目录结构、显示方法、文档格式等信息，是后续评估方案配置时面向具体指标体系进行可视化显示设计和报表文档内容设计的基础模板。

3.2 多模式评估设计

3.2.1 周期自动评估

周期自动评估模式主要面向按日、周、月、季度、年等固定时间间隔对航天测控网服务支持能力进行周期评估的应用场景。采用开源作业调度框架Quartz对周期自动评估任务进行统一调度管理，每一个周期自动评估任务由定时任务接口Job定义表征，周期启动时间条件通过CronTrigger配合CRON表达式完成复杂灵活的时间规则配置，调度器Scheduler根据CronTrigger的时间规则调度控制评估任务Job的执行。

本文中提供了日、周、月、季度、年等周期启动默认时间规则，并允许用户自定义启动周期，具体如表1所示。在满足时间规则条件后，调度器Scheduler自动调度执行相应评估任务。

表1 周期启动默认时间规则

3.2.2 事件触发评估

事件触发评估模式主要面向某项测控任务完成、设备退网、周期调度或应急调度完成后需要分析评估的场景，当上述事件发生时发送评估启动通知消息作为触发条件启动评估过程。多模式效能评估系统通过Kafka消息队列对外提供评估启动通知、评估执行反馈等异步业务服务接口，同时通过RESTful API对外提供评估结果查询接口。事件触发评估交互过程具体如图5所示。

图5 事件触发评估交互过程

任何满足接口定义的其他外部系统根据实际需求，完成约定格式的消息接口内容参数填充，均可向多模式效能评估系统发送评估启动通知消息，作为评估触发条件，启动评估执行过程，并向消息请求方返回执行状态及评估结果数据。事件触发评估交互过程中传递的具体消息格式如表2和表3所示。

表2 评估启动通知消息格式

表3 评估执行结果反馈消息格式

表3(续)

3.2.3 手动启动评估

对于手动启动评估任务，在完成评估任务及指标数据关联配置后启动，立即执行评估过程，并允许用户对评估过程随时进行操作控制。

4 应用实例

下面以航天测运控网综合支持服务效能评估为例进一步介绍本文中多模式效能评估系统的应用情况。

4.1 指标体系构建

指标体系构建是效能评估的关键基础。本文结合航天测控站网业务特点及相关技术文献，通过本系统构建了包含3层结构、4种能力、57个底层可测量指标的站网综合支持服务评估指标体系，并以此对每个指标进行定义。指标体系构建结果具体如图6所示。表4为综合支持服务效能评估指标体系组成。

图6 指标体系构建

表4 综合支持服务效能评估指标体系组成

图7 指标算子拓扑图

4.2 评估方案配置

在完成指标体系构建后，新建评估方案，并建立与站网综合支持服务能力评估指标体系间的绑定关系，并依次完成各个指标文字内容、显示方式的编辑和配置。如图8所示，对于根节点“站网综合支持服务能力”，通过雷达图显示下属4个中间层能力指标的效能值，在评估结果生成后，能够直观地表现出航天测运控站网资源薄弱能力环节。

图8 评估方案配置

4.3 评估任务配置

指标体系构建、评估方案配置属于多维度评估模型管理功能，为效能分析评估提供支撑。指标体系与评估方案、评估方案与评估任务之间能够实现“多对多”绑定关系，可以最大限度地实现指标体系、评估方案的灵活复用。

在评估任务配置阶段，新建“站网综合支持服务能力周期评估任务”，评估模式为“周期自动评估”，评估周期为“周”，定时启动时间为每周一中午12时。评估任务基本信息配置完成后，绑定“站网综合支持服务能力评估方案”，并依次完成各个底层指标输入与数据库具体字段之间的关联关系。各个底层指标输入数据主要由资源调度、资源管控等业务分系统产生，在指标数据关联配置阶段，通过直接拖动方式将业务数据库中的具体字段与底层指标算子拓扑图输入进行绑定，建立指标输入与数据库具体字段之间的关联关系，是后续底层指标计算时获取输入数据的依据。指标数据关联配置操作过程如图9所示。

图9 指标数据关联配置

“站网综合支持服务能力周期评估任务”配置完成后发起评估，在满足周期评估时间条件，即每周一中午12时，启动评估过程，生成评估结果和评估报表。

4.4 评估结果展示

周期自动评估任务会生成多条评估结果，以列表形式进行组织管理，选中具体评估结果后，根据评估方案可视化显示配置，以图形、列表、文字等方式，显示详细评估结果，如图10所示。

图10 评估结果显示

5 结束语

面对愈加密集的航天发射活动和日益繁重的航天器运行管控业务，开展航天测控网多维度、全方位的效能评估对发现系统运行薄弱环节、不断提升站网资源使用效率、持续优化用户用网服务具有重要意义。在此背景下，本文设计并实现了一套多模式效能评估系统，支持周期自动、事件触发、手动启动等多种评估模式，并具备多维度评估模型管理、多样数据接入、多评估环节定制可变等特点；通过具体应用实例，对系统特点、使用方法及评估效果进行了充分说明，该系统既能满足航天测控网多样效能评估需求，也能适应未来站网设备增加、新型测控技术应用等变化。在未来工作中，将依托本文中多模式效能评估系统，继续探索和构建科学合理的航天测控网多维评估指标体系并开展多模式评估，进一步提升航天测控网使用效能和太空空间利用能力。