地面资源保障航天测运控任务质量评价指标体系构建

沈 莹, 龚明书, 郭丹妮, 兰 龙, 原东阳

(西安卫星测控中心, 西安 710043)

1 引言

航天发射及日常管理任务离不开地面测运控资源的服务保障[1],其中测控任务主要完成航天器平台的运行管理,数传任务主要实现载荷数据接收及应用等。设备跟踪接收情况、任务需求满足情况及实际效果反馈等是评价测运控任务完成质量的重要指标。

国外针对地面资源运行质量评价的研究多是通过量化指标结果反馈资源调度算法的有效性,以获得算法效率改进,如美国空间卫星控制网络针对卫星调度系统提出基于资源依赖度的瓶颈资源评价方法[2],以期大幅提高资源调度算法的运行效率;ESA 在测控网任务规划调度系统中提出任务完成率和资源利用率等评估指标,完善基于任务优先级的资源调度策略优劣评价方法[3]。姚智海等[4]、贾纯锋等[5]在确定测控资源调度评估指标要素的基础上,构建分层多维的测控资源调度效能评估指标体系,并集中针对测控网单套设备运行质量进行综合评估研究。以上关于资源保障任务质量的评价主要集中在设备运行质量、资源调度能力评估等方面,未将资源调度、设备跟踪情况及用户反馈效果等作为任务整体完成情况的评价对象。

本文从地面资源保障测运控任务完成质量角度出发,考虑从用户提交申请到接收数据应用的整个任务闭环过程,并进行评价。通过分析梳理影响地面资源保障测运控任务质量的各类指标要素、评价指标选用原则及分类等,分别构建测控、数传两大类任务执行质量的评价指标体系,实现对某类型任务完成质量全面、客观地评价,为任务完成质量提升给出指导性建议。

2 任务完成质量评价要素

地面资源是保障各类任务完成的基础力量,可将其类比为提供服务保障的企业,各类任务类比为服务保障的对象,将任务保障质量评价类比为通用的服务质量评估,即根据某类标准和某种规则、采用规定的工具和方法,对服务质量优劣进行客观评价和衡量的活动过程。服务质量涉及一系列要素,这些要素具有相互作用和相互依赖关系,共同构成服务保障质量整体。由于构成企业的资源、岗位、流程等各种要素都会影响服务质量及评估结果,因此需建立服务质量评价体系[6],并针对不同类型任务建立完成质量评价指标体系。

服务质量评估指标中的有形性、可靠性、响应性要素可作为考量指标,其中有形性指服务产品中的有形部分,如各种设备设施等。服务的有形性从两方面影响用户对服务质量的认识,一方面提供有关服务质量本身的有形线索,另一方面直接影响用户对服务质量的感知。可靠性指准确无误地完成所承诺的服务。响应性指随时准备为用户提供快捷、有效的服务,服务效率从另一侧面反映服务质量。

2.1 资源调度保障任务需求情况

2.1.1 任务需求满足度

任务需求满足度主要包括对用户提交的日常及应急需求的满足情况,应急需求相比日常需求对资源保障提出更高要求。任务需求满足度RSi指在某时段内,用户申请资源已满足数量在任务需求总量中的占比,如式(1)所示。

式中,i= 1 表示日常;i= 2 表示应急,R为全网承担某任务的资源集合,S为已分配计划的任务集合,Esri为第s颗卫星在资源r上任务集合中元素的数量;U为某类任务,NDu为第u个用户的任务需求数量。

2.1.2 平均响应时长

时效性也是评价任务完成质量需要考虑的一个重要指标。平均响应时长TK为在指定时段内的应急资源调度从收到用户资源使用申请开始至向用户反馈资源使用计划为止的平均消耗时长,该值越小,动态调整时效性越好,如式(2)所示。

式中,Tsk表示第s类任务中第k个应急任务的响应时长,K为指定时段内应急任务集合,Ks为第s类任务中应急任务总量。为统一指标评价要素,对平均响应时长进行归一化处理,其中T为约定的最长响应时长。

2.2 设备跟踪任务质量

设备根据工作计划完成跟踪任务,其跟踪质量对任务完成质量评价的影响较为直接,针对测控、数传2 种类型任务,对设备跟踪任务质量评价的侧重点也有所不同。

2.2.1 测控任务跟踪成功率

测控任务跟踪成功率针对发射、应急及日常3 类任务定义有所不同。发射任务成功率综合考虑遥外测数据接收、遥控指令上注完成情况;应急任务成功率重点关注遥控指令上注完成情况;日常任务成功率则根据所安排圈次具体工作内容确定。测控任务跟踪成功率ETj反映设备在评估时间内,根据工作计划完成测控任务跟踪的成功率,低轨、中高轨航天器分别以圈数、时长进行统计,如式(3)所示。

式中,j= 1、2、3 分别对应发射、应急及日常任务,R为任务s已分配计划的设备集合,Ers为设备工作计划中所跟踪的任务总量,ECj、ETj分别表示设备成功执行上行遥控指令、接收遥测数据的任务量。

2.2.2 数传任务跟踪成功率

与测控任务不同,设备执行数传任务质量除了考虑跟踪接收成功率ER,数据的传输质量和传输速率也是需要考量的重要指标要素。

1)跟踪接收成功率ER。指设备在评估时间内,根据工作计划完成数传任务跟踪的成功率,数传任务重点关注数据接收的成功率,如式(4)所示。

式中,Er表示设备成功接收数传数据的任务量。

2)数据传输成功率DT。指传输成功的任务数量和计划传输任务数量的比值,用于评价数据传输质量,如式(5)所示。

式中,D为任务t已分配计划的设备集合,Edt为设备数传工作计划中所跟踪任务的总圈数,Ed为数据传输成功的任务圈数。

3)数据平均传输速率AV。指传输任务数据的平均耗时,反映任务执行的时效性,如式(6)所示。

式中,Tdv为第D类任务中第v个数传任务数据的传输时长,Kd为第D类任务数传任务总量。为统一指标要素,对平均传输速率进行归一化处理(1-AV/T) ,其中T为约定的最慢传输速率。

2.3 用户反馈及行为评价

2.3.1 用户反馈执行效果

用户反馈执行效果主要包括测控业务用户对遥控指令执行正确率(TC)、遥外测数据接收正确率(TM)的反馈;数传业务用户在接收和处理业务数据时记录的数据处理成功率(DP)、段成功占比(SS)的反馈,其中段成功占比主要针对长弧段任务数据接收情况,即某弧段内接收正确数据量和总数据量的比值。以上指标均为正确数值与总数值的比值,此处不再罗列计算公式。

2.3.2 用户行为评价

对各业务用户行为的评价指标主要包括有效申请率和计划未执行率。有效申请率(RQ)指某时段内用户发送测控/数传申请符合规范要求的情况,即符合要求的申请数与总申请数的比值,该指标反映用户提交申请的有效性;计划未执行率(PC)指数传业务用户未按约定取消已生成计划的情况,即未执行圈数与已安排计划圈数的比值,该指标值越高,因用户原因造成资源浪费的程度越严重。

3 任务质量评价指标体系

3.1 构建指标体系

从任务完成的闭环过程出发,地面资源保障测运控任务完成质量评价主要包括以下方面:①资源调度系统满足用户资源使用需求的情况;②设备执行任务完成质量的情况;③用户对执行效果的反馈及自身行为的评价。从以上3 个环节综合评价不同类型任务完成质量是较为全面和客观的。

本文区分测控、数传两大类任务特点,建立完成质量的评价指标体系,分别如表1、表2 所示。

表1 地面资源保障测控任务完成质量评价指标体系Table 1 Evaluation index system for resource assurance of TT & C task

表2 地面资源保障数传任务完成质量评价指标体系Table 2 Evaluation index system for resource assurance of data transm ission task

1)设备跟踪任务质量反映了地面资源按照工作计划完成测控、数传任务质量,区分设备跟踪测控任务质量,主要包括发射任务跟踪成功率、应急测控任务跟踪成功率及日常测控任务跟踪成功率3 个指标层指标;设备跟踪数传任务质量,主要包括跟踪接收成功率、数据传输成功率及数据平均传输速率3 个指标层指标[7]。

2)资源调度保障任务需求质量反映了资源调度系统满足用户资源需求质量,主要包括资源调度系统对应急测控需求、日常测控需求的满足度及平均响应时长3 个指标层指标。

3)用户行为及执行效果反馈主要从用户角度考虑对任务完成质量的影响,测控任务主要包括遥控指令执行、遥外测数据接收成功率及有效申请率3 个指标层指标;数传任务主要包括数据处理成功率、段成功占比、有效申请率及计划未执行率4 个指标层指标。

3.2 确立指标权重

1-9 标度法作为层次分析法中较多使用的权重确定方法,可用于获取测运控任务完成质量各要素间重要程度关系,且计算简便易操作。通过构造指标层和任务层判断矩阵,计算其指标的一致性权重向量,并对判断矩阵进行一致性检验,对指标层各指标进行综合权重计算,进而给出地面资源保障不同类型任务完成质量的综合评价[8-10]。

3.2.1 测控任务指标权重

表3 所示为设备跟踪测控任务质量(ET)-指标层的判断矩阵。可得归一化权向量V1=[0.557 0.321 0.122]T,最大特征值λ1= 3。对判断矩阵进行归一化检验,可得一致性算子AI1=(3 - 3)/(3 - 1)=0,经查询,平均随机一致性指标表可得修正因子RI= 0.58,经计算一致性指标AR1=AI1/RI=0/0.58＜0.1,故表3 所示判断矩阵具有满意的一致性。

表3 设备跟踪测控任务质量(ET)-指标层判断矩阵Table 3 Index layer judgment matrix for device tracking TT&C task quality (ET)

表4 所示为资源调度保障任务需求质量(SQ)-指标层的判断矩阵。可得归一化权向量V2= [0.524 0.304 0.172]T,最大特征值λ2=3.001。对判断矩阵进行归一化检验,可得一致性算子AI2=(3.001 - 3)/(3 - 1)= 0.001,经查询平均随机一致性指标表可得修正因子RI= 0.58,经计算一致性指标AR2=AI2/RI=0.001/0.58＜0.1,故表4 所示判断矩阵具有满意的一致性。

表4 资源调度保障任务需求质量(SQ)-指标层判断矩阵Table 4 Index layer judgment matrix for resource assurance requirements quality (SQ)

表5 所示为用户行为及效果反馈(AF)-指标层的判断矩阵。可得归一化权向量V3=[0.62 0.224 0.156]T, 最 大 特 征 值λ3=3.001。对判断矩阵进行归一化检验,可得一致性算子AI3=(3.001 - 3)/(3 - 1)= 0.001,经计算一致性指标AR3=AI3/RI=0.001/0.58＜0.1,故表5 所示判断矩阵具有满意的一致性。

表5 用户行为及效果反馈(AF) -指标层判断矩阵Table 5 Index layer judgment matrix for user’s action and efficiency feedback (AF)

表6 所示为质量层(QC)-任务层的判断矩阵。可得归一化权向量V= [0.49 0.312 0.198]T,最大特征值λ= 3。对判断矩阵进行归一化检验,可得一致性算子AI= (3 -3)/(3 -1)= 0,经计算一致性指标AR=AI/RI= 0/0.58＜0.1,故表6 所示判断矩阵具有满意的一致性。

表6 质量层(QC)-任务层判断矩阵Table 6 Task layer judgment matrix for quality layer

3.2.2 数传任务指标权重

表7 所示为设备跟踪数传任务质量(ED)-指标层的判断矩阵。可得归一化权向量U1=[0.655 0.158 0.187]T,最大特征值γ1= 3。对判断矩阵进行归一化检验,可得一致性算子BI1= (3 - 3)/(3 - 1) = 0,经计算一致性指标BR1=BI1/RI=0/0.58＜0.1,故表7 所示判断矩阵具有满意的一致性。

表7 设备跟踪数传任务质量(ED) -指标层判断矩阵Table 7 Index layer judgment matrix of device tracking data transm ission task(ED)

资源调度保障任务需求质量(SQ)-指标层的判断矩阵同3.2.1 节,见表4。

表8 所示为用户行为及效果反馈(AF)-指标层判断矩阵。可得归一化权向量U3=[0.482 0.272 0.158 0.088]T,最大特征值γ3=4。对判断矩阵进行归一化检验,可得一致性算子BI3=(4 - 4)/(4 - 1)=0,经查询平均随机一致性指标表可得修正因子RI1=0.89,经计算一致性指标BR3=BI3/RI1= 0/0.89＜0.1,故表8所示判断矩阵具有满意的一致性。

表8 用户行为及效果反馈(AF) -指标层判断矩阵Table 8 Index layer judgment matrix for user’s action and efficiency feedback (AF)

表9 所示为质量层(QD)-任务层判断矩阵。可得归一化权向量U=[0.5 0.25 0.25]T,最大特征值γ=3。对判断矩阵进行归一化检验,可得一致性算子BI=(3-3)/(3-1)=0,经计算一致性指标BR=BI/RI=0/0.58＜0.1,故表9 所示判断矩阵具有满意的一致性。

表9 质量层(QD)-任务层判断矩阵Table 9 Quality layer-task layer judgment matrix

3.2.3 综合权重计算

对测控、数传任务完成质量指标层各指标进行综合权重计算,分别见表10、表11。

表10 测控任务完成质量指标层综合权重Table 10 Com prehensive weight of index layer for TT&C tasks

表11 数传任务完成质量指标层综合权重Table 11 Comprehensive weight of index layer for data transm ission tasks

3.3 评价用例验证

通过应用数据验证,分别以某个月内某T类测控任务、某D类数传任务从需求提交资源调度系统、设备跟踪任务到用户反馈效果的整个执行过程为例,计算任务执行质量综合评价结果见表12。

表12 T 类某测控任务、D 类某数传任务完成质量综合评价Table 12 Comprehensive evaluation of type T and D tasks

可以看出,作为关键指标a11、b11、a21、a31、b31均在90%以上,任务执行质量综合评价值QC、QD分别为91 分和84 分。其中,某数传任务综合评价稍低的主要原因是由于数据平均传输速率b13、有效申请率b33指标值偏低导致,反映出在执行该类任务时存在数据传输速率过低、用户提交过多无效申请的问题。针对数据传输速率偏低,需对设备及通信网络进行问题排查;无效申请则需与用户沟通其未按要求提交申请的具体原因,避免后续再发生此类问题。

4 结论

本文针对测控、数传两类任务构建地面资源保障任务质量评价指标体系,解决目前任务完成质量评价方法较为片面、不易操作的问题。通过用例验证可以得出以下结论:

1)该指标体系针对任务完成质量的全过程进行评价,具有合理性,可操作性强;

2)根据综合评价值及指标要素值的高低,能够辅助发现系统运行中存在的问题隐患,并提供措施建议,提升地面资源完成航天测运控任务的保障能力。