信息服务信息传递效能评估指标体系研究

张中荃等

摘 要： 通过研究指标体系的构建方法，根据需求分析，对影响信息服务信息传递效能的要素逐步分层、细化，从技术性能指标和战术性能指标两个方面构建指标体系。对指标的获取及量化进行研究，并对指标体系的完整性、合理性、有效性进行检验，为下一步的效能评估工作打好了基础。

关键词： 指标体系； 信息服务； 信息传递； 效能评估

中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2015）17?0020?03

Research on index system of information service and information

transmission effectiveness evaluation

ZHANG Zhongquan1， ZHANG Yongchao1， WANG Kai1， LI Guanmin2

（1. Xian Communication Institute， Xian 710106， China； 2. College of National Defense Information Science， Wuhan 430010， China）

Abstract： The construction method of index system is studied. The factors of influencing on the information service and information transmission effectiveness are layered and refined according to demand analysis. The index system was constructed from the two indexes of the technical performance and tactical performance. The acquisition and quantization of the indexes are studied， and the integrity， rationality and validity of the index system are verified. This system has established good foundation for the following effectiveness evaluation work.

Keywords： index system； information service； information transmission； effectiveness evaluation

为了提供安全、可靠、高效的信息服务，信息服务信息传递效能评估日益受到人们的重视。目前，信息服务信息传递效能评估相关研究还很少，还没有形成一套完善地反映信息服务信息传递效能的指标体系，其效能指标也没有统一的规范和标准。由于构建指标体系是整个效能评估的基础环节，因此构建科学合理的指标体系对信息服务信息传递效能评估具有十分重要的意义。

1 指标体系构建方法研究

当前，根据研究角度、目标、侧重点的不同，可以将指标体系的构建方法分为以下三种：面向能力、面向过程和面向质量的构建方法[1]。

1.1 面向能力的构建方法

从能力实现的角度，将总目标拆分为多个子目标，将复杂问题拆分为多个小问题，从而便于对每个子目标进行分析评估，便于对总目标进行综合效能评估。面向能力的构建方法是顶层评估中常用的指标体系构建方法，其缺点在于跨多个子目标的综合指标需要单独考虑。

1.2 面向过程的构建方法

从面向过程的角度，按照信息流动过程可以将信息服务划分为信息获取、信息传递、信息存储、信息处理、信息分发、信息安全等六个环节。这种流程符合人们的思维习惯，因此，面向过程的构建方法是一种应用广泛的指标体系构建方法。这种方法能够清晰地反映信息的流动过程，但对信息流动过程较为复杂的系统难以评估。

1.3 面向质量的构建方法

从面向质量的角度，可以按照能力要求的基本内容划分，根据要求目标的不同，选择不同的质量指标，这是一种普遍采用的指标体系构建方法，其缺点是难以选取全面、科学、合理的质量指标。

以上三种指标体系构建方法各有特点，其适用范围、关注重点和优缺点也各不相同。面向能力的构建方法适用于对整个系统或总体目标的指标体系构建；面向过程的构建方法适用于对信息流动过程比较清晰固定的系统进行指标体系构建；面向质量的构建方法易于衡量评估对象的质量指标，便于进行效能评估。

对信息服务信息传递效能进行评估，本文将采用面向能力与面向质量相结合的方法构建其指标体系。

2 指标体系构建

指标体系是栅格化网络信息服务信息传递效能评估的依据和核心。指标体系构建的实质是根据需求分析，对影响信息传递效能的要素逐步分层、细化，从而建立指标体系。

2.1 需求分析

通过对栅格化网络信息服务信息传递的流程及特点进行分析，考虑栅格化网络的军事用途，把信息传递的效能指标可以综合归纳为两类：技术性能指标和战术性能指标。

技术性能指标主要反映栅格化网络在完成信息服务信息传递过程中的各种能力，主要包括传递时效性、传递质量、有效性、接入控制能力和业务质量等。传递时效性是指信息传递在时间效应方面的性能，主要涉及传递时延、延迟抖动和响应时间等。传递质量是指数据传输方面的相关能力，主要涉及信道带宽、误码率、丢包率、吞吐量和信息完整性等。有效性是指合理有效利用网络资源的能力，主要涉及信道利用率和节点利用率等。接入控制能力是对信息服务接入的控制能力，主要涉及呼损率、响应时间、认证强度、访问控制等级等。业务质量是指各类业务服务质量方面的相关能力，主要涉及业务中断概率和业务支持率等。

战术性能指标主要反映军事方面对信息服务信息传递的各种能力需求，主要包括抗干扰性、抗毁性和安全能力等。抗干扰性是指信息传递过程中抵抗各种干扰的能力，主要涉及电磁兼容性、反欺骗能力和对抗能力等。抗毁性是指在故障条件下任意两个或多个节点之间保持通信连通的能力，主要涉及互连互通能力和连通度。安全能力是指信息传递过程中所能达到的安全性能，主要涉及防入侵能力、保密能力、恢复能力和访问控制能力等。

2.2 指标体系结构

结合2.1节的分析，可以构建信息服务信息传递指标体系，如图1所示。

2.3 效能评估实现

在以上建立的效能评估指标体系的基础上，可以将其指标主要分为两类：定性指标和定量指标[2?3]。对于这些指标，一般采用解析法、仿真法、系统分析法、模糊隶属度及专家法等方法获取各指标的评估值[4?6]。各个指标的具体获取方法依据其具体的物理含义和特性确定，与网络有关的部分定量指标可通过网络分析或蒙特卡洛法模拟统计获得，如传递时延、延迟抖动、响应时间等指标；部分定量指标可通过分析具体的信息服务信息传递效能，利用该指标的具体计算模型直接获得，如信道利用率、认证强度、业务中断概率和业务支持率等指标；定性指标的数据往往无法经过测量计算获取，主要由人的主观认识决定，通常可利用模糊数学隶属度表示或由专家直接给定经验估计值，比如访问控制等级、对抗能力、保密能力、恢复能力等指标。

指标体系中的不同指标没有统一的度量标准，这些指标往往量纲不同，数量级差异较大，取值范围不同，指标值变化对效能影响不同。因此在获得指标值的基础上，对这些指标值通过一定的数学变换消除量纲，并进行归一化处理，使处理后的指标数据值在[0，1]之间。同时分析指标间的相互关系，考察各指标对上层指标的贡献和重要程度，从而对指标赋予权值。最终根据指标的物理含义以及相互间的关系，选取科学、合理的效能评估模型，利用归一化的指标值与确定的指标权重进行仿真，得到总的效能评估值。

3 指标体系检验

科学、合理的指标体系是效能评估工作的基础和依据，构建指标体系之后，应当从完整性、合理性、有效性[7?8]三个方面对指标体系进行检验， 发现其中存在的问题和不足，并在评估过程中不断优化和完善。

3.1 完整性检验

对于建立的指标体系，完整性检验主要是检验对指标的逐级分解是否有遗漏或指标交叉的现象，重点是保证平行指标的独立性。即检验指标之间是否出现重叠现象，如指标之间存在包含或部分包含的关系，则需要进行以下处理：合并处理，将交叉的指标合并为一个指标；分离处理，将交叉的部分剥离出来形成新的指标。

完整性检验一般采用定性分析的方法进行，因此，专业知识在其中起到主要作用。在本文所述指标体系的构建过程中，主要通过对专家的反复咨询完成指标体系的完整性检验。

3.2 合理性检验

从指标体系建立过程来看，合理性检验的关键在于指标是否能反映信息传递效能评估问题的本质特点。在实际应用中可以发现，过多的指标可能导致评估者判断上的混乱和失误，从而影响指标权重的分配不合理，因此导致评估结果发生失真。

在本文中根据效能评估的总体要求，采用权值判断法对指标进行进一步的取舍，剔除一些权重太小的指标简化指标体系。

假设总共有[n]项指标，权值分别为[w1，w2，…，][wi，…，wn，]其中第[i]项权值为[wi，]确定一个取舍权重[wd，]如果：

（1） [wi

（2） [wi≥wd，]则保留该指标。

3.3 有效性检验

由于不同专家在认识上的差异性，可能会出现实际评估过程中对同一对象采用同一指标体系进行评估时会得到不同的数据。如果评估数据差异较大，则认为该指标体系的有效性不强，并不能真实地反映评估对象，需要对指标体系进行进一步的优化与调整。指标体系的有效性可采用效度系数法判断。

设指标体系为[X=x1，x2，…，xi，…，xn，]参加评估的专家有[M]位，专家[j]对指标体系的评分集为[Yj=y1j，y2j，…，yij，…，ynj，]则：

[yi=j=1MyijMβi=j=1Myi-yijM×Xmβ=i=1nβin]

式中：[yi]为指标[xi]的评分均值；[βi]为指标[xi]的效度系数；[Xm]为[xi]评分集中的最优值；[n]为指标数；[β]为指标体系[X]的效度系数。效度系数[β]可以衡量人们用某一指标体系评估同一目标时产生认识上的偏离程度，其绝对系数越小，表明人们对该问题认识越趋向一致，即所采用的指标体系有效性越高。一般认为当[β≤0.1]时，该指标体系的有效性较高。

在完成对本文所述指标体系进行完整性与合理性检验之后，邀请5位专家采用五分制打分法对信息服务信息传递进行定性评估，有效度计算结果如表1所示。

计算可得[β]=0.096 9，说明该指标体系的有效性较高。

4 结 语

本文通过研究指标体系的常用构建方法，对信息服务信息传递效能进行分析，根据其特点情况，选取面向能力与面向质量相结合的方法构建其指标体系，并对指标体系的完整性、合理性、有效性进行了检验，目的在于使指标体系更加科学、合理。随着研究工作的进一步深入，将在实际效能评估过程中对上述指标体系不断完善和优化。

参考文献

[1] 马亚龙，邵秋峰，孙明，等.评估理论和方法及其军事应用[M].北京：国防工业出版社，2013.

[2] 金鑫，徐军，曾杰.系统效能评估模型探索[J].指挥信息系统与技术，2011，2（1）：36?40.

[3] 项磊，杨新，张扬，等.基于层次分析法与模糊理论的卫星效能评估[J].计算机仿真，2013，30（2）：55?61.

[4] 罗乐，李钟敏，夏斌，等.灰色层次分析GAHP的通指系统作战效能评估[J].火力与指挥控制，2014，39（2）：86?89.

[5] 杨春周，滕克难，程月波.作战效能评估指标权重的确定[J].计算机仿真，2008，25（10）：25?29.

[6] 卢紫毅，范建华.基于层次分析法的战术通信网络效能评估[J].现代电子技术，2011，34（1）：57?60.

[7] 尹江丽，王莉.军用卫星通信系统效能评估指标体系研究[J].武器装备自动化，2008，27（6）：9?11.

[8] 臧垒，蒋晓原，王珏，等.C4ISR系统作战效能评估指标体系研究[J].系统仿真学报，2008，20（3）：574?577.