指控系统信息服务质量评价方法研究*

王　兵　权冀川　罗　晨

(解放军理工大学指挥信息系统学院　南京　210007)



指控系统信息服务质量评价方法研究*

王兵权冀川罗晨

(解放军理工大学指挥信息系统学院南京210007)

为适应信息化条件下联合作战的信息服务需求，结合指控系统服务特征，深入分析了信息质量、服务功能、用户感受等要素的关联关系与依赖关系，构建了指控系统信息服务质量评价指标体系。充分利用模糊数学理论，结合现有层次分析、综合评价等方法的优点，提出了一种能够较好地应用于指控系统信息服务质量评价的综合评价方法。通过实例阐述了进行指控系统信息服务质量评价的方法与步骤，对论文研究内容进行了数据验证，结果显示指标体系和评价方法适用性较好。

指控系统;信息服务;指标体系;评价方法

Class NumberTP309

1　引言

指控系统作为现代战争的“兵力倍增器”，对信息化战争的指挥决策具有极其重要的地位和作用[1]。随着军事变革的不断发展，传统的Client/Server架构和基于构件的指挥控制系统已经不能满足联合作战的需求。近年来，由于服务具有松耦合性、互操作性强等优点，面向服务的思想已经深入人心，未来的指控系统必将构建在服务的基础之上，信息服务将成为指挥控制系统的核心内容，并为用户进行指挥决策提供数据和功能支撑[2～3]。信息服务质量将直接影响到构建的指挥控制系统的质量和效能[4]。

在目前的研究文献中，从信息资源、硬件支持、用户体验等角度，针对信息服务的概念体系、理论框架、效能评估等内容开展的研究有很多，而从用户感知的角度，结合用户主观评价与系统客观评价的优缺点，构建指控系统信息服务质量指标体系与评价方法的研究还很少。

2　质量评价指标体系

根据指控系统的特点和信息用户的服务需求，综合考虑主观评价和客观评价的优缺点，从有形性、交互性、功能性、可靠性、时效性和信息质量六个方面，构建指控系统信息服务质量的评价指标体系。

1)有形性(Materiality)

有形性评价服务设施设备、服务软件系统等有形服务资源。主要包括两个下级指标，一是设备先进性，评价服务设施设备的先进性、多样性等指标，它是系统提供优质、精准信息服务的基础；二是流程规范性，评价信息服务的数据格式、服务程序、计算步骤和处理方法等内容的规范性。

2)交互性(Interaction)

交互性评价用户对系统界面、操作提示等内容的满意程度[5]。主要包括三个下级指标，一是界面友好性，评价系统操作是否简单、界面内容是否清晰、界面设计是否美观等方面满足用户需求的程度[6]；二是操作提示性，评价用户在接受信息服务过程中，系统能够按照用户需要推送个性化操作提示的情况；三是过程体验性，评价用户对整个信息服务过程的体验感受。

3)功能性(Functionality)

功能性评价信息服务支撑用户需求的能力以及传递、交换信息的便捷程度等内容。主要包括三个下级指标，一是辅助决策性，评价系统能否采用逻辑推理、人工智能、作战仿真等多种技术手段为用户提供科学合理的辅助决策方案；二是功能完备性，评价指控系统提供的信息服务的常用功能是否能够满足用户的应用需要；三是功能扩充性，评价系统提供的功能扩充接口能够满足用户需求的程度。

4)可靠性(Reliability)

可靠性评价信息系统运行的稳定性和提供信息服务的安全性[7]。主要包括四个下级指标，一是系统健壮性，评价系统能够不中断运行的可能性；二是服务连续性，评价系统能够连续提供信息服务的可能性；三是服务稳定性，评价系统能够无差错稳定提供信息服务的可能性；四是安全保密性，评价服务信息不被敌方窃听、截获、破译、破坏或篡改的可能性。

5)时效性(Timeliness)

时效性评价指控系统更新信息的及时性和提供服务的快捷性。主要包括两个下级指标，一是信息更新性，主要是评价服务信息能否在用户要求的时间范围内呈现；二是响应及时性，主要是评价用户提交申请并获得服务响应的时间特性。

6)信息质量(Information Quality)

信息质量评价系统提供的服务信息与用户需求的信息之间的一致性程度。主要包括四个下级指标，一是信息准确性，评价指控系统提供的服务信息与战场事实相符的程度；二是信息完整性，评价系统提供的敌方目标相关信息与客观态势中敌方目标的实际情况相吻合程度；三是信息真实性，评价服务信息的客观程度和可靠程度；四是信息重要性，评价信息本身与作战使命、任务等要求的关联程度。

综上所述，构建指控系统信息服务质量评价指标体系如图1所示。

图1　指控系统信息服务质量评价指标体系

3　综合评价方法

许多学者和用户都认为，指控系统直接服务于军事作战指挥，因此质量评价应该完全采用数理统计的方法进行，这样才能更加精确地得到评价结果[8]。但是，在实际场景中，有些评价指标很难进行数据测量与统计分析。针对指控系统信息服务质量评价多维度、多指标的特点，充分利用模糊数学理论，结合现有层次分析、综合评价等方法优点，构建如下的模糊层次综合评价法。

3.1计算指标权重

1)构造判断矩阵

利用层次分析法中的五级标度法建立指标重要性判断矩阵L。指标的权重可以通过计算矩阵L的最大特征值对应的单位特征向量得到。可以利用求根法近似计算指标的权重向量，基本步骤如下：

(1)将判断矩阵的每一行元素做如下处理：

(1)

(2)将li做归一化处理：

(2)

W=(w1,w2,…,wn)T即为所求特征向量，即判断矩阵的层次单排序结果，也就是权重向量。

2)一致性检验

在开展质量评价工作时，专家组对评价指标进行的相对重要性判断可能会犯前后不一致的错误，所以进行指标相对权重的一致性检验非常必要。

表1　平均随机一致性指标

通过上式计算得到C.R.比值，当C.R.<0.1时，则认为判断矩阵的一致性可以接受。

3)求解综合权重

3.2指标规范化

指标规范化适用于将不同量纲和不同量级的指标数据统一到相同的数值区间，以进行综合评价。指控系统信息服务质量的评价指标主要有效益型、成本型和固定型三种指标。

1)效益型指标规范化公式

(3)

2)成本型指标规范化公式

(4)

3)固定型指标规范化公式

(5)

3.3确定隶属度

用隶属度表示评价指标相对于评价集的贡献程度是模糊评判方法的优势之一，可将人类判断的模糊信息进行充分的量化。确定评价指标的隶属度可采用模糊分布量化方法，主要有正态模糊量化[9]和柯西模糊量化[10]两种方法，本文采用正态模糊量化方法。设指标的规范化数值为zi，针对评价集V={v1,v2,…,vn}的隶属度向量为R=(ri1,ri2,…,rij,…,rin)。

正态模糊量化函数如下：

(6)

对式(6)在一定区间进行积分，可得到相应指标相对于某个评价等级的隶属度，即：

(7)

其中，积分的上、下限及积分前面的系数与所用的评价集有关。式(7)的积分限变量xij取值如下：

(8)

图2显示的是规范化值zi经过正态模糊量化后，形成的相对于各评价等级的隶属度曲线。

图2　正态模糊量化的隶属度曲线

对所有m个指标的规范化值，分别计算其针对n个评语的隶属度，可得到单因素评判矩阵

其中，i=1,2,…,m，j=1,2,…,n。

3.4综合评价

计算综合评价结果，即：

B=W·R=[b1,b2,…,bn]

(9)

则向量B即为最终的系统信息服务质量评价的隶属度向量。在计算综合评价结果时，式(9)中的“·”运算可以采用多种算法，本文采用M(/,·)运算，即：

(10)

4　实例分析

4.1计算指标权重

1)建立递阶层次结构

根据前文构建的指标体系，建立评价指标递阶层次结构，如图3所示。

指标等级指控系统信息服务质量一级指标有形性交互性功能性可靠性时效性信息质量二级指标设备先进性流程规范性界面友好性操作提示性过程体验性辅助决策性功能完备性功能扩充性系统健壮性服务连续性服务稳定性安全保密性信息更新性响应及时性信息准确性信息完整性信息真实性信息重要性

图3评价指标递阶层次结构

2)构造判断矩阵

经过专家组研究确定，采用“同等重要、比较重要、明显重要、非常重要和绝对重要”五个级别来表示指标之间的相对重要程度，指标比较标度级别如图4所示。

经过专家组集体进行判断比较，得到6项一级指标的相对重要性判断矩阵

下面，采用求根法近似计算上面矩阵的最大特征值对应的单位特征向量，即指标对应的权重向量。

评价级别表达式同等重要比较重要明显重要非常重要绝对重要1～9标度k135792,4,6,8为上述程度的中间值

图4指标比较标度级别

(1)将判断矩阵的每一行元素做如下处理，得到L′：

4.7111.3832.608)

(2)对L′做归一化处理，得到相对权重WQ0：

0.1380.261)

3)一致性检验

按照同样的方法和步骤，分别计算六项一级指标所属二级指标之间的重要性比较值，通过一致性检验与修正，分别得到18项二级指标相对其所属一级指标的重要性权重向量为

4)计算组合权重

根据一级指标相对总评价目标的权重值WQ0和二级指标相对所属一级指标的权重值WQ1,WQ2,WQ3,WQ4,WQ5,WQ6，计算得到最底层18项二级评价相对于总评价目标的最终权重向量W1×m，即：

W1×m=[0.016,0.005,0.004,0.025,0.010,0.018,0.044,0.007,0.266,0.124,0.026,0.056,0.103,0.034,0.033,0.019,0.145,0.065]

4.2指标评价与规范化

本文将所有指标评价值统一规范到[0,1]范围内，当指标评价值越靠近0时说明此项指标的服务效能与质量越差，当指标评价值越靠近1时说明此项指标的服务效能与质量越好。全部指标规范化后的测评值如表2所示。

4.3确定单指标隶属度

建立评价集V={v1,v2,…,v5}={高、较高、中、较低、低}，采用正态模糊量化方法确定单指标的隶属度，正态标准差σ取0.15。由于文章篇幅限制，仅以第一个评价指标“设备先进性”为例叙述详

细计算过程，其他指标直接给出计算结果。

表2　全部指标评价值

由于(zi=0.845)<0.9，因此，该指标对于评价级别“高”的隶属度计算如下：

该指标对于评价级别“较高”的隶属度计算如下：

该指标对于评价级别“中”的隶属度计算如下：

该指标对于评价级别“较低”的隶属度计算如下：

该指标对于评价级别“低”的隶属度计算如下：

按照同样的方法，可以计算其他指标对于各评价级别的隶属度。

4.4建立模糊矩阵

根据最底层各指标的隶属度，建立模糊矩阵R18×5，即：

4.5计算综合评价结果

利用各指标的最终权重与其对于同一评价级别的隶属度进行加权综合，得到综合隶属度。

B′=W⊙R=[0.81270.48340.12870.02990.0049]

0.0205　0.0034]

向量B即为最终的信息服务质量评价的隶属度向量。即，经过综合评判，指控系统信息服务质量评价指标相对于评价级别高、较高、中、较低、低的隶属度分别为：0.5568、0.3312、0.0881、0.0205、0.0034。

上述综合得分说明，实例中评价的“指控系统信息服务质量”的评价结果在“高”与“较高”之间，可以认为其综合评价结果较好，但还存在一些值得关注与改进的指标。

5　结语

本文在对服务质量评价方法与相关技术进行深入研究的基础上，结合信息化条件下战争的规律与信息服务需求，针对传统的评价指标体系和评价方法难以较好地应用到信息服务领域的实际情况，构建了指控系统信息服务质量评价指标体系和综合评价方法，并通过实例对上述理论进行了验证，结果显示指标体系和评价方法适用性较好。下一步可以针对指标的具体评价方法进行深入研究。

[1]朱涛,常国岑,郭戎潇,等.指挥控制系统复杂网络特性研究[J].微计算机信息,2008,24(21):34-35,16.

[2]马建威,舒振,罗雪山等.新型指控系统军事信息服务QoS技术研究[J].中国电子科学研究院学报,2009,4(5):464-468.

[3]权冀川,鲍广宇,刘勇,等.作战信息资源开发利用的战略与对策[C]//中国电子学会电子系统工程分会.中国电子学会电子系统工程分会第十九界军事信息化理论学术研讨会论文集.北京:国防工业出版社,2012:773-776.[4]权冀川,刘勇,杨飞.指挥与控制系统信息服务质量评估的思路与方法[C]//中国指挥与控制学会.第一界中国指挥控制大会论文集.北京:国防工业出版社，2013:184-187.

[5]邓胜利.基于用户体现的交互式信息服务[M].武汉:武汉大学出版社,2008.

[6]李益婷,史坤蓉.网络信息资源评价体系问题研究[J].现代情报,2005(12):51-55.

[7][美]斯蒂芬·哈格,[美]梅芙·卡明斯,[美]埃米·菲利普斯.信息时代的管理信息系统(原书第6版)[M].严建援,等,译.北京:机械工业出版社,2007:145-186.

[8]C.E.Shannon.A Mathematical Theory of Communication[J].The Bell System Technical Journal,1948,27(6):379-423.

[9]周刚.电子战系统作战效能FUZZY评判[J].舰船电子对抗,2002,25(1):7-9.

[10]邬建华,夏志成,龚华栋.防护工程综合防护效能评价[J].解放军理工大学学报(自然科学版),2003,4(2):52-55.

[11]杨永清.层次分析法中判断矩阵不一致性调整方法研究[J].武器装备自动化，2008,27(4):12-16.

[12]严世华,田效.基于层次分析法的判断矩阵不一致性调整方法[J].运筹与管理，1999,8(3):8-10.

Evaluation Method of Information Service Quality in C2 System

WANG BingQUAN JichuanLUO Chen

(Institute of Command Information System,PLA University of Science and Technology,Nanjing210007)

In order to meet the requirements of information service of the joint operations under informationization conditions,the quality elements,such as information quality,service function and user’s perception were researched in detail combining with the characteristics of C2 system services.Their relations and dependence were also analyzed.The evaluation indexes system of information service quality was established.A synthetic evaluation method was promoted,which could be applied in quality evaluation of information service in C2 system.It used the fuzzy theory and combined the advantages of analysis hierarchical process and synthetic evaluation.Finally,an example was given to discuss the evaluation method and its steps.The example had verified the research contents and proved the good applicability of the index system and the evaluation method.

C2 system,information service,index system,evaluation method

2016年3月16日,

2016年4月27日

通信网信息传输与分发技术重点实验室基金(编号：9140C170303150C17086)资助。

王兵，男，硕士研究生，研究方向：效能评估。权冀川，男，博士，副教授，研究方向：效能评估、多源信息融合。罗晨，女，博士，讲师，研究方向：多源信息融合。

TP309DOI：10.3969/j.issn.1672-9730.2016.09.024