信息系统体系成熟度的加权评价模型

柯宏发，陈典斌，郭道通，祝冀鲁

(1. 装备学院 装备试验系， 北京 102206； 2. 装备学院 研究生管理大队， 北京 101416)

【基础研究】

信息系统体系成熟度的加权评价模型

柯宏发1，陈典斌2，郭道通2，祝冀鲁1

(1. 装备学院 装备试验系， 北京 102206； 2. 装备学院 研究生管理大队， 北京 101416)

总结了信息系统预期发展演化目标实现水平评价体系成熟度问题的国内外研究现状；给出了体系成熟度评价框架和实现步骤；建立了互操作、互认知和技术成熟度分量评价模型和体系成熟度加权评价模型；分析了体系成熟度加权评价模型的应用前景。

信息系统；体系成熟度；互操作；互认知；技术成熟度；权重

军事信息系统是军队作战要素高度融合、信息资源高效利用和体系作战能力生成的基础和平台，已经成为军事装备现代化的基本象征、国防和军队现代化水平的重要标志[1,2]，成功开发一些满足联合作战需求的军事信息系统至关重要。但是军事信息系统的研制开发存在着较严重的费用超支、进度拖延等问题，给武器装备体系建设造成了极为不利的影响。将成熟度理论应用于装备的研制管理，可以为装备的发展建设决策提供依据，降低装备的建设风险[3]。

目前国内关于技术成熟度、系统成熟度取得较多的研究成果[3-6]，形成了相应的国家军用标准[7]，在多种武器装备的论证、研制中得到了成功的应用。如GJB/Z144—2004[7]提供了一种对指挥自动化系统互操作性等级进行划分和评估的方法，文献[4]基于单项技术成熟度模型建立了武器装备系统、体系技术成熟度模型，文献[5]针对军事信息系统的发展和运用现状很有创见地提出了“互操作、互理解、互遵循”成熟度模型，文献[6]提出了一种基于集成的信息系统体系成熟度评价方法，等等。本文借鉴国外系统成熟度的权值计算法和国内研究成果，考虑军事信息系统分系统互操作成熟度、互认知成熟度、技术成熟度之间的相对重要性，提出一种信息系统体系成熟度的加权评估模型。

1 体系成熟度的国内外研究现状

军事信息系统是信息化作战体系的中枢神经，通过信息系统实现信息获取、处理、共享、存储、运用以及对抗，最终形成全军一体化联合的体系作战能力。信息系统的体系成熟度是指在技术研发、集成生产、试验与评价、使用保障等阶段，体系发展演化等预期建设目标的实现水平或层级；体系成熟度评价就是针对体系发展成熟的若干阶段、采用标准化或等级化的度量等级对体系成熟度等级进行判断的系统化方法和流程。体系成熟度评价可以用来描述信息系统当前状态在其发展演化过程中所处阶段的位置，反映体系对预期建设目标的满足程度。

1.1 国外研究现状

系统或体系成熟度评价均源自于技术成熟度评价。美国国家航空航天局(NASA)于20世纪70年代前后提出了技术成熟度等级的概念，1995年对7级技术成熟度进行补充完善后划分为9级，并发布了《技术成熟度等级白皮书》[8-10]。美国国防部副部长帮办于2001年6月签署备忘录，将技术成熟度评价方法引入新的国防重大采办项目。2003年5月，美国国防部在新发布的采办政策和指令文件中，要求必须采用技术成熟度评价方法支撑国防采办的关键里程碑节点决策，同年发布《技术成熟度评价手册》，2005年、2009年、2011年进行三次补充修订，最终为《技术成熟度评价指南》[11-13]。

目前的9级技术成熟度标准主要针对单项技术，随着网络化、开放性和服务化的装备体系集成和发展，单纯的技术成熟度评价越来越表现出不确定和不成熟现象。美国斯蒂文森理工学院Brain Sauaer等人借鉴集成技术指标的思想，于2006年提出了系统成熟度的概念，2008年提出了相应的矩阵计算模型。经过大量探索与实践，美英等国学者在系统成熟度研究方面取得重大进展[14]，目前提出的典型计算理论和模型包括矩阵计算法、权值计算法、因子计算法和模板对比法，为系统成熟度在武器装备研制评价中的应用提供了丰实的理论基础。针对指挥信息系统的互操作性属性，美国国防部在1998年系统地规范了信息系统互操作性等级(Levels of Information Systems Interoperability, LISI)评估方法[15]。

1.2 国内研究现状

国内从20世纪90年代末开始重视成熟度评价的研究工作[3]，航天领域最先引入成熟度的概念，对航天产品进行成熟度划分[16]；装备论证机构和科研管理部门自2008年起开始试点应用技术成熟度评价方法[3]，在装备建设中开展了大量的成熟度评价理论研究与实践工作。总体而言，随着成熟度理论的研究与推广，结合装备建设的实际应用，国内关于技术成熟度评价的应用研究已基本成熟，取得很多的研究与应用成果，形成了相应的国家军用标准，如GJB9001B质量管理体系要求、GJB5000A军用软件研制能力成熟度模型GJB/Z144—2004指挥自动化系统互操作性等级及评估等。国内部分研究人员对系统成熟度评价方法也进行了研究探索，如文献[4]在单项技术成熟度评估的基础上，建立了装备系统技术成熟度、武器装备体系技术成熟度的评估方法；文献[5]针对军事信息系统的发展和运用现状，提出了“互操作、互理解、互遵循”的新型能力，并建立了“互操作、互理解、互遵循”成熟度模型；文献[6]将信息系统体系成熟度分解为技术、互操作和互认知3个成熟度分量，提出了一种基于集成的信息系统体系成熟度评价方法；文献[16]深入探讨了复杂系统体系技术成熟度评价的模型框架和评价标准制定、评价流程设计等问题；文献[17]分析了海军装备技术体系的系统成熟度评价需求，提出了与我军装备发展过程相适应的评价等级定义；文献[18]结合单项技术成熟度和技术集成成熟度评估，建立了大型武器装备子系统技术成熟度和系统成熟度评估模型；文献[19]基于技术成熟度探索性地对飞行试验技术发展过程进行阶段划分和内涵说明。

技术成熟度、系统成熟度已在多种武器装备的论证、研制中得到成功应用，但是由于信息系统是从信息收集系统、信息处理系统、信息分发系统等多个复杂系统演化组成的“系统体系”，特别是信息系统的信息域、认知域、社会域特征，信息系统的体系成熟度评价是目前装备体系发展中的研究热点与难点。

2 信息系统体系成熟度评价框架和步骤

2.1 体系成熟度评价框架

信息系统是由信息收集、信息处理、信息分发等多个复杂系统组成的“系统体系”，其复杂度高、综合性强，系统与系统之间的交联横跨物理、信息、认知、社会等领域，各个分系统的论证、研制是一系列不同步的周期模型，信息系统的论证、研制是一项复杂的系统工程。因此，随着时间的推移，体系成熟度模型需要涵盖、综合物理、信息、认知、社会等领域的特点和要求来描述信息系统的成熟度水平层级。考虑信息系统体系成熟度的不同层次构建，主要以互操作成熟度和技术成熟度表征信息系统物理域和信息域的成熟度水平层级，以互认知成熟度从整体上表征信息系统认知域和社会域的成熟度水平层级，建立信息系统体系成熟度评价框架如图1所示。

图1 信息系统的体系成熟度评价框架

假设信息系统由n项分系统组成，图1中将信息系统体系成熟度分解为互操作成熟度、互认知成熟度和系统技术成熟度3个分量；每个分量又分别取决于n项分系统的分系统互操作成熟度、互认知成熟度、技术成熟度和分系统之间的权重；其中每个分系统互操作成熟度取决于相应的互操作属性成熟度水平及互操作属性权重，每个分系统互认知成熟度取决于相应的互认知属性成熟度水平及互认知属性权重，每个分系统技术成熟度取决于相应支撑的单项技术成熟度和技术集成成熟度。

基于图1所示的多层次评价框架，需要从下至上依次建立各个成熟度等级评价模型。首先需要建立由单项技术成熟度等级和技术集成成熟度等级到分系统技术成熟度等级的聚合模型、互操作属性成熟度水平到分系统互操作成熟度等级的聚合模型、互认知属性成熟度水平到分系统互认知成熟度等级的聚合模型；然后考虑n项分系统的相对重要性，分别建立分系统互操作成熟度等级、分系统互认知成熟度等级和分系统技术成熟度等级到互操作成熟度等级、互认知成熟度等级和技术成熟度等级的聚合模型；最后建立互操作成熟度等级、互认知成熟度等级和技术成熟度等级的聚合模型，从而得到信息系统体系成熟度评价结果。

2.2 体系成熟度评价步骤

信息系统组成分系统之间存在两两交互关系，其复杂度高、综合性强，系统之间交联覆盖物理、信息、认知、社会等领域，其体系结构的复杂性、综合性直接增加了上述各种聚合模型的表达难度。鉴于建模的合理性和可行性，本文采用线性加权的思想建立聚合模型。其中体系成熟度3个分量以及分系统之间的权重采用网络化层次分析法进行计算，以反映其中的交互关系；互操作、互认知属性权重采用层次分析法进行计算。

根据图1所示的体系成熟度评价框架，信息系统体系成熟度加权评价可分为如下主要步骤：1)确定信息系统的主要分系统组成及各分系统涉及的关键技术；2)分析体系成熟度3个分量以及分系统之间的交互关系，分别构建权重的网络化判断矩阵，求解3个分量及分系统的权重向量；3)分析各个分系统互操作属性、互认知属性之间的相对重要性，基于层次分析法求解权重向量；4)分析各分系统内部技术结构及技术集成关系，制定各分系统的集成成熟度和技术成熟度等级标准，并依据定义的标准确定各分系统的单项技术成熟度与技术之间的集成成熟度；5)制定各分系统互操作、互认知成熟度等级标准，依据相应的标准确定各分系统互操作、互认知成熟度等级水平；6)基于分系统单项技术成熟度与技术集成成熟度计算分系统技术成熟度，基于相应的属性权重和属性等级水平计算各分系统的互操作成熟度和互认知成熟度；7)基于分系统权重计算信息系统的互操作、互认知和技术成熟度；8)基于3个分量权重计算信息系统体系成熟度。

信息系统n项分系统的相对重要性程度采用网络层次分析法进行计算，其主要步骤是，首先基于网络层次分析法的1～9标度对分系统之间相对重要性进行量化，其次通过计算网络的两两比较判断矩阵、构建无权超矩阵和加权超矩阵、计算极限超矩阵，最后进行综合排序得到权重值。本文假设求得n项分系统的权重向量为W=w1,w2,…,wn。

本文后续模型中的符号含义如下：信息系统体系成熟度等级用符号ISRL(information system readiness level)表示、互操作成熟度等级用符号IORL(interoperability readiness level)表示、互认知成熟度等级用符号MCRL(mutual cognition readiness level)表示、系统技术成熟度等级用符号STRL(system technology readiness level)表示；分系统互操作成熟度等级用符号SIORL(subsystem interoperable readiness level)表示、分系统互认知成熟度等级用符号SMCRL(subsystem mutual cognition readiness level)表示、分系统技术成熟度等级用符号SSTRL(subsystem technology readiness level)表示；单项技术成熟度等级用符号TRL(technology readiness level)表示，技术集成成熟度等级用符号IRL(integration readiness level)表示。

3 互操作成熟度等级及评价模型

互操作是信息系统最为核心的物质基础[20]，美国国防部在2001年给出的互操作性定义是：互操作性是指系统、单位或军事力量之间相互提供和接受服务，以使他们能够有效共同运作的能力；我国GJB/Z144—2004对互操作性所做的定义是：两个或两个以上系统或应用之间交换信息并利用所交换信息的能力。

美国国防部C4ISR工作组分析了信息系统之间的交互复杂性、交互特点以及互操作需求，提出了5个互操作成熟等级描述信息系统之间交互和共享信息的“成熟度”；文献[7]建立了指挥自动化系统的5级互操作成熟等级模型；文献[5]提出了军事信息系统6个级别的增强型互操作成熟度参考模型，该模型涵盖信息系统的软件、网络、资源等活动载体特征，本文采用该模型评估信息系统的互操作成熟度，其模型及含义要素见文献[5]。

(1)

基于加权求和的思路，对信息系统分系统互操作成熟度度进行聚合，得到信息系统互操作成熟度

(2)

4 互认知成熟度等级及评价模型

信息系统是物理域、信息域、认知域、社会域内军事活动的载体，多领域知识的认知与共享从一定程度上也就决定了信息系统的发展水平。认知就是指军事活动者对军事活动信息领会、了解、懂得的判断和决策行为，而互认知就是指军事活动者对这些信息和知识的共享过程。在一定的制度、规则和机制前提下，信息系统利用网络、人工智能等技术对获取的信息进行加工，为这些知识、经验和智慧的一致性认知、互认知创造了条件。信息系统的互认知主要关注其信息、知识的处理，使信息处理能力覆盖到认知域、社会域等。

文献[6]借鉴文献[5]的互理解和互遵循成熟度模型，建立了一种信息系统的互认知成熟度等级模型，其模型及含义要素见文献[6]，本文利用该互认知成熟度等级评价信息系统的互认知能力。

(3)

对各个分系统互认知成熟度进行加权求和，得到信息系统互认知成熟度

(4)

5 技术成熟度等级及评价模型

单项技术成熟度和技术集成成熟度是信息系统分系统技术成熟度分析的基础，单项技术成熟度和技术集成成熟度等级决定了分系统技术成熟度的高低。本文采用目前通用的9级单项技术成熟度和9级技术集成成熟度，其含义见文献[3-4]。

(5)

假设第i项分系统中第kk=1,2,…,j项技术所集成的技术数量为ik，则有第i项分系统的标准化技术成熟度等级矢量

(6)

则第i项分系统技术成熟度表示为

(7)

对n项分系统的技术成熟度进行加权聚合，得到信息系统的技术成熟度为

(8)

6 体系成熟度评价模型及应用分析

6.1 体系成熟度评价模型

信息系统互操作、互认知和技术成熟度作为体系成熟度评价的基础要素，从3个角度刻画、表征了信息系统发展演化的状态和水平。利用权重集w1,w2,w3表示信息系统互操作、互认知和技术成熟度之间的相对重要性，则有信息系统体系成熟度等级评价模型

ISRL=w1IORL+w2MCRL+w3STRL

(9)

式中ISRL的取值范围为0,1。可以看出，该模型对信息系统互操作、互认知和技术成熟度采取了分级量化评估的描述形式，虽然体系成熟度能评估给定发展阶段下信息系统的潜在成熟水平，能通过值ISRL比较不同信息系统的成熟度大小，但是该值本身并不具备明显的物理意义。

6.2 评价模型的应用分析

本文关于信息系统体系成熟度的加权评价模型可以应用于以下几个方面。

1) 依据体系成熟度的大小对多个不同的信息系统进行比较，可以用于一定发展阶段的信息系统选型。

2) 分析影响信息系统发展演化水平的瓶颈分量和瓶颈分系统。将3个分量IORL、MCRL、STRL分别与ISRL进行比较，小于ISRL值对应的分量建设状态滞后于信息系统发展状态水平，应注意分析该分量对信息系统整体建设的影响；其中最小值对应的分量可以认为是影响信息系统整体建设的瓶颈分量，应重点采取针对性的管理措施。另外，在权重集w1,w2,w3作用下，第i项分系统的成熟度模型可以表示为

ISRLi=w1SIORLi+w2SMCRLi+w3SSTRLi

(10)

比较ISRLi与ISRL的大小，若ISRLi≥ISRL，则可以认为第i项分系统的发展状态水平达到信息系统的建设状态，否则认为第i项分系统的发展状态滞后。ISRLi评价值较低的分系统，可以认为是影响信息系统整体建设的瓶颈分系统，应重点分析其滞后的原因。

3) 分析影响各个分系统发展演化水平的瓶颈分量。此处类似地采用上述影响信息系统发展演化水平的瓶颈分量分析方法，重点从互操作、互认知、技术属性等方面入手，查找问题出现的可能原因。

7 结论

随着武器装备的体系化、网络化、智能化发展，处于神经中枢地位的信息系统功能涵盖物理域、信息域、认知域和社会域，其发展状态及管理越来越受到关注。本文基于文献[6]研究成果，提出了信息系统体系成熟度的加权评价模型。研究过程中的算例表明该模型有效可行，能为信息系统的发展管理提供有关的决策依据，但是以下2个方面还需要进一步研究。一是该模型在多个层次上都基于权重进行计算，权重算法的典型弱点就是主观性太强，就各层次权重对该模型的影响需要深入研究；二是本文仅仅提出了信息系统体系成熟度的评价模型，还需要定义、制定与信息系统发展和运用相适应的体系成熟度评价等级，以便为控制信息系统的发展状态提供更精细的管理手段。

[1] 杨荣芳，陆秀梅，姜山.基于试训模式下的靶场指挥信息系统建设研究[J].四川兵工学报，2015，36(8): 153-156.

[2] 张惠民，杨晓龙，崔伟宁.军事信息系统综合集成方法[J].四川兵工学报，2012，33(11): 103-106.

[3] 张新国.国防装备系统工程中的成熟度理论与应用[M].北京：国防工业出版社，2013.3.

[4] 卜广志.武器装备体系的技术成熟度评估方法[J].系统工程理论与实践，2011，31(10): 1994-2000.

[5] 曹江，高岚岚.互操作、互理解、互遵循——军事信息系统的新型能力目标与评估模型[J].指挥与控制学报，2015，1(1): 41-45.

[6] 柯宏发，郭道通，陈典斌，等.基于集成的信息系统体系成熟度评价方法[J].装甲兵工程学院学报，2017，31(4):.

[7] 指挥自动化系统互操作性等级及评[S].中华人民共和国国家军用标准，2004.

[8] BRIAN S, MATIN S.System maturity and architecture assessment methods, processes, and tools[R].Systems Engineering Research Center, Stevens Institute of Technology, Hoboken, NJ, 2012.3.

[9] MARGARET A F, PATRICIA M B.Jet Propulsion Laboratory (JPL) Technology Readiness Assessment Guideline[C].Areospace Conference, Jet Propulsion Laboratory, California Institute of Technology, Pasadena, CA, 2016: 1-10.

[10] HERNANDO JIMENEZ, DIMITRI N MAVRIS.Assessment of technology integration using technology readiness levels[C].51st AIAA Aerospace Sciences Meeting Including the New Horizons Forum and Aerospace Exposition, Grapevine, Texas, 07-10 January 2013: 1-14.

[11] JACK TAYLOR.DoD Technology Readiness Assessment (TRA) Policy[R].Ofc Deputy Under Secretary of Defense, Science & Technology/ Weapons Systems, Rosslyn, VA, 2007.9.

[12] DoD.Technology readiness assessment (TRA) deskbook [R].Director Research Directorate, Office of the Director Defense Research and Engineering, Washington, DC, 2009.

[13] DOD.Technology readiness assessment (TRA) guidance [R].Assistant Secretary of Defense for Research and Engineering, Washington, DC, 2011.

[14] JEREMY STRAUB.In search of technology readiness level (TRL) 10[J].Aerospace Science and Technology, 2015(46): 312-320.

[15] C4ISR Interoperability Working Group.Department of defense level of information systems interoperability(LISI)[R].Washington, 1998.

[16] 程文渊.复杂系统体系的技术成熟度评价模型研究[J].航空科学技术，2013(6): 55-59.

[17] 孙冲，刘磊，曹强.海军装备技术体系中的系统成熟度评价方法研究[J].国防科技，2014，35(4): 54-58.

[18] 朱江辉，孙勇军，周占廷.技术成熟度评估在飞行试验中的应用[J].飞行力学，2015，33(3): 193-195.

[19] 梁新，刘宝平，李凛然.大型武器装备系统成熟度评估及优化[J].武汉理工大学学报(信息与管理工程版)，2015，37(3):344-348.

[20] 李玮，仇建伟.信息系统互操作性评估技术研究[J].现代电子技术，2015，38(8): 84-88

WeightedAssessmentModelofSystemReadinessofInformationSystems

KE Hongfa1, CHEN Dianbin2, GUO Daotong2, ZHU Jilu1

(1.Department of Equipment Test, Equipment Academy, Beijing 102206, China; 2.Department of Graduate Management, Equipment Academy, Beijing 101416, China)

Aiming at the achievement level assessment of information system development, a weighted assessment model of system readiness of information systems is put forward. The research status of system readiness at home and abroad is summarized. And the framework and steps of system readiness assessment are proposed. Then, assessment models of interoperability readiness, mutual cognition readiness and technology readiness are set up. The weighted assessment model of system readiness of information systems based on above 3 elements is introduced and the application of the model is analyzed finally.

information system; system readiness level; interoperability; mutual cognition; technology readiness level; weights

2017-06-21；

2017-07-20

军队科研计划项目

柯宏发(1969—)，男，博士，教授，博士生导师，主要从事电子装备试验理论与技术研究。

10.11809/scbgxb2017.12.058

本文引用格式：柯宏发，陈典斌，郭道通，等.信息系统体系成熟度的加权评价模型[J].兵器装备工程学报，2017(12):267-271.

formatKE Hongfa, CHEN Dianbin, GUO Daotong, et al.Weighted Assessment Model of System Readiness of Information Systems[J].Journal of Ordnance Equipment Engineering,2017(12):267-271.

N949;N945.1

A

2096-2304(2017)12-0267-05

(责任编辑杨继森)