航空发动机研发能力建设项目后评价指标体系

徐春荣

(北京航空航天大学 经济管理学院，北京100191)

任文婧

(北京航空航天大学 中法工程师学院，北京100191)

周 泓

(北京航空航天大学 经济管理学院，北京100191)

航空发动机是关系国家安全和国民经济发展的战略性产业，而航空发动机研发能力建设项目旨在发展和改善航空发动机研制生产的保障，近年来国家在这一方面的投入力度越来越大.为了强化投资效益，确保有效提高我国航空发动机研发能力，在建设项目竣工验收后全面系统地进行后评价对于总结项目成果和积累经验教训具有十分重要的意义.在我国，项目评价工作处于探索阶段，评价经验不足，针对航空发动机相关项目的后评价主要集中在技术方面，且多以专家集体讨论的方式为主，后评价体系并不完善.而参照航空武器装备项目评价，国内外的研究大多集中在项目预研阶段，其中又以风险评估居多，其次是技术评估和效能评估.在近年的相关研究中，侯金晔等人提出了航空武器装备项目过程评估指标体系构建方法[1]，殷旭东等人提出了武器装备动员能力评价的指标体系构建方法[2]，但针对航空发动机产业的项目后评价研究仍几乎空白.

为了对航空发动机研发能力建设项目进行更科学合理的后评价，本文通过两阶段过程来建立一套适用于航空发动机研发能力建设项目后评价的指标体系.即，首先通过借鉴一般项目后评价指标体系结构，并通过专家访谈调查，建立一个初步的后评价指标体系;在此基础上，以指标精炼性、数据可获得性和实践可行性为原则，对初选指标进行优选.优选过程中，采用群组决策最大特征根法(GEM，Group Eigenvalue Method)对第一阶段结果进行初步筛选，然后进行评价指标的相关性分析筛选和鉴别能力筛选，最后得到优选的指标体系.

1 后评价指标体系初选

根据航空发动机研发能力建设项目具体特征[3]，以项目后评价指标体系设计理论[4－5]和一般原则[6]为指导，并结合专家访谈，初步提出一套针对性的评价指标体系.如表1所示.

表1 航空发动机研发建设项目后评价指标体系(初选)Table 1 Post-evaluation index system for aero-engine R＆D capacity building projects(primary)

2 后评价指标体系优选

由于后评价指标体系的初选更注重全面性、系统整体性、以及专家经验，并没有充分考虑各指标的重要性差异、鉴别能力以及指标之间的关联性，因此需要进一步优化.优化内容主要检测具体指标的可行性、可靠性、科学性、关联性、协调性、冗余度等方面.目前常用的优选方法有因子分析法[7]、聚类分析，以及以德尔菲法为代表的专家调查法等.根据对项目特点和初选指标体系的具体分析，本文采用基于李克特量表的专家调查法获取评分数据，并结合GEM和多种统计学方法来优化指标体系.

2.1 问卷调查统计

本文采用调查问卷的形式对航空发动机研制、生产和项目管理领域的相关专家进行调查，给表1中的34个指标打分.为更好地体现各指标要素的重要性，设计了5级顺序的李克特量表，1=很不重要，2=不重要，3=一般重要，4=重要，5=非常重要.此外，为保证调查结果的质量和权威性，问卷设计时考虑了专家知识水平，即同时调查专家职称、职位、学历以及工作年限等，尽量保证专家知识水平具有一定的权威性，且各专家水平接近，否则就要考虑赋以专家权重.本次问卷调查共收回37份有效答卷.限于篇幅，部分统计结果如表2所示.

表2 专家调查问卷统计结果Table 2 Statistical results of the expert survey

2.2 基于群组决策最大特征根法的指标初筛

群组决策最大特征根法(GEM)是在层次分析法(AHP)的基础上演变而来的[8].该方法克服了AHP算法判断矩阵出现不一致的问题，GEM方法中，各受访专家只需要按传统方式对指标打分，就能够得出群体对于目标的最优排序结果，即可用来筛选初选得出的各指标的重要性，去除重要性微小的指标，以达到指标精简的目的.

2.2.1 GEM 计算的一般步骤

1)由m个专家直接对n个被评单位进行打分，得到评分矩阵

其中，xij(i=1，2，…，m;j=1，2，…，n)为第 i个专家Si对应第j个被评目标Pj的评分值.

2)计算矩阵F=XTX，求取F的最大特征根及其对应的特征向量.

3)若计算出的最大特征根为单根，则该特征根所对应的特征向量，即为要求的评价指标的权向量;若得出的最大特征根为重根，应同时解出其特征向量空间，此时认为该特征向量空间所对应的评价对象具有同等的重要性，即排名并列.而对于其他评价对象，需要根据与第二最大特征根所对应的特征向量来排名(或在原评分矩阵中，剔除并列排名的评价对象的相应分值，重建一个新的评分矩阵，然后用同样的方法再进行评判)[9].

2.2.2 指标体系的GEM计算步骤

在本研究中，共有34个被评价指标，37位专家的有效评分，所以构建的评分矩阵是37×34维矩阵.以下应用Matlab求解.

1)计算矩阵的最大特征值.得到矩阵的最大特征值是单根，为λ=18851.9803.对应的特征向量为

2)对所得特征向量进行归一化.得

经研究分析，归一化处理后的因素重要性平均值为0.02941，上下波动40%左右.再仔细分析各指标意义，最终取平均值的85%，即0.025为临界值，去掉重要性在0.025以下的6个指标，即剔除项目管理工具使用效率(C53)，社会经济推动效果(C72)，研发技术人员职称及学历水平(C62)，产业贡献度(C74)，管理和文化创新性(C64)，以及技术成果影响性(C35).余下28个指标.

2.3 基于Pearson算法的指标相关性分析筛选

评价指标体系在经过群组决策特征根法(GEM)的初筛之后，保留的指标之间往往仍具有一定程度的关联性.然而根据指标的差异性原则要求，指标之间的相关性不能过大，否则会导致重复使用评价对象信息的现象，从而违背了评价指标的合理性和科学性.

2.3.1 相关性分析的计算步骤

本文采用一种研究指标关联程度时常用统计学方法，即相关性分析.基本步骤如下[10]:

1)指标数据的无量纲化处理.

由于各个评价指标的评价方面不同，其量纲也往往不同，不利于进行分析，所以必须先进行无量纲化处理.记yi和s分别为评价指标数据及其标准差，则无量纲化公式为

2)求取各指标之间相关系数:

3)设定临界值M.

在计算评价指标相关系数之前应先设定一个绝对值大于0小于1的临界值.如果T＜M，两个指标相关性较小，予以保留;如果T＞M，则两个指标相关性较大，应删除其中一个与其他指标相关性比较大的指标，或者分析合并.

2.3.2 指标体系的相关性分析筛选

表3 指标体系的相关性系数Table 3 Correlation coefficients of the index system

可见，该航空发动机研发能力建设项目后评价指标体系在经群组决策最大特征根方法筛选之后，大部分指标之间的相关性小于所设临界值，即指标间相关度不大，而立项决策程序规范性(C11)和立项审批程序规范性(C12)、预算调整频率(C42)和费用偏差百分比(C43)、以及项目管理体系的合理性(C52)和项目管理规划能力(C54)这3对指标的相关度超过了预先设定的临界值，属于强烈关联指标，需要进一步筛选.

对比发现，C11和C12，C42和C43各自与其他指标的关联度相差不多，再通过分析各指标的具体意义、项目评价要求以及专家的反馈意见，决定将C11和C12整合为新的指标C11“立项决策和审批程序的规范性”.同样C42和C43整合为新C42“经费调整频率及偏差百分比”.至于C52和C54这对指标，C52与其他指标的关联度明显强烈于C54，因此决定剔除C52，只保留C54.

经过整理后，新的指标体系有25个有效指标，再以同样的步骤进行相关性分析，即用SPSS再次执行Pearson运算，本次得到的相关系数全部小于临界值0.78，说明筛选后的指标体系中，各指标之间的关联性不高，基本符合要求.

2.4 评价指标鉴别能力筛选

评价指标鉴别能力是指标识别被评价对象特征差异性的能力.在对评价指标相关性筛选时，除了遵循相关性分析的原则外，通常还要检验指标的鉴别能力，保留鉴别能力强的指标，以提高评价结果的差异性.

2.4.1 基于变差系数的指标鉴别能力筛选方法

在实际应用中，变差系数常被用来识别指标的鉴别能力.计算公式为，其中，为各指标的平均值;为各指标的标准差.

如果某个指标的分数一直较低或者一直较高，则说明该指标的鉴别能力偏弱，反之，则说明指标具有较强的鉴别能力.

2.4.2 指标体系鉴别能力筛选

本文的指标筛选是专家打分得到的，所以变差系数较小就存在2种情况:①众多专家对某一项指标都打分比较高;②众多专家对某一项指标都打分比较低.因为已经使用群组决策特征根法将打分比较低的指标筛选掉，所以变差系数较小的指标反而是应该选择的.那些变差系数较大的指标因为专家意见不统一性太强，故可以删除[11].

后评价指标体系的鉴别能力分析仍采用SPSS软件来计算，结果如表4所示.

表4 指标体系的鉴别能力分析Table 4 Resolution capability analysis of the index system

根据计算结果，25个指标中，变差系数最大的是C83的0.276 064，可见，筛选后的航空发动机研发能力建设项目后评价指标体系中不存在鉴别能力过低的指标，整体指标鉴别能力表现良好.

3 评价指标体系的确立

在已明确航空发动机研发能力建设项目后评价工作的构成要素的基础上，通过建立航空发动机研发能力建设项目后评价初选指标体系，运用群组决策最大特征根法来筛选初选指标，同时通过评价指标相关性分析和指标鉴别能力分析，并综合考虑数据的可获取性，最终确立了一套航空发动机研发能力建设项目后评价指标体系，如表5所示.

优选后的航空发动机研发能力建设项目后评价指标体系保持了8个一级指标，余有25个二级指标，其中项目执行程度以及项目可持续性指标全部保留，而综合管理类指标变动较大.结合项目实际情况、研发能力建设项目的重点目标以及航空发动机产业中管理科学的应用情况，优选后的后评价指标体系结果基本科学、合理，适用于航空发动机研发能力建设项目的特点，并在项目后评价中得到了应用.

表5 航空发动机研发建设项目后评价指标体系(优选)Table 5 Post-evaluation index system for aero-engine R＆D capacity building projects(optimized)

4 结束语

本文通过专家问卷调查法，针对航空发动机研发能力建设项目后评价指标体系的优化问题获取了37份有效问卷，并通过群组决策最大特征根法将后评价指标体系的筛选剔除7项二级指标，整合4项指标为2项，从而使原先34个指标精简为25个，在保证了指标体系的全面性和系统性的基础上，又检验了指标的独立性、可测性和可比性，最终得到了科学合理的航空发动机研发能力建设项目后评价指标体系.优化后的指标体系具有较好的实际应用价值，对于构建航空发动机研发能力建设项目后评价模型具有重要意义.

References)

[1]侯金晔，白思俊，郭云涛.航空武器装备项目过程评估指标体系的构建[J].航空制造技术，2008(1):90－91

Hou Jinye，Bai Sijun，Guo Yuntao.Constitution of process evaluation index system for aerial weapon equipment project[J].Aeronautical Manufacturing Technology，2008(1):90 － 91(in Chinese)

[2]殷旭东，汪恩华.武器装备动员能力评价的指标体系构建[J].统计与决策，2008(1):43 －44

Yin Xudong，Wang Enhua.Construction of index system for evaluation of weapon equipment mobilization ability[J].Statistics and Decision，2008(1):43 －44(in Chinese)

[3]张钦，周德群.国防科技工业创新型企业评价研究[M].北京:科学出版社，2011

Zhang Qin，Zhou Dequn.Study on evaluation of innovative enterprises in the national defense industry[M].Beijing:Science Press，2011(in Chinese)

[4]苏为华.多指标综合评价理论与方法问题研究[D].厦门:厦门大学，2000

Su Weihua.Research on theory and method of multi index comprehensive evaluation[D].Xiamen:Xiamen University，2000(in Chinese)

[5]Geisler E.The metrics of science and technology[M].New York:Greenwood Press，2000

[6]鲍玉昆，张金隆，孙福全，等.基于SMART准则的科技项目评标指标体系结构模型设计[J].科学学与科学技术管理，2003(2):46－48

Bao Yukun，Zhang Jinlong，Sun Fuquan，et al.Design on smartbased s＆t evaluation indicators system with three-layer classified structure[J].Science of Science and Management of S ＆ T，2003(2):46－48(in Chinese)

[7]侯金晔.航空武器装备项目过程评估研究[D].西安:西北工业大学，2007:27－28

Hou Jinye.Research on process evaluation for aerial weapon equipment project[D].Xi’an:Northwestern Polytechinical University，2007:27 －28(in Chinese)

[8]邱苑华.群组决策特征根法[J].应用数学和力学，1997(11):1027－1028

Qiu Wanhua.An enginvalue method on group decision[J].Applied Mathematics and Mechanics，1997(11):1027 － 1028(in Chinese)

[9]吴坚，梁昌勇，李绩才.群决策中专家决策意见的可靠性研究[J].合肥工业大学学报:自然科学版，2009，32(3):366 －367

Wu Jian，Liang Changyong，Li Jicai.Study on the reliability of group agreement under group decision making[J].Journal of Hefei University of Technology:Natural Science，2009，32(3):366－367(in Chinese)

[10]吴雷.装备制造业企业持续创新能力评价:以黑龙江省为例[M].北京:经济科学出版社，2011:83－85

Wu Lei.Evaluation of innovation capability for equipment manufacturing enterprises:taking heilongjiang province as an example[M].Beijing:Economic Science Press，2011:83 － 85(in Chinese)

[11]姜喜龙.国防工业企业自主创新能力体系构建与对策研究[D].哈尔滨:哈尔滨工程大学，2007:65－66

Jiang Xilong.Research on the construction of the defense industry enterprise s independent innovation ability system and corresponding countermeasures[D].Harbin:Harbin Engineering U-niversity，2007:65 －66(in Chinese)