刘 同, 吕 彬
(中国国防科技信息中心, 北京 100142)
美军武器装备采办绩效评估研究及启示
刘同, 吕彬
(中国国防科技信息中心, 北京 100142)
在武器装备采办中引入绩效评估,有助于发现采办过程中存在的不足,提出针对性的整改措施和方案,有效提升武器装备采办的效益。从评估对象、评估数据、评估指标、评估方法以及评估结果运用5个方面,对美军国会、国防部和智库3个层次开展的武器装备采办绩效评估研究进行了分析,结合美军武器装备采办绩效评估的特点和不足,从政策制度、组织机构、数据管理和方法流程4个方面对我军武器装备采办绩效评估提出了启示。
美军; 武器装备采办; 绩效评估; 启示
武器装备采办绩效评估是指从事武器装备采办工作的专门机构和人员在掌握武器装备采办相关信息的基础上,通过一定的方法、标准和程序,对武器装备采办的成绩和效果进行衡量和评价,得出可用结论的过程。
美军武器装备采办工作中很早就运行了绩效评估机制,其评估实施架构包括决策层和执行层2个层次。决策层机构主要包括国会,负责采办、技术与后勤的副国防部长办公室(Under Secretary of Defense for Acquisition, Technology and Logistics,USD(AT&L))以及军兵种采办部门。该级机构主要为评估领导、主导或委托单位,主要通过相关的政策、法规或约定来规划、指导和监督评估工作,且有关评估结果反馈该级。执行层主要为政府问责办公室(Government Accountability Office,GAO)、采办绩效与原因分析办公室(Office of Performance Assessment and Root Cause Analyses,PARCA)以及兰德公司(Rand)和国际战略研究中心(Center for Strategic and International Studies,CSIS)等智库[1-3],这些机构负责数据搜集、开展评估、得出评估结论、撰写评估报告及评估知识积累等具体工作。
由于定位不同,执行层机构开展绩效评估工作的背景和立场也不相同。
1.1督促国防部武器装备采办的GAO评估
1990年,GAO向国会提交了一份高风险领域名单,将名单中的领域作为GAO重点关注和开展工作的对象,希望借此改善以往对高风险领域关注不足的状况,其中包含国防部重大武器装备采办项目(Major Defense Acquisition Programs,MDAP)[4]。此后,GAO开展了多项工作对MDAP进行监督,包括对单一MDAP绩效进行评估和最佳实践的探讨;同时,国防部也采取了多项措施,致力于改善MDAP“拖、降、涨”的问题。但是,从此后的高风险领域名单的更新情况来看,效果并不明显[5]。
2003年,美国国防部投入武器装备研制、开发和采购的费用达到了1 270亿美元,据当时的经费估算,到2009年,将达到1 820亿美元,增幅高达43%[6]。为了改善这种情况,GAO依据费用、进度和最佳实践标准,对国防部武器装备采办项目进行了绩效评估,并于每年3月份向国会提交绩效评估报告,截至2015年3月,已发布了13份年度评估报告。
1.2为响应美军采办改革而开展PARCA评估
由于国防部武器装备采办项目费用严重超支,加上2009年前后全球金融危机和美国国防预算的削减,2009年5月,奥巴马签署了新的改革法案——《2009年武器装备采办改革法》,要求国防采办部门加强对其采办绩效的内部评估[7];成立负责武器装备采办绩效评估和原因分析的办公室,并指定国防部内部的高级官员负责该办公室的工作,办公室的职责主要包括定期发布采办绩效评估报告、完成重大国防采办项目分析、发布武器装备采办绩效评估指南、评估绩效评估指标的效用,并就绩效问题向采办官员提出建议。
为落实《2009年武器装备采办改革法》,2009年12月成立了PARCA,该办公室设立在负责采办、技术与后勤的副国防部长办公室下,是美国国防部内部实施武器装备采办绩效评估的专职机构。PARCA从2013年开始每年向国会递交绩效评估报告,截至目前,共发布了3份绩效评估报告。
1.3接受委托被动式开展的智库评估
智库与PARCA、GAO最大的不同之处,是被动式地开展武器装备采办绩效评估,评估的出发点是用户的需求,不同历史时期和不同用户的差异决定了每次评估都具有不同的背景和定位,智库可根据实际需求,设立角度多样、独立性强的绩效评估课题。因此,智库开展的武器装备采办绩效评估具有机动灵活的特点,有利于评估方法和结论的创新,但同时也导致智库武器装备采办绩效评估的延续性不强,需要解决知识积累和避免重复工作的问题。
智库评估通常由相关的业务部门或项目团队来完成,如兰德公司的国防研究所和空军项目团队[8],以及国际战略研究中心的国防工业举措组[9]等。
美军武器装备采办绩效评估以项目和合同为评估基础,依据单一项目/合同的成本、进度和性能数据以及项目/合同总体的成本增长和进度拖延数据的统计特性开展评估。
由于美军武器装备采办中技术开发、工程与制造开发、生产与部署3个阶段是降低武器装备采办技术风险、实现系统集成和初始作战能力的关键环节,占用了采办经费的很大部分,也是最容易发生经费上涨和进度拖延的阶段[10],因此,美军进行武器装备采办绩效评估只涉及这3个阶段的项目和合同,但在具体的采办绩效评估中仅分为开发阶段和生产阶段。
2.1评估对象
美军开展武器装备采办绩效评估并未对采办过程中涉及的所有要素进行评估,而是根据获取评估数据的充分程度和评估方法的成熟程度,对采办过程中涉及的要素进行选择性的评估。美军将武器装备采办绩效评估对象分为政策体制、采办机构和采办人员3类,其中:政策体制主要涉及激励机制、采办改革和国家财政情况等;采办机构包含国防部、军兵种和承包商;采办人员涵盖国防部采办执行官、军兵种采办执行官和采办人才队伍。
2.2评估数据
美军武器装备采办绩效评估虽然涉及3种不同的评估机构,但是其评估采用的数据具有很大的相似性。3种机构开展评估都是以项目和合同为基础,评估数据主要为MDAP的开发阶段和生产阶段及这2个阶段涉及的合同成本、进度和性能数据,评估数据本身具有较大的相似性。同时,3种机构的评估数据来源也具有一致性,主要为公开发布的权威数据,如选定采办项目报告、挣值中央资料库和联邦采购系统数据等。
2.3评估指标
美军武器装备采办绩效评估指标可分为单一项目/合同数据支撑的评估指标和项目/合同总体数据支撑的评估指标2大类,如表1所示。
表1 美军武器装备采办绩效评估指标
2.4评估方法
美军武器装备采办绩效评估主要采用比较分析法、统计分析法和根本原因分析法3种方法。其中:比较分析法用于单一项目/合同的评估,将项目/合同当前成本、进度和技术性能与项目开始或历史其他时期的相应数据进行比较,根据比较结果判断绩效;统计分析法用于项目/合同总体评估,主要涉及描述性统计分析法,包括单变量分析法和因子分析法等,通过对不同年份大量项目/合同的成本增长和进度拖延数据的统计分析,判断不同时期的采办绩效及其发展趋势;根本原因分析法用于得出绩效评估结论或改进措施建议,通过绩效评估寻找绩效不佳的方面,结合根本原因分析导致绩效不佳的真正原因。
2.5评估结果
对项目/合同的特征表现(如成本增长、进度拖延和性能指标完善程度)进行评估,得到描述性评估结果,通过根本原因分析可得到结论性评估结果,这2种绩效评估结果又可根据评估对象的差异分为总体和个体绩效评估结果。因此,评估结果共有4类:1)总体描述型结果,可用于描述采办过程中某方面特征的绩效,从而了解采办中宏观方面存在的问题及未来趋势,有利于明确和规避总体绩效问题;2)总体结论型结果,通过原因分析了解产生宏观绩效不佳的根源,促使在政策或宏观做法上进行调整;3)个体描述型结果,可用于了解采办微观方面存在问题及未来趋势,有利于明确和规避个体绩效问题;4)个体结论型结果,可用于发掘采办微观过程中绩效不佳的根源,促使在微观做法上进行改进。
3.1美军绩效评估的特点
美军通过多年的评估实践形成了特点鲜明、独特的武器装备采办绩效评估制度,为武器装备采办过程中发现和解决问题提供了思路和途径。
1)在评估思路上注重评估工作的分工性。分工性主要体现在3个方面:(1)国防部内部评估(PARCA)与外部评估(GAO和智库)相结合,突出评估目的的分工;(2)宏观评估(项目/合同总体)和微观评估(单一项目/合同)相结合,突出评估过程的分工;(3)历史评估和未来趋势评估相结合,突出评估结果运用的分工。
2)在评估数据的搜集上体现各机构在评估工作中的协作性。国防部提供的数据是整个绩效评估数据来源的基础,其发布的报告和数据库为PARCA、GAO和智库开展成本和进度方面的评估提供了直接的数据支撑,同时,GAO的评估结果又可作为PARCA和智库绩效评估的数据来源,体现了评估机构之间的相互协作。
3)在评估指标建立上注重原因和结果因素对绩效的影响。从因果链的角度来看,一定的原因导致特定的武器装备采办绩效,其中涉及的结果为成本增长、进度拖延和性能指标降低,美军开展武器装备采办绩效评估时不仅对这些结果因素进行评估,还对导致这些结果的因素进行评估,如采办政策、采办体制、采办执行官、军兵种和承包商等。
4)在评估方法上淡化绩效本身,更加关注绩效分析。通过绩效评估工作得出评估对象绩效好坏的结论并不是开展绩效评估工作的唯一目的,这一点在武器装备采办绩效评估中体现得尤为明显。美军绩效评估的目的是发现绩效不佳的方面,进而对其进行改进才是评估的最终目的,实现这一目的与其所用方法直接相关:评估中利用定量方法得到统计分析结果,再结合根本原因分析,得出最终的绩效评估结果。
5)在评估结果运用上直接运用和间接运用并重。在评估结果直接运用过程中,其扮演辅助决策的角色,如评估结果在“更优购买力3.0”中的运用;其间接应用是通过知识积累来实现,是指评估结果的积累、形成平台、创造、应用、再积累的循环过程,注重知识的共享和交流,如GAO单一项目武器装备采办绩效评估结果转化为PARCA的评估数据就是评估结果积累、应用的过程。
3.2美军绩效评估的不足
美军武器装备采办绩效评估的不足体现在评估的完善性和评估管理2个方面。
1)绩效评估的不完善包含政策制度的不完善、评估对象的不完善和评估数据的不完善。其中:政策制度的不完善是指美军评估涉及不同的组织机构,这些组织机构开展评估工作所依据的政策制度并不完善,且智库等机构在武器装备采办绩效评估结果运用环节缺乏有效的政策制度保障。武器装备采办是涉及多领域、多要素的复杂过程,由于缺乏统一的平台和渠道,使支撑某些方面的评估数据难以获取(如使用保障方面的评估等),这也是导致评估对象不完善的原因之一。
2)绩效评估管理上缺乏集中统管机制和内部控制机制。GAO、PARCA和智库独立开展绩效评估工作,虽然存在一定程度的相互配合,但是缺乏统管机制来规范、协调和监督不同机构的评估工作。GAO和PARCA的评估工作作为国会和国防部工作中的一部分,并不缺乏外部控制机制,但是缺乏内部控制机制,且只有GAO和智库的评估存在反馈机制,但也仅限于用户反馈。
美军绩效评估的特点和经验在一定程度上反映了装备建设的客观规律,对我军开展武器装备采办绩效评估具有重要借鉴意义。虽然目前我军还未开展武器装备采办绩效评估相关工作,但该项工作的开展对装备建设发展具有重要意义。为此,笔者从政策制度、组织机构、数据管理和方法流程4个方面,为我军未来开展此方面的工作提出启示与建议。
4.1出台保障绩效评估全寿命周期的政策制度
武器装备采办绩效评估的开展、实施以及结果运用均离不开政策的保障和制度的规范。为保证绩效评估可覆盖采办体系自上而下的方方面面,且促进评估结果的运用,相关政策需具备较高的层次和效力,应当从高于采办管理部门的层次制定相关政策。同时,绩效评估具体管理和实施部门需要制定相应的制度对绩效评估实施进行规范与控制,保证绩效评估工作前后的统一性和高标准。
4.2设立集中统管和分散实施结合的评估组织机构
针对我军武器装备采办多头管理、分阶段执行的现状[11],应当建立综合管理和分散实施相结合的武器装备采办绩效评估机构,并形成定期开展绩效评估的长效机制。因此,应成立中央军委下属的武器装备采办绩效评估综合管理办公室,负责绩效评估工作的总体规划、监督把关及成果推广等工作;综合管理办公室下设若干绩效评估执行办公室,行使具体的武器装备采办绩效评估职能,不同的执行办公室分别负责不同阶段武器装备采办的绩效评估工作。
4.3建立搜集、积累和共享三位一体的信息化数据管理模式
武器装备采办绩效评估是评估数据向评估结果数据转化及运用的过程,因此做好数据管理工作等于抓住了绩效评估的生命线,是绩效评估工作正常开展和价值实现的重要基础。应建立集评估数据搜集和评估数据与结果数据积累、共享于一体的数据库,实现评估过程中数据的信息化管理,一方面可提升评估数据搜集和评估结果推广应用的效率;另一方面可以此数据库为依托,实现武器装备采办过程中的数据共建、共享,使绩效评估价值最大化。
4.4采用科学评估方法和规范化评估流程
科学的绩效评估方法和规范化的评估流程是得出可靠绩效评估结果的保障,我军在开展武器装备采办绩效评估过程中,应制定规范化的评估流程,以便各评估机构在此规范化流程框架下,结合自身评估特点和要求,选用科学、合理的绩效评估方法。
美军武器装备采办绩效评估完善了美军武器装备采办管理制度,提高了美军国防经费使用效率和装备建设质量水平,虽然在完善性和管理上存在不足,但是相关经验方法值得我军研究借鉴。笔者结合GAO、PARCA和智库开展的相关绩效评估工作,对美军武器装备绩效评估工作进行了研究,但尚未结合我军实际提出适用于我军武器装备采办绩效评估的思路和方案。下一步,将采用国内外相结合的方法研究武器装备采办绩效评估,提出切合我军实际的武器装备采办绩效评估方案。
[1]Davis D, Ohlandt C, Shontz D A, et al. Performance of Defense Acquisition System, 2013 Annual Report[R]. Washington DC:Office of the under Secretary of Defense, 2013.
[2]GAO. Defense Acquisitions: Assessments of Major Weapon Programs[R]. Washington DC:United States Government Accounta-bility Office, 2003.
[3]Joachim H. Cost and Time Overruns for Major Defense Acquisition Programs[R]. Washington DC:Defense Industrial Initiatives Group, 2011.
[4]Charles A B. High Risk: Letter to Congressional Committees Identifying GAO’s Original High Risk Areas[R]. Washington DC:United States General Accounting Office, 1990.
[5]Gene L D. High Risk Series an Update[R]. Washington DC:United States General Accounting Office, 2015.
[6]GAO. Defense Acquisitions: Assessments of Major Weapon Programs[R]. Washington DC:United States Government Accountability Office, 2003.
[7]张代平, 谢冰峰, 王磊,等. 美国防部深入开展装备采办绩效评估[C]∥中国国防科技信息中心.世界武器装备与军事技术发展报告.北京:国防工业出版社,2015:109-113.
[8]Joachim H. Cost and Time Overruns for Major Defense Acquisition Programs[R]. Washington DC:Defense Industrial Initiatives Group, 2011.
[9]Karen E H. RAND 2014 Annual Report[R].Santa Monica, CA:RAND National Defense Research Inst, 2014.
[10]Riposo J, McKernan M, Duran C K. Prolonged Cycle Times and Schedule Growth in Defense Acquisition: A Literature Review[R]. Santa Monica, CA: RAND National Defense Research Inst, 2014.
[11]李来恩. 武器装备一体化采办问题研究[D]. 长沙:国防科学技术大学, 2012.
(责任编辑: 王生凤)
Research on Performance Assessment of U.S. Military Weapon Equipment Acquisition and its Enlightenment
LIU Tong, LÜ Bin
(China National Defense Science and Technology Information Center, Beijing 100142, China)
The introduction of performance assessment in weapon equipment acquisition is conductive to the discovery of the existing shortages in the process of weapon equipment acquisition. The corrective measures and solutions are put forward, which can effectively improve the efficiency of acquisition. The paper studies performance assessment of U.S. weapon equipment developed by Congress, DOD and think tank from assessment target, data, index, methods and results application, and analyzes the characteristics and shortages of the performance assessment. Based on this, the paper proposes enlightenment to the performance assessment of our military weapon equipment acquisition from four aspects of the policy system, organizational structure, data management and process flow.
U.S. military; weapon equipment acquisition; performance assessment; enlightenment
1672-1497(2016)04-0019-05
2016-04-17
刘同(1991-),男,硕士研究生。
E257
A
10.3969/j.issn.1672-1497.2016.04.004