构建档案信息化建设的绩效评价指标体系研究*

朱丽梅

（华南理工大学档案馆，广东广州，510641）

开展档案信息化建设的绩效评价，旨在查找问题与不足，及时引导和规范后续的档案信息化建设，从而充分盘活档案信息资源、提升档案服务效能及档案的社会美誉度。绩效评价的实施，亟需构建一个科学可行的绩效评价指标体系。目前国内尚无统一的档案信息化绩效评价指标体系，对档案信息化建设绩效研究甚少，且多为定性分析。笔者尝试将公共部门绩效评价理论嫁接到档案信息化建设工作上，打破单一的评价主体，采取定量与定性相结合的评价方法，提升评价结果的客观性与准确性。

1 档案信息化建设绩效评价的内涵

绩效评价是一个动态的过程，既表现为测量、评判和评级的活动，又是这三者组成的连贯过程［1］。本文对档案信息化建设绩效评价的内涵界定为：评价主体立足档案信息化建设的根本目的及实践，参照评价指标体系及评价标准，采用定性定量比对分析，对档案部门在一定时期内实施档案信息化建设进行客观、准确的测量、评判与评级的活动与过程。

2 绩效评价指标的遴选依据

评价指标直接反映评价内容与主题，关系着评价结果的可信度。本文密切结合绩效评价理论、档案信息化建设的理论与实践、政策法规等进行指标遴选，具体如下所述：

2.1 紧扣绩效的内涵，确立绩效评价的一级指标

从语义学看，绩效指成绩、成效。在管理实践上，人们对绩效内涵的理解有单指行为或结果，也有认为是二者的结合［2］。本文结合绩效的语义及管理实践的内涵，认为绩效涵盖投入、产出与效果。投入是一种行为，它是践行档案信息化建设的前提，产出则反映了档案信息化建设的内容或阶段性成果，效果是测量档案信息化建设带来的服务质量与效果好坏的标尺。因此投入、产出与效果缺一不可，将三者设为档案信息化建设的绩效评价维度即一级指标。

2.2 以档案信息化建设相关理论及纲要为基础，明晰投入与产出所对应的二级指标

通过研读档案信息化建设的相关理论及《全国档案信息化建设纲要》，明晰了开展档案信息化建设需要以资金、人才、制度做保障。档案信息化建设包括基础设施、档案信息资源、档案服务平台及信息安全保障体系的建设等内容［3］［4］，这为设计投入、产出所对应的二级指标奠定了坚实的基础。

2.3 以重要会议精神为指导，确定评价目标与导向

为确保构建的评价模型科学可行，本文坚持以国家及档案工作的重要会议精神为指导。首先以中国共产党第十八次全国人民代表大会上重要会议精神及群众路线为指导。会上有6处提及要提升服务效能，以民为本、提升服务质量，从而明晰开展档案信息化建设绩效测评的目的。其次，以国家档案局局长杨冬权近年来在全国档案局（馆）长会议上的重要讲话为指导。他强调以档案信息化建设充分提升档案服务效用，建立三个体系即覆盖人民群众的档案资源体系、方便人民群众的档案利用体系及档案安全体系，依法满足人民群众的查档需求［5］，依此确定档案服务结果与质量为评价导向。

2.4 汲取经验，弥补不足

现有的档案信息化评价标准如浙江省、常德市等地的档案信息化评价标准及部分档案学者提出的档案信息化建设评价指标对本文有一定的借鉴意义，但同时认识到上述评价指标体系存在以下不足：

首先，评价指标不全。与学者所构建的指标相比，档案部门制定的指标实践性强，测评指标颇为全面、数据的采集可行性强，值得本文借鉴；但立足于绩效评价角度，无论是档案部门还是学者构建评价指标均存在偏颇之处，反映建设的指标过多、投入与服务效果的指标缺乏或过少，且指标间存在重复和交叉。因此构建档案信息化建设的绩效评价指标时，尽量优化之。此外评价指标的遴选还需与时俱进。信息时代利用者的远程查档意识及需求日益增强，故应适当增加远程服务平台的建设、远程利用效果、网站访问量与回应的速度等指标。

其次，可量化的指标过少，评价方法以定性为主。评价的科学性及准确性可通过数字和量化的评价指标来体现，虽然并非所有的指标均能简单量化［6］，尤其对于具有公共服务职能的档案部门来讲，定性的评价指标更易制定，但仅有定性指标，评价结果的准确性与可信度必然降低。为此开展档案信息化建设评价时，尽可能运用定量与定性相结合的分析方法，适当提升定量指标的比例以弥补定性指标评价的主观性过强等不足。

最后，评价主体单一，多为上级对下级的评价或档案部门自评，本文则增加了利用者对档案服务满意度的评价指标。

3 评价指标的遴选

构建档案信息化建设的绩效评价指标的基本流程如图1所示。

3.1 首轮评价指标的设计

首轮档案信息化建设绩效评价指标体系在参考如上所述的遴选依据、档案专家意见及档案信息建设的实践基础上初步设计了3个一级指标（以An标识），9个二级指标（以Bn 标识），36 个三级指标（以Cn标识）。初设的评级指标具有以下特点：（1）涵盖了投入、产出与效果三个维度。（2）正向指标和逆向指标相结合。一个较为全面的评价指标应该既有加分的指标，也有扣分的指标；（3）定性指标与定量指标相结合。

图1 评价指标体系构建流程

3.2 评价指标重要程度的评判与筛选

参照德尔菲法的要求邀请13位专家参与各级评价指标的筛选及重要程度评判的问卷调查，其中12 位专家回复了问卷。这12 位专家有主管档案信息化建设的领导、负责并参与档案信息化建设实践工作者、高校档案教学科研工作者。经过3 轮的专家问卷，最终专家们对各级评价指标的意见基本一致。

3.2.1 各级评价指标重要程度的评判情况

本文档案信息化建设绩效评价的各级评价指标重要性及相应的量化分值为非常重要（4 分）、重要（3 分）、一般（2 分）、不重要（1分）、极不重要（0分）五个等级。

专家对各级评价指标重要程度判断意见的集中程度可以通过各指标评分值的算术平均值、满分频率和评价等级和来进行测量［7-9］。本文选用算术平均值来测量。算术平均值在此指12 位专家对各项评价指标重要程度的分值平均值，计算公式为mj 为 专家数，Cij 表示第i（i=1，2…，12）个专家对Cj 指标的重要程度给分值）。

经过3 轮问卷，删除了隶属度Ri（Ri=MI/12，其中MI 表示认为评价指标XI是理想的指标专家数［10］，本文将评价指标的重要程度不小于2定位较为理想）小于0.5的各级评价指标，同时对二级及三级评价指标作了优化和调整。最终专家们对各级评价指标评判的重要程度平均值如表1、2、3所示。

从表1、2、3 可看出12 位专家对各评价指标的重要程度评判趋于一致。标准方差反映数据的波动性，标准方差越大表示数据的波动性越大。变差系数则反映评价指标的鉴别力大小，变差系数越大，表明该指标的鉴别力越大［10］。透过表3 的数据可看出，43 项的评价指标的标准方差均小于0.8，33项评价指标的变差系数不小于0.15，各项评价指标的隶属度大于0.5，故可判断12 位专家对各级指标的重要程度评判意见基本趋于一致，9 成以上的评价指标鉴别力强。

3.2.3 评价指标的信度及效度检测

为进一步检验评价指标的信度与效度，运用SPSS 软件对投入、产出、效果三个评价维度所属的评价指标及总体的绩效评价指标进行信度检验，测得上述3 个评价维度所属的评级指标及总体的评价指标的克劳伯克α系数分别为0.6、0.891、0.824、0.925，除了投入绩效小于0.7 外，其它都超过0.7。说明该评价指标体系信度符合要求。与此同时对总体绩效评价指标进行效度检测所得内容效度比（VCR）为0.89，大于0.7，由此可判断最终构建的档案信息化评价指标总体上是可靠有效的［10］。

4 运用层次分析法（AHP）法确定评价指标的权重

评价指标权重是衡量单项指标在整个评价指标体系中的重要性或比重［6］。权重确定的合理与否，直接影响到评价结果的准确性。本文运用层次分析法（AHP）确定评价指标的权重。

层次分析法（AHP）是美国运筹学家、匹兹堡大学教授马斯·塞蒂（T．L．Saaty）提出的一种处理复杂的评价问题中，进行方案比较排序的方法。这是一种典型的定性和定量相结合的评价分析方法，是系统化、层次化的分析方法。广泛应用于多指标的综合评价模型的一种评价方法。在构建评估指标体系的基础上，利用一定的方法对各指标进行预处理，然后构建综合评估模型求得综合评价值，以此对现象总体进行比较、分类和排序的一种统计方法［1］。

表1 专家对一级指标重要程度判断的意见

表2 专家对二级指标的重要性判断意见

表3 专家对三级指标重要程度的判断意见

表4 档案信息化建设绩效评价指标体系

4.1 评价指标权重的确定

按照层次分析法的步骤首先建立递阶结构模型，然后构建两两比较判断矩阵。确定受上层指标（除底层外）支配的同层次指标间的相对重要性比较，接着进行层次单排序及一致性检验，一致性检验通过后再进行层次总排序，最后确定档案信息化建设评价指标的权重，各评价指标的权重如表4所示。

4.2 绩效评价公式

依据构建的档案信息化建设绩效评价指标体系中各指标对总目标的权重与各级指标的评价分值，即可计算出档案信息化建设绩效的最终评价值［8］［9］，具体的计算公式为

公式中G 为档案信息化建设绩效综合评价值，Wi 为第i个评价指标的权重，VCi为三级指标中第i个评价指标的绩效分值，n 为三级指标的个数。

本文中档案信息化建设绩效的评价最终可用公式表示为：G=0.0553VC1+0.0553VC2+0.0277VC3+0.0093Vc4+0.0012VC5+0.0705VC6+0.0286VC7+ 0.004VC8+ 0.0042VC9+0.0009VC10+0.0019VC11+0.0009VC12+0.0042VC13

+ 0.0155VC14+ 0.0333VC15+0.007VC16+0.0032VC17+0.0015VC18+0.0029VC19

+ 0.0007VC20+ 0.0002VC21+0.0004VC22+0.0024VC23+0.0128VC24+0.0056VC25

+ 0.0056VC26+ 0.0012VC27+0.0183VC28+0.030VC29+0.0493VC30+0.0771VC31

+ 0.0493VC32+ 0.0295VC33+0.0119VC34+0.0082VC35+0.024VC36+0.0118VC37

+ 0.003VC38+ 0.0464VC39+0.0009VC40+0.1739VC41+0.0704VC42+0.0287VC43。

5.评价指标体系的实证分析

为检验评价指标体系的实践应用性，在参照浙江省、常德市等地档案信息评估标准以及专家的意见基础上，设计了档案信息化建设绩效评分细则，同时还设计了档案信息化建设的绩效数据收集问卷。基于可比性，选择了6 个同源且档案信息化建设起步时间较为接近的样本档案馆，收集他们2012、2013年档案信息化建设的投入、产出与效果等绩效相关数据，共回收了5 个样本档案馆2012、2013年的数据，其中有效问卷4份，分别来自4个不同的样本档案馆。

运用spss软件分别对4个样本档案馆的2012年、2013年档案信息化建设绩效评价结果及这2年的绩效评价结果平均值进行信度检验（克劳伯克系数），结果分别为0.711、0.707、0.708，均大于0.7。由此说明本文所测得4个样本档案馆的绩效评价结果是可接受的信度水平，从而进一步验证了本文构建的档案信息化建设的评价指标体系的适用性。与此同时评价指标体系存在的不足之处还有待于后续的完善。

［1］李文彬.公共部门绩效评价［M］.武汉：武汉大学出版社，2010.

［2］范伯乃.政府绩效评估［M］.北京：中国人民大学出版社，2011.

［3］冯惠玲.档案学概论［M］.北京：中国人民大学出版社，2001.

［4］国家档案局.全国档案信息化建设纲要［z］.2002-11-25.

［5］2012年杨冬权在全国档案馆（局）会上的重要讲话［EB/OL］http：//www.qldaxxw.gov.cn.

［6］卓越.公共部门绩效评估［M］.北京：中国人民大学出版社，2011.

［7］査先进.信息分析与预测［M］武汉：武汉大学出版社，2006.

［8］李丽燕.我国综合档案馆效益评估指标体系的构建及实证研究［D］.杭州：浙江大学，2010.

［9］刘菁.档案信息化评价指标体系—基于实证和定量方法的分析［D］.杭州：浙江大学，2009.

［10］郑方辉.广东省地方政府整体绩效评价红皮书［M］.广州：华南理工大学出版社，2010.