公安信息化建设项目绩效评估方法研究

高建国

引言：为推进公安信息化建设实效，探索信息化效能评估切实可行的方法，并为今后信息化建设提供导向依据，论文分析了公安信息化绩效评估的现状，在研究相关理论基础上，结合杭州公安科技管理工作的实践与经验，根据公安信息化项目的特点，提出了一种立体化的公安信息化绩效评估模型。该模型融合了定性与定量的评估理论方法，并将模型应用到公安信息化绩效评估中，建立了相應的评估指标体系。以期对公安信息化建设起到一定的促进作用。

进入二十一世纪，公安工作全面跨入信息化时代，全国上下兴起了一股科技强警的浪潮。“金盾工程”建设的顺利完成，有力地支撑了公安中心工作，为全面实现公安工作信息化奠定了坚实基础。公安部、科技部相继开展了科技强警示范城市建设，将公安科技工作水平推向了新的高度，向科技要警力、向科技要战斗力已经成为一种共识。

由于信息化建设自身的复杂性和广泛性，要建立合理而优秀的信息系统并非易事。因此，在建设信息系统的同时，需要加强对信息系统的评估，以提高公安信息化建设的效率。而且，国家也一直要求强化对信息化工程项目的系统运行效率和使用效果等情况进行后评价。建立一个适合杭州公安当前信息化应用环境的信息化项目绩效考核体系的工作已刻不容缓。但目前我国各领域信息化项目评估基本停留在宏观层面上，深入行业的信息化评估体系研究较少。

一、研究概述

（一）研究目的

为加强杭州市公安局信息化项目的应用管理，监控项目的运行状况、运行效果和发展前景，提高项目建设的总体效益，完善项目成效与项目规划的耦合度。力争通过评估体系的搭建，进一步规范和引导项目申报工作的科学性和合理性，督促项目实施单位加强项目建设的自主管理和应用的普及及推广。

（二）研究思路

在研究现有信息化评估方法的基础上，设计一个多维度立体化层次评估体系。该体系能够结合主观和客观因素，并从多个角度反映系统的绩效情况。

具体方法是采用决策论中“层次结构分析”的思想，遵循定性分析→定量排序→评价的思路，建立如下设计流程，如图1所示：

图1 杭州公安信息化建设项目绩效评估体系研究方法论

1、根据杭州公安信息化应用的过程、对象，搜集评价素材，提出评估服务的目标，并分析影响评估的因素。

2、分析杭州公安信息化应用所设计的内容和评估指标，提出评估应用的目标，并分析影响评估的因素。然后根据各指标之间的关系，确定评估层次结构体系，建立评价模型。

3、科学地确定各评价指标在系统中的相对重要性或权重，并运算求解，研究模型中某些难以精确定量的指标在具体应用过程中的量化问题，确定评估层次结构体系。

4、根据计算的结果进行排序，得出评价指标的重要性排序，与实际工作进行分析，找出差距，及时调整。

（三）研究原则

1、需求导向性

确定评估重点和相关细则时充分考虑项目的具体需求。

2、针对性

借鉴国内外公安信息化评估指标及其他行业信息化评估指标，针对杭州公安信息化应用的特点和发展情况，建立能适应杭州公安信息化应用水平的体系。

3、科学性

选择科学的分析及评价方法，实现多维度、多层次客观评价。

4、定量与定性相结合

虽然定量数据比定性数据更精确，可信度更高，但公安信息化应用评估中有些指标是无法直接统计的，需要用定性指标来判断。因此，只有将定量方法和定性方法组合起来，才能对公安信息化应用绩效进行客观、科学、全面的评价。

5、可操作性

指标的选取应该具有实用性和可行性，一是指标要简化，方法要便捷；二是必须考虑其指标值的测量和数据搜集工作的可行性，在确定指标时劲量可能使用客观指标可行的统计指标。

二、评估体系构建

对目前杭州公安信息化应用情况进行深入了解和实地调研之后，基于评价指标构建的基本原则，依据信息化评价的相关理论基础，以及专业知识和实际经验，构建了杭州公安信息化应用评估体系的基本框架，并在此基础之上选取了灵敏度高、代表性好、易获取的指标组成总的评价指标。从而形成杭州公安信息化项目绩效评估体系。具体如图2所示：

图2 杭州公安信息化项目绩效评估体系

该评估体系包括评估主体、评估客体、评估思路、评估模型、评估流程和评估报告。首先确定评估主体和评估客体，然后在评估目标的指导下，形成科学合理的评估思路，并沿着评估思路构建评估模型。评估模型又包括评估方法、评估基准、评估指标、评估数据，遵循既定的评估流程，运用评估模型对评估的客体进行评估，最后得出评估结果，形成评估报告。整个评估过程不是“一次性”的项目，而是伴随着信息化工作在全年动态展开的。在评估过程中充分运用“戴明环”质量管理意念，达到PDCA循环中的“监控和评估”目的，从而实现对信息化项目全生命周期的闭环管理和自我良性循环。同时，该评估体系自身也是个“小循环”，也需要根据评估工作经验总结，进行持续改进。

（一）评估主体与客体

评估主体是指主要接受委托施予评估的组织、个人或联合工作组。评估客体指的是评估的对象。其中评估主体即“谁评估”在整个公安信息化项目绩效评估体系中尤为重要。其原因在于目前信息化绩效评估在我国国情下是项较为敏感的工作，绩效评估主体必须具备相应权力且能够影响被评估者的行为向评估主体期望的方向调整，这对评估工作的顺利开展和评估结果的应用及跟踪改进起到很大的作用。杭州公安信息化项目绩效评估体系评估主体与客体分别为：

1.评估主体

由市局科通局组织成立项目评估小组，或委托具有相应资质的评估机构对项目进行评估。

2.评估客体

本体系适用于投资额10万元及以上并通过验收后正式投入使用运行半年以上的信息系统项目（只针对信息系统建设）。

（二）评估模型

评估模型是整个评估体系的主体部分，而评估方法、评估基准、评估数据和评估指标则是评估模型最核心的四要素。

1.评估方法

在评估中，不同的评估方法将对评估结果产生不同的影响。目前国内外关于多指标综合评估的方法很多，根据权重确定方法的不同，这些方法大致可分为两类：一类是主观赋权法，如层次分析法、德尔菲法、综合评估法等，多是采用综合咨询评分的定性方法，这类方法因受到人为因素的影响，往往会夸大或降低了某些指标的作用，致使排序的结果不能完全真实地反映事物间的现实关系。另一类是客观赋权法，即根据各指标间的相关关系或各项指标值的变异程度来确定权数，避免了人为因素带来的偏差。如主成分分析法、因子分析法、DEA方法等。其他一些评估方法中权重确定基本上都离不开这两种思路。

指标的权重是指该指标在本层指标中所占的相对重要程度。权重对评估结果会产生较大的影响，权重确立的合理性与专家的判断水平直接相关。因此， 杭州公安信息化项目绩效评估在进行权重判定时采用：合理配置的专家组成结构，包括杭州公安高、中、低层管理人员、技术人员、也有第三方专业机构专家等，分别能够针对各自熟悉的领域对公安信息化项目绩效进行客观准确地判断。这样，指标的权重才能体现不同类型信息系统绩效的特点，打分结果才是科学合理的。

2.评估基准

杭州公安信息化项目绩效评估基准是准确衡量绩效的尺度，基准的正确选择对公安信息化项目绩效评估结果具有较大影响，评估基准的制订既是公安信息化项目绩效评估体系建立的主要环节，也是公安信息化项目绩效评估具体工作所面临的一个重要工作步骤。

基准是正在进行的系统化的方法论，用于识别、度量、比较自身在某一时期内的工作过程或职能，或与一个或其他多个组织进行比较，以实现其内部的改善。基准是绩效评估的参考点。通过与参考点的对照可以认清单位自身所处的位置，从而识别前进的方向与目标。根据基准的参考点划分为内部基准和外部基准。

内部基准是指以某一时间段的绩效情况作为参考点，反映出组织内部的绩效随时间变化的情况。内部基准的存在前提是必须以历史数据的存在为依据，在进行过数据评估之后，单位可以选取自己的内部数据作为基准，进行纵向比较与衡量。包括计划基准、经验基准和历史基准等。

外部基准是指该单位与外部组织的运营绩效情况进行比较的参照物。一种是与同行业的整体最佳实践者进行比较，以找出差距。另一种是只瞄准特殊的比照对象，进行比较，确定该单位目前所处的行业地位，了解当前该领域的最佳实践情况，如何对照最佳实践过程修正自身等。

要进行公安信息化项目绩效评估，除要建立科学、合理、规范的指标体系外，必须要对公安信息化项目绩效评估的基准进行总体规划设计，研究指标与基准的对应关系，研究不同评估客体的基准选择，通过各种渠道广泛收集整理各种分类基准数据，在条件成熟时要研究建立绩效评估基准数据库。

基准并非是固定的和一成不变的，会随着经济的发展和客观环境的变化不断变化，因此，如何建立和维护更新基准库也是一项非常重要的工作。一方面可以在实践过程中根据实际情况对基准库进行补充和修正；另一方面可以随着相关行业管理要求的推出，不断纳入新的基准指标，使基准库随着应用的累积而逐渐成熟。

3.评估指标

评估指标设置

评估指标是评估模型的骨架。科学建立评估指标体系是决定评估工作成功与否的关键。如果评估指标选择不当，或者缺少关键指标，则会影响评估结论的精度，甚至给被评单位以错误的导向信号。因此，公安信息化项目绩效评估指标需要基于发达国家公安信息化项目绩效评估实践，遵循既定的基本原则，结合委托方具体需求，科学设计评估指标体系，并持续完善。

（1）业务需求的实现比例

评价项目建设任务完成情况，即建设应用功能和需求规划功能的契合度。

项目评估由项目建设实施单位（或用户单位）对照项目实施前的完整业务需求和项目建成后的功能实现情况进行自评，自评主体原则上由项目直接参与人员构成，人数在3-5人之间，每人根据项目应用功能的实际完成情況按百分比分别打分。

（2）用户使用率

评价项目运行后的用户使用情况，即实际用户数和访问量与规划情况的对比。

项目立项前，申报单位须申报项目实施后的“用户对象”和“潜在用户数”。项目评价时由根据系统“实际用户数”与潜在用户数之商确定。

（3）解决具体问题的时效

评价项目运行在公安工作中产生了的实际效益。

项目评价由第三方根据项目实施单位（或用户单位）在评价时上报的应用成效案例，综合数量和质量两方面的情况，邀请3-5名应用对象对综合成效分别进行百分比评价。

（4）用户综合评价

评价用户对项目的认可度。

项目评估由第三方从“潜在用户群”中随机选择5-10名用户，采用电话采访的形式，由受访用户对项目认可度分别进行百分比评价。

（5）异常因素情况

评价项目能够实施的外部环境。即是否存在着因需求研究不充分、技术架构不合理以及与上级精神不相符等因素导致项目无法继续推进开发或无法部署应用的情况。

本项内容对项目评估结果具有一票否决权，即如存在上述情况，可认定项目评价结果为不合格。

指标权重设定

指标权重的确定办法

使用调查表格，拟邀请20位专家对3个一级指标的相对重要性及其以下8个二级指标、n个三级指标的重要性进行判断，调查结果收集回来后，首先采用层次分析法求出每个专家给3个一级指标的权重，再进行算术平均来确定3个一级指标的最后权重。具体操作步骤如下：

用层次分析法求解单个专家所赋的权重

（1）建立判断矩阵

由20专家对3个一级指标的相对重要性进行两两比较，用判断尺度进行判断，以确定矩阵元素。判断尺度的定义见下表

表1 判断尺度定义表

判断尺度 定义

1 Ci与Cj的影响相同

3 Ci比Cj影响稍强

5 Ci比Cj影响强

7 Ci比Cj影响明显地强

9 Ci比Cj影响绝对地强

2，4，6，8 Ci与Cj的影响之比在上述两相邻等级之间

1，1/2…1/9 Ci与Cj的影响之比为上述aij的相反数

（2）填写判断表并统计结果

20位专家按上表的判断尺度填写判断表，得到20份如下表所示的权值因子判断表。

表2 权值因子判断表

序号 评 价

指 标 评 价 指 标

指标⑴ 指标⑵ 指标⑶ … 指标（j） … 指标（n）

1 指标⑴ 1 a12 a13 … a1 j … a1n

2 指标⑵ a21 1 a23 … a2j … a2n

3 指标⑶ a31 a32 1 … a3j … a3n

… … … … … … … … …

I 指标（i） ai 1 ai 2 ai 3 … 1 … ai n

… … … … … … … 1 …

N 指标（n） an1 an2 an3 … an j … 1

将每位专家给出的判断表按1-9标度建立正互反判断矩阵如下，

由线性代数“根法”计算出判断矩阵的特征向量，即

（3）确定评估权重集： ，其中 由公式2决定且有

（4）一致性检验

因为共有3个一级指标，所以必须进行一致性检验，且因为n=3，由下表可知，R.I.=0.58。

表3 R.I.表

N 2 3 4 5 6 7 8 9

R.I. 0.00 0.58 0.90 1.12 1.24 1.32 1.41 1.45

根據判断矩阵的一致性检验方法，一致性指标为C.I.且C.I.越小，则说明一致性越大。由于一致偏离可由随机因素引起，所以在检验判断矩阵的一致性时，将C.I与平均随机一致性指标R.I.进行比较，得出检验数C.R即：

由公式（4-4）、公式（4-5）可求出C.I.的值，代入公式（4-3）即可知其C.R.之值，本方案中20位专家给出的判断矩阵，需要检验其C.R.以判断矩阵的一致性，评估结果是否可靠。

确定各个指标的最终权重

应用层次分析法求出每位专家给3个一级指标所赋的权重后，将其结果代入下表进行综合平均。

表4 专家打分法确定权重

表中bij表示第j位专家对第i项指标的权重赋值（已经通过层次分析法得出），ai为第i项指标的最后权重，且本方案中n=3，m=20。

经过计算，最终得出3个一级指标的权重集为：

A=（a1，a2，a3）

二级及以下级别指标及其权重的确定

（1）为了分析的方便，对二级指标的确定过程进行一般性描述，在下列分析过程中我们采用指标1、指标2、指标n的形式来代表某个一级指标下的n个二级指标，并假设专家数为m位，对m位专家打分的结果进行数学分析后即可确定某个一级指标下二级指标的最终个数（注：剔除重要性较低、专家意见不一致较严重的指标，一般可以用于二级指标及以下级别的具体指标项的抽取确定）。具体过程如下：

在确定二级指标时，使用如下调查表：

表5 调查结果M位专家的原始打分结果综合表

指 标 专家打分结果

1 2 3 4 ┅ m-1 m

指标1 B11 b12 b13 b14 ┅ b1m-1 b1 m

指标2 B21 b22 b23 b24 ┅ b2 m -1 b2 m

指标3 B31 b32 b33 b34 ┅ b3 m -1 b3 m

指标4 B41 b42 b43 b44 ┅ b4 m -1 b4 m

┅ ┅ ┅ ┅ ┅ ┅ ┅ ┅

指标N-1 bN-11 bN-12 bN-13 b N-14 ┅ bN-1 m -1 bN-1 m

指标N bN1 bN2 bN3 bN4 ┅ bN m -1 bN m

表6 调查结果进行总体均值和总体方差统计分析表

指 标 总体均值 总体标准差 重要性排序

指标1 ?1 δ1 1

指标2 ?2 δ2 2

指标3 ?3 δ3 3

指标4 ?4 δ4 4

┅ ┅ ┅ ┅

指标N—1 ?N-1 δN-1 N-1

指标N ?N δN N

在处理过程中将均值位于最后几位且总体标准差明显高于其它几个指标的指标在最后的统计分析过程中剔除，而选择均值较高、总体标准差较低的指标作为最后确定的指标。因为均值高低说明了专家们认为它们的重要性大小，而总体标准差大小则表明专家们对它们重要与否的意见统一程度，是否存在较大的差异。在实际应用中，按上述方法可以剔除掉评估指标体系中的部分二级指标。

在确定二级指标后，进行第二次调查，请20位专家直接给确定后的二级指标的权重赋值，然后将打分结果代入表5处理后得出3类二级指标的权重集：

A1=（A11，A12）

A2=（A21，A22，A23，A24，A25）

A3=（A31）

三级指标的确定过程与以上过程相同，。

A11=（A111，A112，A113，A114）

A12=（A121，A122，A123，A124，……）

A31=（A311，A312，A313）

指标权重确定的专家选择

在确定指标体系的构成及其权重的分配时采用专家打分法（德尔菲法）和层次分析法（AHP法），这两种方法本质上仍然属于主观赋权法，存在着主观赋权法所固有的缺点。

本办法中拟选择邀请20位专家，在实际的有针对性的具体指标权重确定过程中，可以在更高层次上选择更权威、更有代表性、更多的专家来确定相关指标及其权重，从而使该指标体系更加趋于合理。

（三）评估数据

评估数据是评估结果产生的源泉，有了评估数据才使得评估变得有意义。数据分为定量数据和定性数据两种，在应用评估模型时通常要对数据进行科学处理。

1.定性指标的处理

定性数据的处理通常采用调查问卷法及实地检查等方法。为避免主观判断引起的失误，增加定性指标的准确性，可以采用隶属度赋值方法，将定性指标分成几个档次，分别对应相应分值。对于每一档次的评分，制定评分依据。评分依据是进行客观评估的约束条件，能够在一定程度上克服单纯主观评估的缺陷，使得评估人员在评分时具有一定的参考标准。

2.定量指标的处理

定量指标的数据值按照指标释义和各单位具体情况进行收集。由于各项定量指标的内容、量纲各不相同，直接综合在一起十分困难。因此，需要将这些指标进行无量纲处理，将定量指标原值转化为评估值。

（四）评估报告和结果运用

在杭州公安信息化项目绩效评估工作完成后，应该形成评估报告。评估报告是由评估工作组完成全部评估工作后，对公安信息化项目绩效状况和业务目标实现情况等进行对比分析，客观判断形成的综合结论的文本文件。

评估报告一般由正文和附录两部分组成。报告正文的主要内容包括基本情况描述、主要各项绩效指标对比分析、评估结论、发展趋势预测、评估依据和评估方法等。报告附录包括有关评估工作的基础文件和数据资料。评估报告要维护被评估单位的正当业务秘密。

评估结果应该反馈给决策部门和被评单位，作为公安信息化项目投资决策、管理改善和绩效监管的参考依据。同时也可为其他相关单位提供信息咨询和管理参考。

三、评估体系研究成果

经上述研究后，得出如下表所示绩效评估办法：

表7 杭州公安信息化建設项目绩效评估办法

一级

指标 二级

指标 评价内容 评价方法 评价标准 被评价单位需提供材料 评价获取信息 分值

业务需求实现比例（20%） 需求设定情况 项目立项文件与项目合同关于需求设定的一致性 核对立项文件与项目合同关于需求描述是否一致，如存在不一致则需提供具体情况说明或者相应变更记录 建设需求一致得满分，如不一致则根据提供的需求变更文档材料酌情打分 立项文件（项目建议书、可研报告、立项批复文件）、招投标文件、合同 10

目标完成率 目标完成率=目标实际完成的功能模块数/预定完成的功能模块数*100%。 目标实际完成的功能模块数和预定完成的功能模块数根据项目的验收报告及合同的建设目标来确定 全部完成得满分，完成率≥90%得8分，90%≥完成率≥80%得6分，80%≥完成率≥70%得4分，完成率≤70%不得分 项目合同、验收报告 系统功能模块实际建设数量 10

用户使用率

（30%） 系统开户比例 评价系统实际开户情况 开户率=开户数/目标用户数 开户率≥90%得满分，90%≥开户率≥70%得3分，70%≥开户率≥60%得1分，开户率≤60%不得分 目标用户数量 实际开户数量 5

系统登陆率 评价系统用户登陆情况 系统登陆率=实际登陆人数/赋予用户权限的人数 登陆率≥90%得满分，90%≥登陆率≥70%得3分，70%≥登陆率≥60%得1分，登陆率≤60%不得分 注册用户数量、登录次数大于0的用户数量 5

目标对象活跃率 评价系统活跃用户的比例 活跃率=活跃用户数（按登陆次数）/注册用户数 活跃率≥90%得满分，90%≥活跃率≥70%得6分，70%≥活跃率≥60%得2分，活跃率≤60%不得分 注册用户数量、活跃用户数量（活跃用户按登陆次数统计划分，由各信息系统业务特征定义） 10

系统登录频率 评价系统人均登陆频率 登录频率=登录次数/（单位时间*注册用户数） 具体登陆频率根据使用单位实际工作要求进行评价 系统单位时间内登录次数、注册用户数 5

功能使用率 评价系统功能的使用情况 功能使用率=已使用功能模块数量/开发模块数量 使用率≥90%得满分，90%≥使用率≥70%得3分，70%≥使用率≥60%得1分，使用率≤60%不得分 开发功能模块数量、已用功能模块数量 5

解决具体问题的实效

（25%） 业务能力的影响 评价系统的上线运行，是否新增或提升了业务能力 申报单位根据前述三个方面编写并上报系统应用成效报告（除文字描述外，要求提供实际数据和案例），评价组专家根据报告材料进行打分评价，最终取平均分 满分为10分，专家评价分=评价总分/专家人数 系统应用成效报告 10

整体工作效率的影响 评价系统的上线运行，是否提高了整体工作效率 满分为10分，专家评价分=评价总分/专家人数 10

行政成本的影响 评价系统的上线运行，是否减少了行政成本 满分为5分，专家评价分=评价总分/专家人数 5

用户综合评价

（25%） 用户认可度 了解用户对系统的日常使用情况和体验反馈 按照地区或警种，随机抽取5-10名受访用户进行问卷调查。问卷调查满分为100分（问卷调查详见附件一） 根据调查问卷汇总，用户评价分=（所有问卷调查得分总值/N）*25% （N为受访用户数） 问卷调查表 25

异常因素情况 影响项目异常情况 评价项目能够实施的外部环境 评价是否存在因需求研究不充分、技术架构不合理以及上级精神不相符等因素导致项目无法继续推进开发或无法部署应用的情况 评估发现前述任一情况即认定项目评价结果为不合格 调研访谈信息

评价结果分为优秀（86-100）、良好（71-85）、合格（60-70）和不合格（60以下）四个档次。

该评估办法经“杭州市公安局视频资源综合应用平台项目”等项目实际评估测试，应用效果良好。为有效解决杭州公安信息化应用系统建设绩效评估工作无法客观、量化开展提供了有效的实践探索。具有该领域推广的应用价值。

参考文献

[1]孟宪文.公安信息学[M].中国人民公安大学出版社，2006.

[2]郝晓玲，孙强.信息化绩效评价：框架、实践与案例分析[M].北京清华大学出版社，2005.

[3]张俭等.公安情报标准体系建设初探[J].中国人民公安大学学报（自然科学版），2009（1）.

[4]王靖亚，黄明，巩荣.公安信息化信息安全指标体系研究[J].中国人民公安大学学报（自然科学版），2008（4）.

（作者单位：杭州市公安局）