面向不同人群的林业网站绩效评估差异分析

董 晨，吴保国＋，靳爱仙，冯峻极，顾红波

（1.北京林业大学 信息学院，北京100083；2.国家林业局 信息化管理办公室，北京100714）

0 引 言

为了全面了解和掌握林业网站建设的情况，建立网站评估指标体系是一项重要工作。国内外目前在建立绩效指标体系的研究中有多种形式，其中，具有影响力的有：埃森哲公司提出的服务成熟度和客户关系管理成熟度来衡量政府绩效的方法［1］；美国公共行政学会 （ASPA）制定的电子政务绩效评估的指标体系，体系包括政府网站状况、基础设置状况和人力资源状况［2］；新加坡南洋理工大学对新加坡政府门户网站的网上服务指标进行了细分设计，构建了专门用于评估新加坡电子政务绩效水平的评估体系［3］；Papadomichelaki等构建了政府网站信息服务评估模型，通过对希腊政府网站评估活动，对模型进行验证和确认［4］；在欧洲，Francisco等通过调查问卷的形式，构建了政府门户网站评价指标体系，该体系主要包括网站信息可获取性、导航功能、内容质量、运行速度等重要因子［5］；在我国，中国软件评测中心与中国信息化绩效评估中心制定了中国政府网站绩效评估指标体系，该体系在每年的评估活动中不断进行完善［6］；电子政务思想库网站发布文件 《全国十大城市政府门户网站的初步调查与比较》，开始逐步尝试使用国际性的电子政务模型对政府网站予以初步的测评等［7］。

然而，网站评估工作中，指标设定是难度最大，最受争议的环节，其主要原因有两个：①网站评估指标的建立基本都是根据个人经验或者借鉴其它网站评估指标所得，具有较强的主观性，同时，我国在网站评估指标制定方面也没有形成统一的标准；②目前我国的网站评估活动，尤其是政府网站评估，基本都是政府自发举行的，参与网站评估的人群通常是政府的相关人员，没有面向社会其它群体。

本研究构建了林业网站绩效评估指标体系，组织3类不同的人群对我国34个省 （区）市林业厅 （局）网站进行了评估，以选取不同类型的评估者为切入点，分析不同人群评估结果的差异性，从而发现网站评估工作中存在的问题。

1 林业网站绩效评估指标体系建立

本研究在全国政府网站绩效评估指标体系［8］、全国各地行政单位网站评估指标体［9］系基础上，借鉴国内外典型的网站评估指标体系［10］，通过采用德尔菲法和层次分析法制定了我国省区市林业厅 （局）网站评估指标体系。

1.1 网站绩效评估指标内容确定

研究采用德尔菲法 （Delphi method）［11］确定指标体系中的各项内容。在运用德尔菲法的结果判定中，采用专家意见的集中程度（式 （1））、专家意见的协调程度 （式 （2））和专家参与调查的程度［8］来证明判定的可信程度。在应用德尔菲法时，若上述三方面的指标均良好，则整个结果比较可信

式 （1）是专家意见的集中程度的数学表达式，其中，Kj代表满分频率，它表示对第j个方案打满分的专家人数与对第j个方案参加评估的专家人数之比

式 （2）是专家意见协调程度的数学表达式，其中，σj表示专家对j方案评分的标准差，Mj表示j方案的算术平均值。

专家参与调查程度则采用专家人数来说明。

研究征集了20名专家 （德尔菲法样本数中规定最低15人）对指标体系雏形进行判断和意见采集，经过三轮的专家意见征集、指标内容修改，在最终一轮中得到最低Kj值为97.5%，最大意见协调程度CVk＝0.2，结果可信，从而确定了省区市林业厅局网站评估指标，其中一级指标5个，二级指标12项，三级指标36项，见表1。

1.2 指标权重确定

指标权重采用层次分析法 （analytic hierarchy process）［12］制定。权重的制定按照以下步骤进行：

（1）建立指标层次分析模型。研究中由于指标体系中二、三级指标内容较多，不便于两两比较，因此指标权重只赋予一级指标权重。

（2）构造判断矩阵。研究选取了具有相同权重的5 名专家对一级指标进行两两判断，共收集了5组数据。

（3）层次排序及其一致性检验。采用和积法［9］对每个专家所判断的权重结果进行排序，并对判断矩阵的最大特征根进行一致性检验 （CR 值）。5 名专家的层次排序及一致性检验结果见表2。各专家的CR 系数均小于0.1，因此5个判断矩阵都具有满意的一致性。通过各专家排序向量加权几何平均，得出各一级指标的权重平均值。

实验经过三轮的专家咨询以及利用层次分析法进行指标权重赋予，最终确定了省区市林业厅局网站评估指标体系。

2 指标评测结果分析

2.1 评估过程与评测结果

研究利用上面制定的指标体系，选择了除了西藏自治区以外的全国30个省区市，4个林业森工集团共计34个单位的林业政府门户网站评估。为了从不同社会角度反映我国各省区市林业厅局网站的建设情况，结合样本量的经验判断［13］，研究选取了国家林业局信息技术专家、信息化方向研究生和无林业专业背景的公众三类不同性质的人群作为评估专家，每类选择10人。其中，国家林业局信息技术专家人群是政府内部人员，代表林业网站建设的宏观规划和管理者。信息化方向研究生人群对与网站开发相关的信息技术了解程度较深，代表了IT 技术人员。无林业专业背景的公众不具备林业知识和高深的信息技术水平，代表了社会人士。

评估者参考已建立的指标体系，访问各个省区市林业厅局网站，根据三级指标内容对网站进行综合评估打分，将三级指标分值汇总到一级指标下，结合根据每个一级指标所分配的权重，计算出省区市林业网站建设评估分值。

表1 省 （区）市林业厅 （局）网站评估指标体系

为了更好地考察网站评估指标体系的合理性，将三类人群评估差异情况进行一个系统的分析。

2.2 组内差异分析

2.2.1 国家林业局林业信息技术专家组评分结果分析

将10名林业信息技术专家对各个林业网站的得分情况绘制成趋势线，如图1所示。由图1 可知，除了1 名专家对内蒙古森工集团和龙江森工的两个网站的得分走势与其它9名专家相反之外，10名专家对34个网站的得分走势几乎接近一致，说明10名林业信息技术专家对指标体系认知程度基本一致。

从各项一级指标的角度分析，经过各指标的加权、平均计算，求得每位专家对省区市林业厅局网站在一级指标和总分上得分率 （每位专家对网站在一级指标和总分上得分的平均分占相应指标总分的比例），见表3。从表3中得知，10名专家的总平均得分率为50.63%，说明信息技术专家对34个网站的打分情况普遍较低。在五项一级指标中，“在线服务”指标得分率最高为60.82%，说明专家对林业网站的在线服务功能相对较满意，而 “特色服务”的平均得分率仅35.45%，说明各林业网站在特色功能建设、技术应用情况等较为欠缺。在各专家的评分比较中，8 号专家给出总分值最高，得分率为52.18%，6号专家给出最低分，得分率为48.45%。最低分和最高分得分率跨度差为3.73个百分比，10名专家的平均评估结果差别不大。

为了科学衡量10名专家在各一级指标中得分的差异，采用计算得分率标准差来进行比较。计算了总平均分和5个一级指标的得分率的标准差，10名专家总平均分的标准差为0.0138，在 “信息公开”指标上的得分差异较小，仅为0.0189，而 “公众参与”指标的标准差相对最大，为0.0545，“在线服务”、 “网站设计与管理”和 “特色服务”指标标准差介于两者之间。从标准差值说明，10名信息技术专家对网站的信息公开、主动公开和依申请公开等信息公开项目的认知度较为一致，而相对 “公众参与”指标，专家对网站的互动交流、意见征集、访谈直播的建设情况的看法稍微些出入，说明公众参与指标需要更加完善。但所有的一级指标得分率的标准差都在0.06以下，标准差很小，再次证实了专家内部对网站及指标体系的认知程度近似于一致，没有出现较大分歧。

2.2.2 信息化研究生评分结果差异分析

从信息化研究生评估走势图 （图2）中可知，10 名信息专业研究生对网站的评估结果总体趋势大体一致，也存在一些较小的差异，经数据查看得知1号研究生对网站的打分有明显的差异，最高分接近满分，而最低分在10分以下，5号研究生对网站的打分普遍偏低，其余的研究生打分处在一个平均水平。从整体得分走势图说明信息化研究生内部对网站的总体认知程度差别不大。

信息化研究生的一级指标得分率见表4，10名研究生对网站评估的总体得分率为68.78%，分值较高，10 名研究生评估分数跨度为9.90%。各一级指标中，“信息公开”指标的总得分率较高，为77.77%，网站设计与管理的得分率最低，为52.96%。

表2 5名专家判断矩阵排序及一致性检验结果

图1 林业信息技术专家得分走势

表3 10名林业信息技术专家一级指标得分率与标准差

图2 信息研究生得分走势

表4 10名信息研究生一级指标得分率和标准差

从总平均分和各项指标的得分率标准差来看，平均分标准差0.0434，指标 “信息公开”、“在线服务”的标准差相对较小，“公众参与”和 “特色服务”的得分情况差异略大，“网站设计与管理”指标的得分率标准差最大。由表4可知，1号研究生在 “网站设计与管理”指标的平均得分率为75.74%，而5号专家的得分率只有39.8%，说明两位研究生对该指标的理解存在一定的分歧，从研究生的得分率标准差来看，以标准差值0.06为界， “特色服务”、 “公众参与”和“网站设计与管理”指标存在完善的必要性。

2.2.3 无林业专业背景的公众评分结果分析

从图3所知，无林业专业背景的公众对林业网站的评估结果趋势尽管较为一致，但在局部地区，如华北地区、西南地区和西北地区的林业网站评估结果，10名公众的打分情况呈现出较为不规则状态，相对于林业技术专家和信息化研究生，无林业专业背景的公众则对网站建设的理解各有所求。

图3 无林业专业背景的公众得分走势

在公众对林业网站的评估结果中，各林业网站的总体平均得分率59.99%。10名公众的各自评分值分布较均匀，但跨度较大，最高平均得分率为10号公众的70.17%，最低为9号公众的45.47%分，两者差值达到了24.7%，说明2位评估者对指标的理解分歧较大。在各项一级指标中，“公众参与”指标得分率普遍较低， “信息公开”指标得分率较高，其余在两者之间，详见表5。

从公众的得分率标准差来看，较专家和研究生而言，公众的总平均分标准差最大，为0.0760，指标 “信息公开”和 “特色服务”得分率标准差最大，通过访谈得知，公众对政府网站的信息公开情况和网站特色功能建设、技术应用情况政府技能不甚了解，因此得分差别较大，同时，其余三项一级指标的标准差与其它两类评估者相比，存在差异较大的现象。因此，对于无林业专业背景的公众而言，网站的评估结果更加倾向于个人直觉的判断，具有较大的主观性。

经过三类人群的组内评估差异分析得知，10名林业技术专家评估结果大体一致，各项一级指标的标准差较小，说明专家内部对指标的认知程度和衡量网站建设的角度较统一。而10名研究生对网站的总体建设水平评估结果大体相同，但存在个别评估者对网站评分差值大的现象、同时在“网站设计与管理”、 “特色服务”及 “公众参与”指标的理解存在一定的差异。10名公众的评分标准则更加受到个人主观的影响，总体得分和一级指标都存在差异较大的现象。

表5 10名无林业知识背景的公众一级指标得分率

2.3 组间差异分析

2.3.1 网站总体得分差异

图4反映的是三类评估者在各个单位评估总分上的垂直分布情况，从图中可以看出，三类人群对各个省区市林业网站评估结果的趋势走向大体一致，东南部地区的林业网站建设优于中西部地区。在三类评估人群中，林业信息技术专家打分最低，研究生打分大致偏高，公众的打分位于两者之间。

图4 林业厅 （局）网站评估总分垂直线

将三类人群对每个林业网站的平均评估结果作一个频数分析，得到的结果见表6，从标准差和全距两个指标的角度分析，研究生所评估的34个林业网站建设水平的离散程度最大，说明研究生评估结果两极分化相对较严重。离散程度相对较小的是无林业知识背景的公众，其标准差和全距的数值为三类人群中的最小值。专家和公众的评估结果的偏度大于零，说明该两类人群的评估结果呈右偏分布，且公众的偏斜度更大 （0.666＞0.197），说明该两类人群的评估结果中，更多的林业网站得分低于平均水平，公众的评估结果更明显，而在研究生的评估结果中，其偏度值小于零，有更多的网站得分高于平均值，这一现象也可以通过中值指标体现。此外，三类人群的评估结果峰度值均小于零，数据分布较正态分布而言，更加平缓，由此可见三类人群的网站评估的分数分布都较均匀。

表6 林业厅 （局）网站评估结果频数分布统计

2.3.2 一级指标得分差异

图5显示了三类人群对林业网站评估的一级指标得分率 （该得分率为每类人群在各项一级指标的平均得分与指标项总分的比率）。从图中看出，三类人群的评估结果在信息公开、公众参与和特色服务3个指标差异较大，在线服务指标差异最小，网站设计与管理指标其次。

表7和表8分别是三类评估者各项一级指标评估结果的相关性统计和三类评估者各项一级指标信度分析统计结果，现分别各一级指标对指标平均得分率、相关性和信度分析结果进行分析。

（1）在信息公开。在三类人群对信息公开标项的平均得分率中，其中林业信息技术专家打分较低，仅为48.65%，公众其次，得分率66.15%，信息化研究生在该指标上的得分率高出了29.12个百分点。

为了说明三类数据的可靠性，对三类评估者对34个网站在信息公开指标所得的分数值，使用α模型，F检验，进行信度分析，在检验显著的情况下，林业专家和公众在信息公开指标上的相关性高于与信息化研究生之间的评分相关性 （0.921＞0.682），说明了在各个单位的得分中，信息化研究生的评估结果与其他两类人较为不同。以Alpha信度系数0.5为界，从表8中得知三类数据的Alpha信度系数为0.905，信度系数大于0.5，说明总体上三类人群的评估结果是合理的。但无论是从校正的项总计相关性和多相关性的平方两个指标的值来看，信息化研究生的系数值均小于其他两类人，从剔除的信度系数来看，剔除研究生的评估结果后的Alpha 值大于总体的Alpha值，结合表8的结果，可以从标准差的差异和访问每类评估者得出，研究生认为只要有指标项中提出的信息公开内容，网站就能得到相应的分数，但专家除了查阅网站是否存在相应的公开内容以外，还关注内容的质量、更新情况等。从信度分析的结果说明，研究生的评估结果与其他两类人群的评估结果有较大的偏离。以上分析说明了三类人群对信息公开指标的理解程度具有较大差异，在指标完善上，应该更加详细化或加上相应的指标说明。

（2）在线服务。在图5所示的在线服务指标的平均得分率中，林业专家和公众的得分率值接近，分别为60.82%和60.89%，研究生得分率略高，为65.79%，最大值和最小值相差4.97个百分点。

从相关性分析中得出，信息化研究生的评估结果与公众的评估结果相关性最低，而通过信度分析表明，三类数据的Alpha信度系数为0.778，大于0.5，总体上三类人群的评估结果具有合理性，但信息化研究生在校正的项总计相关性和多相关性的平方数据处于最低值，且剔除研究生的评估结果后的Alpha值大于总体的Alpha值，因此信息化研究生的评估结果具有较低的相关性，评估结果需要进一步审核。

从以上分析得知，三类人群在在线服务指标上的得分差异较小，说明三类人群在该指标项上的认知程度一致性较高，该指标相对较完善，但研究生的评估结果依然与其他两类人群的评估结果有所偏离。

图5 一级指标平均得分率

表7 三类评估者各项一级指标评估结果相关性

表8 三类评估者各项一级指标信度分析统计量

（3）公众参与。在公众参与指标中，研究生给予的分值最高，得分率为61.31%，公众给了最低分，得分率为47.90%，两者相差13.41个百分点，而专家的得分率位于两者之间。

经过信度分析可知，与前面两个指标相比，三类评估者在公众参与指标的评估结果的差异性相对较大，研究生和公众的相关性指标仅为0.462，总体Alpha信度系数数据大于0.5，尽管说明总体上三类人群的评估结果具有合理性，但校正的项总计相关性和多相关性的平方数据均低于前面两项指标，尤其是研究生的评估结果，剔除后的Alpha值大于总体的Alpha值。

三类人群对公众参与指标的评估结果存在较大的差异，经过实际的访谈得知，研究生的评估更加注重互动交流平台的建设，而公众看重于平台的真实运用，而目前多数林业网站建设了公众参与平台，但与用户的互动情况不够理想。从信度分析得知，信息化研究生的评估结果较专家和公众而言，依然具有一定的争议性。

（4）网站设计与管理。在该指标的评估结果中，林业专家的分数最低，得分率47.97%，其次分别是研究生（52.96%）和公众 （56.89%），两两得分率呈现非绝对的等差数列分布，差值在4－5个百分点。

在相关性分析中，研究生和公众的评估结果系数最低，为0.592，专家与公众的相关性最高，为0.770。而公众和研究生的多相关性平方均相对较低，但所有评估者剔除后的Alpha都想与总体的Alpha值，充分说明说明总体上三类人群的评估结果具有较高的合理性和紧凑性。

从标准差值和信度分析的结果得知，三类人群在网站设计与管理指标上的得分差异并不大，说明该项指标设计相对较合理，同时三类人群的评估结果相关性较高。通过之前的分析得知研究生在该项指标上打分较大地低于其所打的其它指标的分值，说明林业专家和研究生其对网站的美观程度和总体功能服务有着较高的要求。

（5）特色服务。三类评估者在特色服务指标的评估结果中，研究生和公众的得分率差异较小，分别为59.27%和55.41%，而林业专家在该项上的得分率较低，仅为34.45%，得分率落差达到23.82个百分点。

三类人群在该指标项评估结果的相关系数均低于0.7，研究生和公众的相关系数最低，为0.573，多相关性平方的系数均较低，但从总体的Alpha值和项已删除的Alpha值来看，三类评估者的评估结果还是具有一定的合理性和紧凑性。

经过得分率差异分析和实际调查得知，林业专家对该指标项的理解是网站达到其余指标项要求后的创新之处，而85%的研究生和公众对该指标的理解则是网站的整体功能服务建设。说明该指标面对不同的人群有不同的见解，因此指标内容需要完善。信度分析则说明了三类人群的评估结果没有出现偏离。

通过组间差异分析得知，三类人群在34个网站的总分趋势上大体一致，但在各一级指标得分的两两相关性分析中，依然存在不同程度的差异性。从标准差差异分析得知，信息公开、公众参与和特色服务指标存在差异较大，需要进一步完善。在信度分析中得知，信息化研究生与其他两类人的相关系数均处于最低值，同时，其对34个网站的评估结果离散程度最大，且在信息公开、在线服务和公众参与三项指标上的评估结果较为不同。而林业专家和公众的评估结果则相对具有较高的一致性。

3 结束语

本文采用德尔菲法和层次分析法制定了省区市林业厅（局）网站评估指标体系，选用三类不同人群对网站进行评估，评估指标基本合理，评估结果得到各省 （区）市林业厅 （局）的认可。

通过分析不同人群的评估差异，结果表明，一级指标中的 “信息公开”、“网站设计与管理”和 “特色服务”3个指标评估结果在不同的人群中相对差异较大。评估的差异性说明了这些指标存在一定的定性因素，公众在评估过程中注重的是对网站的第一感觉，对林业政府网站的信息公开、林业政策制度建设、政府功能服务等情况相对陌生，研究生更多关注了网站开发的信息技术水平，而林业专家则更多地站在林业政府的角度，对网站内容给予更加专业的要求。每人都有自己的判定标准，因此造成了评估结果的不一致。

因此，在今后的政府网站评估工作中，必须注意以下三点：

（1）提高指标体系内容和权重的合理性。在指标的筛选和完善上，增加指标定量因素，适当地降低指标的定性因素，使得定量与定性指标相结合，同时指标内容要便于理解。

（2）建立具有代表性的评估队伍。评估对象涉及面要广泛，进行分类选择人群，每类都要有一定数量的人，尽可能让评估结果反应出政府对社会的作用。

（3）对指标体系进行有针对性地分类。根据不同的人群，对指标体系进行分类，不同的指标类别由与之最相关的人群进行评估。

［1］Zhu X H，Zhang J.Situation and countermeasure research of government website performance ［J］.Applied Mechanics and Materials，2013，380：1986－1990.

［2］Zou K，Liu L.Design and implementation of local government gateway website performance evaluation system ［C］//International Conference on Computer Science and Service System.IEEE，2011：3141－3144.

［3］Jeremy Lim，Clive Tan.Strategic orientations in singapore healthcare［J］.The Business Times，2011 （9）：16－22.

［4］Papadomichelaki X，Mentzas G.e－GovQual：A multiple－item scale for assessing e－government service quality ［J］.Government Information Quarterly，2012，29 （1）：98－109.

［5］Francisco Javier Miranda.Quantitative assessment of European municipal web sites development and use of an evaluation tool［J］.Internet Research，2009，19 （4）：425－441.

［6］CHENG Fei.Research on e－government websites evaluation models and methods of the science and technology department［D］.Hefei：Hefei University of Technology，2007 （in Chinese）.［程飞.科技系统电子政务网站评价模型与方法研究［D］.合肥：合肥工业大学，2007.］

［7］A preliminary investigation and comparison of the government portal websites in top ten cities in China ［EB/OL］.［2010－08－30］.http：//www.1st－eg.Org（in Chinese）.［全国十大城市政府门户网站的初步调查与比较［EB/OL］.［2010－08－30］.http：//www.1st－eg.Org.］

［8］ZHOU Liang，ZHANG Shaotong.Design of Chinese government website performance evaluation index system in 2008 ［J］.E－government，2009 （12）：51－55 （in Chinese）.［周亮，张少彤.2008年中国政府网站绩效评估指标体系设计说明 ［J］.电子政务，2009 （12）：51－55.］

［9］ZHOU Liang，WANG Qingmeng，BAI Chao，et al.Design of the local government websites performance evaluation index in 2010 ［J］.E－Government，2011 （1）：30－35 （in Chinese）.［周亮，王庆蒙，白超，等.2010年地方政府网站绩效评估指标设计思路 ［J］.电子政务，2011 （1）：30－35.］

［10］Guo Y，Shou Z.The government website performance evaluation system based on the third－party assessment model［C］//International Conference on E－Business and E－Government.IEEE，2011：1－3.

［11］Wang X，Gao Z，Guo H.Delphi method for estimating uncertainty distributions［J］.Information：An International Interdisciplinary Journal，2012，15 （2）：449－460.

［12］Saaty T L.Analytic hierarchy process［M］.Encyclopedia of Operations Research and Management Science.Springer US，2013：52－64.

［13］YUAN Jianwen，LI Keyan.A comparative study on sample size calculation method［J］.Statistics and Decision，2013，29 （1）：22－24（in Chinese）.［袁建文，李科研.关于样本量计算方法的比较研究［J］.统计与决策，2013，29 （1）：22－24.］