基于层次分析法的标准评估研究——以气象服务类标准为例

李 嘉，付智斌，夏 雪

（江西省气象灾害防御技术中心，南昌 330046）

1 引言

气象事业是科技型、基础性社会公益事业，气象工作的各个领域都离不开标准的支撑与引领，做好气象标准化工作对促进气象事业科学发展具有重要意义。[1]党的十八大以来，气象标准化工作已取得了长足发展，呈现出新增标准数量逐年增长，标准覆盖范围越来越广的特征[2]。经查询中国气象标准化网发现，截至2022 年底，我国现行气象标准共1782 项，其中国家标准209 项、行业标准578 项、地方标准960 项、团体标准35 项。虽然如此，面对气象高质量发展新形势新要求，现行气象标准及标准体系还存在许多不足，迫切需要进一步发挥好气象标准的技术支撑和引领作用，加快构建支撑保障气象高质量发展的标准体系，全面提升气象标准化治理效能。为此，应及时掌握现行气象标准的实施和应用推广情况，准确评估其社会价值和现实意义，有的放矢发现标准存在的不足，进而为进一步加强气象标准制修订工作，持续优化完善现行气象标准体系奠定坚实基础。目前，关于气象标准评估相关研究，国内尚未见公开发表的内容。本研究以气象服务类标准为例，通过层次分析法（AHP）对该类标准的质量水平及实施效果进行分析评估。

2 标准评估指标体系构建及权重计算

2.1 层次评估模型构建

AHP 层次分析法是一种解决多目标复杂问题的定性和定量相结合进行计算决策权重的研究方法，具有灵活简洁、系统性强的显著特点，被广泛应用于社会、经济、科技、规划等诸多领域的评价、决策、预测、规划等。本研究基于AHP 层次分析法，以现行气象服务类标准为研究对象，对同类型、具有可比性的指标进行分析，分层分级确定评估因素和子因素，从而建立起气象服务类标准的评估指标体系（见图1）。该体系包含一级指标3 项，即技术因素、经济因素、社会因素；二级指标15 项，即制定方法、参数设定、评定指标、编制严谨、可操作性、资源节约、工作效率、经济效益、精细化管理、满意率、普及程度、环保能力提升、政策一致性、技术促进、规范社会行为[3-4]。

2.2 指标权重计算及一致性校验

组织多名专家对各指标进行两两比较，并采用1～9 标度法进行打分。根据专家组打分结果构建两两判断矩阵，并运用SPSS 软件计算出准则层和要素层的各指标权重值，以及要素层各指标相对于目标层的综合权重，完成整体权重的分配（见表1）。

表1 气象服务类标准评估指标体系权重分配表

一致性检验是为了检验各指标重要度性间的协调性和合理性，避免指标两两比较时出现A ＞B，B ＞C，而C ＞A 的矛盾情况。当一致性比率CR 值＜0.1 时，表明该组数据通过一致性检验，且CR 值越趋近于0，则一致性越好。经计算，体系内各指标CR 值均＜0.1，通过一致性检验。

3 样本采集和数据分析

3.1 选定评估样本

为实现对标准量化评估的目的，被选取作为评估样本的标准应具有代表性。评估样本选取时主要考虑到四项因素：一是在业务工作中使用频次较高，二是可操作性强，三是对具体业务有明显指导作用，四是应用群体背景具有多样性。综上，本项目选取了56 项已公布实施1 年以上的江西省现行气象服务类标准（含国家标准、行业标准、江西省地方标准）作为评估对象，并将其分布编号为bz01～bz56（见表2）。这些标准涵盖了气象灾害防御、人工影响天气、气候论证、气象科技服务等多方面内容。

表2 标准评估对象表

3.2 数据采集

根据上述标准评估体系模型，设计标准质量水平及实施效果调查问卷。该问卷包含姓名、职务、职称、单位、工作岗位、工作时间等答卷人的基本信息；以易于量化、表述客观、简洁方便的选择题为主，便于答卷人做出适配选择；按照问题逻辑顺序分类设置内容，以便后期统计归类分析；问卷内容与要素层的15 项指标一一对应；另外提供部分开放性问题供答卷人表达意见。为保持评分的一致性，除基本信息外，问卷调查表中相关内容选项使用Likert 5 点量表法进行测试[5]，以1（完全不同意）、3（不太同意）、5（一般同意）、7（比较同意）、9（完全同意），五档分数区分、量化问卷指标数据。问卷发放对象为各标准使用单位及相关人员。本项目设计的问卷于2021 年7月正式在网络上发布，历时3 个月，最终共收集有效问卷样本1627 份。

3.3 信度分析

信度即可靠性，是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。为衡量本项目中问卷答案的可信程度，将问卷中15 项指标因素编号为Q1～Q15，对其数据进行信度分析。

本项目采用α 信度系数法。α 系数评价的是问卷中各题得分一致性，为内在一致性系数，可用于态度、意见式问卷的信度分析。一般而言，问卷整体的α 系数在0.8 以上为好，0.7～0.8 属于可接受范围，在0.6 以下则表明其内容需重新编辑。此处以标准bz01 为例，信度分析结果如表3 所示，其Cronbach α 系数为0.92，通过信度检验。其余55 项标准经分析计算，也均通过信度检验。

表3 Cronbach 信度分析表（标准bz01）

3.4 效度分析

效度即正确性，是指一个测验或测量工具能真实地测量出所要测量的事物的程度。效度分析用于研究题项是否有效表达研究变量或者维度的概念信息，简单来说就是研究题项设计是否合理，或者题项某个变量是否合适，即问卷设计的准确程度。

本项目采用因子分析验证预期变量与问卷题项之间的对应关系。此处以标准bz01 为例，效度分析结果如表4 所示，Q1～Q5、Q6～Q10、Q11～Q15 的各项因子荷载系数最大值均分别与因子1、因子2、因子3 相对应，且所有题项的共同度均大于0.7，说明效度良好，通过效度检验。其余55 项标准经分析计算，也均通过效度检验。

表4 效度分析表（标准bz01）

4 标准特征分析

4.1 标准评分

以bz01 为例，结合评估指标体系权重和问卷调查所得分数（该标准有效问卷样本数为33），对其进行综合水平评价分析，即标准的评估得分为要素层各指标综合权重与该指标调查问卷得分平均值的乘积之和。如表5 所示，标准bz01 的评分为8.5061。

表5 标准bz01 评估得分表

按上述方法，根据1627 份有效问卷样本，计算出56 项江西省现行气象服务类标准的最终得分情况，如表6 所示。最终得分由8.3728 至8.8809 不等，整体标准的平均得分为8.6152，其中27 项标准得分高于平均分，29 项标准得分低于平均分。

表6 标准评估得分总表

4.2 指标主导分型

以bz01 为例，其3 项准则层指标的得分情况及归一化值如表7 所示。该标准的准则层指标中，技术因素得分的归一化值为0.3278，分值最高，因此认为该标准为技术主导型标准。

表7 标准bz01 准则层指标得分表

将56 项被评估标准的准则层指标的得分数据都进行归一化处理，绘制出对比图（见图2）。根据归一化值将标准分类，其中29 项为技术主导型，10 项为经济主导型，17 项为社会主导型。

图2 评估对象准则层指标的归一化得分对比图

5 结语

5.1 研究结论

标准的种类繁多，分类型对其进行评估更具科学性和可靠性。本研究基于AHP 层次分析法，从现行气象服务类标准中提取出共性评价指标，并构建起气象服务类标准的评估指标体系。之后选取56 项江西省现行气象服务类标准作为评估对象，对照评估体系各项指标设计出标准质量水平及实施效果的调查问卷，并以网络问卷调查的形式收集有效问卷样本1627 份。再通过加权计算，得出被选取标准的最终评分。结果表明，江西省现行气象服务类标准以技术主导型为主，社会效益较经济效益表现更突出，符合公共服务类标准的核心理念。

5.2 研究局限性

本研究具有一定的局限性。一是样本选择有偏差，由于评估样本中的地方标准均为江西省地方标准，其地域性强，而代表性不足，可能影响到研究结果的可靠性和普适性；二是数据收集有偏差，调查问卷主要针对气象服务类标准的应用单位及工作人员，其与标准的关联性强，可能会导致标准得分偏高的情况发生；三是研究方法本身带来的偏差，基于层次分析法的标准评估指标体系模型在指标设置及权重设立上具有较强的主观性，易受主观意识、专家经验等因素的影响；四是研究深度不够，在依据评分结果对标准进行主导分型后，未继续展开进行更深一步的研究。

5.3 研究展望

本研究基于层次分析法，构建了气象服务类标准评估指标体系，并对江西省现行气象服务类标准进行了评估。该方法为评价气象标准的质量水平、实施效果及社会价值提供了较为客观、准确的依据，有利于提高标准制修订效率，增强气象标准的科学性和可操作性，进而优化完善现行气象标准体系，助力支撑气象高质量发展。此外，该方法对于其他类型标准的评估也具有一定参考作用。但需要注意的是，由于标准评估涉及诸多复杂因素，本研究具有一定的局限性，在研究方法、评估专家、样本对象的选择，评估指标及权重的设立，调查问卷的设计与发放，以及调查数据的校验与处理等方面，都还有进一步优化的空间，有待后续研究探讨。