基于标准属性的标准实施效果评价方法探究

2023-11-16 00:42刘俊锐赵力丹逄锦山李童吴迪杨震

中国标准化 2023年1期

刘俊锐赵力丹逄锦山李童吴迪杨震

摘要：标准化是信息化时代的前提和基础，对标准实施效果进行分析和评价有助于促进社会经济的发展。目前的研究主要关注于评价指标体系构建，缺少对标准之间差异性的研究，不能实现对标准实施效果的精确评价。本文提出了一种基于标准属性的标准实施效果评价方法。首先，我们关注到不同类型的标准之间的差异，通过计算标准属性来构建更适合该标准的评价指标体系。然后，我们判断评价指标的主客观性，使用对应的数据收集方法收集评价数据。最后，我们使用层次分析法为各个指标分配权重，使用加权求和的方式计算标准的综合评价量化值。为了证明方法的有效性、可操作性和合理性，我们采用案例分析法进行验证。

关键词：标准实施效果，标准属性，主客观分析，标准评价

DOI编码：10.3969/j.issn.1002-5944.2023.01.002

基金项目：本文受中国电子技术标准化研究院资助项目“建设电子信息领域标准大数据平台”（项目编号：CEIEC-2021-ZM02-0167）资助。

Exploration of the Evaluation Method of Standards Implementation Effect Based on Standard Attributes

LIU Jun-rui1 ZHAO Li-dan1 PANG Jin-shan2 LI Tong1*

WU Di1 YANG Zhen1

（1. Faculty of Information Technology， Beijing University of Technology； 2. Standard Institute of Emerging Technologies and Innovations）

Abstract： Standardization is the premise and foundation of the information age. Analyzing and evaluating the effect of standards implementation is helpful to promote social and economic development. The current research mainly focuses on the construction of the evaluation index system， and it lacks the research on the differences between standards， and cannot realize the accurate evaluation of the implementation effect of standards. This paper proposes an evaluation method of standards implementation effect based on standard attributes. The paper studies the differences between different types of standards， and constructs an evaluation index system that is more suitable for standards by calculating standard attributes. Then， it judges the subjectivity and objectivity of the evaluation indicators， and uses the corresponding data collection methods to collect evaluation data. Finally， it uses AHP to assign weights to each indicator， and uses weighted summation to calculate the standard comprehensive evaluation quantifi cation value. It uses case analysis method to verify the validity， operability and rationality of the method.

Keywords： standards implementation effect， standard attributes， subjective and objective analysis， standards evaluation

1 引言

標准化不仅可以满足企业生产产品在产品质量、品种规格、零部件通用等方面的统一，还能满足企业为了其预期目的改造产品，促进技术合作。因此，对标准实施效果进行评价能够促进企业发展，维护社会统一发展。选择恰当的评价方法能够提升经济发展，促进社会进步。

目前对于标准实施效果的评价主要应用于军工行业标准、航天领域标准等。李国强等人[1]提出了航天领域标准实施效果评价的一种思路与方法，构建相应的评价指标体系，针对标准技术内容、实施过程、实施效益分别提出了不同的数据收集方案，以此实现标准实施效果评价。孟凡萍等人[2]根据军工行业标准定位和作用，分析并构建了相应的评价指标体系，建立军工行业标准实施效果和评价方法，使用模糊层次分析法对军工行业标准实施效果进行评价。孙充勃等人[3]结合配电网规划设计标准的实际情况，构建了配电网规划设计标准实施效果评价体系，并采用模糊层次分析法对标准的实施效果进行评价。除此之外，研究者们[4-6]主要关注于对标准实施效果评价指标的构建及评价方法理论研究等。

这些研究大多数都是根据领域知识构建通用的评价指标体系。然而，他们没有关注到标准之间的差异性。对于不同类型的标准，进行评价的角度有所不同。因此，我们提出了基于标准属性的标准实施效果评价方法。通过分析不同类型的标准，将其与相应的评价指标对应，生成个性化的标准实施效果评价指标体系。对于评价数据的收集，采用主客观结合的方法，分析各个指标的性质，对于主观指标通过问卷调查得到结果；对于客观指标，通过官方渠道获取数据得到结果。使用层次分析法對各个指标进行权重分配，加权求和得到最终的综合评价量化值。最后，使用案例分析法和统计分析法对所提出的方法进行有效性验证。

2 标准实施效果评价指标体系

标准的技术内容对标准实施是至关重要的。标准的实施情况直接影响着标准的实施效果。除此之外，标准的实施效益也是衡量标准实施效果的重要方面。因此，本文将标准实施效果评价指标体系划分为三个子体系：标准实施内容评价指标子体系、标准实施过程评价指标子体系和标准实施效果评价指标子体系，标准实施效果评价指标体系如图1所示。

3 基于标准属性的自适应标准实施效果评价方法

本文提出基于标准属性的标准实施效果评价方法，具体方法流程如图2所示。该方法首先确定所要评价的标准，分析标准文件。通过识别标准的各种属性，映射出精确的评价指标体系；基于相对应的指标体系，通过问卷或收集公开数据等方法收集相关数据；最后使用层次分析法，为各个指标分配权重，与评价值加权求和，最终得到标准的综合量化评价值以及详细的评价报告。

3.1 基于标准大数据的标准实施效果评价指标体系

通过确定标准的不同属性，对标准实施效果评价体系进行个性化调整，不同的标准将对应不同的评价指标体系，这样做考虑到标准的差异性，实现标准实施效果的精确评价。本文将从标准类型、标准级别、标准内容结构等多个方面考虑标准属性与评价指标之间的映射关系。

从标准类型考虑，标准可以分为强制性标准和推荐性标准。强制性标准主要考虑法律等方面的问题，在评价该类标准时，考虑到标准规范性评价，对应的指标有：标准符合政策程度、标准结构合理性、标准条例严谨性；同时，该类标准还考虑到保障人体健康、人身、财产安全等，涉及到社会效益，对应的指标有：提升行业整体水平、提升公众利益。推荐性标准主要对应产品类标准，在企业或生产中使用，是自愿采用的标准，因此在评价该类标准时，首先考虑的是标准推广，对应的指标有：宣传力度、应用推广、推广反馈；除此之外，在生产应用中，要评估的主要是其对经济发展的作用，因此评估标准实施产生的经济效益，对应的指标有：提高生产效益、提高生产率。

从标准内容考虑，在标准实施过程中，环境相关性越来越受到重视。标准实施效果评价不仅包括社会效益评价、经济效益评价，除此之外还有环境效益评价，因此环境内容也是标准属性的一种。若标准文件内容与环境能源相关，在标准实施效益评价方面将更加注重其环境效益，其对应的评价指标有：节约能源资源、减少环境污染；若标准文件内容与环境能源无关，在标准实施效益评价方面将更加注重其经济效益，其对应的评价指标有：提高生产率、提高生产收益。

除以上两种属性外，我们还考虑了其他的属性。具体的映射关系如表1所示。

3.2 收集相关数据

在对指标的原始数据进行收集时，我们遵循客观性优先的原则，即在收集数据时，尽可能保持结果的客观公正，避免在计算过程中引入人为的主观性干扰，造成收集到的数据无效。因此，我们首先分析了评价指标的主观性和客观性，对不同性质的指标采取不同的分析方法。对于主观性指标，主要通过问卷的形式收集数据；对于客观性指标，主要通过公开渠道收集数据。

客观性和主观性是统计指标的两种基本属性[7]。主观性指标在统计和测量过程中因受人为主观因素的影响而产生差异；客观因素是对社会经济现实存在的反映，具有一致性。因此，为了更精确地收集到各个指标的评价数据，我们对指标的主客观进行了分类（见表2），来收集标准实施效果评价指标。

使用不同数据收集方案，所获得的数据类型不同。使用问卷调查法收集数据时，获取的数据是由企业提供，仅需设计出问卷设计即可。

若使用公开渠道收集数据，需要规定不同评价指标收集数据的内容。各种类型的标准都有标准应用的产品名称，通过收集产品的相关信息来获取数据。例如，可以通过各大电商平台和专门渠道来收集，通过这两类平台收集的公开数据内容如表3所示。

3.3 评价标准

针对不同的数据来源，计算三级指标评价量化值的方式不同。如果来源是问卷数据，我们使用基于模糊数学的隶属度理论对问卷结果进行量化；如果来源是公开数据，将对这些数据进行一系列处理得到对应的评价量化值。最终使用层次分析法为各个指标分配权重，加权求和得到最终的综合评价量化值。主客观评价数据的处理以及分配权重的细节如下：3.3.1 主观数据分析

对于主观性指标，我们通过问卷调查的方式获取相应的评价数据。在设计问卷时考虑填写问卷者的身份、问卷的有效性等因素，从而提高问卷结果的可信度。采用模糊评价法对问卷数据进行处理，模糊评价法根据模糊数学的隶属度理论把定性的指标转化成定量评价，能较好地解决模糊的、难以量化的问题[8]。

各个二级指标的问卷设计中，包含7-11个问题，其中前2个问题针对填写问卷者的身份和问卷的有效性进行提问，其余问题用于收集评价指标数据。每个问题包含5个选项，将其打分定义为1.0、0.75、0.5、0.25、0分。

对二级指标的量化评价值由各个问题的得分平均求和得到，最终分数为0-10分；二级指标的定性评价是依据二级指标量化评价值得到，对应评价如表4所示。

3.3.2 客观数据分析

对于客观性指标，我们通过公开信息平台获取数据。对收集到的不同数据，有不同的分析方法，最终将评价方法结合在一起，生成指标评价模型，具体评价方法如表5所示。

大多数二级指标数据是通过爬取电商平台信息获得的。大多数评价得分范围为0-1，对该种方式的定性分析设计如表6所示；由于对社会效益和环境效益的评价有较多的不确定性，因此，对于评价得分不统一的数值，将对其进行专项定性评价。

3.3.3 基于层次分析法分配权重

本文使用层次分析法为各个三级指标分配权重。层次分析法是指将目标分解为多个目标或准则，进而分解为多指标的若干层次。通过定性指标模糊量化方法算出层次单排序和总排序，以作为多指标、多方案优化决策的系统方法[9]。

第一，我们需面向应用构建层次结构模型。在本文中，将标准实施效果的评价设定为最高层，将子系统和一级指标设定为中间层，将二级指标设定为最低层。

第二，根据标准对应的评价指标体系，构建相应的判断矩阵。从层次结构的第二层开始，对于从属于上一层每个因素的同一层诸因素，构造判断矩阵，直至最下层。

第三，计算单层特征向量和最大特征根并进行一致性检验。

第四，计算组合特征向量和最大特征根并进行一致性检验。

最终，得到相对应的权重向量，即，各个指标的权重分配。

4 有效性验证

为了验证我们所提出方法的有效性和可操作性，采用案例分析法和统计分析法对标准进行评价。

我们对标准GY/T 323-2019（AVS2 4K超高清编码器技术要求和测量方法）的实施效果进行评价。

该标准规定了视频编码采用GY/T 299.1—2016（简称AVS2）的4K超高清编码器的主要技术要求和测量方法。本标准适用于广播电视专业用SDI接入的AVS2 4K超高清实时编码器的开发、生产、应用、测试和运行维护。

我们把评价该标准的过程分为：分析属性生成相应的评价指标体系、分析主客观并收集数据、分配权重、计算评价结果这四步依次进行。

4.1 分析属性

根据在3.2节对标准属性的分析，我们将对GY/ T 323-2019行业标准进行属性分析，生成相对应的评价指标体系。

行业标准是推荐性标准，因此该标准的类型为推荐性标准，对应指标：方便获取度、宣传力度、应用推广、认知程度、推广反馈、提高生产效益、提高生产率；通过分析该标准文件，该标准没有替代别的标准，因此对该类标准的评价关注于引用次数、引用评价；该标准主要包含4K超高清编码器的主要技术要求和测量方法，将用于具体的产品中，故评价时较关注标准实施过程中的过程，对应的评价指标有完成情况、管理措施；该标准内容与环境能源无关，在评价标准实施效益时更关注其经济效益，对应的评价指标有提高生产率、提高生产收益；该标准为行业标准，因此在衡量标准间相关性时，将会考虑到该标准与上下级标准之间的吻合度与先进度。

通过对该标准的各类属性进行分析，结合属性与指标体系之间的映射关系，可以得到GY/T 323-2019标准的实施效果评价指标体系，如图3所示。

4.2 分析主客观，收集数据

由3.3对主客观指标的分类，我们对该指标体系的三级指标进行划分。客观指标将通过公开渠道获取数据，主观性指标将通过问卷调查法收集数据。具体情况如下：

该标准对应的客观性三级指标有：应用推广、推广反馈、完成情况、引用次数、提高生产率、提高生产收益。该标准适用于广播电视专业用SDI接入的AVS2 4K超高清实时编码器的开发、生产、应用等。因此，我们将通过爬虫各大电商平台的相关数据来计算该标准的客观性指标评价结果。除客观性指标意外，其余均为主观性指标。对该标准制定了相应的问卷，通过在线平台收集到50份问卷数据，对结果进行分析得到评价数据。各三级指标的评价量化值如表7所示。

4.3 分配权重

我们使用层次分析法为三级指标分配权重。通过对各级指标进行重要程度打分，构建各级的判断矩阵，分别得到它们各自的权重向量。在计算三级指标对实施效果的权重时，需将该层指标在所属二级指标中的权重乘以对应的二级指标在一级指标中的權重，即可得到三级指标相对于目标的权重，最终得到的权重向量如下：

Y=[0.03846，0.03846，0.03846，0.03846，0.03846，0.03846，0.02799，0.02099，0.03499，0.02099，0.02799，0.0 8682，0.06512，0.04986，0.04986，0.19231，0.19231]T。

4.4 评价结果

我们通过加权求和的方式得到标准的综合量化值，并对标准实施效果进行定性分析，具体的评价结果如表7所示。

为了验证我们所提出方法的合理性，本文检验各个指标与目标之间的正负相关性。根据以上结果，绘制了各个三级指标评价数据柱状图，如图4所示。该图中的横线表示标准的综合评价量化值。从该图可以知道，该标准的推广反馈评价较高，应用推广、完成情况、引用次数较低。该标准的综合评价定性为良好，能够综合考虑各个指标的评价情况。因此，本文的评价方法能够正确反映标准综合评价与各个三级指标之间的相关性。此外，从该图中也可以总结出：该标准的应用推广、完成情况、引用次数方面评价较低，今后可以关注这几个方面的发展。综上所述，本文所提出的评价方法是合理的。

5 结论

对标准实施效果进行评价是非常有意义的，然而对实施效果进行精确评价是困难的。本文考虑到各个标准的特点，通过标准属性与评价指标之间的映射关系，构建个性化的评价指标体系。除此之外，使用主客观结合的数据收集方法，对评价指标进行评估。最后，采用层次分析法，为各个指标分配权重，与指标评价值加权求和得到标准的综合评价量化值。