特种设备安全技术规范后评估方法的研究

陈若蒙张东胜(.中国特种设备检测研究院 北京 0009)(. 北京化工大学 北京 0009）

特种设备安全技术规范后评估方法的研究

陈若蒙1张东胜2
(1.中国特种设备检测研究院 北京 100029)
(2. 北京化工大学 北京 100029）

特种设备安全技术规范的立法后评估是检验其立法效果和提高其立法质量的重要途径。本文分析了国内外立法后评估的现状和特点，根据安全技术规范的立法目的，在充分调研和专家评议的基础上，明确了评估原则和标准，构建了多维度多层次的评估指标体系及其要素集，设计了评价模型和评估程序，形成并确定了定性和定量分析相结合的基于层次分析方法的特种设备安全技术规范后评估方法。通过评估案例的实践和验证，证明了该方法的适用性和实效性。

特种设备安全技术规范 立法后评估 层次分析 评估指标体系

立法后评估是立法工作的继续和延伸，是检验立法效果、提高立法质量的必要途径。立法后评估，重在评估立法实践，评估法律法规对经济、社会和环境的实际影响，评估社会执法、司法和守法的具体问题。发达国家在上世纪中后期就陆续开展了立法后评估的研究与应用，相对而言，我国在这方面起步较晚，积累不足，有待在不同领域开展深入研究和应用实践，本文围绕安全技术规范的实施效果，研究建立科学、可行的评估方法。

1 国内外立法后评估概况

1.1 国外立法后评估概况

美国：20世纪60年代就开始适用3E标准，即经济(Economy)、效率(Efficiency)、效益(Effectiveness)的评估比率来进行评价，后来又增加了公平性(Equity)和环境性(Environment)审计，但是当前美国还是普遍使用3E的标准。其偏重于经济成本和效益的评估体系，尚不能全面地体现立法质量和影响。其确立明确的评估标准和指标体系以及制度化等特点，值得加以借鉴。

随着市场经济的发展和欧洲政治经济一体化进程的加快，欧盟的立法评估制度在市场轨制、提高立法质量与增进社会公共福利方面发挥着愈来愈重要的作用。自20世纪80年代中期开始运用立法效果评估的相关方法，并于2005年确定了立法评估的标准化程序，2009年1月15日，欧盟委员会公布了最新修正的《影响评估指南》，其中包括了评估目标、主体、对象、主要内容、标准、指标问题和程序步骤等，形成了完整的制度框架体系。

日本《评估政策法》中特别规定“循环型行政管理”的基本指导思想，不断促进立法质量的提高。其特点在于：

1）立法后评估的一个标准就是依据市民的满意度来制订、修订、实施或放弃某项法律。

2）立法后评估多采用定性分析，缺乏客观准确的数据资料分析。

3）针对不同的评估对象和目的采用不同的标准，但主要围绕法律政策的必要性、有效性、效率性及实施情况来设计。

4）立法后评估首先从地方发展起来，在地方试点成功后，再由中央政府加以推广。

美国、欧盟、日本等都先后经历了大量的立法后评估理论和实践研究，在评估主体、标准、内容、方法和程序等方面渐趋成熟[2~7]，逐步形成了系统化和规范化的立法后评估标准体系。具体表现在：

1）统一的制度化、系统化和标准化；

2）评估标准和指标元素科学且成体系；

3）评估主体多元化，尤以独立第三方评估机构作为主体的合法化为突出；

4）重视立法相关利益方的意见和反响，尤其是不断扩大的立法后评估的公众参与度，不断地提高立法的公民满意度。

1.2 国内立法后评估概况

2004年国务院发布《全面推进依法行政实施纲要》（国发[2004]10号文件）初步确立了我国立法后评估的基本制度。一些地方政府和行业领域也先后在各个法律层面上，开展了大量的立法后评估实践，例如，民航、国土资源、船检、建筑、防疫、金融等部门都在不同法律层面上进行了多种多样的立法后评估，在评估标准、对象、内容、程序、方法、指标和评估报告的规范格式上各不相同[8～10]。开展评估初期以定性分析方法为主，近几年来引入定量分析方法，但多不成熟。评估主体是以官方行政为主导，社会各界相关方参与其中，且在评估标准、内容、程序、方法、指标等方面，尚没有统一规范[10]。经历了一个阶段的立法后评估活动之后，众多评估主体不约而同地在多个层面上得出了较为一致的认识，主要体现在：

1）评估的方式多以定性评估为主，以定量为辅，定性和定量相结合的评估手段得到应用；

2）系统化和规范化的评估体系正在逐步确立；

3）立法后评估的法制化正在完善进程中；

4）在某些特定行业和领域，第三方参与或直接作为评估主体已具备可行性。

1.3 国内外特征比较

通过对国内外相关资料、文献和案例等的分析和研究，综合考虑立法后评估的主体、对象、标准、程序、指标、方法等元素，现将国内外立法后评估的现状特点可归纳如下，见表1。

2 特种设备安全技术规范后评估方法的研究思路及技术路线

2.1 研究思路（如图1所示）

图1 研究思路

2.2 技术路线（如图2所示）

图2 技术路线

3 后评估方法的研究与建立

特种设备安全技术规范是特种设备法规标准体系的重要组成部分，其作用是把法律、法规、部门规章的原则规定具体化，它规定了特种设备安全性能和节能基本要求，以及达到这些要求在设计、制造、安装、修理、改造、使用、故障检测等方面采取的措施和规则，具有强制性约束力，目前已颁布110多项[14、15]。特种设备安全技术规范的后评估，侧重点在于评估安全技术规范中比较重要、影响面广的监察规程类的“基本安全要求”和“管理要求”。建立一种以主体框架为基础，可以面向具体的某一特种设备安全技术规范，针对研究对象特点进行灵活修订而又不失科学化的可共享评估方法及模式程序是笔者本次研究的主要目的。

3.1 后评估方法分析

立法后评估以法的实施绩效为评价基础和中心，以实证分析为主要途径，评估方法不外乎定性和定量两种手段。定性分析法，主要依靠专家丰富的经验、完备的学识和强大的判断分析能力，推断出事物的性质和发展趋势，主要适用于没有或不具备完整的历史资料和数据的事项决策。常用的定性分析方法主要包括文献调查法、调查问卷法、专家研讨法、德尔菲法和案例分析法等[10]。定量分析法，是依据统计数据，建立数学模型，并用数学模型计算出分析对象的各项指标及其数值[11]。常用的比率分析法是基础，结构分析和对比分析等方法是延伸，数学模型法代表了定量分析的发展方向[12]。事实上，定性与定量分析应该是统一的，相互补充的[13]。定性分析是定量分析的基本前提，没有定性的定量是盲目且无效的；而定量分析使定性更加具体、科学和准确，它可以促使定性分析得出广泛而深入的结论。二者相辅相成，结合起来灵活运用才能取得最佳效果。

层次分析法以其系统定性完整和指标定量简洁为突出特征，它和人们决策过程的思维方式很一致，正是定性和定量分析相结合的典型，尤其适合于对决策结果难以直接准确计量的场合，而立法后评估确属其类。故此，本文在全面且深入地分析特种设备安全技术规范的内容和特点的基础上，依据其立法目的和目标，把调查问卷法、专家研讨法、德尔菲法和案例分析法等定性分析手段，融入到层次分析的定量框架内，形成定性和定量有机结合，对安全技术规范立法的本质、影响因素及其内在关系等进行全面和深入的分析，利用较少的定量信息，使评估过程数学思维化，面对安全技术规范的复杂结构特性，建立了多目标、多准则、多层次和多指标的简便评估模式。

3.2 后评估时机的选取

●3.2.1 一般情形

安全技术规范在其生效实施1年期满时，评估主体应当对其进行评估。评估的总期限为3个月。此次的评估可以称为初次评估。初次评估之后，每经过5～8年，就应当评估一次。主要是考虑到当前我国的经济体制、政治体制都处在不断的改革与完善阶段，而且整个社会的发展和变化也是日新月异，加之制定规范的水平还有待进一步提高等，因此，评估时间的选择，笔者权衡考虑，认为可以采取初次评估与定期评估相结合的方式。

●3.2.2 特殊情况

在安全技术规范的制定部门做出废止、修改的决定之前必须进行评估。针对我国安全技术规范的制定现状以及后评估中存在的若干问题，评估也是趋于形式。本应为“准备—评估—决定”的过程变为了“决定-评估”。因此，笔者认为在打算或者说意图废止、修改一项安全技术规范之前必须首先进行科学、正确的评估，要按照评估的程序、方法、原则、内容等进行，便于得出正确的结果，为废止、修改决定的做出打下坚实的基础。

3.3 后评估专家组的组成及任务

安全技术规范的立法后评估具有相当大的复杂性和难度。建立专家组，利用其丰富的经验、完备的学识和优秀的科研素养，通过科学系统的定性和定量分析，完成评估过程并保障评估质量，是不可或缺的。依据特种设备安全技术规范内容与特点，在监督和检验、设计和研发、制造和销售、使用和维护以及行业法律法规及标准等5个领域内，公开选聘2～5名专家，他们应分别来自相关研究院所、高校、企事业单位、行业协会（学会）及国家行政机关，建立专家档案及数据库，并全程开通无障碍信息沟通渠道。

专家组与评估主体人员进行协作和分工，按照后评估的评价程序协同完成如下任务：

1）完成特种设备安全技术规范的内容分析和特点归纳；

2）制定评估原则和标准；

3）确定评估方法与方案；

4）构建评估指标体系；

5）建立因素集与评判准则；

6）形成统计调查问卷；

7）进行反馈信息的统计与分析；

8）做出评估回应。

3.4 后评估的原则与标准

课题组通过与多方面相关专家的深入研讨，为了保证评估质量，确定了四项基本评估原则，即：客观公正、公开透明、民主参与、科学系统与实效，在评估全过程中予以遵循。同时也确定了八项评估标准，简述如下：

1）合法性标准——立法的各项规定是否与上位法一致，是否符合立法精神和原则；

2）适应性标准——立法是否适应经济社会发展需要，在相关社会关系调整中是否必需；

3）协调性标准——与同阶位的立法是否存在冲突，制度之间是否衔接，配套是否完备；

4）合理性标准——立法的各项规定是否符合立法目的，是否符合公平、公正原则，所规定的措施和手段是否适当和必要；有关法律责任设定是否适当；

5）可操作性标准——立法规定的执法体制和机制是否明确、具体、高效和具有针对性；

6）技术性标准——立法技术是否规范，逻辑结构是否严密，表述是否准确而完整；

7）实效性标准——立法是否得到普遍遵守和执行，是否实现立法预期的效果；

8）效益性标准——在实施过程中，所投入的成本与所取得的立法效益和社会效益如何。

在遵循以上四项原则的基础上，将八项标准全部融入评估过程和层次分析指标体系中。

3.5 后评估的维度及层次指标

目前安全技术规范的后评估主要是从对社会冲击性的角度进行研究的，针对评估对象特点，确立了规范自身、经济影响、社会及安全影响和环境影响4个评估维度。

1）技术规范自身——融入并体现合法性、合理性、可操作性和立法技术性

2）对经济的影响——融入并体现实效性、效益性、适应性和协调性

3）对社会的影响——融入并体现适应性、效益性、协调性和实效性

4）对自然环境的影响——融入并体现协调性、效益性和适应性

在每个维度内，设立和分解多级指标，体现在该领域内立法条款的具体控制与抽象影响之间的结构层次性和逻辑关系，逐级分解而形成多层次的指标体系，本文确定的层级分布及数量见表2。

表2 各维度层次指标数量分布

一级指标——是在某个评估维度中反应评估对象性质的基本要素，是评估对象性质的基本概括，抽象性较强，数量少，概括性强。本文一级指标要素集涵盖前述8项评估标准。

二级指标——是对一级指标要素的具体分解描述，兼有补充和说明的作用，是反应评估对象性质或性能的具体要素。本文在规范自身和环境影响两个维度上，分解至二级指标为止，不再往下分解。

三级指标——是对二级指标性质要素的再分解，更加具体化和条款化，主要针对结构复杂和影响因素多的二级指标，数量较大，一般作为末级指标，要给出评判项或赋值。

无论是二级或三级指标，若处于末级，即可作为评判级调查指标，它既要被分配权数，又可给出评判项或赋值。根据不同的评估对象或目的，指标层级及其数量可酌情裁度。

3.6 权数的确定原则

维度和各级指标均设权数，以表达其重要度和影响度，权数在0～1之间取值，同级权数的代数和为1。确定权数的方法有多种，各有优缺点，本文采用快捷实效的经验法，即，通过实施德尔菲分析法由专家组集合意见而获得，同时用假设检验等定量分析验证，使之恰当和适用。确定权数重要度的关联依据主要考虑以下几个方面：

1）凡与安全第一的方针密切或直接关联者则重；

2）能体现立法目的和立法目标者则重；

3）与立法条款法理相合或疑为有悖者则重；

4）评估目的和目标所确定的关注点则重；

5）专家研讨确定的关注点则重；

6）指标分解与条款嵌接时出现的频度大则重；

7）影响广泛或后果严重者则重。

3.7 调查问卷的基本要求

1）调查问卷的基本要求。

根据具体评估对象和特定评估目的或目标，确定维度、层级指标及其各自权数，为末级指标设定适当的表达形式并附上其相应的评判项，形成调查条目，将适当表达并附有评判项的调查条目顺序合理编号（以备统计所用），形成彼此无级别分层和无明显关联的调查问卷。

值得一提的是，调查条目不可过多，否则被调查者会失去兴趣和耐性，而影响调查效果。另外，应当采用适当的形式，将调查条目与法规条款之间建立合理关联，使得被调查者有的放矢，不会茫然或笼统应付，这样可以大大提高调查质量和效率，并利于引导调查者和被调查者按图索骥，生发新看法，发现新问题和给出更具体和更有价值的意见或建议。

2）末级指标的评判项。

对末级指标一般可以形成具体评判，评判的类型有多种，本文确定为4选项评判，即（1）正面评价、（2）负面评价、（3）无影响以及（4）开放定性描述。正面和负面评价的评判词可依据具体指标条目的问答形式来确定，但须保持一致性，以免产生正负面混淆而影响统计分析和结果判定。对于开放定性描述项，被调查人可进行简要文字陈述，一则可弥补前面三类选项不足；二则可以反映较为严重或突出的影响；三则可以提出建议或意见。

3.8 评价模型

在获取维度和层次指标的权数以及末级指标的判值（得分）的前提下，按照如下模型对调查结果进行统计分析和定量计算，以二级指标的计算模型为例，每个二级指标的评估值由其对应分解的三级指标加权求和而得，计算公式如式（1）。

式（1）中Nij是第ij个二级指标的评估值；Ck是第k个三级指标的权系数；xij(k)是第k个三级指标的判值得分。

依此模型计算，可以获得任一维度和层级指标的评估值，以备评估分析所用。

4 后评估数据处理与结果分析

4.1 反馈信息的统计

在对反馈信息的统计处理过程中，判定调查问卷的有效性是必要的，否则会影响评估结果的质量，判定无效问卷的依据参考如下：

1）所有勾选的选项都一样；

2）勾选的选项不完整，出现较大比例的未选空项，且无任何说明；

3）选项乱勾画，形成矛盾勾选；

4）选项勾画位置归属不明确，尤以纸质问卷突出。

为了保障评估调查的客观性和代表性，有效调查问卷样本的数量必须有保障，50个样本可以被看作是底线。在判定调查问卷的有效性后，应建立反馈信息数据库并保存样本。

4.2 后评估结果及分析

调查条目的判值最为关键，它是形成定量分析的信息数据源，并为定性分析提供量化的对比信息。本文针对评估结果的评判方法如下：

1）采用更符合人们判别思维习惯的100分制评判（评估分级及结论和建议见表3）；

2）量化统计仅针对前三项，且只扣分，不加分；

3）扣分发生在负面评价上，若某调查条目的负面评价统计频次占总频次（前三项之统计和）的百分比为多少，则扣除多少分，例如负面评价频次占30%，则扣除30分；

4）原文抄录开放性选项的文字描述，并与调查条目相对应；

5）针对扣分超过40分的条目（不及格）和开放性选项的意见或建议，视其严重程度或根据评估考察重点，进行专项或专题研讨，确属严重者，可进一步进行实地调研等类型的评估考察；

6）给出评估结果和意见或建议，并形成评估报告。

5 特种设备安全技术规范后评估方法试应用

运用本文确立的评估指标体系和模式方法，对安全技术规范中的《固定式压力容器安全技术监察规程》TSG R0004-2009（以下简称“新容规”）和《电梯监督检验和定期检验规则——曳引与强制驱动电梯》TSG T7001-2009（以下简称“新检规”）进行了立法后评估实践。

5.1 “新容规”的评估试点

“新容规”是对1999年《压力容器安全技术监察规程》的修订， 2009年8月31日颁布实施。本次立法后评估的内容包括，从设计、制造、安装改造维修、使用、检验检测等方面提出的基本安全要求到修订过程中调整的过于刚性的规定及吸收新科技成果（例如，基于风险的检验技术RBI等），前后共计修订的41个条款，是否合法、合理、是否具有实效性，是否需要进一步完善等方面问题。

“新容规”后评估调查问卷主要针对旧版容规变动较大的24个条款，涉及到经济影响维度14个评价指标条目，社会及安全影响维度7个评价指标条目，共计21个评价指标条目。“新容规”的评估通过实地调研、召开座谈会等形式广泛征求设计、制造、检验检测等相关单位的意见，建立公众参与机制，发放调查问卷593份，限时定期回收313份。

5.2 “新检规”的评估试点

2009年12月4日，由国家质检总局颁布实施了《电梯监督检验和定期检验规则——曳引与强制驱动电梯》TSG T7001-2009。本次立法后评估的内容包括考虑技术规范中的检验内容、方法和要求，在47项修订条款中，挑选出18个变动较大的条款，就是否合法、合理、和可操作进行评估。

“新检规”后评估调查问卷中主要涉及到经济影响维度13个条目，社会影响维度5个条目，总计18个条目。

“新检规”的评估通过实地调研、召开座谈会、等形式广泛征求相关职能部门及社会各界的意见，发放调查问卷100份，限时定期回收90份。

5.3 评估试点结果

利用“新容规”涉及的全部评估条款，按前述评估体系的构建模式和评判方法，给予相应的分布权重和指标评判赋值后，“新容规”评估总分达88分，属良好；利用“新检规”涉及的全部评估条款，按前述评估体系的构建模式和评判方法，重新分布权重和赋值后，“新检规”的后评估总评分达90分，属优秀。

通过试用结果的分析，验证和完善了本评估方法的适用性和有效性。主要表现在以下方面：

1）能够全面真实和客观地反映出法规实施的总体效果；

2）能够量化地反映出负面影响的大小和强弱；

3）能够量化地反映出正面影响效果；

4）能够发现意料之外的新问题并收获好建议。

根据前期循序进行的定性与定量相结合的综合评估方法确立及其试用验证结果和结论，经过评估主体和专家组会议论证，本次研究最终形成了《特种设备技术规范后评估办法》草案和特种设备安全技术规范立法后评估办法的维度和指标体系。

6 结论

1）立法后评估是立法工作的继续和延伸，是检验立法效果、提高立法质量的必要途径。欧、日、美为代表的工业发达国家已就此建立了各自的制度框架和评估方法标准体系；我国多个部门和行业也在此方面进行了大量的实践，但与欧、日、美相比尚处于摸索阶段，函待完善并实现规范化。

2）针对特种设备安全技术规范的特点，建立了多维度、多准则、多层次、多指标的综合评估模式，确定了四项评估原则、八项评估标准，确定了四个维度及相应的层次指标与评判标准，提出了维度及指标权数的考虑原则及评价模型，首创建立了特种设备安全技术规范后评估方法。

3）选取“新容规”和“新检规”对研究建立的“特种设备安全技术规范后评估方法”进行了示范应用，验证了此方法的适用性和可操作性。

1 陈书全．论我国立法后评估启动的常态化[J]．法刊，2012，03，135～141

2 郭磊国．外立法后评估对我国的启示[J]．商品与质量，2011(6)：120～121

3 龙晓林．美国行政立法后评估概况[J]．探求，2008(1)：44．

4 汪全胜．日本的立法后评估制度及其对中国的启示[J]．中州学刊，2009，05：89～92

5 周实．日本地方政府行政评价制度特征及启示[J]．国家行政学院学报，2007，(1)

6 Toivo Niskanen, Paula Naumanen, Maria L. Hirvonen．An evaluation of EU legislation concerning risk assessment and preventive measures in occupational safety and health[J]．Applied Ergonomics，2012，43：829～842

7 Marian Garcia Martinez, Felipe Ban ados ．Impact of EU organic product certification legislation on Chile organic exports[J]．Food Policy，2004，29：1～14

8 刘迎新．立法后评估方法论研究[D]．山东大学，2009

9 俞荣根．立法后评估：法律体系形成后的一项重要工作．西南政法大学学报[J]．2011，13(1)：3～10

10 孙树曼.我国立法后评估指标体系的构建[D]．山东大学，2009

11 赵静．数学建模与数学实验[M]．北京：高等教育出版社，2000

12 苏黎兰，张紫薇，张志．基于定量分析的立法后评估方法[J]．法政探索，2012(3)：113～117

13 张晓斌．法律实施效果的定量评价方法[J]．法商研究，2006，(2)

14 戚月娣．特种设备安全技术法规标准体系现状与发展[J]．中国特种设备安全，2014，7：35～37

15 戚月娣.论特种设备安全技术规范的基本安全要求[J].中国特种设备安全，2014，7:14～17

Study on the Special Equipment Safety Technical Regulation Post Evaluation Method

Chen Ruomeng1Zhang Dongsheng2
（1. China Special Equipment Inspection ＆ Research Institute Beijing 100029)
(2.Beijing University of Chemistry Technology Beijing 100029)

The post-legislative evaluation of safety technical regulation of special equipments is an important way to verify the legislative effect and enhance the legislative quality. This article analyzes the post- legislative 's status and characteristics in China and abroad. According to the purpose of legislation and on the base of full investigation and expert reviews, this article shows the evaluation procedure and standard clearly, establishes the feature dataset and multi-dimensional, multi-level evaluation index system, designs evaluation procedure and model and confi rms a postlegislative evaluation method of safety technical regulation of special equipments which is the combination of qualitative and quantitative analysis basing on the AHP. This post- legislative evaluation method is effective and applicable through the assessment cases' practice and verifi cation.

Safety technical regulation of special equipments The post- legislative evaluation AHP Evaluation index system

X915.3

B

1673－257X(2014)10－04－07

10.3969/j.issn.1673-257X.2014.10.002

陈若蒙（1972～),女,主任,高级工程师,从事特种设备行政许可工作。

2014-08-15)