迈向实践立场的法治评估指标体系及其方法论

邱成梁 李志强

(中国政法大学 司法文明协同创新中心，北京 100088；中共青岛市委党校 法学教研部，山东 青岛 266071)

迈向实践立场的法治评估指标体系及其方法论

邱成梁 李志强

(中国政法大学 司法文明协同创新中心，北京 100088；中共青岛市委党校 法学教研部，山东 青岛 266071)

法治评估意味着对法治的全方位评估，通过法治标准来寻找法治建设差距。基于提升法治评估有效性的视角，法治评估指标体系的建构是相当有必要的。法治评估指标体系的可行性框架，是其迈向实践场域的检验导向。在这个过程中需要倡导方法论的进路，具体包括指标权重设置、指标数据收集以及指标计算量化三个方面。通过方法论的实践操作，进一步优化法治评估指标体系，从而提升法治的可能性。

量化法治；法治评估；评估指标；方法论

近现代社会转型过程中，在治道体系中法治逐渐占据了最主要的位置。在中国语境下，法治中国建设事关国家治理现代化的全局以及国家的全面稳定发展。法治也不再仅仅是一种治理工具，而升华为现代性的精神引领。随之而来的是法治固有的局限也不断显现，法治评估的重要性在这一背景下也日益凸显。评估法治有助于对照既有的法治标准寻找差距，从而寻求推进法治建设的突破点。评估法治实际上源于量化法治的需求，在当下中国具有一定的现实意义。法治评估指标体系的建构，则是法治评估科学化重要进路。当然法治评估指标体系并不一定能解决法治现存的所有问题，也不能完全适时反映法治进程，但它为我们发现问题、解决问题提供了一个大致方向。我们必须认识到，西方现有的法治指数模式并不一定适合中国语境，而且其本身也存在多方面的局限，不能运用它来衡量中国法治建设状况，需要进行法治评估指标的本土化建构。但是评估法治的中国实践并非完全是自说自演，需要在坚持诸多基本法治共识前提下展开。在法治评估指标体系的设计中,需要遵循生成与演进的双重逻辑结构。当然，任何一种法治评估指标方案都不能永远停留在理论设计层面，必须彰显其应有的实践价值。迈上实践立场的法治评估指标体系，必须强调方法论的进路，以进一步实现法治评估指标体系的科学化运作。

一、法治的评估问题及其指标体系

在国家现代化转型进程中，法治日益成为最主要的治道方式，这也是整个社会的广泛性共识。在倡导国家治理现代化的背景下，法治与国家治理的联系与契合也得到更加全面的彰显。现代法治具有良法善治的内核，从而为国家治理提供了价值导向与机制引领，法治对于推进现代化国家治理具有了决定性的意义。与法治应有的状态定位相对应，法治需要体系化才能更好地实现其价值，即需要法治体系的构建及其系统化。法治体系首先意味着法治过程的有序化程度，意味着法治过程的链接性、协调性、规范性，同时也彰显法治的内在核心价值。在系统化的体系中，法治各个环节存在差异性以及内在统一性，内在统一性是体系化的必备要件。法治体系化是法治自身现代化的必然要求，也是推进国家治理现代化的必由之路。同时，我们也需要意识到过度倡导法治所带来的负面效应。在当代中国社会转型进程中，从官方到民间，法治逐渐成为社会主流话语，同时也慢慢滋生了一种法治浮夸风的气息，这种社会现象可以称之为法治大跃进的思想与实践行动。*姚建宗、侯学宾：《中国“法治大跃进”批判》，《法律科学》2016年第4期。对于中国的法治建设，需要认真分析过往的错误实践，同时汲取以往积极的经验，秉承理性、渐进、务实的建设立场，在这个前后链接的建设过程中，必须认识到评估法治的重要性。

评估法治意味着对法治的全方位评估，通过法治标准的视角来寻找差距，从而寻求法治建设的最佳着力点。从时间维度上，评估法治是对过往、现在以及未来的全面性、全局性评估。法治评估的理论脉络，首先触及的是其可能性问题，以及背后的社会基础问题。法治评估必须注意各国治理结构的差别，不应仅仅局限于法治各个方面的简单量化处理，需要有效解决按照相对统一标准评估具有差异性国家或地区的可能性问题，不同社会结构、不同社会发展水平极有可能会对统一标准带来挑战。*朱景文：《论法治评估的类型化》，《中国社会科学》2015年第7期。实际上在我国法治评估实践中，法治评估体系并非是一体化的，而是存在区隔和分化。“对于法治评估体系的构想，存在两种话语模式的分化。两种法治评估类型的理论基点,分别是以治理功能为核心的实验主义治理理论和以管理功能为核心的公共行政管理理论。”*钱弘道、杜维超：《法治评估模式辨异》，《法学研究》2015年第6期。在实践操作中，法治评估出现了诸多困境，包括定位的错乱、评估机制落后、评估经验缺乏总结提升等，特别是法治量化难题并没有得到理想的解决。法治的量化问题是法治评估的主旨所在，亦是评估实践要解决的根本性问题。在某种意义上，法治量化是法治评估实践的最根本性所在。同时量化并非仅仅是数量问题，法治量化是一种宽泛意义上的量化，因此我们需要一种综合性的机制来解决这一问题。

从存在可能性的视角，法治是可以被量化评估的，只是量化存在不同的程度。基于目的性的考量，法治评估立足于对法治现状的客观、准确描述，从而为法治完善提供进一步的指引。基于提高法治评估的有效性，一套科学法治评估指标体系的建构是相当有必要的。由于对于法治标准认识不统一*菅从进：《基于法律内在性的法治标准新探》，《法学论坛》2017年第1期。，对于法治评估指标、法治指数的存在合理性，也持有不同见解。对法治指数的合理性存在两种怀疑:一种是源于外部性的怀疑，即在实践中由于制度缺陷法治指数可能会被误用甚至滥用；一种是源于内部性的怀疑，即法治指数本身存在价值基础的合法性问题。*石佑启、李锦辉：《法治指数背后的价值哲学之争》，《哲学研究》2015年第8期。在实践中，法治指数源于外部性的问题并非无法克服，而是可以借助制度优化来解决；在理念上，对法治指数合法性的怀疑实质上是在怀疑法治的价值，这也容易陷入内部循环否定。党的十八届三中、四中全会提出构建科学的法治建设指标体系，评估指标的科学构建需要积极整合国际经验与中国经验，必须立足当前中国法治实践以及未来法治发展。在理论脉络上，法治评估指标与法治指数并无根本性区别,是一系列评估法治指标的体系化集合，通过借助指标体系可以将法治水平量化为数据。“朱景文教授提出了6个一级指标以及20个二级指标。正像一级指标需要二级指标具体化一样，二级指标也需要用一系列的三级指标具体化，这样法治指标才可能成为可量化的、可测量的、可比较的指数。”*朱景文：《如何开展科学的法治评估》，《中国党政干部论坛》2016年第1期。理论与地方实践中存在不同的法治评估指标体系方案，我们需要在实践场域提供一种整体可接受的方法论进路。

二、迈向实践立场的法治评估指标体系

中国语境下的法治，历来存在理论与实践的难题。这种难题的焦点在于，中国法治的传统资源与西方普遍性的法治模式并非完全兼容，移植性的西方法治模式难免在实践中与中国国情发生碰撞，从而降低了中国法治的可能性。中国法治必须基于中国因素,推进中国法治的创造性实践*于艳艳：《论中国特色社会主义法治道路的特色》，《河南师范大学学报(哲学社会科学版)》2016年第3期。，在此并不严格区分法治实践与法律实践。法律实践抑或法治实践，是一种维持公平正义秩序的规范性实践。“法律实践在内容上可分为法律的思想实践、法律的规范实践和法律的应用实践三种类型。”*姚建宗：《中国语境中的法律实践概念》，《中国社会科学》2014年第6期。迈向实践立场的法治评估指标体系，更多意义上是法律的思想实践。法治评估指标设计中往往也会出现与法治实践精神不相符的趋势，如会追求统一性而忽视地方性、多样性。在中国法治评估指标体系设计中，“虚与实、中国与世界、普遍性与特殊性、统一与杂多、表象与实质、诚信与虚构、理想与现实、定性与定量、建构主义思维与法治的渐进主义逻辑、科学与人文”*姚建宗、侯学宾：《中国法治指数设计的思想维度》，《法律科学》2013年第5期。，这些对应性的思想维度需要我们反思性地思考，这实际上是倡导一种平衡性的实践立场。法治实践与公共理性存在天然契合，首先在法治实践中要尽量恪守理性，在不断消解实践中非理性基础上不断迈向理性化法治实践。迈向实践立场的法治评估指标体系，有助于进一步提升法治的公共理性，从而进一步推进法治试错、提升法治的可能性。

基于法治评估指标体系的实践价值彰显，必须重视指标体系建构的可行性原则。可行性理论在整个社会科学领域均存在应用，特别是在社会学、管理学、经济学的范畴，但法治评估指标体系在本质上也内涵了管理学、经济学的理论脉络，因此可以运用可行性理论分析法治评估指标体系。从理论框架上分析，可行性包括必要性、可接受性、可能性以及可操作性等，可行性理论是一个贯穿评估对象始终的分析模式。可行性分析的对象是一个系统，要评价总体方案的必要性、可能性等。可行性研究是运用多种科学手段对方案进行系统性综合论证，用最小的成本、代价确定问题是否能够解决。它为决策的依据提供一种综合性说明，使作出的决策方案具备全面、科学、可靠的特征。法治评估指标体系在本质上是一个系统化的方案，指标体系的建构过程必须遵循可行性原则。基于当前进一步推动法治现代化的需要，必须充分认识到法治评估指标体系建构的必要性。另外，基于社会转型期法治的更高质量、数量的要求，法治评估指标体系建构具有社会公众的可接受性。从理论前提上分析，法治评估指标体系并非是空穴来风的范畴，已经具有重要的实践基础与理论基础，具有不同层次上的实现可能性。当然，必须注重法治评估指标体系可操作性的处理，从而提升其科学化水平。

任何学科问题的研究与解决都必须形成有效的方法，从而指导理论的实践应用与发展。整个科学的统一仅在于它的方法，不在它的材料。同样，法治评估指标体系的有效运转，也离不开一套科学的方法体系予以指导。方法论指导需要形成相对性的整体性共识，即在张扬与克制之间通过方法疏通来追求法治评估的精确性、科学性，从而彰显法治评估的实证主义导向，并且借助方法优化有效整合法治评估的价值性与技术性。同时，基于法治评估自身的功能定位，在法治评估方法选择上必须落实其功能导向，通过借助方法来消除法治评估的负面影响。当然，法治评估方法论自身也会存在方法缺陷，任何理论进路都无法解决所有问题，我们也需要充分认识到其自身所具有的局限性，这也是充分发挥法治评估方法论应有效能的前提。法治评估指标体系的方法论是以量化为主旨，具体包括评估指标的权重设置问题、数据收集问题以及计算量化问题三个方面内容，实际上这三个方面也是紧密链接的。“从方法论的角度, 遵循概念共识、操作化是法治评价量化研究的逻辑前提。概念共识是对测量的对象的限定,操作化则是将抽象的概念转化为实际测量的指标和变量的过程。”*刘凯、白力士：《法治评价量化研究的方法论基础》，《华南师范大学学报(社会科学版)》2016年第2期。作为基本的评估工具，它们有效保证了评估过程的顺利展开，有助于评估结果的准确性和真实性。

三、法治评估指标的权重问题及其设置

从方法论的角度,首先要涉及法治评估指标的权重问题。法治指标权重是法治评价量化操作化的逻辑前提。必须认识到法治评估指标体系不是唯一的，存在不同层次、不同类型的评估指标方案。源于各方面的因素，即使是同一指标在不同的法治指标体系中也往往会设置不同的权重。例如，昆明法治指数、余杭指数对很多类似指标没有设置相同的权重，这源于不同地区的法治化进程。本文关于法治评估指标体系权重设置的研究，并非是细致的微观方案，而是宏观性的指导方案，涉及法治评估指标权重的设置原则以及设置方法。

(一)法治评估指标权重设置的原则

法治评估指标权重的设置问题，首先要遵循相关的原则，包括系统优化原则、科学客观原则以及充分考虑指标可测性原则。

一是权重设置的系统优化原则。在法治评估指标体系中，不同指标相对于整个指标体系来说都有其独特的评估价值和意义定位，是系统化指标体系的有机构成。因此在设置不同指标的权重时，不但要考量评估指标本身因素，更要兼顾评估指标其他各方面因素，应妥善处理和解决好各个指标间的关系。同一级指标之间，不同级指标之间，都要确保彼此间的协调，从而对指标的权重进行合理分配。在充分理解系统原则的基础上，将指标体系看作一个完整的系统，并把整体最优作为体系建构的基本出发点和追求目标。因此，法治评估指标体系中的各项具体指标，需要考量具体指标各自对整个评估指标体系的效应，从而对具体指标的重要性作出对比性判断。权重的设置要结合评估目标以及整个指标体系系统优化的要求，权重既不能平均设置，也不能过于突出某项指标的重要性，造成其他指标作用和效果的失衡。

二是权重设置的科学客观原则。指标的权重设置也要遵循科学客观的原则，科学性要求权重赋值依据科学的方法，科学的方法能够有效保证权重赋值的准确。在评价过程中，权重赋值合理与否对评估结果有至关重要的作用。客观性具体要求指标的权重应如实反映指标在评估中的重要性。评估者要根据实际情况，在依据明确的法治评估要素基础上，给各项指标分配适合的权重数值，减少主观因素的影响，降低不必要的误差。在权重分配的过程中，也要注意规避外部环境的干扰。以当下工作目标及政治要求，来有针对性加强或减少某些指标的权重，不符合指标权重设置的客观原则。因此，科学客观定位各项指标的重要程度，将有助于整个评估活动的顺利开展，保证评估结果的真实有效。

三是权重设置要考虑指标的可测性。指标的可测性是法治评估指标体系运转的前提条件，可测性是指标权重设置的重要考量因素。在理论上设计的评估指标体系里，尽管部分评估指标所反映内容比较重要，但实际操作中其可能面临可测性较差的难题。如果没有可测性较强的相近或类似指标能够来代替，此时由于指标测算缺乏准确性、客观性而极有可能导致评估结果无法有效反应评估内容，为了避免这种现象应当减少该指标的权重。与这种情况相反，对于可测性较强的评估指标，可以适当提高其权重，并且可以借助类似方法对可测性较差的指标予以替代。

(二)法治评估指标权重的设置方法

目前在指标的综合评价方法里，指标权重的设置主要包括两大类：主观赋权法和客观赋权法。其中，主观赋权法采取定性的方式由专家根据主观经验进行判断而得到权重，如模糊方程求解法、专家决策咨询法、专家排序法、古林法、层次分析法、德尔菲打分法等。客观赋权法则是依据指标之间的相关关系或各项指标的变异系数来确定权重，如离差最大化法、均方差方法等。两种方法的特点各不相同，主观赋权法通过专家经验衡量各指标的重要性，但存在一定程度的主观随意性。它往往受人为因素的干扰情形较大，在评价指标较多时难以得到准确的效果。客观赋权法综合考虑指标间的相互关系，通过各指标所确定的初始信息来确定权重，能够达到评价结果的准确，但当指标较多时，计算量非常庞大复杂。

在法治评估指标体系中，指标数量较多、指标体系较为庞大，指标涵盖的范围相当宽泛、内容复杂多样。相比较而言，主观赋权法的理念更符合法治评估指标体系的要求。它通常能够在指标数量较多时，获得较准确的评估结果。但主观赋权方法的具体方法都存在各自的不足。例如，专家咨询的方法往往带有主观经验性和随机性，模糊方程求解则需要预先给定各样本的优劣顺序，条件要求又较严格。而当前在我国各地进行的法治评估运动中，包括香港、余杭、四川等大多数地区设计的法治评估指数均使用了德尔菲打分法来设置权重，界定每个指标的重要性。德尔菲打分法通过专家匿名的方式多次征询评估问题的意见，从而获得相对一致的评估结果。该方法的运用也为全面实施法治评估指标的权重设置提供了有益的借鉴和参照。因此，对于指标的权重划分，我们具体可采用德尔菲打分法：通过对各项指标从重要到次要进行排序打分，并将专家意见进行整合与集中，然后把专家打分的结果转化为具体的数值。但在多层次的评估指标体系中，采用德尔菲法无法直接比较处于不同层次的因子重要性。“需要采用层次分析法,建立层次结构模型然后求解判断比较矩阵的特征向量，并使其通过一致性检验(归一化),从而实现对各层次最基础因子的影响大小进行量化比较。”*易卫中：《地方法治建设评价体系实证分析》，《政治与法律》2015年第5期。

四、法治评估指标的数据问题及其收集

在法治评估实践以及法治评估指标具体操作中,为了保证评估结果的客观、准确，必须获得多样化的客观数据。指标的合理科学设计是法治评估的前提，而评估资料与样本的真实有效是法治评估的关键所在，在一定程度上决定了评估存在的必要性。真实有效的数据是保证指标体系规范运行的前提和基础。由于法治评估指标所涉及的内容来源于各个层面，涵盖经济、社会、环境等重要因素，指标因子测量往往具有不确定性。当前法治评估实践中，不同评估数据都需要解决的是，评估数据来源的可信性问题以及评估数据样本的客观性问题。法治评估指标应当认真对待数据来源和数据收集问题，科学恰当地整合客观性的事实数据与主观性的感知数据，以规避评估数据的可信性问题以及客观性问题。法治评估指标的数据收集问题，涉及收集主体与收集方式两个方面的内容。

(一)法治评估指标数据的收集主体

从评估者的角度来看，指标数据主要来源于两种渠道：一是来源于直接的调查和科学实验，这种方法较客观和方便，我们称为第一手数据或直接数据。二是来源于其他人的调查或实验的数据，这是数据的间接来源，我们称为第二手数据或间接数据。因此，收集主体的不同影响着数据来源的方式，对于最终评估结果的信度和效度也会带来明显的差异。而法律与其他社会公共政策一样，其本质属性是公共属性。法律调整社会的整体利益，是多元利益的整合与统一，法治评估作为法治过程中的重要环节，其指标体系构建也是调和不同利益的体现，特别是对待同一问题，不同受众对象的认识很难达成一致。所以评估指标不仅在评估对象的选择上，而且在评估数据的收集上都应反映公众的基本诉求和社会利益的多元化。评估数据收集要关注多元群体的利益需求，尤其要科学界定数据影响的目标群体和相关公众，它对保障公众有效参与法治评估并牢固确立起主体地位发挥着至关重要的作用。

传统的法治评估把国家机关视为公共利益和公共性的代表，并往往将其作为唯一的评估主体。由于它们掌握公共权力资源，为了达到评估的预期目标，满足自身的利益需求，数据收集采取的方式比较单一。这导致数据处理的结果常常不够客观、全面，并带有个人或部门利益的烙印。而公共组织以外的数据收集主体又一般难以获得法治实施状况的基本信息，且自身不具有强制性和权威性，调查对象不协作的情形时有发生，致使数据收集过程中执行力不强、效率较低。另外，法治评估应当体现公众的偏好，同时要积极对民意进行回应。正源于此，法治评估机制从准备工作到程序运行再到结果反馈、调整都应努力符合公众意愿及价值判断。指标数据作为评估准备工作的核心，要积极反映社会真实需求。因此，数据收集的主体应是多元化的安排，即以官方机关为主导，社会公众及第三方组织积极参与的数据收集模式，保证评估结果的客观、公正。当然，我国目前在法治评估中对数据收集主体的规范尚无统一认识，执行过程也没有统一标准。至于何种主体最能保证数据收集的实效，还需我们总结实践经验，在条件成熟时，实现收集主体的统一化和规范化。成熟的第三方法治评估机制，对优化数据收集主体具有重要意义。“关于第三方法治评估，需要正确认识第三方评估的性质与价值、科学界定评估受托方的权责、打破多元主体的传统惯习,并建立有效的接纳机制。”*张玲：《第三方法治评估场域及其实践逻辑》，《法律科学》2016年第5期。

(二)法治评估指标数据的收集方式

指标数据的来源方式一般分为两类：一是调查或观察，二是试验。通常调查是获取社会科学数据的重要手段，而试验则是取得自然科学数据的基本手段。结合法治评估的目标及特性，法治评估指标的数据来源可考虑以下几种方式：一是调查和统计的数据，二是资料文献的分析数据，三是专家投票获得的数据，四是公众调查的数据。

调查和统计主要是由官方组织实施的信息数据收集活动，当然也包括非营利组织实施的调查和统计。例如，我国定期进行人口调查、农业调查、工业调查等，做各种普查及相关调查项目，以便官方掌握有关国情、国力的基本统计信息，为大政方针的合理制定提供客观的事实依据。法治评估所考察的内容同样会涉及来自国家、社会各个层面的信息，正是源于多方位的信息需求，官方组织的统计调查是满足该项需求的有效工具，政府调查和统计的数据是评估指标体系最主要的信息来源。资料文献的分析主要是在数据收集整理过程中通过对比先前同期的数据信息状况，从而对现有评估数据形成清晰的认识。另外，对于定性指标产生的影响，也可以通过查阅相关文献资料，确定评价定性影响的相关要素，实现定性数据获取的有理有据。专家投票获得的数据主要为定性指标的数据，对于某些难以直接量化的评估指标，我们可以面向对该领域有专门知识的专家学者获得定性判断的结果，并在此基础上赋予相应数值。公众调查的数据主要是提供日常生活各种法治评估的信息数据，将自己真实的感受反映到调查的数据中。但实践中，调查的数据极少有完整无缺的，总会有人拒绝调查或遗漏某些调查事项，此时我们可以采取均值、中位数、众数、回归插补、期望值最大化差等方法来弥补数据的异常，并对数据实施标准化的处理。

五、法治评估指标的测量问题及其方案

实现法治评估有效性，除了法治评估指标的权重问题、数据问题，最终要落实到法治评估指标的测量问题。量化法治中的量化是一种广泛意义的量化，融合了定量分析与定性分析两种方案，是一种平衡系统化的量化。与此相对应，法治评估指标测量涉及客观指标与主观指标两种类型指标的测量问题。最终法治评估指标的测量，需要在对法治评估指标的信度与效度审查基础上，运用不同类型计算工具得出测量结果。

(一)法治评估指标的定量与定性

在法治评估指标的测算方式上，大致存在量化分析与定性分析两种方案。在法治评估指标体系中，整体上可以划分为定量评估指标与定性评估指标两种类型，源于类型划分对法治评估指标的测算应结合定量分析和定性分析，并且遵循以评估指标量化分析为主、定性分析为辅的测量思路。评估者首先要考虑对评估指标进行量化处理，我们可以依据具体情形采用不同的测量尺度，对指标的价值予以数量化；然后在量化基础上对指标进行统一的数据处理，完成指标的计算。定性分析方法基于诠释社会科学的理论，包括解释学、建构主义等内容，充分发挥人的主观意图去评判影响指标的价值。虽然法治评估指标体系以量化为预期，但对于某些特殊的定性指标，如实施效果涉及的公平正义等社会价值，就难以用数据来具体衡量。我们只能通过定性描述的方式来说明其效果程度，对这些指标的效果进行细致说明，从而补充整体量化的不足。定量研究更多的是整体性描述与比较，质性研究可以集中于特定问题甚至个案问题，从而有助于法治评估的深入剖析，这也是其相对于量化方法的优势所在。*张德淼：《法治评估的实践反思与理论建构——以中国法治评估指标体系的本土化建设为进路》，《法学评论》2016年第1期。在当前地方法治评估实践中，存在过于凸出量化分析的倾向，出现了量与质在某种程度上的失衡。这种量化法治难题的解决，除了依赖于评估方法的融合，也需要宏观上评估过程的平衡，即主体间性的彰显。

(二)法治评估的客观指标与主观指标

就评估视角而言，在法治评估指标体系中存在客观指标与主观指标两种类型，与定量分析以及定性分析的区分相对应，这两种类型在数据处理方式上并不完全一致。“客观指标是指可以由具体数值和统计口径予以测量的指标，主观指标反映的是评估主体的某种主观感受，其量化的常见方法是设置虚拟变量予以赋值。客观指标受到信息搜集来源等可行性限制,主观指标则受限于抽样方法、观感偏差等缺陷。”*韩旭、钟凯：《地方法治量化评估若干理论与实践问题研究 》，《河南大学学报(社会科学版)》2016年第2期。在法治评估指标体系中，可能出现的客观指标如信访率、犯罪率、诉讼率、上诉率、结案率、调解率、辩护率等，可能出现的主观指标如司法公信力、政府公信力、公众法律信仰、司法文明指数等。显然，客观指标与主观指标都面临可信度的困境。“尽管客观指标依赖于客观数据,不以研究者的主观意愿为转移，但由于与被评估的对象利益相关客观指标未必真实可信；主观指标依赖于被访者的主观感受,但主观指标未必不可信,许多情况下主观指标经常成为矫正客观指标失真的有效手段。”*朱景文：《如何开展科学的法治评估》，载《中国党政干部论坛》2016年第1期。在计算机制中，在融合量化与定性的同时，法治评估应该把客观指标与主观指标结合起来测量。

(三)法治评估指标的信度与效度审查

法治评估指标的信度、效度检测一般需要将实际调研的数据代入模型进行审视，来确定指标之间的关联性及因果关系。因而法治评估指标的信度与效度检测主要基于指标数据的稳定性和协调性目标来开展。当前对于指标数据稳定性考察工具，我们可以适度借鉴世界正义工程检视法治指数时所使用的统计审查方法，如折半信度法、克隆巴赫系数法等。对于评估指标协调性的考察,即分析评估指标是否具有搭配性、相关性，以及评估指标能否测量具有复杂维度的法治，可借助C-alpha系数、斯皮尔曼等级相关系数等相应的审查方法。*孟涛：《法治测量：世界正义工程法治指数研究》，《政治与法律》2015年第5期。总而言之，以此来提升法治评估指标在实际运用中的科学性和严谨性。

信度即可靠性，它是指测量结果的稳定性和一致性的程度。指标信度一般以相关系数来确定，系数值越高意味着指标数据越稳定、可测量的程度也越高。目前实践中常用的信度系数包括内在一致系数、稳定系数、等值系数等，它们都有效保证了数据来源的可靠性。另外，信度审查的方法主要有四种类型：重测信度法、基本信度法、折半信度法和科隆巴赫系数法。在法治评估指标问卷的信度检测过程中，我们可以通过SPSS16.0软件以及AMOS软件对有关问卷答案回收数据的合理性进行审查，并将不采信的问卷及数据剔除在最终评估结果之外。效度即有效性，它主要测量评估指标之间的效用关系，即指标之间是否具有密切的关联性。法治评估指标体系的定量观测点为指标效度检测的开展提供了有用的数据来源。效度检测内容主要包括三种类型：内容效度、结构效度和准则效度。评估者对于指标效度检验的具体操作同样可以通过SPSS16.0软件以及AMOS软件，并建构结构方程模型分析因子变量，保证评估指标体系整体的效果。

(四)法治评估指标体系的计算工具

在比较不同方案时，法治评估指标体系应借助有效的计算工具，将指标测量结果予以整合，获取最终的评估结果。法治评估指标体系的计算工具，大致可以区分为针对性的计算工具和系统论的方法。在指数计量方面,求平均值法是主要方法，当然会有不同形式的演变。在当前国内法治评估实践中，加权平均法在昆明法治指数和余杭法治指数计算上得到了运用。当然，加权平均法的运用并不一定能完全保证计算结果的精确、客观，去掉评估专家最高分以及最低分再计算法治指数往往是采取的优化方案。在评估指标计算过程中，除了针对性的计算工具，也要运用系统论的方法来分析和研判法治评估指标，将评估指标计算放在整个评估系统中考察。在宏观层次上，可以引入绩效评估的理念。“法治绩效评估是指运用一定的评价方法、量化指标及评价标准,对一个国家或地区法治建设的效益、效率和效果的综合性评价。”*刘爱龙：《我国区域法治绩效评估体系建构运行的特征、困境和出路》，《法学评论》2016年第6期。在彰显法治中国建设的战略目标基础上,这样能够有效兼顾评估指标的工具理性与价值理性。

六、评估法治与法治的可能性

在理论范式层面，作为分析框架的法治，并非是自足自证的。著名法理学者於兴中先生便提出了“法治是否仍然可以作为一个有效的分析概念？”的追问，认为 “法治的观念最初产生时不过是一种理想即用预先制定好的法律规则指导并约束人的社会行为以避免人的任意性，需要更多关注具体法律制度和实践”*於兴中：《法治是否仍然可以作为一个有效的分析概念？》，《人大法律评论》2014年第2期。。关注法治实践，意味着我们不能仅仅局限于对法治合法性、法治定义等传统理论。与法治实践紧密相联，法治的量化问题显得至关重要。尽管法治是很难描述的，但我们可以借助家族相似性来把握法治。实际上法治评估指标理论便是通过家族相似脉络来描述法治，从而弥补概念描述法治的缺陷，用类似性的评估而非概念来描述法治也逐渐成为一种趋势。但法治评估指标体系难免会存在自身固有的局限，例如关于法治指数的数据搜集方面，难免存在将法治实践简化的风险，甚至有可能存在一定程度的歪曲，即使是获得数据之间也可能存在冲突、需要进一步的解释。在社会转型进程中，尽管法治评估自身存在诸多局限，但在法治实践中不应该忽视其广泛的发展用途。法治实践效果与法治意图产生背离，是法治评估运行的现实基础。法治评估不但提供了一种量化机制，也提供了一种互动机制，通过法治评估的实践将法治运行的双方(国家与社会)紧密联系起来。这种互动机制也有助于形成稳定的法治秩序，从而提升法治的可能性。

在普遍意义上，法治具有积极性价值，法治的可能性问题也是普遍存在的。在中国语境下，社会不断转型、变革，现代法治实际上遭遇了更多问题。推进法治评估及其指标体系，对于解决或缓解法治问题具有重要意义。量化法治有助于测量法治建设的运行现状，分析法治运行出现的问题，不断总结法治发展的规律。同时法治评估指标体系具有开放性，通过积累评估数据可以反复检测评估指标科学性，不断调整和完善法治评估指标体系，从而更好地反映法治运行状态。特别是通过实践立场的方法论，将理论设计的法治评估指标体系操作化，从而对法治现状与未来发展实现全面性的认知，有助于提升法治的可能性。另外，即使是法治评估指标体系本土化，其难免也会受到世界法治指数理论的影响，这种影响可能与中国法治实践并不符合。正如我国法律移植普遍存在一样，法治指数实际上也是外来理论移植。法治指数实质上是一种舶来品，它是全球法律散播、法律全球化中的一种现象，其自身内涵的法治理念有着特殊的来源，所采取的方法和技术有着特殊的导向, 这些来源与导向的特殊往往与整个世界现状存在不可避免的联系。*鲁楠：《世界法治指数的缘起与流变》，《环球法律评论》2014年第6期。法治评估指标体系自身的理论缺陷，难免会对提升法治可能性产生消极影响。解决这一问题的出路仍然需要从法治评估指标体系实践化来切入，这便需要实践立场的方法论来弥补，这也是本文的主旨所在。

2017-06-01

邱成梁，中国政法大学司法文明协同创新中心博士研究生，中国法学会(研究部)访问学者。 李志强，中共青岛市委党校法学教研部讲师，法学博士。

本文系“2011计划”国家司法文明协同创新中心研究成果。

D903

A

1003-4145[2017]08-0186-07

迎朝)