科技期刊审稿过程中稿件质量评价模型的构建

魏 玮

中国石油勘探开发研究院《石油勘探与开发》编辑部 北京 100083

0 引 言

稿件质量是期刊发展的命脉和基石，决定着期刊整体的品质，对期刊的长远发展起关键性作用。为把控稿件质量，科技期刊遵循《出版管理条例》《报纸期刊质量管理规定》和《传统出版三审三校基本要求》等规定，一般实行三审制，即初审、复审和终审［1-3］，具体而言，为编辑初审、专家复审和主编终审。在期刊发展过程中，三审制度的执行也进一步完善，多数编辑部采用单匿或盲审等同行评议制度，针对三审中存在的评审人数、专业方面可能存在的局限性，提出提高同行专家评审质量［4］、开展动态开发评审［5-6］、实行主编+编辑部定稿会终审及专家定稿会［7］等措施。但在三审过程中，编辑、审稿专家等审稿人的评价具有主观性，并不能很好地规避评审过程的非客观评价最终导致优秀稿件流失。

1 稿件质量评价过程中的综合评价模型

1.1 现有稿件质量评价模型

编辑部常规的审稿评价方法为专家打分法，但该方法定量太过简单化，基本是凭借专家的专业水平和经验判断，具有很强的“人工机动性”；也有尝试将模糊数学理论运用到稿件综合评估中，然而在运用过程中无法直接得到各指标层的权重［8-9］。2000年左右，有研究尝试采用层次分析法（AHP）+模糊综合评判法，在稿件质量评价中建立综合评价模型［10-13］，以解决模糊数学理论方法实践中的各指标层的权重确立问题，将定性与定量相结合，使评审结果呈现多元化。然而近年来，该模型并没有在期刊稿件三审过程中得到应用，主要是因为该方法的应用过程大同小异、基本一致，差别主要为指标体系（即因素集U）的建立。2008年以来，根据稿件质量的重要影响因素，不同学者建立了不同的指标评价体系（图1）。

图1 现有期刊质量评价模型指标体系示例Fig.1 Examples of index system for existing journal quality evaluation model

1.2 现有模型存在的不足与不适用性

由图1 可知，现有的稿件质量评价指标体系基本涵盖影响文稿质量的大多数因素，相对比较全面，但仍然存在一些问题。第一，指标分类不够清晰，次级指标存在交叉。如模型1 的理论性次级指标跟独创性、科学性的次级指标存在多重交叉，导致人工权重的初始打分及评价集打分的范围模糊；模型1 和2 中的次级指标图表公式在格式等方面固然算是规范性问题，但内容方面应隶属于科学性范畴，属于逻辑推导过程中的细化因素。第二，指标的建立过于细化，增加了定量计算的工作量。特别是在前期审稿工作中，编辑部是有周期要求的，在固定时间内要决定稿件是否录用，单篇稿件定量化计算量增大会导致该模型的实用性大为降低。第三，方法理解不够准确，次级指标（即因素集）与评语集概念乱用，指标体系实用性差。如模型3 的二级指标混乱，选题意义、学术性和创新性等对应的次级指标应该隶属于相应的对该指标的分级评价的评语集。

综上所述，现有模型存在指标交叉模糊、分类不明晰等问题，且多针对稿件的整体、全流程的综合质量评价，并不适用于科技期刊前期的稿件审稿过程。

2 审稿过程中AHP-模糊综合评判模型的构建

AHP-模糊综合评判法因为存在一些定量矩阵的计算，相比常规的定性定稿方法有些烦琐，所以应根据具体稿件的情况“因地制宜”构建。

模型是否应该适用于所有稿件？如有的文章无论从前瞻性、科学性、创新性等各个方面都是公认的好文章，编辑部和外审专家评价结果趋于一致，若初始评价均为优秀，则无需进一步采用定量方法进行分析，直接进入录用编辑环节即可；而有些文章的关键指标，各编辑、编审、主编意见有不一致的地方，甚至差异极大。因此，该模型的适用对象主要是编辑部意见不统一、存在争议的稿件。

在应用过程中，针对现有评价体系应用中的不适用问题，笔者认为应精简和完善指标体系。如在政治方面，在我国，政治指标具有绝对性，若政治方面不符合要求，则文章往往会被直接判“死刑”，一票否决；还有在学术不端方面，包括学术造假和内容剽窃等，该指标也应具有一票否决性。因为这2 个指标存在决定性，所以只有符合要求才可进入下一个审核环节。2 项指标应该单独考虑，可以不放在指标体系里面，无需参与运算。在编辑部收稿至尚未录用的整个三审过程中，编辑规范方面的指标虽然是影响文章质量的重要指标，但是往往可以在后期通过编辑工作的帮助来提升，一般不作为退稿的决定性因素，且在实际审稿工作中，专家和编辑部也极少因为“文笔”问题而直接退稿（除非规范性差到一定程度导致内容的逻辑性错误，这已不仅是规范问题，而是内容问题），且这一因素可以通过在编辑部的封页、网站等进行宣教来改善。因此，笔者考虑实际工作情况，认为规范性指标在审稿过程的评价模型运用中无需进一步分级讨论，细化分级更合理。在符合政治指标和学术不端要求的前提下，建立如下指标体系（图2）。

图2 审稿阶段来稿质量评价指标体系Fig.2 Quality evaluation index system for submissions at review stage

笔者将审稿过程中AHP-模糊综合评判法的应用流程归纳如下（图3）［14-15］。

图3 AHP-模糊综合评价过程Fig.3 AHP-Fuzzy comprehensive evaluation process

第一，建立综合评价指标体系。对编辑部收稿至尚未录用的整个过程中可能存在的稿件质量影响因素进行分类（即多层级评价指标的建立），按其所属层次分别处理，确定因素集U，即U={U1，U2，U3，U4，U5}。

第二，确定模糊权重集。根据各个要素两两之间相对的重要程度，基于德尔菲法和层次分析法，构造各级判断矩阵，确定权重W。具体指标权重的计算步骤一般包括建立递阶层次结构模型和构造判断矩阵，采用求和法计算各层指标权重，并进行一致性检验。

第三，确定评价等级标准和评语集V，确定评价等级标准，采用专家调查法判断等级。本文是针对稿件质量的综合评价，设V={很好，好，一般，较差，差}或{很合理，合理，一般，较不合理，不合理}等。

第四，根据评价等级标准，采用调研法或专家打分法对评价因素集中的各单因素作单因素评价，并进行归一化处理，建立隶属矩阵R。

第五，计算因素层、指标层模糊综合评判集，求得模糊综合评判集，即利用R×W求得模糊综合评判结果。

因为各期刊内容倾向性不同，所以各指标权重集肯定各不相同，如偏向理论、宏观走向方面的期刊，其科学性、理论性等指标的权重一般要大于应用价值等，而实验、应用类期刊肯定更看重实验过程、结果、应用等方面的指标。该模型虽然看似简单，但并不影响评价的准确度。评价等级标准的内容范围可以结合期刊选题要求进行设置，若该指标对期刊很重要，则可以将评价等级标准划分得更细致。

3 结 语

针对期刊审稿过程中存在的因非客观评价而导致优秀稿件流失的问题，探究如何将定性评价与定量化评价相结合。通过研究现有的稿件质量评价方法，发现前人已尝试将层次分析法与模糊综合评价法相结合，能够实现将定性评价定量化，但其并不适用于审稿过程的稿件评价，且存在指标交叉、因素集与评语集不清等问题。针对过往稿件评价模型存在的不足，并考虑该模型在审稿过程的不适用性，提出建立新的评价体系。