科研评价体系中学术论文评价实证分析

陈峰，杨晓，陈晓江

(1.西北大学科技处，陕西西安 710127；2.西北大学经济管理学院，陕西西安 710127；3.西北大学信息学院，陕西西安 710127)

科研评价体系中学术论文评价实证分析

陈峰1，杨晓2，陈晓江3

(1.西北大学科技处，陕西西安 710127；2.西北大学经济管理学院，陕西西安 710127；3.西北大学信息学院，陕西西安 710127)

针对当前科研评价体系中学术论文质量评价存在的问题，以计算机学科学术论文评价为实证，以某大学的科研评价标准体系与考核指标为案例，对学术论文评价的相关问题进行研究。研究认为，如何判断会议论文和SCI期刊论文在科研评价体系中的价值与定位，能否坚持正确导向是科研管理评价体系面临的主要问题；在计算机学科中，国际上大部分标志性成果都会发表在顶级会议上，但中国的科研评价体系仍以SCI期刊论文为主，中国学者参与国际计算机学会的权威会议及其发文量均较低；中国科研评价体系应重视顶级会议论文的重要性，平衡不同评价指标的权重，平衡不同学科领域之间的差异，提高会议论文认定的等级，发挥评价体系的导向作用，制定科学的评价指标，完善科研评价管理制度；某高校制定了分学科科研评价标准体系和差异化的考核指标，依据不同的专业领域拟定了同行专家评价认可的期刊与会议列表，规范了期刊文章和会议文章的量化指标来综合衡量学术论文的学术和文献价值，在学术科研国际化方面取得了显著成绩。

科研评价；顶级会议论文；SCI期刊论文；计算机学科

一、学术论文评价存在的问题

科研评价指标体系是由各级各项指标及相应权重和评价标准所构成的有机整体，而国际和国内对SCI期刊论文和会议论文这两种不同形式的论文评价各有偏重[7]。从中国科研现状来看[8-9]，科研评价体系比较单一，过分强调期刊论文而忽视会议论文。该评价体系与高校及其教师的切身利益密切相关，对高校和教师的科研工作有着很强的导向作用。因此，如何定位会议论文和SCI期刊论文在科研评价体系中的价值与地位，能否坚持正确导向是科研管理评价体系面临的主要问题。如果两者权重分配有失偏颇，科研工作者的科研热情和创新积极性将会大打折扣，进而会影响相关学科师资队伍建设，最终会影响学科发展。

SCI体系和中科院分区体系对引导普通论文评级有一定的积极意义。SCI期刊论文对算法理论描述更为详细、考虑更全面、实验更充分，从统计意义上看，学术水平高于一般的期刊，具有一定的区分度，在科研评价上能达到一定程度的公正性与合理性。但是，如果只采用“SCI标准”，会造成许多国际性高水平的会议成果被排斥在外，得不到公正的评判。由于期刊论文发表周期长，在国际领域最为前沿性工作的导向性和区分度稍显不足，难以对快速发展的学术科研起到引领作用。然而，中国高等院校SCI评价对象恰恰是要引领学科发展研究者，在教师职称评审、博士学位点申报与评审、重点学科申报与评审、科研奖励中热衷于追求SCI论文收录数，这是目前存在的重要问题[10-11]。

二、学术论文评价现状实证分析

计算机的迅速普及与发展为人类社会生活带来了巨大的便利，计算机学科的研究成果被全社会广泛关注。但是，与其他历史悠久的一些学科相比，计算机学科作为一门新兴学科具有其自身特点，主要表现为创立时间短、实践性强、发展迅速等。该学科的科研评价标准与体系也在逐步完善与发展，评价体系不仅是反映计算机学科发展的晴雨表，而且会直接影响计算机科研管理和学科建设。

计算机学科既有基础理论性研究，也有应用性研究，很多科研成果具有极强的社会应用功能，以标志性大型系统等普适性应用为主导。比如，国外计算机学科的顶级名校麻省理工学院、加州大学伯克利分校、斯坦福大学等，其科研成果有我们现在广泛使用的UNIX系统或者数据库系统，这成为人类文明的共同财富。国内有国防科技大学所研制的银河、天河系统等。而计算机学科的大部分科研成果(从大型系统到局部创新)都是以论文的形式发表，包括SCI期刊论文和会议论文。因此，计算机学科科研评价指标中的一个重要部分就是论文质量的评价。

反观国际上大部分计算机学科的最新标志性工作都会在顶级会议上发表论文。例如计算机网络中最为经典的TCP协议中的拥塞控制算法，首先发表在1988年计算机网络的顶级会议SIGCOMM上。MIT、斯坦福大学等高校计算机系的领军人物的很多开创性工作也发表在计算机领域的顶级会议上。从目前发表的论文数量看，在多个世界一流名校中计算机学科很多学者的研究成果由80%的会议论文和20%的SCI期刊论文构成。

国际计算机领域的特点是追踪顶级会议，发表顶级会议论文。第一，计算机学科很多高水平的期刊一期只能登刊十几篇论文，有的期刊甚至只有三四篇论文。与之相比，计算机领域的大部分顶级会议是每年一次，部分会议也有隔年一次。这些会议每年录用三四十篇论文，或者20篇左右的论文。因此，计算机学科高水平的期刊和会议的规模都是非常有限，论文录用率很低。第二，大多数正规的会议论文需要经过4个以上审稿人进行双向匿名评审，并且还要组织会议的程序委员会对投稿论文专门召开会议进行讨论。因此，会议论文相比期刊论文具有发表周期短、有较好学科科研前瞻性等优势。第三，中国科研评价体系还是以SCI期刊论文为主，顶级会议论文并不为其他学科科研工作者所关注。2006年法国巴黎大学陈钢博士的研究发现作为第一作者的中国大陆学者在历年国际计算机学会(ACM)权威会议发表的论文仅占总量的0.83%[12]，半数以上ACM会议上没有中国论文的声音，反映出中国计算机学科大部分工作还处于内循环时代，未能较好地与国际学术界接轨。因此，对会议期刊的忽视不仅阻碍了国内计算机学者的科研动力，也严重地影响到中国计算机学科在国际上的影响力与声誉。

三、优化科研评价体系的路径

根据计算机学科的特点，结合对中国科研评价现状与问题的理性分析，在科研评价体系中应完善SCI标准、重视顶级会议的重要性，才能形成科学的科研管理体系，为科学研究发挥更具针对性、更符合现实的价值导向作用。美国教育家斯塔费尔比姆指出：“评价的目的不是为了证明，而是为了提高科研水平。”[13]只有不断完善计算机学科的科研评价体系，才能更好地促进该学科快速发展。

(一)重视顶级会议论文，平衡评价体系标准

面对计算机学科在国际和国内的评价制度之间越来越明显的差异，以及目前国内计算机学科实行的“SCI标准”体系所存在的弊端，中国计算机学会率先进行了反思。2005年，中国计算机学会举办了主题为“从SCI反思中国的学术评价体制”的YOCSEF论坛。论坛上李国杰认为片面地追求SCI数量的做法不可取，呼吁要重视顶级国际学术会议上发表论文[14]，并撰文《要高度重视在顶级国际学术会议上发表论文》在国内积极倡导论文发表标准与国际接轨[15]。2010年，中国计算机学会发布《中国计算机学会推荐国际学术会议和期刊目录》(以下简称《目录》，可以供国内高校和科研单位作为学术评价的参考依据，并期望能起到推动国内计算机领域学术进步的作用[8]。

教育部2012年采用该《目录》作为计算机科学和软件工程评估的指标之一，受到科研人员和管理部门的重视，改变了长期以来计算机学科学术评价不重视会议论文的传统，为提高中国计算机学科基础研究水平作出积极贡献，促进学科特点的认同，规范了会议期刊，促进了论文水平的提升[16]。据包云刚初步统计结果显示：中国大陆学者发表的论文数已经占到ACM会议论文总数的2.7%，2006年以后则占到了4%，与2006年前的数据(0.8%)相比取得了长足进步[17]。

总之，“SCI标准”仍然是国内评价科研成果的主要标准，但伴随着国际计算机学科科研评价体系的影响以及国内相关科研组织的发声，国内不同高校或科研院所对计算机学科科研成果的评价在逐步推动，重视SCI期刊论文的同时，重视顶级会议论文的重要性，逐步平衡评价体系中不同评价指标的权重。

(二)依据计算机学科特点，完善“SCI”评价标准

计算机学科不同于其他自然学科，学科内部差别较大，难以进行横向比较。计算机理论领域以数学分析论证和推导或者算法改进为主，研究周期短；计算机系统或者应用领域，需要研发实用系统，并有真实的数据验证，研究周期比较长。但是，《国际学术会议和期刊目录》在评价标准方面忽略了不同领域的特点，计算机学会推荐的A类会议CVPR一次录用论文约400多篇，而SIGCOMM仅录用30～40篇论文。因此，在科研评价中不仅要关注计算机领域的特点，还要充分考虑不同领域之间的差异性，才能更好地搞好计算机学科的科学研究管理工作[18]。

(三)加强自身评价体系的宣传

计算机学科的科研评价体系是为学科发展提供科学的决策依据，能够推动科研水平和科技发展创新，计算机科研工作者应加强自身专业特殊性的宣传，提升各行业领域对计算机学科成果特殊性的认知和重视。科研管理人员应合理界定科研目标、科研评价目标，在科研管理过程中逐步形成科学的评价理念，推动科研评价的科学化，在项目评审、职称评定、奖项设置、成果应用等工作中，加强对教师学科认知的引导，提高会议论文认定的等级，发挥评价体系的导向性作用[19]。应强调科研论文的质量，注重营造科研的氛围，不将SCI、会议期刊作为主要依据，努力改变和其他学科成果认定一视同仁的做法。同时，建立全面的会议宣传及参会激励机制，加大对科研工作者参加顶级会议的支持力度，鼓励将优秀学术成果提交到顶级会议。

(四)结合学科特点，完善科研评价管理制度

客观、公正的科研评价制度事关广大科研工作者的切身利益，是学术得以健康发展的基石，也是保障科技管理工作正常运转的前提。在对计算机学科进行科研评价时，应当针对当前存在的主要矛盾，采取相应的政策和措施加以解决：第一，按专业领域制定相应的科研评价标准。科研评价指标会受到评价方法、评价目的、评价对象等多方面因素的影响[20-21]。与物理、化学类专业截然不同，计算机类专业对应的科研成果评价标准应有所差别。第二，重视会议论文的学术影响力。计算机学科的顶级会议文章采用“双盲”评审，每篇文章历经“先通讯评审再会评”的常规程序，录用率低，通常不到20%，每篇文章或被录用或被拒绝，没有修改机会。若论文被顶级会议接受，很大程度上能彰显其科研实力。而且，计算机学科的最新研究成果主要发表在顶级会议上。更有甚者，计算机学科的领军人物仅将研究成果发表在顶级会议上，如MIT的Katabi教授。第三，制定科学的科研评价指标。科研评价标准本身也是一个动态适应、不断完善的过程，指标设置合理会促进评价结果的科学性和权威性。高校的科研成果不是靠简单的指标“抓”出来的，要遵循整体性、公正性、战略性、操作性等原则[22]。科研管理部门要更多地在“搞好服务”方面下功夫，为本单位科研工作制定更为有效的激励制度，为科研人员创造工作条件、排忧解难等。论文的具体评价应综合考虑论文的自身价值、同行专家的评议结果与科研管理专家的判断。

四、实例验证

高校自身特点也决定了科研评价工作的特点，后者对前者及其教师有着很强的导向性，不同类型的高校、不同学科之间应当采用不同的评价方法和评价标准。基于其职能与不同侧重点，中国589 所本科院校被《中国大学评价》课题组分为研究型、研究教学型、教学研究型和教学型4类，占比分别为6.83 %(40 所)、15.87 %(93所)、23.89 %(143 所)和53.41 %(313 所)[23]。

某大学作为一所综合性重点高校，从2015年起试行“一院一策”管理体制，从科研角度看就是要充分发挥二级学院教学科研和办学的主体地位，试图根据不同学科特点分类考核、分类指导，制定与学科性质相适应的科研评价标准体系和差异化考核指标，实行学科间单独考核，充分尊重教师个体差异，尊重不同学科科研人员的成果价值，营造宽松的研究氛围，激发各个学科的科研活力。具体举措包括：第一，依据专业领域拟定同行专家评价认可的期刊与会议列表。鉴于计算机学科顶级期刊文章与顶级会议文章的数量在一定程度上皆可反映其国际影响力，同时不断加大奖励顶级期刊文章与顶级会议文章的奖励力度。第二，规范期刊文章与会议文章的量化指标。计算机学会推出了“CCF推荐A/B/C类会议”“CCF推荐A/B/C类期刊”列表。“CCF推荐A类会议”是计算机学科最具难度的标志，越受推崇的顶级会议论文接受率越低，发表难度越大，我们在评价体系中予以高度认可。为了简单有效地推进科研评价，我们尝试将“CCF推荐A类会议和期刊”与JCR/SCI一区期刊相对应，“CCF推荐B类会议和期刊” 与JCR/SCI二区期刊相对应，“CCF推荐C类期刊” 与JCR/SCI三区期刊相对应。“CCF推荐C类会议”等同视为JCR/SCI期刊。第三，综合衡量学术论文的学术价值和文献价值。基于论文所发表期刊的影响因子、平均被引次数、当年指数等指标，全方位衡量其学术价值。这些举措将有效避免学术评价中“一刀切”现象。一方面使科研评价更具规范性，对期刊论文和会议论文的学术价值进行合理量化；加大会议论文，尤其是计算机学科会议论文的支持力度，增加科研活动经费，资助教师与有潜力学生前往顶级会议借鉴学习，提升教师的科研素养；加强国际和国内高校的学术交流与合作。另一方面也符合计算机学科的研究规律，对后期计算机科研成果评价具有指导性作用。

另外，某大学的科研评价体系是建立在与国际、国内同行论证的基础之上，向国际一流院校看齐的自主制定考核指标。特别是计算机学科，在中国计算机学会制定的论文标准基础上，有分类地加以适用，引导该学科与国际化接轨，走国际化发展道路，并取得显著成绩。2011年该大学计算机学科并没有A类论文，而到2017年初已录用和发表8篇，这对于一所综合性高校是长足的进步。

五、结语

SCI论文和顶级会议对于计算机学科的发展都起着举足轻重的推动作用，SCI侧重基础，研究比较深入，而顶级会议时间快，信息量大，对学科发展的导向作用比较明显。科研管理应结合学科的特点，重视SCI期刊论文的同时，也应当重视顶级会议论文的重要性，发挥制度的导向作用。同时，科研部门都应根据学科特点，制定符合并推动学科发展的科学评价体系，激励引导研究人员参加科学研究，提高其积极性和创造性，使相关学科的科研评价系统制度化、规范化，进一步推动学科和学术科研的发展。

[1] 滕颖，蒋新.对我国学术论文评价体系的几点思考[J].无锡教育学院学报，2005(1)：93-95.

[2] 王倩.h指数及其衍生指数在评价学术会议中的应用研究[J].科技情报开发与经济，2015(15)：135-139.

[3] 尚海茹，冯长根，孙良.用学术影响力评价学术论文——兼论关于学术传承效应和长期引用的两个新指标[J].科学通报. 2016(26)：2853-2860.

[4] 梁耘. 学术论文评价工作模式研究[J].湖北汽车工业学院学报，2005，19(2)：78-80.

[5] 孙君，闫雅娜.EI与科技论文收录[J].情报探索，2006(6):47-48,16.

[6] 任火.SCI评价及其对策[J].中国出版，2002(1)：41-42.

[7] 王汉澜．教育评价学[M].开封：河南大学出版社，1995.

[8] 李志河.我国高校教学科研人员绩效考评研究[M].北京：科学出版社，2012.

[9] 刘在洲，徐红，陈承.高校科研质量评价标准研究[M].北京：科学出版社，2015.

[10] 刘恩允.高校科研评价的问题与对策[J].高等工程教育研究，2004(1)：39-42.

[11] 彭兰，唐慧君.构建高校科研内部评价体系之思考[M].黑龙江高教研究，2005(2)：68-70.

[12] 陈钢.从ACM会议分析我国计算机学科近十年发展情况[J].中国计算机学会通讯，2015，11(10)：42-51.

[13] 瞿葆奎.教育学文集·教育评价[M].北京：人民教育出版社，1989.

[14] 谭英.从SCI反思中国的学术评价体制——中国计算机学会YOCSEF论坛综述[J].中国计算机学会通讯，2005，1(2)：75-79.

[15] 李国杰.要高度重视在顶级国际学术会议上发表论文[J].中国计算机学会通讯，2006，2(5)：93.

[16] 梅宏.中国计算机学会发布《国际学术会议和期刊目录》得失谈[J].中国计算机学会通讯，2015，11(7)：36-42.

[17] 包云岗.CCF《国际学术会议和期刊目录》得大于失[J].中国计算机学会通讯，2015，11(8)：38-42.

[18] 杜伟锦.高校科研评价现状与完善途径探析[J].高等教育研究，2004(4)：61-64.

[19] 毛娜.浅议高校科研评价制度创新[J].黑龙江教育：高教研究与评估版，2008(C2)：183-185.

[20] 曾玉清.高校科研产出评价方法及应用研究[J].湖南社会科学，2006(4)：201-204.

[21] 杨瑞仙，梁艳平.国内外高校科研评价方法比较研究[J].情报杂志，2015(9)：107-110.

[22] 蔡言厚,等.大学科研定量评价指标设置若干原则的探讨[J].研究与发展管理，2002，14(5)：76-80.

[23] 武书连.再探大学分类[J].科学学与科学技术管理，2002，23(10)：26-30.

Empirical study on appraisal of the academic paper in scientific research evaluation system

CHEN Feng1, YANG Xiao2, CHEN Xiao-jiang3

(1. Office of Science & Technology, Northwest University, Xi’an 710127, Shaanxi, China; 2. School of Economic & Management, Northwest University, Xi’an 710127, Shaanxi, China; 3. School of Information and Technology, Northwest University, Xi’an 710127, Shaanxi, China)

To solve the problem that there are certain limitations to the appraisal of the academic paper in scientific research evaluation system, this paper took the appraisal of academic papers concerned with computer science as example and chose one university’s scientific research evaluation criteria and indicators for performance appraisal as case to study relevant issues of academic papers appraisal. The results show that the key point of determining the value and orientation of top conference papers and SCI journal papers lies in whether to insist on correct guidance in scientific management evaluation system. In computer science, most symbolic achievements are published on the papers of international top conferences while Chinese scientific research evaluation system still puts focus on SCI journal papers, which leads to the low participation and quality of Chinese scholars’ published papers at international computer science conferences. It puts forward some suggestions, such as top conference papers should be stressed in Chinese scientific research evaluation system, the weight of different evaluation indicators should be balanced, the difference between different disciplines should be considered, quality evaluation grade of conference papers should be raised, the guidance role of evaluation system should be played, a new scientific evaluation indicators should be formulated, and the management system of scientific research evaluation should be improved. A university formulated a scientific research evaluation system which considered the difference of disciplines and specified different evaluation indicators. It also listed the journals and conferences for different disciplines, which are recognized by experts and professionals, and gave specification for quantitative indicators of journal papers and conference papers to comprehensively determine the academic and documentary values of academic papers, which made great achievements in the internationalization of academic research.

research evaluation; top conferences’ papers; SCI journal papers; computer science

2017-01-07

国家自然科学基金项目(61373177)；陕西省科技计划(自然基金)项目(2012JQ8049)

陈峰(1978-)，男，安徽天长人，工学博士。

G321

A

1671-6248(2017)02-0058-06

评价是以学术论文被同行引用的次数衡量其影响力与重要性[3]。衍生物为期刊影响因子，即期刊论文的平均被引率(等于引用某刊前两年论文的总次数与前两年该刊所发表的论文总数之比)。论文短期高被引说明其选题的先进性和前沿性；长期高被引体现其学术影响力、学术价值和贡献。这也与学科特点有关，不同学科期刊的平均影响因子存在着系统差别。比如，医学领域影响因子在10以上的很常见，而数学领域基本在3以内。

科学研究是高等院校和研究院所的基本活动，研究成果是研究价值的重要体现，进行科学研究评价便成为高校科研管理工作中的重要环节之一。目前科学家在对科学问题和方法探索的过程中，还需要花费大量的精力形成高水平科研成果，如发表期刊或会议论文、出版著作等。通常意义上的科研评价内容包括项目、论文、专利、成果奖等。其中，学术论文是评价体系中的重要组成部分，特别在高校中论文的质量和数量是衡量个人和团队研究水平的重要指标。

目前，学术论文评价的主要方式包括期刊评价[1]、会议评价[2]、引用评价[3]等。期刊评价侧重于通过对期刊整体水平的评价来界定其刊载学术论文的水平[4]，期刊分为：核心期刊、EI源刊(美国工程索引，The Engineering Index，简称EI)、SCI(Science Citation Index，科学引文索引)源刊等。核心期刊源于英国著名文献计量学家布拉德福的研究，指刊载某学科学术论文较多的、论文被引较多、受领域科研人员重视、能反映该学科前沿研究热点和焦点的期刊。国内核心期刊的主流是中国科学引文数据库(CSCD)、北大核心期刊目录等推荐的期刊。EI源刊创始于1844年，是美国首个以了解全球工程文献为目的可供检索的文献摘要和期刊[5]。EI源刊对学术论文水平有一定要求，选刊严格，逐渐成为理工科高等院校和工程研究院所学术水平评价的重要依据。SCI是美国科学技术信息研究所ISI(Isntitute for Scientific Information)对科技刊物和论文进行评价的一种工具[6]，能否在世界顶尖SCI期刊上发表论文已成为国内高校评判大多数科学工作者科研能力的重要标志以及评职晋级的重要依据。

学术会议是学术交流活动的核心，随着国际学术交流与日俱增，会议评价方式也成为论文评价的重要手段[2]。传统的会议评价为定性指标，如会议主题内容等，定量化指标和评价公式难以直接应用。一些学科则采用专家评估的办法对会议质量进行评定，形成领域列表，作为的指南。