博士研究生“申请-考核”评价指标体系的建构研究

饶武元　刘华

关键词：申请-考核制度;人才选拔;评价指标体系

中图分类号：G643 文献标识码：A 文章编号：1009 — 2234（2022）01 — 0153 — 08

博士研究生教育处于我国国民教育体系的顶端位置，承担着高端人才供给和科学技术创新等多重使命，既是实现我国创新驱动发展和提升经济增长效益的重要支撑，也是推进实现国家治理体系和治理能力现代化的重要动力源泉。当前，我国博士生教育已经进入以质量为核心的发展阶段，而影响博士研究生教育质量的首要环节就是博士研究生招生。健全“申请-考核”招生选拔机制是教育部等政府部门一直以来的改革目标。博士生“申请-考核”制是我国博士研究生招生形式上的一次积极探索，其首要目标是选拔具有科研潜力的创新型人才，偏向于对考生个人素质和科研潜力的综合考查，但是很多高校在实施“申请-考核”制时存在资料审核和面试环节考核标准模糊、评分方式不清的问题〔1〕。因此，开展博士生“申请-考核”选拔评价指标体系的相关研究，对招生单位选拔优秀生源、推动博士生招生制度改革具有重要价值。

国内学者对研究生招生考核评价的相关研究主要包括以下三个方面：一是对国外研究生考核评价体系的经验介绍。洪茜等学者对澳大利亚博士生教育的入学准备评价体系从认知、申请、适应和基础四个维度作了详细的介绍和分析，并总结到质量评价时要注重以学生发展作为核心〔2〕，而郭培荣等学者在考察美英两国设立专门的招生委员会考查候选人是否具备研究生学习胜任力的方式后，提出国内各高校要知识基础、专业技能、思想品质和职业价值观等多个方面对申请者进行严格评估〔3〕二是从理论上探讨“申请-考核”的人才考核评价方式。赵红军等人从”精英化教育”角度证明了“申请-考核”制能够较好考查学生学习、科研、语言等能力，这种招生方式为教育精英化的评价与选拔模式指明了方向〔4〕。张熙等学者从组织社会学角度出发，认为“申请-考核”制的实施过程实际上是一种政治博弈，在学校、院系、导师之间存在个体偏好、机会主义和不规范操作的风险，导致人才选拔的价值评判充满了极大的不确定性〔5〕。三是博士生“申请-考核”人才选拔评价体系的建构。学者陈谦针对“申请-考核”人才选拔科学性不足的问题借鉴了管理学中的人才测评理论，在《一级学科博士、硕士学位基本要求》的基础上围绕知识、素质、能力构建了与学科相适的博士生人才选拔的科研胜任力三级指标体系〔6〕。赵仁玲从个人信息角度对研究生考生有关的综合素质评价有关问题作出解答，构建了品德素质与价值观、情绪素质、能力素质、知识素质、科研及实践为指标的研究生考生评价模型〔7〕。

已有关于“申请-考核”选拔评价的研究为本研究的开展奠定了良好的理论和实践基础，但是我国现有研究依旧还存在一些不足。一是针对博士生“申请-考核”的考核评价环节进行系统分析的研究比较少，且对于众多高校存在评价标准模糊问题的相关研究还不够深入;二是现有研究中关于博士生人才选拔评价指标设计多为笼统的框架设计，关于指标量化、计算及应用的说明较少;三是已有研究的评价指标呈现多强调知识和能力的重要性而忽视考生学术道德品质和非认知能力的倾向，为进一步优化招生单位对考生的评价指标体系，文章将在已有研究的基础上，运用德尔菲法和层次分析法，从知识、能力、品德、业绩和贡献五个维度着手构建胜任力视角下博士生“申请-考核”的科学评价体系，力图实现对申请人博士学习阶段表现的科学预测。

博士生“申请-考核”制度虽然是现阶段解决博士研究生统一招考制度所面临问题的一剂“良方”，但是，仍旧存在信度较低的问题。这主要是由于部分招生单位对考核标准和评分方式的规定模糊，增加了评价结果的主观性和随意性〔8〕。博士招生本质上是招生单位完成对申请考生的考核遴选过程，因此可借鉴管理学中的胜任力理论，从而将博士看作“职位”，胜任力反映了从事某职位的人为顺利履行职责需具备的各技能、能力与动机，在研究职业匹配能力应用广泛、本研究拟构建的胜任力视角下评价指标体系的最终评价目标就是实现对考生是否具备胜任博士职位的综合素质能力的科学评估。

为达到录取学生与博士生职位之间的职能匹配的目的，招生选拔出的人才要符合博士生人才培养基本要求。2018年中共中央办公厅、国务院办公厅印发的《关于分类推进人才评价机制改革的指导意见》指出，对科研人才的评价要从品德、知识、能力、业绩和贡献五个方面展开，并着重强调了品德与学术道德的重要性。博士生作为我国重要的创新科技高层次人才，故也适用于科技人才评价五要素并以这五要素作为博士招生评价指标体系的一级指标、评价指标体系的二级和三级指标是在文献研究。专家访谈和2013年教育部出台的《一级学科博士、硕士学位基本要求》的基础上设计的，初步构建的评价指标体系如表1所示，包括5項一级指标、12项二级指标和39项三级指标。

表1 博士生“申请-考核”人才选拔评价指标体系（初步）

为了验证二三级指标科学与合理性，本研究采用德尔菲法对初步拟定的13项二级指标和39项三级指标进行验证。第一步，研究设计了李克特五级调查量表，让专家对二级和三级指标进行“非常不合理、不合理、一般、合理、非常合理”1-5的打分，分数越高表示该指标越合理，将制作完成的调查表以邮件方式发送给10位专家填写并回收，并征求专家对评价指标划分和语言表述的意见？第二步，归纳专家的反馈意见，具体意见为：将“组织协作能力”移到科研实践能力的三级指标中，并删除“协作能力”和“组织能力”;修改“道德品质”为“学术道德品质”;修改“成果”为“学术成果”，使表述更清晰明确;修改“理论”为“理论贡献”;修改“实践”为“实践贡献”;删除“记忆能力”，该指标不易测量;修改“非学术诚信”为“学术规范”。第三步，对收集好的数据进行意见集中度、变异系数和综合指数的数据分析。意见集中度与得分均值和满分比有关;变异系数是标准差与均值的比值，变异值越小，专家的协调程度越高;综合指数（Y=X·M/CV）表示指标的重要程度和协调程度。一个指标的影响力大小既要考虑专家的意见集中度也要考虑指标的变异系数，而指标的删减则由综合指数与标准值（Z=Y-∑SD）的差值决定。二级指标的第一轮评分数据结果如表2所示，经计算标准值Z=19.5-7.673=11.827，“组织协作能力B6”综合指数小于Z，该指标需要删除。按照上述同样方法也可知道第三级指标体系中需要删除指标“记忆能力”。第四步，运用德尔菲法开展第二轮专家咨询，将修改好的调查量表再次以邮件方式发送给专家填写并回收。专家对第二级指标的第二轮调查统计数据如表3所示，经计算第二轮调查中各二级指标的综合指数Y都大于Z（Z=10.597），无需删除，按照上述方法也同样可知道修改后的第三级指标无需删除。

表2 第一轮专家调查数据统计表

表3 第二轮专家调查数据统计表

经过两轮的专家意见咨询后，修订好的博士生“申请-考核”人才选拔评价体系由5项一级指标，12项二级指标和36项三级指标构成。

为进一步验证所构评价指标体系的有效性和适用性，研究需对各指标进行信度和效度检验。本研究针对第三级指标是否与上一级指标相关而制作了李克特五级调查表，1～5的含义分别是“非常不相关、不相关、一般、相关、非常相关”，评分越高表示该指标与上一级的关联性越强。调查表制作完成后收集10位专家的调查数据，所有专家均是本专业研究人员。最后将收集的数据归纳整理为相关检验做准备。

信度是根据测验工具所测得结果的一致性或稳定性，也就是用同一种方法多次测量其测量结果的一致性程度。本研究采用α信度检验，即内在一致性检验，α值越大该指标体系的可靠性也越高，α系数值介于0.7和0.8时意味着信度相当好〔9〕，其计算公式如下：

N指评价体系指标总数，S2j表示第j個指标的评分方差，S2指总体方差。本研究将10位专家的评分数据代入公式对36个指标进行内在一致性信度检验，α=0.784>0.7，通过一致性检验。

效度是指测量工具或手段能够准确测出被测量事物的程度，效度越高则测量结果与要考察的内容越一致。本研究采用内容效度的方法对评测指标的有效性进行检验，其计算公式如下：

M代表评分专家总人数，Mj代表对第j个三级指标评3分、4分或5分的专家人数。一般要求V≥0.78，否则该指标将被剔除。本研究对36个指标进行效度检验后发现指标“转移经验的能力C17”的V=0.5<0.78，未通过内容效度检验，因此将指标C17予以剔除。故最终的博士研究生“申请-考核”人才选拔评价指标体系由5项一级指标、12项二级指标和35项三级指标构成。

人才评价是一个复杂的系统工程，确定好博士生“申请-考核”人才选拔评价指标后还需要对各指标赋予权重后才具有实际操作性。本研究采用层次分析法，选取10名专家对各层次指标两两比较并对指标重要性打分，并构建判断矩阵，接着计算出所得矩阵的最大特征值及特征向量并计算一致性指标进行一致性检验，最后便可以得到各指标层的相对权重。

根据层次分析方法原理，本研究基于修订后的最终博士研究生“申请-考核”人才选拔评价指标体系，利用yaahp软件构建如图1所示的层次结构模型，其中博士研究生“申请-考核”人才选拔评价为决策目标层，原一级指标、二级指标和三级指标则分别视作准则层、子准则层和指标层。

图1 博士生申请-考核评价指标体系层次结构模型

判断矩阵用来衡量每一层次各要素之间的相对重要性，通过各层次的要素的两两比较形成多阶矩阵，相对重要性采用Satty的“1-9标度法”，即用1，2，3......9和它们的倒数对每项指标进行标度，其含义如表4所示。研究整理出了专家1的准则层的判断矩阵M见表5，同理可得其余矩阵，此处不过多赘述。

表4相对重要性标度及其含义

表5 专家1准则层的判断矩阵M。注：λmax=5.3621;CR=0.0808<0.1

为了让判断矩阵更具合理性，减少专家打分主观性对最终结果的影响，研究需对专家评分的判断矩阵进行层次单排序及一致性检验和层次总排序及一致性检验。根据10位专家的评议数据，利用软件计算出每位专家的指标权重值，再进行一致性检验。检验一致性比例公式为CR=CI/RI，若CR<0.1，则通过一致性检验，其中CI=λmax-n/（n-1），将有关数据代入公式即可得到CI值，而RI值可通过查表得知，采用yaahp软件对判断矩阵进行调整并计算，可得到层次单排序和层次总排序结果完成专家数据集结得到最终指标权重，具体结果见表7。

表7 博士生“申请-考核”人才选拔评价综合指标权重

由表6数据可知，博士生“申请-考核”人才选拔评价体系中准则层的各要素权重由大到小依次是能力、业绩、贡献、知识和品德，从上面数据可以看出，在博士研究生人才选拔的考核评测中，申请考生的个人能力是最受专家关注的指标，其中科研创新能力和实践能力是导师招生的重要考量因素。其次是业绩和贡献，两者的权重大致持平，两者是对申请人的过去经历和成就的综合考查，这也是在博士招生过程中落实“破五唯”的重要体现，在“申请-考核”中招生单位不能仅仅关注申请考生发表的论文、专著、专利等科研成果，还要提升对申请考生在理论和实践中对国家和社会作出重要贡献的关注度。这一举措丰富了对申请考生的过去阶段性成果的评价标准，允许具有多样特色的人才进入博士阶段的学习，不被评价标准所束缚。权重系数排在最末的是知识和品德。知识是博士研究生开展科研活动的基础，可以通过考生申请材料、笔试等途径达到考查申请考生知识水平的目的。将笔试环节有机地融入“申请-考核”中可以发挥两种制度优势，不仅考查了申请人员的知识基础和思维逻辑能力，还可以进一步检验考生申请材料与面试的一致性程度。但应当警惕落入“换汤不换药”的圈套。品德在评价体系中的权重虽然不高，但思想道德素质的考核是博士“申请-考核”中必不可少的重要环节。思想道德素质主要包括思想品质和道德品质，可结合面试、考生申请材料、心理测试等多种方式考查申请人员。

本研究基于博士研究生的胜任力视角，结合国家有关科学技术人才評价有关政策要求和教育部有关博士生培养要求，从知识、能力、品德、业绩和贡献五个维度展开一系列相关指标设计，初步构建了博士研究生“申请-考核”评价指标体系，然后通过德尔菲法、指标信效度检验和层次分析法对各指标筛选、修订和量化从而确定了最终的人才选拔评价指标体系。该指标体系由5项一级指标、12项二级指标、35项三级指标共同构成，理论上实现了选拔测评与“申请-考核”评判标准的科学性和有效性。为保证博士生“申请-考核”人才选拔评价指标体系高效实施，特提出以下建议：

导师在博士研究生培养中扮演了“第一责任人”的角色，也是博士招生中重要的利益相关者。教育部在2020年发布《关于加强博士生导师岗位管理的若干意见》中明确指出要加强对博士导师的相关业务知识培训，提升博士导师的选才能力和指导能力，因此各级政府和培养单位要积极开展有关职能培训，帮助导师熟悉各种必要测评方法（包括但不限于心理测试、笔试、结构化面试），提升导师选拔评测考生的能力。

博士招生是博士研究生教育的首要环节，建立严格的中期筛选和分流退出机制可以有效弥补“申请-考核”制的考查不足的缺陷。从博士生中期资格考试、开题报告再到论文答辩，将分流退出机制贯穿于整个博士研究生教育过程，这将有效筛除一些打算浑水摸鱼的申请考生，还能缓解部分导师因人情关系招收“关系考生”的问题。

对于政府部门来说，可结合博士生“申请-考核”制的特性将人才选拔权力由某一部分高校群体向具体的学科或专业拓展。政府进一步让渡博士研究生的招生选拔权力有利于提高基层招生单位的选才主观能动性，为避免出现滥用权力现象，国家政府部门在做好顶层设计的同时，还要做好监督辅助工作，及时修正招生机制改革的方向和原则，将问题消灭在萌芽状态。

人才选拔测评是一个复杂过程，既要测量易于观察的可见的、外显的知识技能，又要评价测量思维、情感、态度等深层次特征。当前许多高校在博士生“申请-考核”中对申请考生的测评工具单一，且多是由国外引进未能有效实现本土化易出现“水土不服”。招生高校可根据各学科专业要求进一步完善测评体系，开发多种形式的测评工具。

建构科学的博士研究生“申请-考核”人才选拔评价指标体系是优化博士生“申请-考核”制度，提高人才选拔质量的重要途径。本研究所构建的评价指标体系不仅为今后的研究生选拔评价提供了新思路，也为博士生招生改革提供理论指导，但本研究也有一定局限性，一;本研究在向专家发放调查量表时仅选择了10人，从数量上来说略少;二是此评价体系是从理论上设计建构的，还需要在实践中不断完善，以发挥最大的价值，为博士研究生培养质量提供有效保障。

〔参 考 文 献〕

〔1〕周文辉，付鸿飞，贺随波.博士生招生“申请-考核制的政策现状、主要问题与完善路径—基于144所高校“申请-考核”制政策文本的分析〔J〕.中国高教研究，2020，（12）：82-88.

〔2〕洪茜，刘路，HamishCoates.澳大利亚博士生教育质量评价框架的构建与启示〔J〕.高校教育管理，2021，14（02）：65-75.

〔3〕郭培荣，宁昕.美英两国工程博士培养经验及对我国高校的启示〔J〕.重庆高教研究，2020，（06）：94-102.

〔4〕赵红军，陈薇，陈谦明.“精英化教育”语境下博士招生制度的选择—对博士研究生招生“申请-考核”制的思考与探索〔J〕.研究生教育研究，2015，（05）：31-35.

〔5〕张熙，郭二榕.高水平大学博士生招生的多重制度逻辑—基于组织社会学的视角〔J〕.学位与研究生教育，2020，（02）：39-43.

〔6〕陈谦.博士招生科学性的优化探索〔J〕.江苏高教，2019，（05）：91-96.

〔7〕赵仁铃.基于个人信息的研究生考生评价模型研究〔D〕.南京大学，2016.

〔8〕刘阳，林荣日.博士生申请考核制招生制度的现状、问题与改进—基于2017年6所“985高校博士生招生简章的分析〔J〕.研究生教育研究，2018，（2）：29-35.

〔9〕吴明隆.问卷统计分析实务—SPSS操作与应用〔M〕.重庆：重庆大学出版社，2010.

〔责任编辑：丁 冬〕