研究生培养质量评价体系研究

马维军+周影+高丽琳

摘要：自高等教育扩招以来， 研究生的培养质量问题逐渐成为社会关注的焦点。文章构建了一个三级研究生培养质量评价体系， 并以某综合性大学的数据为样本， 应用因子分析法和层次分析法对各级评价指标进行评分， 进而对研究生的培养质量进行综合评价。

关键词：研究生；培养质量；评价体系

中图分类号：G643 文献标识码：A文章编号：1002-4107（2014）05-0088-03

研究生培养质量评价主要包括对影响质量的有关因素和过程， 以及产出的成果进行评价和判断。如果要科学地评价特定的学校或地区的研究生培养质量， 就应该基于研究生培养质量的内涵、影响因素和形成机理， 构建和规划研究生培养质量评价指标的整体项目和宏观方面。研究生培养质量评价体系在宏观方面， 即一级指标上必须要有高度的统一性， 以便评价主体对其有一个总体的判断， 从而更好地划分次级指标和揭示质量的客观水平[1]。指标体系一般要遵循以下四个基本原则：科学性原则、全面性原则、可行性原则、及时性原则。

本文在已有的评价体系基础上遵循研究生培养质量评价体系设计的原则，以常用的五个一级指标为基础，选取了一系列影响研究生培养质量的二级评价指标和三级评价指标，构建了一个三级研究生培养质量评价体系。并以某综合性大学为例，结合因子分析方法和层次分析法对一级和二级指标进行打分。另外，本文也对各个三级指标给出了详细的打分方法。

一、统计方法概述

（一）因子分析

因子分析（factor analysis）是研究如何用少数相互独立的因子变量较好地解释众多原始变量的相关性， 从而达到降低维数的目的。其模型通常可表示成 ，

式中aij， i=1，…，p；j=1，…，k为第i个原始变量对第j个因子变量的荷载值， Fj为原始变量X =（X1，…，Xp）的公共因子， 表示公共因子Fj对Xi，i=1，…，p 所提供的方差贡献率的总和， 常用以度量公共因子的相对重要性。εi称为特殊因子， 常假定εi∽N（0，σ2）。由因子综合得分函数Sl=w1fl1+w2fl2+…+wkflk，可得第l观测个体在多个因素作用下的综合得分，其中wj为第j个公共因子的方差贡献率占所选的公共因子累计方差贡献率的比重[2]。

（二）层次分析

层次分析是将所要研究的问题看作一个大系统，根据系统所涉及的因素和所要达到的目标，通过对系统内的因素及其相互关系进行分析，给出能够刻画各个因素重要性的权重。通过请有关专家对每一层次中的各因素进行较客观的逐对比较和判断后，给出A—V判断矩阵，其中，A表示目标，vi，vj（i，j=1，2，…，k）表示评价指标因素，vij表示vi对vj的相对重要性数值。根据判断矩阵给出各因素相对重要性的定量表示，即为各因素的权重，分别记为w1，w2，…，wk[3]。

二、研究生培养质量评价体系的构建

本文以文献中使用的五个一级指标：管理教育因素、研究生因素、导师因素、物质条件和外部评价为基础[4]，进一步选取一系列的二级指标和三级指标， 构建了一个三级评价体系（见图1）。

三、研究生培养质量评价体系的统计分析

基于本文所构建的评价体系，对某综合性大学的34个专业的研究生培养质量进行评分。首先， 通过整理原始数据给出各个三级指标的得分；其次， 基于已获得的三级指标的得分， 应用因子分析或层次分析得到相应的二级指标和一级指标的得分；最后，根据文献中赋予的五个一级指标的权重[5]， 计算出各个专业研究生培养质量的综合得分（U）。

若综合得分7≤U＜9， 则某专业研究生培养质量为优；若5≤U＜7， 则其培养质量为良；若3≤U＜5， 则其培养质量一般；若1≤U＜3， 则其培养质量为差；若U≤1， 则其培养质量很差[6]。

（一）数据资料

本文的原始数据为某大学34个专业的学生和导师的相关数据：学生专业课的平均成绩， 学生发表论文、申请专利和参与项目情况及就业情况；导师职称结构， 导师的规模及导师发表论文、科研项目情况。

（二）统计分析

1.管理教育因素分析。本文利用针对该大学的调查问卷数据来计算一级指标“管理教育因素”的得分。该问卷中有17个问题与管理教育因素有关，每个问题均分为五个等级: “很好”，“较好”，“一般”， “较差”， “差”， 对应的得分依次为9， 7， 5， 3， 1。针对每个专业， 令

为第i个问题对应的得分。其中n为该专业总的参评人数，ni，i=1，…，5为第i

个等级对应的人数。

由于一些三级指标间可能包含公共信息， 并且指标间的相互重要程度不一致。因此使用因子分析和层次分析来确定二级指标的得分。对二级指标“专业课课程设置”， “公共基础课课程设置”和“课外学术氛围”所包含的三级指标分别进行因子分析，最终的因子得分视为这三个二级指标的得分。由于二级指标“专业课开设情况”仅包含一个三级指标， 故该三级指标得分即为“专业课开设情况”。

通过咨询确定“专业课课程设置”比“公共基础课课程设置”重要， “专业课课程设置”与“专业课开设情况”同等重要， “公共基础课课程设置”和“课外学术氛围”同等重要。用三标度法建立比较矩阵P[7]， 得到四个二级指标的权重依次为0.45，0.05，0.45，0.05， 从而得到“管理教育因素”得分。

2.研究生因素分析。本文利用该大学研究生的专业课成绩、发表的论文、申请的专利和项目参与情况来确定研究生因素中三级指标的得分。对于二级指标“研究生专业知识水平”， 用研究生专业课的平均成绩来衡量， 将平均成绩分为以下五个等级：“92-100”，“85-92”，“80-85”，“75-80”，“小于75”，对应的得分依次为9， 7， 5， 3， 1。对于每个专业， 以每个等级对应人数占该专业总人数的比值为权重， 计算该专业加权得分， 并将其视为研究生专业知识水平的得分。

二级指标“研究生的创新能力”用三级指标“发表论文”和“申请专利”来衡量。由于专业性质不同， 其论文发表和专利申请的难易程度也不同。因此， 有必要消除非创造能力因素对评分结果的影响。该指标的具体打分步骤如下：

（1）统计各专业的最大论文数和专利数，并计算各个专业的人均论文数和人均项目数，分别记为nimax，pmax，mi和pi（i=1，…，34）。

（2）按专业难易程度进行调整。记 ，

，分别为第i个专业发表论文和申请专利难易程度的修正因子。则令mi（1）=mi×wi，pi（1）=pi×wi1分别表示修正后的人均论文数和人均专利数。若wi≤1， 说明第i个专业发表论文相对容易；若wi＞1，说明相对较难。

（3）基数调整。为了使指标间具有可比性，需要使指标具有相同的取值范围。令 ，

为三级指标“发表论文”和“申请专利”的得分。

（4）计算二级指标“研究生的创新能力”得分。通过权衡三级指标“发表论文”和“申请专利”对创新能力的相对重要性， 赋予两者的权重分别为0.75， 0.25 ， 从而得到创新能力得分。

利用研究生参与的项目情况来刻画其实践能力。计算出各专业的人均项目数，并对其取值水平进行调整， 将调整后的人均项目数作为“研究生的实践能”的得分。

基于以上得到的三个二级指标得分， 利用层次分析法来获得一级指标“研究生因素”得分。给定三个二级指标的相对重要程度为：“研究生的创新能力”比“研究生专业知识水平”稍微重要，“研究生专业知识水平”比“研究生的实践能力”稍微重要，“研究生的创新能力”比“研究生的实践能力”明显重要， 得到对应的权重依次为0.258， 0.637， 0.1065。从而得到“研究生因素”的得分。

3.导师因素分析。“导师因素”包含两个二级指标“导师队伍建设”和“导师科研情况”。“导师队伍建设”利用三级指标“导师职称结构”和“导师规模”来衡量。计算各个专业导师中教授占比， 并按前面基数调整方式对该比例进行调整，将调整后的比例视为该专业导师职称结构的得分。将导师的总人数分为五个等级：“大于10人”，“7-10人”，“4-6人”，“2-3人”，“1人”，对应的得分为9， 7， 5， 3， 1，并将其视为各专业的导师规模的得分。由于“导师职称结构”和“导师规模”的重要性相当， 我们将其平均视为“导师队伍建设”的得分。

二级指标“导师的科研情况”用三级指标“导师发表论文情况”和“导师科研项目情况”来衡量。本文在评分过程中充分考虑了论文发表的难易程度及论文的级别的高低。对于理工科类，将专业期刊分为五个等级：SCI，EI，ISTP，核心期刊，公开期刊及其他；人文社科类专业期刊的五个等级为:国家级重要期刊， 国家级一般期刊， 省级重要期刊， 省级一般期刊， 其他期刊。赋予每个等级相应的权重为0.30， 0.25， 0.20， 0.15， 0.10。并按此权重计算加权的人均论文数，同上对各个专业按难易程度和基数进行调整，将调整后的加权人均论文数视为“导师发表论文情况”。同理， 将导师的科研项目按其来源分为国家级， 省部级， 厅局级。并以此赋予权重0.5， 0.33， 0.17计算加权人均项目数， 并按申请项目的难易程度和基数进行调整， 将调整后的值视为“导师科研项目情况” 的得分。

一般认为，对于二级指标“导师科研项目情况”， 上述两个三级指标的重要性相当， 故将两者的均值视为“导师科研项目情况”得分。

4.外部评价分析。社会是研究生培养质量的受用对象，对研究生教育产品的质量最有发言权。选取二级评价指标“社会评价”来衡量一级评价指标“外部评价”， 而二级评价指标“社会评价”则由三级评价指标“研究生就业率” 来衡量。本文将按基数调整后的研究生就业率视为一级指标“外部评价”的得分。

5.研究生培养质量综合得分。

表1文科类的综合得分排名

由于本文所分析的所有专业来源同一所大学，为简便起见认为各专业的物质条件是相当的。基于四个一级指标：标管理教育因素， 研究生因素，导师因素和外部评价的得分，分别为U1，U2，U3和U4，应用层次分析法得到各个专业的研究生培养质量综合得分（U）。这四个一级指标的相对重要程度根据文献[2]中专家评定给出，即认为管理教育因素比导师因素重要，导师因素比研究生因素重要，研究生因素比外部评价因素重要。四个指标对应的权重分别为0.5486，0.1268，0.2637和0.0609，故研究生培养质量综合得分U=0.5486*U1+0.1268*U2+ 0.263*U3+0.0609*U4。将34个专业按文科、理科和工科分开， 并按研究生培养质量的综合得分分别进行排名， 排名结果分别见表1和表2。

从分析结果来看， 本文得到的各专业综合得分均属于中等偏上水平， 即3＜U＜7。但部分专业与优等水平相差较远，如汉语国际教育、新闻学、俄语语言文学。具体到各个评价指标的结果上，会发现有些专业存在问题，例如新闻学对管理教育工作重视不足；汉语国际教育专业在研究生的专业知识水平和创新、实践能力不强等。还会发现有些专业的得分结果与事实不符，说明本文构建的体系可能缺少一些因素， 有待进一步完善。

参考文献：

[1]廖湘阳.研究生教育质量观演变与发展战略选择[J]. 中国高教研究，2004，（9）.

[2]高惠璇.应用多元统计分析[M].北京：北京大学出版社，2005.

[3][7]朱茵，孟志勇，阚叔愚.用层次分析法计算权重[J].北方交通大学学报 1999，（23）.

[4][5]王晓梅，张桂花.硕士研究生培养质量保障体系的构建与评价[J].产业与科技论坛，2010，（9）.

[6]郭亚军.综合评价理论方法及应用[M].北京：科学出版社，2007.

收稿日期：2013-10-13

作者简介：马维军（1970—），男，黑龙江绥化人，黑龙江大学数学学院副教授，硕士生导师，主要从事应用统计学研究。

基金项目：黑龙江省高等教育教学改革项目（JG2013010072）；黑龙江大学教育教学改革工程项目（2013B26）

为三级指标“发表论文”和“申请专利”的得分。

（4）计算二级指标“研究生的创新能力”得分。通过权衡三级指标“发表论文”和“申请专利”对创新能力的相对重要性， 赋予两者的权重分别为0.75， 0.25 ， 从而得到创新能力得分。

利用研究生参与的项目情况来刻画其实践能力。计算出各专业的人均项目数，并对其取值水平进行调整， 将调整后的人均项目数作为“研究生的实践能”的得分。

基于以上得到的三个二级指标得分， 利用层次分析法来获得一级指标“研究生因素”得分。给定三个二级指标的相对重要程度为：“研究生的创新能力”比“研究生专业知识水平”稍微重要，“研究生专业知识水平”比“研究生的实践能力”稍微重要，“研究生的创新能力”比“研究生的实践能力”明显重要， 得到对应的权重依次为0.258， 0.637， 0.1065。从而得到“研究生因素”的得分。

3.导师因素分析。“导师因素”包含两个二级指标“导师队伍建设”和“导师科研情况”。“导师队伍建设”利用三级指标“导师职称结构”和“导师规模”来衡量。计算各个专业导师中教授占比， 并按前面基数调整方式对该比例进行调整，将调整后的比例视为该专业导师职称结构的得分。将导师的总人数分为五个等级：“大于10人”，“7-10人”，“4-6人”，“2-3人”，“1人”，对应的得分为9， 7， 5， 3， 1，并将其视为各专业的导师规模的得分。由于“导师职称结构”和“导师规模”的重要性相当， 我们将其平均视为“导师队伍建设”的得分。

二级指标“导师的科研情况”用三级指标“导师发表论文情况”和“导师科研项目情况”来衡量。本文在评分过程中充分考虑了论文发表的难易程度及论文的级别的高低。对于理工科类，将专业期刊分为五个等级：SCI，EI，ISTP，核心期刊，公开期刊及其他；人文社科类专业期刊的五个等级为:国家级重要期刊， 国家级一般期刊， 省级重要期刊， 省级一般期刊， 其他期刊。赋予每个等级相应的权重为0.30， 0.25， 0.20， 0.15， 0.10。并按此权重计算加权的人均论文数，同上对各个专业按难易程度和基数进行调整，将调整后的加权人均论文数视为“导师发表论文情况”。同理， 将导师的科研项目按其来源分为国家级， 省部级， 厅局级。并以此赋予权重0.5， 0.33， 0.17计算加权人均项目数， 并按申请项目的难易程度和基数进行调整， 将调整后的值视为“导师科研项目情况” 的得分。

一般认为，对于二级指标“导师科研项目情况”， 上述两个三级指标的重要性相当， 故将两者的均值视为“导师科研项目情况”得分。

4.外部评价分析。社会是研究生培养质量的受用对象，对研究生教育产品的质量最有发言权。选取二级评价指标“社会评价”来衡量一级评价指标“外部评价”， 而二级评价指标“社会评价”则由三级评价指标“研究生就业率” 来衡量。本文将按基数调整后的研究生就业率视为一级指标“外部评价”的得分。

5.研究生培养质量综合得分。

表1文科类的综合得分排名

由于本文所分析的所有专业来源同一所大学，为简便起见认为各专业的物质条件是相当的。基于四个一级指标：标管理教育因素， 研究生因素，导师因素和外部评价的得分，分别为U1，U2，U3和U4，应用层次分析法得到各个专业的研究生培养质量综合得分（U）。这四个一级指标的相对重要程度根据文献[2]中专家评定给出，即认为管理教育因素比导师因素重要，导师因素比研究生因素重要，研究生因素比外部评价因素重要。四个指标对应的权重分别为0.5486，0.1268，0.2637和0.0609，故研究生培养质量综合得分U=0.5486*U1+0.1268*U2+ 0.263*U3+0.0609*U4。将34个专业按文科、理科和工科分开， 并按研究生培养质量的综合得分分别进行排名， 排名结果分别见表1和表2。

从分析结果来看， 本文得到的各专业综合得分均属于中等偏上水平， 即3＜U＜7。但部分专业与优等水平相差较远，如汉语国际教育、新闻学、俄语语言文学。具体到各个评价指标的结果上，会发现有些专业存在问题，例如新闻学对管理教育工作重视不足；汉语国际教育专业在研究生的专业知识水平和创新、实践能力不强等。还会发现有些专业的得分结果与事实不符，说明本文构建的体系可能缺少一些因素， 有待进一步完善。

参考文献：

[1]廖湘阳.研究生教育质量观演变与发展战略选择[J]. 中国高教研究，2004，（9）.

[2]高惠璇.应用多元统计分析[M].北京：北京大学出版社，2005.

[3][7]朱茵，孟志勇，阚叔愚.用层次分析法计算权重[J].北方交通大学学报 1999，（23）.

[4][5]王晓梅，张桂花.硕士研究生培养质量保障体系的构建与评价[J].产业与科技论坛，2010，（9）.

[6]郭亚军.综合评价理论方法及应用[M].北京：科学出版社，2007.

收稿日期：2013-10-13

作者简介：马维军（1970—），男，黑龙江绥化人，黑龙江大学数学学院副教授，硕士生导师，主要从事应用统计学研究。

基金项目：黑龙江省高等教育教学改革项目（JG2013010072）；黑龙江大学教育教学改革工程项目（2013B26）

为三级指标“发表论文”和“申请专利”的得分。

（4）计算二级指标“研究生的创新能力”得分。通过权衡三级指标“发表论文”和“申请专利”对创新能力的相对重要性， 赋予两者的权重分别为0.75， 0.25 ， 从而得到创新能力得分。

利用研究生参与的项目情况来刻画其实践能力。计算出各专业的人均项目数，并对其取值水平进行调整， 将调整后的人均项目数作为“研究生的实践能”的得分。

基于以上得到的三个二级指标得分， 利用层次分析法来获得一级指标“研究生因素”得分。给定三个二级指标的相对重要程度为：“研究生的创新能力”比“研究生专业知识水平”稍微重要，“研究生专业知识水平”比“研究生的实践能力”稍微重要，“研究生的创新能力”比“研究生的实践能力”明显重要， 得到对应的权重依次为0.258， 0.637， 0.1065。从而得到“研究生因素”的得分。

3.导师因素分析。“导师因素”包含两个二级指标“导师队伍建设”和“导师科研情况”。“导师队伍建设”利用三级指标“导师职称结构”和“导师规模”来衡量。计算各个专业导师中教授占比， 并按前面基数调整方式对该比例进行调整，将调整后的比例视为该专业导师职称结构的得分。将导师的总人数分为五个等级：“大于10人”，“7-10人”，“4-6人”，“2-3人”，“1人”，对应的得分为9， 7， 5， 3， 1，并将其视为各专业的导师规模的得分。由于“导师职称结构”和“导师规模”的重要性相当， 我们将其平均视为“导师队伍建设”的得分。

二级指标“导师的科研情况”用三级指标“导师发表论文情况”和“导师科研项目情况”来衡量。本文在评分过程中充分考虑了论文发表的难易程度及论文的级别的高低。对于理工科类，将专业期刊分为五个等级：SCI，EI，ISTP，核心期刊，公开期刊及其他；人文社科类专业期刊的五个等级为:国家级重要期刊， 国家级一般期刊， 省级重要期刊， 省级一般期刊， 其他期刊。赋予每个等级相应的权重为0.30， 0.25， 0.20， 0.15， 0.10。并按此权重计算加权的人均论文数，同上对各个专业按难易程度和基数进行调整，将调整后的加权人均论文数视为“导师发表论文情况”。同理， 将导师的科研项目按其来源分为国家级， 省部级， 厅局级。并以此赋予权重0.5， 0.33， 0.17计算加权人均项目数， 并按申请项目的难易程度和基数进行调整， 将调整后的值视为“导师科研项目情况” 的得分。

一般认为，对于二级指标“导师科研项目情况”， 上述两个三级指标的重要性相当， 故将两者的均值视为“导师科研项目情况”得分。

4.外部评价分析。社会是研究生培养质量的受用对象，对研究生教育产品的质量最有发言权。选取二级评价指标“社会评价”来衡量一级评价指标“外部评价”， 而二级评价指标“社会评价”则由三级评价指标“研究生就业率” 来衡量。本文将按基数调整后的研究生就业率视为一级指标“外部评价”的得分。

5.研究生培养质量综合得分。

表1文科类的综合得分排名

由于本文所分析的所有专业来源同一所大学，为简便起见认为各专业的物质条件是相当的。基于四个一级指标：标管理教育因素， 研究生因素，导师因素和外部评价的得分，分别为U1，U2，U3和U4，应用层次分析法得到各个专业的研究生培养质量综合得分（U）。这四个一级指标的相对重要程度根据文献[2]中专家评定给出，即认为管理教育因素比导师因素重要，导师因素比研究生因素重要，研究生因素比外部评价因素重要。四个指标对应的权重分别为0.5486，0.1268，0.2637和0.0609，故研究生培养质量综合得分U=0.5486*U1+0.1268*U2+ 0.263*U3+0.0609*U4。将34个专业按文科、理科和工科分开， 并按研究生培养质量的综合得分分别进行排名， 排名结果分别见表1和表2。

从分析结果来看， 本文得到的各专业综合得分均属于中等偏上水平， 即3＜U＜7。但部分专业与优等水平相差较远，如汉语国际教育、新闻学、俄语语言文学。具体到各个评价指标的结果上，会发现有些专业存在问题，例如新闻学对管理教育工作重视不足；汉语国际教育专业在研究生的专业知识水平和创新、实践能力不强等。还会发现有些专业的得分结果与事实不符，说明本文构建的体系可能缺少一些因素， 有待进一步完善。

参考文献：

[1]廖湘阳.研究生教育质量观演变与发展战略选择[J]. 中国高教研究，2004，（9）.

[2]高惠璇.应用多元统计分析[M].北京：北京大学出版社，2005.

[3][7]朱茵，孟志勇，阚叔愚.用层次分析法计算权重[J].北方交通大学学报 1999，（23）.

[4][5]王晓梅，张桂花.硕士研究生培养质量保障体系的构建与评价[J].产业与科技论坛，2010，（9）.

[6]郭亚军.综合评价理论方法及应用[M].北京：科学出版社，2007.

收稿日期：2013-10-13

作者简介：马维军（1970—），男，黑龙江绥化人，黑龙江大学数学学院副教授，硕士生导师，主要从事应用统计学研究。

基金项目：黑龙江省高等教育教学改革项目（JG2013010072）；黑龙江大学教育教学改革工程项目（2013B26）