基于PMC指数模型的专业学位研究生教育政策文本量化评价

张 琳,李 慧,吴春林

(1.山东建筑大学 管理工程学院,济南 250101;2.北京航空航天大学 经济管理学院,北京 100191)

一、引言

专业学位研究生教育作为研究生教育体系的重要组成部分,是培养高层次应用型人才的主战场,在适应经济社会发展新需求、服务新时代人才强国战略中发挥着重要作用[1]。1991年,我国批准设立工商管理硕士学位为首个专业学位硕士点,正式实施专业学位研究生教育制度[2]。专业学位制度实施30余年以来,我国逐步构建了具有中国特色的高层次应用型人才培养体系,为经济社会发展做出了显著贡献。专业学位研究生教育政策从探索到成熟、从粗放到精准,在实践中不断调整与优化,逐步引领专业学位研究生教育进入规模化推进与高质量发展的快车道。2009年以来,专业学位研究生教育受到空前关注,国家和地方教育行政部门相继颁布了一系列相关政策,持续推动研究生教育深化创新改革[3]。2020年国务院学位委员会、教育部印发了《专业学位研究生教育发展方案(2020—2025)》,对专业学位研究生教育从结构优化、质量提升等提出了时代新要求[4]。面临新的机遇和挑战,亟需对已有的政策文件进行科学分析和客观评价,为政策持续改进与优化,推动专业学位研究生教育高质量发展提供决策依据。

专业学位研究生教育政策研究是研究生教育学与政策学的交叉研究领域。目前,学界研究多集中在政策变迁与政策优化[5-7]。在政策变迁方面,杨茜等分析改革开放四十年来专业学位研究生教育政策制度变迁过程,将政策分为质量模糊、质量明确、质量提升和内涵发展四个阶段[8];王莉将专业学位研究生教育政策的演进划分为孕育、创建、规范和改革四个阶段[9];于苗苗等以企业为视角,将企业参与专业学位研究生教育改革的演进分为改革起步、改革发展和改革深化三个阶段[10]。在政策优化方面,现有研究包括工程类专业学位研究生培养的治理改革优化[11]、质量保障体系优化[12]、政策整体优化[13]等主题。综上,已有研究成果清晰地勾勒出专业学位研究生教育政策演变发展脉络,并开展了政策优化的相关实践,但大多停留在定性研究层面,鲜有采用定量方法,进行更准确、更有决策参考价值的政策量化评价研究。

政策量化评价研究是当前公共政策研究关注的热点,常用的评价方法包括文本挖掘法和PMC(Policy Modelling Consistency,政策一致性建模)指数建模方法等[14-16]。它们能够从大规模文本中提取出有效信息,衡量一项政策是否具有内部一致性;并通过可视化形式直观地展示政策各项变量的情况,便于对政策的优劣进行综合评价。因其具有良好的适用性,现已被广泛应用于科技创新政策[17]、碳减排政策[18]、房地产政策[19]、电子商务政策[20]等量化评价研究领域,尚未发现应用于专业学位研究生教育政策研究领域。

鉴于上述原因,本文结合政策文本分析、文本挖掘与PMC指数模型,构建专业学位研究生教育政策量化评价指标体系,对国家及地方层面8项代表性的专业学位研究生教育政策予以量化评价和分析,从而辨析现行政策的优势与不足,为相关政策改进和优化提供建议和决策参考。

二、研究设计

(一)数据来源

为了确保政策的全面性和时效性,并考虑到2009年是国家进行研究生教育深入改革重要的时间节点,因此本文在北大法宝数据库检索2009年1月至2021年12月间,关键词为“专业学位研究生教育”的相关政策;然后访问教育部、教育部学位与研究生教育发展中心、中国学位与研究生教育学会、各省市教育厅(委)及中国研究生招生信息网等网站对政策进行补充,剔除通知类、公示类等相关度不高的政策文本,最终整理出97份政策文本,按照时间顺序,部分政策文本如表1所示。

表1 专业学位研究生教育政策文本

97份专业学位研究生教育政策中,国家层面颁布42项,地方层面颁发55项,各年度政策分布见图1。

图1 2009—2021年度专业学位研究生教育政策文本分布图

在总量上,政策颁布数量较多的年份在2014年、2018年和2020年,分别为11项、11项和13项。政策文件的密集性颁布集中体现出国家和地方政府为响应新发展阶段对高层次应用型人才的紧迫需求,为提升专业学位研究生培养质量,通过政策引领的方式,持续推进专业学位研究教育改革。

在国家层面上,政策颁布数量较多的年份在2010年和2018年。2009年教育部颁布《关于做好全日制硕士专业学位研究生培养工作的若干意见》之后,为配套落实具体实施,2010年国家层面颁布了7项政策,旨在细化并落实专业学位设置、专业学位研究生资助、就业服务体系和综合改革试点等配套措施。2018年国家层面颁布了8项政策,集中侧重于学位类别调整、培养方案制定等,重点强调专业学位研究生教育指导委员会在专业学位研究生培养中的重要作用。

在省市级层面上,政策颁布数量排名前3位的地区为天津市、福建省和上海市。天津市共颁发8项政策,尤其是2019年之后,陆续出台了4项政策,形成系列政策“组合拳”,持续推进专业学位研究生教育创新改革;福建省共颁发5项政策,侧重于为专业学位研究生教学案例库和联合培养基地制定专项配套政策,致力于服务区域经济社会发展的复合型应用型人才培养的质量;上海市与福建省排名并列第2,共颁发5项政策,针对性地制定了专业学位研究生导师和相关管理干部培训的相关配套政策。

省市级层面政策颁布数量较多的年份为2014年、2020年和2021年。2014年省市级政府颁发7项政策,与2013年11月教育部联合人力资源和社会保障部颁发了《关于深入推进专业学位研究生培养模式改革的意见》有关,各省市为贯彻落实以职业需求为导向,以实践能力为重点的专业学位研究生培养模式,相继制定了专业学位研究生导师培训、培养基地建设、综合改革试点等配套政策。2020年和2021年省市级层面颁发政策分别为9项和10项,是政策颁布最为集中的年份。2020年7月,国家首次召开全国研究生教育会议,习近平总书记对研究生教育工作作出重要指示,李克强总理作出批示,开启了新时代研究生教育发展的新篇章。会后,有关政策密集出台,各个省市积极贯彻落实新时代研究生教育改革意见,面向国家重大发展战略、行业产业当前及未来人才重大需求,结合区域经济社会发展状况和人才需求,探索构建具有区域特色的、差异化的专业学位研究生教育体系。

(二)研究方法

1.文本挖掘法

文本挖掘法是从大规模文本资料库中提取未知的、具有潜在价值信息的一种典型的定量分析方法,已被广泛用于专利信息分析、网络新闻及舆情信息分析、企业市场营销等领域[21-22]。相较于人工阅读整理总结方法,它可有效克服资料繁杂、效率低下、人工整理主观性较强等缺点[23]。本文借助文本挖掘法分析专业学位研究生教育政策文本,运用Nvivo11软件统计政策文本关键词频率,并以提取出的高频词汇作为研究变量,能够有效避免主观偏差,有助于构建科学的政策量化评价体系。

2.PMC指数建模方法

PMC指数建模方法是一种以政策文本为研究对象,对政策内容进行实证分析的建模方法[24]。该方法是Ruiz Estrada在Omnia Mobilis假说的基础上建立的一种建模方法,Omnia Mobilis假说认为世间万事万物都是不断运动、发展、且相互联系的[25]。他认为政策评价应广泛考虑与之相关的变量,构建全面的政策评价体系。PMC指数模型采用二进制0和1为变量赋值,不限制变量数量,权重相同,易于操作,且耗费成本较低;既可对政策的内部一致性进行分析,也可直观展示政策的优劣程度,为政策优化提供合理的决策依据[26]。

三、PMC指数模型建立

本研究具体实施步骤如图2所示,分为变量分类与参数识别、建立多投入产出表、计算PMC指数、绘制PMC曲面图四个步骤。

图2 PMC指数模型实施步骤

(一)变量分类与参数识别

1.一级变量分类与参数识别

PMC指标体系中变量分类与参数识别是本文研究的关键环节。借鉴前人研究结果,并结合专业学位研究生教育政策特点,以政策主体、政策措施、政策客体与政策目标四个维度及其相互关系为依据,构建专业学位研究生教育政策评价指标体系[27]。政策主体通常包括单一主体与多主体联合等多种主体形式,承担政策制定、执行、评估与监控职能。政策客体是政策的具体实施对象,也是政策运行的着力点。政策措施是政策的执行手段与方法,也是政策运行的主要外在表现。政策目标是衡量政策运行有效性的重要方面,是政策运行的输出结果。以2015年5月教育部颁发的《关于加强专业学位研究生案例教学和联合培养基地建设的意见》政策文件为例,政策主体为教育部;政策客体主要为各专业学位研究生教育指导委员会和研究生培养单位;政策措施包括重视案例编写,加强师资培训与交流,完善评价标准等方面;政策目标为深化专业学位研究生培养模式改革,提高培养质量。

因此,本文最终确立了9个一级指标,分别为政策性质(X1)、政策时效(X2)、政策级别(X3)、政策重点(X4)、政策保障(X5)、政策受众(X6)、政策功能(X7)、政策视角(X8)和政策评价(X9)。其中政策级别(X3)表示政策主体,政策重点(X4)、政策保障(X5)和政策评价(X9)表示政策措施,政策受众(X6)和政策视角(X8)表示政策客体,政策性质(X1)、政策时效(X2)和政策功能(X7)表示政策目标。

2.二级变量分类与参数识别

二级变量分类与参数识别主要依据专业学位研究生教育政策文本,并参考张永安[23]、蔡冬松[28]等研究综合确定。笔者将上述97项政策文本导入到Nvivo11软件中进行文本挖掘和词频统计,在高频词汇结果中删除“具有”“加强”等宽泛且无实际意义的词汇,确定将要着重分析的有效高频词汇,在表2列出了前60个;提取有效高频词汇,经合理调整改进,最终确定39个二级变量。

表2 专业学位研究生教育政策高频词汇前60个

专业学位研究生教育政策量化评价一级变量和二级变量如表3所示。

表3 专业学位研究生教育政策量化评价变量

(二)构建多投入产出表

本文在步骤(一)的基础上构建多投入产出表,如表4所示。该表可直观地反映二级变量的赋值情况,形成一套系统的数据分析结构,开展多维度政策量化评价。假定一级变量与二级变量的权重相同。二级变量的参数设定采用二进制方法,当政策样本中包含与二级变量相关的内容,赋值为1,否则赋值为0。

表4 多投入产出表

(三)计算PMC指数

首先,将一级变量和二级变量代入多投入产出表;其次,采用文本挖掘方法对二级变量进行赋值,为了减少二级变量赋分的主观性,辅以组织专家访谈,运用德尔菲法的匿名程序,综合专家对二级变量赋值的判断,强化二级变量赋分的可信度,具体计算见公式(1)和(2);再次,根据公式(3)计算一级变量的数值;最后,根据公式(4)将所有一级变量的分值加和,计算每项政策的PMC指数。

X～N[0,1]

(1)

X={XR:[0,1]}

(2)

(3)

式中,Xi为一级变量的分值,i为一级变量,j为二级变量,n为每项一级变量下所涵盖的二级变量总数。

(4)

(四)绘制PMC曲面图

根据各项政策PMC得分构建PMC曲面,将PMC矩阵结果以可视化方式呈现。在PMC曲面图中,凸出的曲面表示得分较高的变量,而凹陷的曲面则为得分较低的变量,有助于更加直观、准确地审查专业学位研究生教育政策的优势与不足。PMC曲面是在3×3矩阵的基础上绘制而成,矩阵构建方式如公式(5)所示。

(5)

四、实证分析

(一)评价对象选取

本文选择覆盖面较广且具有代表性的8项政策作为样本进行量化评价,如表5所示。评价对象选取主要考虑:(1)政策级别,包括4项国家级政策、3项省级政策和1项直辖市政策,在一定程度上确保了政策样本的代表性和覆盖面;(2)发文时间,均匀分布在2009年至2021年之间,确保了政策样本时间的贯穿性;(3)文本内容,所选政策样本均涉及到专业学位研究生教育的总体方案或意见,结构相似度较高,确保了政策样本的可比性。

表5 专业学位研究生教育政策样本

(二)PMC指数计算

本文采用德尔菲法对二级变量赋值,邀请从事研究生教育研究的3名资深专家进行匿名赋分,若该项政策中存在该指标,则为1,否则为0,分别回收进行结果比对。经过3轮赋分结果比对,达成一致赋分,最终确定多投入产出表。根据公式(3)和(4)计算各项政策的PMC指数,按照Estrada的政策评价标准,满分为9分,8～9分为优秀,6～7.99分为良好,4～5.99分为可接受,0～3.99分为不佳[31]。最终8项政策样本的PMC指数、排序及评价等级如表6所示。

表6 专业学位研究生教育政策PMC指数值

(三)PMC曲面绘制

根据公式(5)对8项政策样本进行排列,得到3×3的PMC矩阵,见表7。本文运用MATLAB软件绘制政策样本的曲面图,图中X轴表示矩阵的列,Y轴表示矩阵的行,Z轴表示矩阵的数值,曲面不同的颜色代表不同的分值,以此直观地审查各项政策的评价等级。由于篇幅限制,本文仅展示了PMC指数得分前两名的P2、P3和得分最低的P63项政策文本的曲面图,如图3、图4和图5所示。

(四)评价结果分析

从上述PMC指数量化结果可知,8项政策样本中,7项评价结果为良好,1项评价结果为可接受,无不佳和优秀等级的政策,表明专业学位研究生教育政策的设计和制定考虑较为全面。福建省学位委员会联合福建省教育厅、福建省财政厅等三部门颁发的政策P3排名第2,广东省教育厅颁发的政策P5排名第4,说明专业学位研究生教育政策在省级层面的政策扩散中得到了积极贯彻落实,相关政策的一致性和协同性较高,国家和省级教育行政主管部门政策联动,共同推动专业学位研究生教育改革创新。

1.政策综合评价

本文从总体上对一级变量维度进行综合评价。政策功能(X7)的均值为1.00,得分最高,说明政策在促进专业学位研究生教育可持续发展、提升人才培养质量、开展综合改革等方面发挥了显著的功能作用。

政策受众(X6)的均值为0.98,得分次之,说明专业学位研究生教育政策的指向性较为明确,对研究生培养单位、企业、导师等受众适用性较强。

政策视角(X8)的均值为0.92,得分比较理想,说明专业学位研究生教育政策比较清晰地把握宏观、中观和微观的政策视角,有机地结合了政策统领性和可操作性。

政策重点(X4)的均值为0.91,较为理想,说明专业学位研究生教育政策在招生、培养、学位论文和质量保障体系等方面重点突出,精准性较强。

政策评价(X9)的均值为0.83,也较为理想,说明专业学位研究生教育政策整体较好,具有目标明确、依据充分和方案科学的特点。

政策保障(X5)的均值为0.75,基本合理,二级变量包括基地建设、师资队伍建设、绩效考核、案例库建设、试点开展、监督检查和奖助支持。笔者再具体分析二级变量数值,抽取的8项政策样本中,虽提及了专业学位研究生培养应重视案例库建设,但相关的保障措施并不明确,需要进一步优化调整。

政策性质(X1)的均值为0.72,也基本合理,进一步分析二级变量发现,国家层面政策存在诊断性不足的问题。此外,浙江省教育厅和天津市教委颁发的政策中,政策性质(X1)维度的PMC得分均为0.50,表明省市层面进一步贯彻落实政策预测、建议和描述性工程时,也存在忽视政策诊断性的问题,这是进一步优化提升的方面。

政策时效(X2)的均值为0.50,得分较低,说明部分专业学位研究生教育政策的制定可能忽视了中长期目标和短期目标的有效结合,即注重单一期限的目标规划,而忽视了各个期限目标的统筹结合。

政策级别(X3)的均值为0.33,得分最低,可能与选择的政策文本有关,参与研究的政策文本多为国家层面发布的政策。与我国完善的国家、省级和学位授予单位三级学位管理体系有关,政策级别界限较为清晰,多为国家层面国务院学位委员会和或教育部单独发布,省级学位委员会和或各省市教育厅(委)在上级政府的引领下单独发布。

2.分等级评价

本文以政策一级变量的分值与均值绘制得分雷达图,如图6所示,选择得分排名前两位的良好等级政策P2和P3以及得分最低的可接受等级政策P6进行分析,以便更加清晰地识别影响PMC指数的关键变量,有针对性地提出政策优化建议。

图6 政策一级变量与均值得分雷达图

(1)良好等级

《硕士、博士专业学位研究生教育发展总体方案》(P2)的PMC指数为7.75,排名第一,政策效果最佳。该政策是国家调整和优化研究生教育结构、深化培养机制改革、大力培养高层次应用型专门人才的一项综合性政策,由国务院学位委员会颁发。9个一级变量得分均大于或等于均值,且在政策重点(X4)、政策保障(X5)、政策受众(X6)、政策功能(X7)、政策视角(X8)、政策评价(X9)6个维度取得满分,充分说明此项政策考虑全面、系统完善、目标明确,发挥了强大的引领作用。

《关于积极发展专业学位研究生教育加快培养高层次应用型人才的意见》(P3)的PMC指数为7.56,排名第二,政策效果比较理想。该政策是福建省颁布的省级政策,9个一级变量中除了政策级别(X3),政策保障(X5)和政策受众(X6)外,其他维度得分均为满分。为落实加快培养高层次应用型人才的政策,福建省研究生教育行政主管部门按照“加快发展、产学结合、提高质量、服务社会”的原则,紧密结合省域发展对高层次应用型人才的需求,对提升专业学位研究生培养质量,制定了系统全面、重点突出、功能较强的政策体系。该政策综合评价等级较好,可为其他省(市)政策制定提供借鉴和参考。

(2)可接受等级

《关于进一步推进专业学位研究生培养模式改革的意见》(P6)的PMC指数为5.44,得分最低,政策性质(X1)、政策时效(X2)、政策重点(X4)、政策保障(X5)、政策视角(X8)等一级变量得分低于均值,可能反映出该政策在政策时效方面缺乏统筹考虑、政策重点不突出、案例库建设保障措施欠缺等问题,预期存在较大的改进空间。

五、结论与建议

(一)结论

(1)从政策文本角度看,我国专业学位研究生教育政策设计总体比较合理

本文选取的8项政策样本中,7项政策评价为良好、1项为可接受,无优秀与不佳等级的政策。这表明我国专业学位研究生教育政策设计总体比较合理,逐步形成了具有中国特色的专业学位研究生教育政策体系,在服务国家人才强国战略,响应国家对应用型高层次人才的需求,引导专业学位研究生教育逐步实现高质量发展中,发挥了重要的支撑作用。

(2)从政策文本评价角度看,我国专业学位研究生教育政策具有一定的优化改进空间

本文选取的8项政策样本中,低于平均值的变量主要反映在政策性质(X1)、政策时效(X2)和政策保障(X5),对此,下文将分析可能的原因并提出优化改进建议。

(二)建议

1.完善诊断机制,优化政策供需匹配性

对于政策性质(X1),8项政策中只有3项包含政策的诊断性,可能原因是现有专业学位研究生教育政策诊断机制的缺失。在宏观上,应综合考虑国家发展格局和市场需求的动态变化,根据需求重心的转移,进行政策诊断与调整优化;在微观上,应考虑研究生培养单位对人才培养的路径依赖性,导致专业学位与学术学位研究生同质化培养、培养模式缺乏深度、组织体系不完善、社会参与度不高等问题,将其反馈到政策制定中,构建专业学位研究生教育政策诊断机制,确保政策体系供需动态匹配[11]。

采用过程性与结果性诊断相结合的方法,逐步完善政策诊断机制。在政策制定前,政府可面向专业学位教育指导委员会、研究生培养单位、企业、导师及研究生等政策需求方进行充分调研,掌握存在的弊病和不足,形成下一轮政策优化的素材库;在政策执行过程中,发挥研究生教育社团组织,如中国学位与研究生教育学会,在研究生教育战线上的纽带和桥梁作用,建立通畅的信息反馈渠道,汇集政策执行中的问题,形成过程性诊断机制;在政策执行周期内,构建专业学位研究生教育政策诊断评估机制,动态调整政策重点和方向,强化政策供需匹配性。

2.统筹政策目标,提高政策目标协同性

对于政策时效(X2),8项政策中有5项政策集中在中期或长期的目标规划,2项政策同时考虑中期和长期目标的结合,只有1项政策考虑到短期、中期和长期目标的统筹结合。当前我国专业学位研究生教育政策的目标规划包括短期规划(<3年)、中期规划(3～5年)和长期规划(>5年),只有协同中长期和短期目标,才能最大化地发挥政策效力。如果政策目标期限值设置单一,政策制定者缺乏对长期、中期和短期目标规划的统筹考虑,忽视短期内可操作性与灵活性较强的目标规划,将会导致政策目标总体时效性降低[32]。

政策目标应覆盖专业学位研究生招生规模、培养方向、培养模式、管理机制等方面的目标规划。建议政府在制定政策时统一长期、中期和短期目标,着眼于专业学位研究生教育高质量发展的长远规划,以及国家经济社会对高层次应用型人才培养要求,组织专家学者进行多方论证,设定多阶段目标,兼顾长期的统筹引领,中期的可拆解性和短期的可操作性,并形成专门的专业学位研究生教育政策技术路线图,提高政策目标协同性。

3.落实案例库建设,保证政策实施效力

对于政策保障(X5),8项政策中仅有4项政策提及案例库建设保障措施,配套政策保障措施明显不足。尽管2015年5月教育部发布《关于加强专业学位研究生案例教学和联合培养基地建设的意见》,提出“整合案例资源,探索案例库共享机制,完善案例库建设、管理和使用办法,提高案例使用效率”,仅发现福建省学位委员会、福建省教育厅颁布了本区域的《关于开展专业学位研究生教学案例库和联合培养示范基地建设工作的通知》,其他区域大多忽视了案例库建设配套政策的制定。

面向地方教育行政主管部门,政府需制定针对性的引导政策,提高案例库建设政策保障力度,鼓励地方教育行政主管部门根据区域发展战略、专业学位研究生教育规模、省域学科特色制定差异化和特色化的案例库建设保障措施;面向研究生培养单位,政府需要提供多元化的政策保障,同步提升案例库建设的规模和质量。第一,建议政府建立研究生创新实践竞赛引领的案例库建设保障体系,鼓励研究生培养单位动员学生参与公共管理、工商管理、工程管理等专业学位研究生案例大赛,引导研究生培养单位开发原创案例,推广案例教学,有效推动我国专业学位培养模式的改革创新。第二,建议政府建立“项目”制专业学位研究生教学案例库,在产教融合发展背景下,依托“政产学研用”合作构建以“项目”为载体的专业学位研究生培养体系,积累项目教学案例库,满足不同类别专业学位研究生实践能力培养需求。此外,建议政府加大专项经费投入,建设中国专业学位案例中心,提升案例库建设经费保障力度,构建示范引领、共建共享、面向全国、覆盖各类专业学位类别的案例教学服务平台,优化案例库建设政策保障机制,保障政策实施效力。

六、结语

专业学位研究生教育政策作为指导高层次应用型人才培养的行动指南,对持续提升专业学位研究生培养质量起到了重要的支撑作用。本文运用文本挖掘和PMC指数建模法,基于“政策主体—政策客体—政策措施—政策目标”的研究逻辑,构建了专业学位研究生教育政策量化评价体系,研究表明现有政策体系整体设计比较合理,在培养创新型人才、提高创新能力、服务经济社会发展、服务新时代人才强国战略方面发挥了重要作用,并针对政策性质、政策时效和政策保障的不足,提出相应的优化改进建议。本文在理论上有助于丰富专业学位研究生教育政策量化评价理论研究成果,在实践上可为教育行政主管部门制定政策提供合理的决策依据。