高职教育应用型科研评价:理论与方法

王雅静

(中国社会科学院 中国社会科学评价研究院,北京 100732)

一、问题的提出

随着大科学时代知识生产模式的转型,在知识经济时代,人们更关注知识的经济价值和社会应用属性,对知识成果的评价也不局限于纯学术研究领域,而是溢出学术场域考察其社会价值和公众服务性,强调社会问责与对话反思。因此,非学术影响评价成为评价领域研究的重要课题[1]。在学科发展和高校科研建设方面,学科的交叉融合与跨界合作性不断增强,服务科技创新、成果转化和经济社会发展的需求增加,逐渐形成“以问题为中心”的研究导向,强调知识的经济社会效用和社会影响力,注重科研成果的社会辐射度,并开始建构跨学科和超学科的学术应用评价体系[2][3]。在学术评价领域,研究者开始关注跨学科、超学科和学术社会影响力评价的议题,运用知识社会学“相对主义”本体论和建构论,研究知识生产模式的变化和科研评价模式的转型,如关注交叉学科、超学科知识生产模式;行动者网络理论与科学研究的社会传播性;知识大众化与科研评价的公共参与[4][5],以及学术社会影响力评估方法与测度计量指标(替代计量法)等[6],这些研究对探索应用型科研评价具有一定启发性,但现阶段,学界对高职教育的应用型科研评价研究大多局限于院校科研管理层面,较缺乏知识论和评价理论的视角。高职教育应用型科研侧重学术的经济、社会应用性和多元主体的参与性,在评价的理论和方法上比较契合“非学术影响评价”的框架,体现了学术与社会、政治的关系,是学术评价的社会性和公共性维度,需通过社会影响力评价正确评估其科研产出和应用价值。本文以高职教育应用型科研社会影响力评价为例,探索高职教育服务于产业企业技术、社会文化和技能人才培养的科研评价体系,进一步完善科研社会影响力评价的理论框架和实践模式。

二、知识论视角下的高职教育应用型科研评价

(一)知识生产与评价的“社会之维”

知识社会学对知识论的研究呈现了鲜明的“社会性”维度,在知识本体论、认识论和方法论层面探究知识的社会建构,关注知识与政治、社会的关系。早期知识社会学的代表人物曼海姆强调知识生产的社会情境性,重视人的价值观对社会转型和重建的根本性作用。他的“知识社会”概念具有历史主义特征,将思想、知识和仪式都纳入研究对象,回到社会本身,揭示背后的历史性和社会性的因素[7]。之后,英国爱丁堡学派(SSK)将所有科学类型和活动都进行社会学研究,代表人物布鲁尔认为所有知识(科学)都是特定社会情境和语境的产物,这粉碎了科学的自主性、客观性和真理性外衣,揭露了科学相对主义本质,并主张对科学家活动进行民族志研究[8]。拉图尔对知识的社会网络分析是更彻底的相对主义,揭示了科学的公共性和世俗性。他的“行动者网络理论”被科学社会学、科学评价、科技哲学等领域的学者借鉴研究知识生产和评价问题,发现科学研究和知识生产是通过各种异质性的有效对话实现的[9]。拉图尔在《行动中的科学》一书中分析了异质性实验室稳定的利益转译,以及内外部因素结构互动、跨界交流合作。他认为科学研究一定程度上超越了学术的边界,将社会性要素纳入知识活动,继而对知识话语产生影响[10]。大科学时代的知识生产模式要关注专家群体的重要作用,其中包括纯粹的学者,以及事件发展的利益相关群体和社会大众,促进科学服务社会需求。布迪厄的场域和惯习理论对学术人进行研究,认为知识社会是资本、利益和文化的关系网络,学术场域的权力空间是对真理的掌握,学术人的性情倾向中的社会偏见是一种无意识状态,通过“反身性社会学”反思可以祛除偏见,成为公正的、科学的判官[11][12]。知识社会学对科学生产的社会学研究在认识论层面颠覆了知识本体论,引入一种相对主义的科学观和知识观,认为科学研究是一项公共事业和社会实践的产物,知识是科研网络系统生产和建构出来的,科研网络有可能是跨学科和超学科的行动者。我们应该关注知识生产模式变化、知识类型与流动模式、学术场域的跨界对话与交流,看到知识生产的社会架构与文化特征、知识管理与评价的机制,在社会场域互动中对知识价值进行重新审视,如研究知识生产的跨学科和超学科模式、行动者网络的互动机制、知识的经济效益和社会影响力等。

知识的“社会性”维度,涉及知识生产、应用和评价。对学术的应用性和社会影响力评价需要理解知识场域的社会互动过程,审视科研成果的转化与应用价值,科学评估应用型科研的社会影响力。学术社会影响力中的“社会”是一个广义的概念,它涉及学术与政治、社会的关系,一般指研究对社会、经济、文化、政策等多方面的影响。学术社会影响力评价一直是评价领域研究的重点和难点,是交叉学科、跨学科和超学科评价的重要组成部分。在超学科和交叉学科评价中,学术的社会影响力体现了知识生产和应用溢出了学术边界,进入到社会公共领域形成应用价值和社会影响[13]。高职教育应用型科研具有多学科、跨学科、知识技术应用和职业教育性特点,科研定位主要服务行业知识技术应用、技能人才培养和社会公共服务。高职教育应用型科研的评价应主要采用学术社会影响力评价框架,依靠同行评议,强调评价的社会情境性和反思性,纳入多元利益相关者的意见,建构职业教育科研话语体系。

(二)高职教育应用型科研评价的“价值观”

现阶段,我国的应用型科研水平还不高,特别是科研成果的社会转化和应用一直处于比较低水平的状态。在我国现代经济体系建设和制造业转型升级的关键时期,需将基础研究、应用研究和实践开发相结合,其中,应用型科研和企业实验开发是产业创新落地的重要阶段,它为基础研发成果提供市场转化、技术技能工艺、材料和方案。高职教育科研与教学在技术研发成果转化、工艺生产流程创新、产品市场化应用和技术技能人才培养等方面扮演重要的角色[14]。高职院校科研定位主要是应用型科研,教师一般要具有丰富的产业研究和教学经验,重视校企合作的经验积累,提高跨界合作和知识迁移的能力,以及探究科技的应用与转化[15],但在高职教育科研评价领域,符合应用型科研和技能教学的科研实践纳入评价体系不足,学术化的科研评价导向阻碍了科技研发成果转化和实际应用,现在亟须建立契合高职教育应用型科研特点,又与传统学术评价体系相兼容的科研评价体系,侧重应用型科研的社会影响力评价,引导科研服务区域经济社会发展和技能型社会的建设。

科研产出的学术性和社会性影响具有不同的路径和作用机理。应用背景下建构的知识,超越原有学科的理论和范式,以解决问题为导向,偏重知识的实际应用、社会政策和市场因素。不同于基础研究,应用研究更关注知识在技术、商业、工业和政策等问题上的直接运用[16]。学术影响是对学术知识创新进步的贡献,而社会影响更关注知识的社会应用价值,关注知识的公共观点导向和解决实际问题的能力。另外,社会影响分为科学应用层面和公众意见层面,学术大众化理念和公众参与是其中重要的一个环节[17]。高职教育科研体现了跨学科和超学科的知识生产和应用逻辑。在知识和话语建构过程中,体现了知识的融合、专业聚集、网络化行动的特点,如涉及理工农医科学和人文社会科学的互动,侧重行业知识技术的应用与实践。所以,“社会性”评价要关注成果的技术转化、社会公共服务和公共政策的作用,如是否服务区域经济社会发展和技能人才培养。同时,高职教育发展涉及多元的利益主体,应用科研和专业建设直接面对社会的应用与服务,强调学术与行业企业等主体的交流与合作。研究者与利益相关者的互动是决定研究社会影响力的重要因素,评价需要考察高职教育科研是否沟通学术部门、非学术部门和社会公众,超越学科的边界包容更广泛的系统要素,并且要对各类异质性成分的知识整合性进行评价,比如很多研究是以问题导向整合多个学科的方法论、概念和观点[18][19][20]。最后,评价要具有一定的协调治理功能,强调知识的社会情境化,通过多元利益相关者治理提升对异质性利益的理解和包容,提倡跨界合作,促进高职教育改进现状的集体行动。

三、从学院科学到产业科学模式:高职教育应用型科研评价的挑战

(一)高职教育应用型科研发展与评价的现状

高职教育应用型科研是职教改革发展、优化院校治理、专业建设、实践教学、产业转型发展与科技服务的重要基础。目前,中国特色职业教育科研体系主要包括高校、科研机构、行业企业和职业类院校等多元主体,强调跨学科的团队合作[21]。其中,高职院校是职教一线的应用科研和技能教学的场域,研究内容有教育理论研究(较少)、职业教育教学研究、行业类的专业研究、院校发展和职教政策研究等,具有综合性、区域性和行业应用性特点。学科覆盖了理工农医科学和人文社会科学,技术应用类研究主要服务成果转化、市场推广、解决企业技术难题等;人文社会科学类研究可为公共政策制订、公共服务与社会建设提供意见、建议和操作方案;教育教学类研究汇聚积累教师实践性知识,服务于技能人才培养。现阶段,高职院校整体的科研水平还比较弱,主要原因在于学校科研和文化建设不足,缺乏相应的科研资源和组织制度保障,这造成了科研“弱、小、散、乱”的局面。更重要的是高职院校科研存在“唯论文、唯课题”的问题,盲目模仿研究型大学的科研学术特征[22][23]。

一直以来,高职院校的科研边缘于传统学术评价和主流学术话语体系,原因主要在于纯学术导向的科研管理与评价体系不能彰显应用型科研的价值。高职应用型科研评价主要以学术导向的定量化评价为主,主要考察职校科研人员和教师的论文发表等级、影响因子,以及论文数量、立项课题级别和数量、科研获奖级别和经费资助数额等;并且很多高职院校都采用同一的科研评价标准,并没有对不同特色院校、学科专业、研究领域进行分类评价[24]。不同类型的研究在目的、价值和影响路径方面不同,不宜采用统一的、偏学术导向的评价框架。高职应用型科研涉及多学科、跨学科和应用学科的研究,具有经济、社会和政策的应用价值,应在跨学科和超学科的框架下,侧重对其学术应用性和社会影响力的评估。应以评价体系建设为契机加强对高职院校科研的引导,建立分类评价体系,促进科研的产教融合和应用开发,推动高职院校教师提高应用型科研水平。

(二)科学模式转型下的高职应用型科研评价

高职应用型科研具有知识的应用性和科学实践性,体现了知识生产由学院科学到产业科学研究模式的转换,所以,应用型科研评价要改变纯学术导向的、引文计量为主的、局限于学术范围内的科研评价方式,参考跨学科和超学科评价模式,理解知识生产和应用的逻辑,促进高职教育系统内外各要素的互动与对话。具体而言,高职教育应用型科研生产与评价有如下五个方面的特点。

1.在学术与社会、政策关系视角下审视应用型科研的价值。知识的生产和应用、创新和传播密不可分,知识的应用性维度呈现出学术与社会、学术与政策之间的互动关系。吉本斯指出了两种知识生产机制:模式I是以学科为主的研究模式,强调理论知识创新;而模式II是指在应用环境中,重视知识成果绩效和社会效用。在“大科学”时代,两种知识生产模式相互作用,相互补充和影响。应用研究和开发研究是知识生产活动的重要组成部分,是大学转型和变革的重要维度。伯顿·克拉克对高校权力结构的三角模型的研究揭示了国家、市场与学术的多维制度逻辑,其中,大学科研的社会情境性和社会服务性体现了学科逻辑之外的如政治逻辑、社会制度逻辑、产业逻辑和应用逻辑[25]。因此,在应用型科研管理与评价方面,要明确学术与社会、学术与政策的关联机制,追求学校与政府、市场和社会共治的格局,构建多元利益相关者参与的协调机制。

2.遵循超学科逻辑的知识跨界整合。超学科的概念最早在20世纪70年代由埃里克·詹奇提出,之后内涵不断发展完善。超学科在交叉学科基础上产生,面对实际应用和决策,跨越科学和社会领域,促进研究者和利益相关者之间的知识整合。超学科比跨学科概念更加深入,是跨学科研究的更高层次,知识的交叉融合更复杂、研究对象更广泛、研究主体更多元化。它是在学科之间、学科之外代表不同领域知识间高水平的互动与整合[26]。超学科知识生产模式以社会需求为导向,解决知识生产和社会需求脱节的问题,倡导在研究过程中促进大学、产业、政府和社会公众的参与互动,将知识的生产、转化、整合、流动和传播系统化。高职教育应用型科研遵循超学科知识生产模式,它融合了基础研究和应用研究,在强调基础研究对应用研究的支撑作用的同时,更侧重知识的整合转化与应用,在产教融合与校企合作中,逐渐汇聚高校、产业、政府和公众用户多元利益主体的力量。应用型科研理论和实践发展涉及多个学科领域的问题,包括科学与社会、研究者与利益相关者、技术应用与社会问题的联系和互动。在知识系统上体现了从理论知识到技术应用,再到技能教育的循环过程,强调研究者的实践性和对政策的把握度,整合知识的同时倡导多元利益相关人参与实践,共同建构认知。

3.教师实践性知识:高职教育教学实践的指导。高职教育的应用科研包括技术应用研究、技术开发研究和教育教学研究,体现了理论与实践、科学与技术、教育与教学的互动关系。科研围绕产业关键技术、核心工艺和共性问题,促进研究成果向产业技术转化,侧重技术难题的突破和应用,重视科研的经济和社会效益。另一方面,高职教育科研的应用和实践性体现为哲学社会科学和教育学成果的应用,如一些研究成果形式为方案和建议,可以为公共政策、区域发展和社会建设服务,或服务技能人才培养的教育教学理论研究、经验积累和教学方案,强调教育应用情境,形成一种教师实践性知识,服务于高职教育教学工作[27]。教师实践性知识需要具有一定的教育学理论基础,不同于专业研究的科技创新、新产品开发、新技术应用和市场推广,教育的实践性知识主要服务于高职教育的技能人才培养,强调教育应用情境,积累一线教学实践知识。高职院校教师的实践性知识主要反映在专业研究和技能教学方面,根据职业教育实践经验不断反思积累形成认知,实现理论与实践的结合,处理实践中的情境性、问题导向性和人际关系复杂性等[28]。

4.同行评议的社会拓展:多元主体交互与行动者网络的建构。高职教育知识生产和应用的主体包括高校、行业企业、地方政府和社会公众,其应用型科研涉及不同的利益相关主体,行业专业性和教育应用类研究倡导高校与行业企业、政府、公众的互动,在更广阔的社会情境下促进知识整合与应用。所以,需要探索应用科研的定性评价体系,促进高职教育的多元利益相关者在职教圈内,以及与学术界、社会外界的有效互动,达到知识整合和共识建构的效果。基于这种科学研究的跨界交融、综合应用性和边界的不确定性,同行评议的“同行”概念超越了传统学术共同体的范围,需将高职教育科研发展的多元主体纳入评议主体,评估多元利益相关者治理中的知识整合能力[29]。这里涉及不同领域的研究者的互动、研究者内部理论派和实践派的互动、研究者与其他利益相关者的互动。科研行动者网络理论认为,复杂的科学研究网络有可能是跨学科和超学科的。科学研究和知识生产是通过各种异质性有效对话(如科学家与社会利益相关者的对话)和交流实现的。应用型科研的同行评议需更关注科学的跨界对话和交流,促进学科内学者和外界利益相关者的有效互动,如通过转译融合利益成员,处理知识整合的内部和外部关系(异质性),建构职业教育发展的利益共同体,解决社会实际问题。高职教育多元主体的交互有利于形成知识生产和应用的行动者网络,所以,其应用型科研评价要进行同行评议的社会性拓展,通过共同体平台建设纳入多元评价主体,建构行动者网络进行有效沟通互动,在评价过程中形成职业教育发展的共识。

5.应用科研的话语体系建设:学术大众化的参与和传播。应用型科研成果产生的社会经济和文化效益真正的受益者是用户,高职教育的科研用户主要是广大教师和学生,以及企业和社会公众等相关群体,所以,应用型科研评价和职业教育话语体系建设需要纳入更广泛的利益相关主体,其中专业性用户的公众参与成为主要的学术大众化机制。在评价中加入市场、用户和公众的维度体现了学术应用的社会责任和话语体系建构的作用。知识生产模式III加入了公民社会的主体,呈现了多层次、网络化的知识场域,强调学术研究服务社会公共利益,知识的社会贡献和影响力。评价的维度是从评估学科领域知识增值到评价非学术影响,从学术价值维度转为服务经济社会发展导向[30]。公众逐渐参与学术评价成为外部影响和社会影响的重要评估主体,展现了学术评价的公平、公正和公开原则。建构应用型科研评价中的学术大众化参与和传播机制有助于纳入更多元的利益主体,建构职业教育发展的命运共同体,促进形成职业教育发展的话语体系。

四、高职教育应用型科研社会影响评价体系的探索

科研的社会影响力评价相对于纯学术导向的评价,侧重科研的市场应用和社会服务导向,知识的影响力一般分为学术与非学术影响力,卢茨·伯恩曼将科学的非学术影响分为社会影响、文化影响、环境影响和经济影响四个部分。广义的社会影响力概念等同于非学术影响,指科研对社会各维度的影响,如社会、经济、文化、政策等多方面的影响。本文的科研社会影响力采用广义概念。

高职院校科研以往主要采用的偏学术理论性的评价体系不符合应用型科研发展的特点与规律,也不利于教师提高科研水平,增强服务校企合作和技能人才培养的能力。特别是在我国产业转型升级的关键时期,应用型科研对于研发成果转化、市场应用推广、社会服务改善具有重要作用,需要科学的评价体系引导。

(一)评价的理论来源

学术社会影响力评价理论来源于知识社会学、科技哲学、科学计量学等学科,相关研究从知识的生成与评价角度探究科学与社会的关系,由此建构学术社会影响力评价框架,比如项目评估中知识经济回报框架的研究;行动者网络理论对知识流动、转译和整合的研究;借鉴超学科知识生产与评价研究,斯帕潘对社会影响测量的生成性互动框架的研究;以及新公共管理的多元治理理论和循证教育(社会)学的相关研究成果。

社会影响力评价基于“问题意识”和“评价需求”导向,借鉴了多元理论框架逐渐形成社会影响力评价的理论与方法,并在评价实践中不断完善。一般而言,学术影响力与社会影响力在一定程度上具有内在张力,高学术影响力不能等同于高社会影响力。如研究学术圈子较小,研究创新性较强,在学术共同体内具有高学术影响力,但由于其封闭性和小众化限制了科研成果的社会传播和理解,社会影响反而很小。因此,科研影响中超出学术界的社会影响很难用纯学术影响评价指标衡量,需要明确不同类型科研的属性和内涵、知识的应用范围、评价的维度等,强调知识生产和服务的“社会性维度”,考察研究的社会情境性、过程性机制和结果的效用等。社会影响力评价需关注基础研究和应用研究的关系,对科研的社会相关性进行测量,考察科学与社会间生成性互动过程,从知识生成、应用过程和传播效果等方面进行社会影响评价,关注学术应用价值、科研平台建设、研究的跨界整合性、研究的经济性和社会服务性等。

(二)评价方法多样性的创新

由于高职教育的专业性研究、教学研究和政策研究会带来不同层面的社会影响,影响效果具有一定的滞后性和交织性,需识别控制变量,并进行合理归因,所以,在研究方法上要进行一定程度的创新,探索多样化的定性与定量评价相结合的方法,比较适合采用“定性为主,定量为辅”的综合评价方法。常用的定性评价方法为同行评议(专家评审)、问卷调研、深度访谈、案例研究、参与观察、组织学习与参与式评估等。

同行评议是重要的专家评审法,由于应用型科研的超学科性、应用性、跨界性的特点,需寻找不同应用研究领域的小同行,以及合理配置人文社会科学和理工农医科学相关的大同行。为此,需根据科研内容合理配置学科和行业专家,建构职业教育多元利益共同体交流平台,倡导评价者的互动学习与对话。比如倡导理论与实践派研究者,学者与行政官员、教师、行业企业专家的对话及合作。另外,评审专家要了解应用型科研的特点与规律,对职业教育发展的现状与核心问题要具有一定的把握,并细分科研领域进行分类评估,比如行业科研领域、教学领域、政策解读与宣传领域等。在评价中,注重发挥不同类型专家的专长,完善评价专家库,减少不同利益目标行动者之间的张力。

问卷调研和深度访谈是重要的质性研究与评价法,比较适用于过程性机制的深入研究。该方法贯穿于评价过程前、中、后期,如评价前期的数据收集、同行评议的意见采集、评价结果的信度和效度测量等。一般采用结构化和半结构化的问卷方式,将应用型科研的多元利益相关者的意见纳入,考察知识整合的过程、跨界合作的程度、社会情境性因素对评价的影响等。案例研究法在质化研究中具有重要的一席之地,结构化案例法可揭示研究的非线性社会影响,呈现人与社会复杂的非线性交互过程。案例评价法关注科学价值、内涵和社会影响,对文字叙述材料进行归纳和因果机制关联,以建构主义为前提,建构以个案为基础的定性评估框架。参与观察评估法是让评价者深入参与到评估项目中,通过不同的组织学习提高对应用型科研的理解和评审能力,并有利于搭建学术界与社会合作的平台与桥梁,提高科研面向社会应用和满足社会发展需求的水平。循证研究法使用列举证据指标(证据集)进行评估,列举影响案例的佐证材料,如措施证明、书面记录、点击量、下载量、专利数、合同数、收入、发行量等。询证法可为专家评价提供依据,有利于克服主观评价的偏见,搭建因果关系链条,实现定性与定量评估的平衡。询证法还有利于考察变化,捕捉对行为和态度观念的改变,考察影响的广度和强度,并提供科研社会影响力咨询报告[31]。

(三)评价核心指标的理解与运用

高职教育应用型科研源于行业和专业驱动,评价指标要关注研究的社会情境性、过程机制性和结果的效用性。应用型科研评价的核心指标涉及科研的社会生产、应用和评价的各个环节,关注科研是否服务院校发展、专业建设、技能教学、企业技术成果转化、区域经济社会发展等,以及知识话语体系建设在利益相关群体中的扩散和传播力。高职教育科研一般涉及行业应用类、职业教育教学类、政策咨询和社会服务类科研等,科研倡导产教融合与校企合作,强调跨界研究合作与实践应用。行业(专业)技术类研究主要考察成果是否推广和转化应用,推广应用的效果如何,是否获得重要专利认可和有助于解决企业技术难题,促进技术方案和制造落地。特别是关键技术是否为经济发展方式转型和产业转型升级服务,对区域经济发展具有促进作用;对教育教学类研究的评价主要关注是否获得教育教学成果奖,成果是否应用于提升教师实践性知识和服务技能人才培养,是否对同类院校相关专业建设和发展具有指导作用;评价政策服务类成果的政策解读和宣传力度和效果如何,是否被决策部门采纳,具有决策支持、信息指引和人才培养的效用。社会服务类研究侧重是否为公共政策、社会建设和产业发展等提供参考意见、建议和方案,有助于解决经济社会发展的现实问题,获得较高的社会满意度[32]。