基于过程管理的大创训练项目评价研究

喻秋山

（长江大学 物理科学与光电学院，湖北 荆州 434023）

基于过程管理的大创训练项目评价研究

喻秋山

（长江大学 物理科学与光电学院，湖北 荆州 434023）

现行大学生创新创业训练项目评价体系存在轻过程、重立项、评价主体模糊和成果转化率低等不足，不利于训练项目的健康发展。为提高项目训练的实施效果，应分别从立项选题、过程实施和项目结题等过程中优选评价指标，采用德尔菲法赋予权重，建立过程管理导向的评价指标体系，同时建议配合使用分类制定结题标准等措施来推进大学生创新创业训练项目和评价体系的建设。对比试验的结果表明过程管理导向的评价指标体系相较于传统评价体系在创新人才培养和科研成果形成方面有更好的表现。

过程管理；大学生创新创业训练项目；评价指标

大学生创新创业训练项目计划（以下简称为大创训练项目）是教育部直接面向大学生立项、倡导主动实践、在国家层面实施的活动。各高校普遍重视活动的开展，但较少关注评价体系的建设。而现行评价体系导向易导致学生急功近利，研究缺乏深度和探索主动性，培训质量和社会效益产出不佳。[1]建立起科学的过程管理评价指标体系可激发大学生参与热情、树立正确的实践导向。

目前，大创训练项目评价体系的研究主要集中在评价指标选取方面，可大致分为对参与主体或参与过程进行评价。第一类将参与主体作为研究对象选取评价指标。如邵进强调指导教师的职责，主张从指导教师的思想态度、职称结构、指导经验和能力等方面进行评价。[2]綦盛健主张对学生进行评价，认为应该从大学生创新意识、交流次数、团队合作、实验开展等方面选取评价指标。[3]王志主张将实验条件纳入评价指标[4]，而荆涛主张用高校、企业、校企间的协调度和创新能力作为评价指标。[5]杜新强认为大学生创新能力培养评价应从教师、学生、学校等多个角度来建立考评体系[6]，杨建新认为应从创新团队建设的角度选择评价指标。[7]第二类观点认为应该从项目实行过程来选择评价指标，对项目多个参与主体评价。如李旦等认为应该从选题、实施和成果三个阶段选择评价指标，相应主体分别为专家，指导教师，学生、指导教师和专家。[8]霍丽莎等认为评价指标选取应拓展到全过程各参与主体。[9]

上述研究为大创训练项目评价体系设计提供了思考方向，其中一些评价量表可为进一步研究提供借鉴。多数研究者从项目参与主体方选择评价指标，这种评价方式简单、明了，但其对评价对象的研究是静态的，不能激发活动参与者的热情，扭转现行评价体系中存在的重立项、重结果、轻过程和成果转化率低等不足。[6-7]而李旦等人提出以过程管理为导向的项目评价指标体系可在一定程度上避免以上问题，值得提倡和推广。[8-9]但没有针对不同的参与主体分别建立评价指标，不利于厘清各个参与主体的职责和给出合理评价反馈建议。综上，我们认为建立以过程管理为导向，服务于不同评价主体的分类量化评价指标体系，可推进大创训练项目和评价体系的健康发展。

1 过程导向的评价指标分析

1.1 立项选题过程的评价指标分析

立项选题过程是组织评审专家对申报项目进行可行性评议，以决定是否列为资助对象及资助额度。主要包括对项目申请书和立项答辩过程的评审。

过程中侧重对学生、指导教师、实验条件和项目潜在市场推广价值分别量化评价。对学生的评价指标主要是从项目申请书的创新性、可行性、预期应用推广价值以及项目所需相关知识的储备、技能掌握等方面选择。对指导教师的评价侧重于教师的业务指导能力和责任心，主要从指导教师的专业背景、研究领域、科研经验等方面与学生选题内容的匹配程度以及教师的工作风范等方面进行参考指标选择。对实验条件的评价侧重于对实验设施和环境、实验设备和材料、实验项目过程管理等方面选择参考指标。在项目市场推广价值方面侧重于评价项目产品的市场应用前景和市场开发难度。

1.2 项目实施过程的评价指标分析

项目实施过程的评价是学生在导师的指导下开展项目研究的过程，这一过程是大创训练项目评价的重点和难点。

这一阶段应对三个主体展开量化评价。1）对学生的评价。评价指标应从学生在项目实施过程中对关键问题的解决程度、方法的创新性、精力投入程度、项目进度执行情况、实验日志记载情况和对训练过程的总结与反思等方面选择。2）对指导教师的评价。评价指标应该从导师对学生的指导次数、学生对导师启发式教育的接受程度、导师的引导具有的创新性思维、资源调配的合理性等方面选择。3）对管理方的评价。评价指标应该从资金、场地、设备的供给质量、数量、及时性和对项目实施过程中的有效监管情况等方面进行选择。

1.3 结题验收过程的评价指标分析

结题验收评价是对大创训练项目完成质量的结论性评价。

评价指标可从项目组成员在书面评审和答辩评审过程中的表现来选择。书面评审的评价指标主要从学生对问题解决方案的理解程度、项目预设目标的完成程度、完成过程中的创新性表现、结题报告的撰写水平、导师对学生在项目执行过程中的综合表现评价等方面选择。答辩评审的评价指标主要从学生对项目关键内容的解决过程阐述、解决方案创新性的体现、研究过程的独立性和团队协作性、研究成果的水平与价值、答辩过程的表现等方面选择。

2 评价量表的权重设计与评价指标体系的形成

2.1 样本与数据来源

在评价指标设计中，研究者常用德尔菲法给不同指标赋予权重，体现指标相对重要性。项目评估专家成员的采样选择长期从事大创训练项目指导、评审和组织的专家，他们的观点往往具有较高的信度和效度。为了增强代表性，我们以教育部公布的《2014年国家级大学生创新创业训练计划实施工作先进单位名单》中活动开展表现优秀的4所高校（部属高校2所：华中科技大学、中南大学，地方高校2所：湖南师范大学、长江大学）为蓝本进行问卷调查。

问卷分为三个部分。第一部分是个人信息，包括性别、年龄、学历、学校。第二部分是“您认为立项过程、项目实施和结题验收过程在大创项目评价中应该占多大比例”。第三部分是“请您对以下指标赋予权重”。问卷采用现场采访、现场填写并回收的方法，一共获得有效问卷40份。

2.2 权重的计算方法

权重的计算方法采用加权平均法。第一步，计算平均值。每个二级指标的权重（Uij, i, j=1, 2, 3…）先按照40位专家的平均分计算，汇总后得到一级指标的权重（Ui, i=1, 2, 3…）。第二步，差异调整。由于问卷第二部分已经对一级指标进行了评价（xi, i=1, 2, 3…），汇总后得到一级指标的权重可能与专家填写的权重有差异。如果差异，我们采用Ui和xi的平均值。第三步，确定最终的权重。为了方便使用，我们对权重取整数，并剔除权重小于5%的指标。

2.3 形成评价指标体系

指标体系主要由指标和权重构成。由于篇幅限制，我们将过程导向的理工类大创训练项目评价指标体系设计为如下3个量表（表1～表3）。

表1 高校理工类大创训练项目立项选题过程中评价指标体系构成（占30%）

表2 高校理工类大创训练项目实施过程中评价指标体系构成（占40%）

表3 高校理工类大创训练项目结题评价过程中评价指标体系构成（占30%）

量表对各评价主体依立项选题、过程实施和结题答辩三大阶段设立评价指标，共设一级评价指标9项、二级指标42项。项目量化评价实行分部计分、加权赋值求和的方法，计算公式如下：

其中，X表示项目实施过程的总得分，Ui和Uij表示一级、二级指标在项目评价指标中的权重。

3 比较与分析

我们采用实验追踪的方法检验过程管理导向的大创训练项目评价体系的有效性和先进性，实验对2015年参与大创训练计划的多组学生和指导教师全程跟踪。

3.1 准备阶段

调查样本的准备工作可追溯到试验小组的选题和组队阶段。为保证研究样本的多样性和代表性，我们争取到了学校创新创业中心和学院、师生们的支持。首先，我们将参与实验的教师分为传统组（立项和结题的评价比重大）和过程导向组（过程管理评价比重大）。接下来，组织参与实验的学生进行选题提议和讨论，选出《照度分级的智能照明系统》等17个项目作为立项申请的优选题目，再根据学生自荐和推荐等方式选出12名项目负责人，挑选出12个项目，组建起12支小队。在兼顾自由组队的前提下，为平衡试验结果的代表性，参照组员的综合能力评价对部分组员进行了微调，使得各组间的整体综合实力水平较为接近。

3.2 评价标准影响大创项目选题的对比实验

学生组队后根据选题自行查阅文献资料和撰写项目申请书。申请书撰写完毕后，我们将12个小组随机分为传统评价组和过程管理导向评价组（各6个组），然后由各导师组教师就各组申请书统一点评，并就项目实施过程中的评价标准和要点进行了介绍，再由各小组对原项目申请书进行修改和完善。

将两个组的项目申请书内容进行对比分析。传统评价组在研究内容上更偏向于对某仪器、设备、工艺或理论中的某一点进行改进设计等微创新。与修改前相比，内容上略有精简，思路更为清晰，目标更为明确，重视研究成果，难度略有降低。整体上表现出研究视野较窄，讲究“短”“平”“快”。而过程管理导向评价组则在研究内容上更倾向于对过程的探索和兴趣研究，表现出较宽的研究视野,也显得更为专业和系统性，难度有所提高。

根据上述申请书内容的变化，我们认为评价指标对项目选题有着明显的导向性。传统评价普遍重视结果评价，学生倾向于选择更低难度，更多重视成果；而过程管理导向的评价引导学生更为重视训练过程中能力培养，也容易设定更高的目标和要求，挑战更高的难度，更易实现综合能力的培养。经过院校两级的项目评审，最终有9个小组（传统组5组和过程管理评价组4组）获得立项。

3.3 评价标准影响大创项目实际工作开展的对比实验

各小组同学在导师组教师的指导下进行了相关课题的开展，并于2016年6月都顺利通过了结题答辩。随后，我们查阅了各小组的实验过程笔记和项目结题报告，并访谈了部分参与试验的项目组成员、导师、评审专家和管理人员，对项目实施过程情况进行了整理和对比分析，认为几个方面对比较明显，如表4。

表4 不同评价体系导向下的实验小组项目完成情况对比

过程管理导向的大创项目评价体系更为重视过程评价，降低了结果评价权重，对项目的实施过程具有明显的导向性，取得了较传统评价更好的训练效果。主要表现在：1）解决问题能力的培养上。过程管理导向的评价体系鼓励学生积极探索，发现问题、解决问题，注重新思维的培养，富于创新。表4的数据支撑了这一观点，过程管理组在试验过程中遇到更多的问题，在解决问题上也表现更积极，与指导教师的沟通次数也更多，完成论文的质量更高。2）最终成果的完成质量和数量上。过程管理导向组的同学在完成过程中能更多地培养自己综合素养，具有后发优势得到的外界评价也更高。

4 结语

本文构建了过程管理的大创项目评价体系。该评价体系从大创项目的立项实施和结题阶段分别选择指标，利用德尔菲法赋予权重，形成由9个一级指标42个二级指标构成的过程管理评价体系。该评价体系在对比性试验中表现出良好的导向性更优的训练效果，管理方可以利用该评价指标体系发现项目执行过程中存在的问题，展开量化评价，分类制定结题验收标准和奖惩等措施，并可在现有基础上建立不同学科的评价指标体系，推进大创训练项目的健康发展。

[1]王咏星，谢丽琼. 指导国家大学生创新实验计划项目的几点体会[J]. 实验室科学，2012（4）：206-208.

[2]邵进，董婷，王唯.“大学生创新性实验计划”项目指导教师评价考核研究[J]. 高等理科教育，2013（6）：46-49，76.

[3]綦盛健，陆树良. 大学生创新实验中学生主体地位的思考与实践[J]实验技术与管理，2009（12）：29-31.

[4]王志，杜云海，刘雯雯. 从大学生创新实验谈高校实验室建设[J]实验室研究与探索，2013（6）：287-289.

[5]荆涛，郑永杰，田景芝. 产学研视域下研究生创新实验评价体系研究[J]实验技术与管理，2014（3）：169-172.

[6]杜新强，冶雪艳. 从大学生创新实验项目谈学生创新能力的培养[J]. 黑龙江教育（高教研究与评估），2013（1）：47-48.

[7]杨建新，伍旦初，彭瑞明. 构建创新实验的团队评价体系[J]. 科技信息，2009（17）：77-78.

[8]李旦，赵希文，吴菊华. 以过程为导向的大学生创新性实验计划评价体系研究[J]. 高等工程教育研究，2010（1）：102-104.

[9]霍丽莎，张玲玲，向林那. 大学生创新创业训练计划项目过程管理探讨[J]. 中国市场，2015（28）：142-143.

（责任编辑 查明华）

A Research on College Students’ Innovation Training Program Evaluation Based on Process Management

YU Qiushan
(School of Physics and Optoelectronic Engineering, Yangtze University, Jingzhou Hubei 434023, China)

The current evaluation system of College Students’ innovation and entrepreneurship training program is not conducive to the healthy development of the training project, such as heavy project, light process, fuzzy evaluation subject and low achievement conversion rate. In order to improve the implementation of the training program, process oriented evaluation system should be established, concluding indicators selected from initiation process, operation process and f i nal process, and weights are calculated by Delphi method. Process management and classified criteria to finish process are suggested to improve the effectiveness of College Students’ innovation and entrepreneurship training program. The results show that the evaluation index system of process management is better than the traditional evaluation system in terms of innovation personnel training and scientif i c research results.

process management; college students’ innovation and entrepreneurship training program; indicators

G647.38

A

1674 - 9200（2017）03 - 0096 - 05

2016 - 11 - 23

长江大学教学研究项目“过程导向的大学生创新创业训练计划评价体系研究”（ JY2014026）。

喻秋山，男，湖南宁乡人，长江大学物理科学与光电学院讲师，博士生，主要从事数据模拟与计算研究。