我国院校评估指标体系研究*——从影响本科教学质量因素的视角

王 红 佘元冠

(北京科技大学经管学院，北京100083)

建立健全以评估为主要手段的质量保障体系，是国际上现代大学管理通行做法。院校评估是我国高等教育评估的主要模式，也是国际上最主要的高等教育评估模式。本文从我国高等教育院校评估指标体系演变过程入手，对影响我国本科教学质量的因素进行调查分析，提出我国高等教育院校评估指标体系构建原则，为完善我国高等教育院校评估制度建设提供参考意见。

一、我国院校评估指标体系的变迁

(一)我国院校评估指标体系的典型案例

本文中院校评估的概念是指针对普通高等学校本科教学工作进行的院校整体层面的评估。从1994年开始，我国进行院校教学评估，至今已有20多年的历史。院校教学评估指标体系的设计集中了一大批专家、学者、教育管理人员的心血和研究成果，大致经历了三个阶段。

1.实验阶段(1994-2002)

1994年开始，我国对1976年以来新建的普通本科高校开展本科教学工作合格评估，到2002年共对190所学校进行了合格评估。1996年至2000年，对进入“211工程”的高校，开展了本科教学工作的优秀评估，共评院校16所。1999年，对以本科教学为主、办学历史长的高校开展本科教学工作随机性水平评估，共评院校26所。

(1)合格评估指标体系

1994年开始实施的合格评估使用的方案是按学校类型设立的指标体系，有10种，即综合大学、工科院校、民族院校、师范院校、财经院校、政法院校、艺术院校、体育院校、农林院校、医药院校等。原国家教委1994年开始陆续制定了《综合大学本科教学工作合格评价方案》、《高等工业学校本科教学工作合格评价方案》、《高等农林学校本科教学工作合格评价方案》、《高等医药学校本科教学工作合格评价方案》、《高等政法学校本科教学工作合格评价方案》、《高等财经学校本科教学工作合格评价方案》、《高等外语学校本科教学工作合格评价方案》，1999年制定了《高等师范院校本科教学工作合格评价方案》。这些方案共性指标多。可概括为:以高教司研制的综合、工业、财经、政法、农林等类型院校的评估方案，基本是围绕教学条件、教学管理、教学建设、教学效果来设计指标体系。师范司研制的师范类合格评估方案围绕12个一级指标来设计指标体系，12个一级指标分别是办学指导思想、教师队伍、经费投入、图书资料教学设备、教学场所、专业建设、课程建设、实践教学、学风建设、教学管理、教学改革与研究、教学效果。概括来说，当时合格评估指标分为重要指标和一般指标，评估结论为合格、暂缓通过、不合格。

(2)优秀评估指标体系

1996年至2000年，国家对进入“211工程”的高校，开展了本科教学工作的优秀评估，共评16所学校;一级指标由下列10项指标组成:办学指导思想、办学指导思想、师资队伍、专业建设、实践教学、育人环境、教学改革、教学管理、教学效果、传统与特色。二级指标分重要指标和非重要指标，指标标准分等级，有ABCD四档，结论为优秀与未达到优秀两种。

(3)随机性水平评估指标体系

1999年，国家对以本科教学为主、办学历史长的高校开展本科教学工作随机性水平评估，共评了26所学校。方案的一级指标8个:办学指导思想、师资队伍、教学条件与利用、教学建设与改革、教学管理、学风、教学效果、特色项目，二级指标分为重要项目与一般项目。指标标准分等级:有ABCD四档，结论为优秀、良好、合格、不合格。

总结院校教学评估试验阶段指标体系的特点有两个:一是研究适应不同类型、不同层次院校的指标体系。对新建院校采用合格评估指标体系，对进入“211工程”的院校采用优秀评估指标体系，对处于“中间”层次的高校采用水平评估指标体系;二是研究适应不同评估目的的指标体系。合格评估重在保证学校的基本质量，促使地方政府加大对新建院校的投入，学校加强教学基本规范的建设。优秀评估重在引导这些高校在硬件要求、科研要求、学生培养目标要求等方面适应我国建设国际一流大学的目标。水平评估重在引导学校办出特色、办学水平。

2.探索阶段(2003-2008)

2002年，教育部组织实施“普通高等学校本科教学工作水平评估”，将原来的合格评估、优秀评估和随机性评估方案合并为一个，到2008年共评估589所高校。2002年的水平评估方案一级指标7个，另设有特色项目。二级指标分为重要项目与一般项目。指标等级标准有ABCD四档，结论分为优秀、良好、合格、不合格。这一时期指标体系的特点，试图用一种评估指标体系取代各种指标体系，建立周期性的评估制度。

3.完善阶段(2009-至今)

(1)现行院校评估合格评估指标体系(2009年至今)

2009年开始，教育部评估中心对2000年之后的新建本科院校开展合格评估，截至2013年，共评估了120所高校。现行合格评估方案共7个一级指标，二级指标及观测点不分权重。观测点评价标准不分等级，为是否达到基本要求。评估结论分为为通过、暂缓通过、不通过。

(2)现行院校教学审核评估指标体系

2013年，教育部评估中心对参加过首轮水平评估的高校开展审核评估试点，截至2013年底，试点了6所学校。2014年教育部工作要点要求，全面开展普通高校本科教学工作审核评估。审核评估范围主要包括学校的定位与目标、师资队伍、教学资源、培养过程、学生发展、质量保障以及学校自选特色等6+1个项目，审核评估不设标准，评估后形成写实性的《审核评估报告》。《审核评估报告》对各审核项目及其要素的审核情况进行描述，并围绕审核重点对学校本科人才培养总体情况作出判断和评价，同时明确学校教学工作值得肯定、需要改进和必须整改的方面。

(二)我国院校评估指标体系变化特点

经过对十几个院校教学评估指标体系的分析、研究，发现我国院校教学评估指标体系有以下特点:一是核心内容大同小异;二是评估结论方法雷同单一;三是定性指标增多，定量指标减少;四是普遍缺少可操作标准。

1.典型院校教学评估指标内容的比较——核心内容大同小异

我们遴选了三个阶段有代表意义典型院校教学评估指标体系，选择了一级指标进行比较(见下表)。＇ 纵观我国院校教学评估20年来的指标体系，可以看出以下特点:核心内容大同小异。无论采用那种模式的评估，无论是哪个历史阶段的评估，无论评估指标内容的表述如何，其指标体系的设计从内容上大同小异，基本都是围绕学校发展战略、教学条件、教师队伍、学生、教学管理、教学过程等内容来设计，这些内容都是影响教学质量的因素，只是不同历史时期，不同评估模式下会有不同的侧重点。

表1 院校评估一级指标汇总

2.典型院校教学评估结论方法的比较——结论方式雷同单一

对十几种院校教学评估方案研究发现，除了现行审核评估指标体系结论不分等级，只是形成写实性审核评估报告以外，其它所有评估结论的方法都是由专家根据评估指标评判确定。评估指标体系中无论是定性指标还是定量指标，专家在考察后做出判断是否达到标准或等级。在大数据时代，随着信息技术的发展，有条件做到把专家从数据核查中解脱出来，专心于定性指标的考察评判。

3.典型院校教学评估指标类型的比较——定性指标增加，定量指标减少

我们把三个阶段有代表意义的评估指标中观测点的类型进行梳理、比较。通过比较，我们发现，从历史趋势来看，院校教学评估指标中定量指标减少，定性指标增加。比如实验阶段合格评估指标的定量观测点数量占所有观测点数量的47%，接近一半的观测点是量化的，现行合格评估指标中这一比例只有27%。从评估类型来看，合格评估的定量指标数量多于优秀评估和水平评估。又如，试验阶段合格评估指标中定量观测点的比例是47%，而同时期优秀评估和水平评估指标中这一比例为27%和18%(各指标体系中量化观测点比较见)。

4.典型院校教学评估指标标准的比较—缺少可操作标准

院校教学评估20年来，指标的导向作用很明显，学校通过以评促建，建设效果比较显著，如校园建设、仪器设备等方面均有较大改善。但也有一些指标缺少专业标准，不易操作，还有一些定量指标，标准十几年未变。比如:90年代综合工业大学合格评估指标体系中“学生的学年论文、毕业论文和毕业设计的质量”观测点，评价标准A级为“好”，C级为“尚好”;首轮水平评估指标体系“毕业论文或设计质量”观测点，评价标准A级为“质量好”，C级为“论文或设计规范，质量合格”;现行合格评估指标体系中“毕业论文(设计)与综合训练”观测点的基本要求是“选题紧密结合生产和社会实际，难度、工作量适当，体现专业综合训练要求”，“论文(设计)质量合格”。这样的评估标准的具体含义，何为质量好，何为适当，高校及专家均不宜把握。还有一些定量指标，比如实验室、实习基地状况，其评价标准从首轮水平评估到现行合格评估，基本都是教育部规划司2004年2号文件的要求，评价标准10年几乎没什么变化。

表2量化观测点比较

综上，无论从实践来看，还是从理论研究上，我们认为高等学校的教学质量是由一系列影响教学质量的因素共同作用形成的。为了使院校教学评估更加科学客观，首先应当搞清楚哪些因素影响本科教学质量，这些因素是否相互关联，它们对本科教学质量各自的影响程度如何，具体是通过何种途径影响本科教学质量的，等等。只有将影响本科教学质量的主要因素研究清楚了，在此基础上根据不同的评估目的，合理选取指标，建立评价标准，采用适当的评估结论方法，就能建立比较科学合理的评估指标体系。

二、影响院校教学质量的重要因素分析

因素分析是在质与量的辨证统一中，在定性分析的基础上、定量的分析受多种因素影响的复杂现象总变动中，各个因素的影响程度和影响方向，为教学质量评价提供可靠的信息。因素分析法是一种研究方法，考察影响教学质量的诸因素或动力，对教学质量做出最有力的反映，真正认识质量并推动其发展。对各种因素进行探讨研究，最重要的是找到影响教学质量的决定性因素。

本研究的一个重要假设是:无论何种层次、类型的高校，在本科教学规律上是有共性的，在影响本科教学质量的主要因素中，可能有一些各类高校不太相同的因素，但是大部分因素是相同的。在对前面各种指标体系分析、研究基础上，我们采用问卷调查法，对影响所有高校本科教学质量的共同因素进行分析，通过因素分析来掌握教学质量的一般规律，构建院校教学评估指标体系。

(一)问卷设计与样本描述

1.问卷设计

为找到影响高等教育教学质量的因素，在对院校评估指标体系20年变迁汇总分析的基础上，确定影响因素的分析框架，之后就分析框架在教育教学专家和高校展开实地访谈，对分析框架予以调整。分析框架确定之后，设计调查问卷。调查问卷的设定也通过文献研究与访谈的方法逐步确定。文献研究重点借鉴以往高等教育教学评估中对指标的设置，访谈则重点对因素设置中与现状不符的项目进行调整。

2.问卷内容

调查问卷内容包括被调查对象背景信息、与高校教学有关的28项指标。第一部分为影响高等教育教学质量因素的测量，按照原有分析框架设置测量项目。各项目都通过Likert5级评分量表测量，针对影响程度的大小展开测量，从1至5表示影响程度递增。要求被测试者根据实际情况和个人经验判断做出选择。第二部分为对测量项目的补充。虽然问卷经过了文献研究和访谈确定测量项目，但为避免遗漏重要的影响因素，问卷为开放性的，学者可以补充测量项目，以求测量的科学、准确。

3.数据收集与样本描述

为了得到可靠、科学、合理的问卷调查结果，本研究选择了以下人员发放:1)参加过院校教学评估的专家69人，占总人数的68%;2)组织参加院校教学评估的高校领导27人，占总人数的27%。这些人在教学第一线，了解我国高等教育教学情况，掌握第一手资料;3)问卷还向政府中高等教育的管理者、高等教育院校评估的组织者发放，共5人。他们具有广博的视野，了解国内外高等教育的趋势和方向。

被调查对象以男性为主，占全部的86.1%;参加过1-5次院校教学评估工作为多数，占52.5%;绝大多数被调查对象的专业职称为正高级职称。行政职级方面，副校级比例最大，占全部的46.9%，正校级占25.0%，二者相加，行政职级为校级的被调查对象占全部的71.9%。

调查共发放问卷120份，回收问卷103份，有效问卷101份。

表3 样本描述统计表

(二)调查结果与统计

被调查对象对各指标的重要性从5-1分按照非常重要到不太重要进行打分。问卷设计整体性系数Cronbach’s Alpha系数为0.85，表明问卷整体性设计非常好。

表4 因素重要性百分比及权重表

根据问卷中被调查对象各因素得分情况，计算出各因素不同重要性的百分比分布、均值，并使用专家评定法计算权重。

重要程度位于5-4.5之间(非常重要)的因素有:办学定位，人才培养目标，课外师生交流，学习兴趣，学生心理咨询，学科、专业建设水平，专业培养方案，课程设置，课堂教学内容，课堂教学方法，实验、实习、实践教学环节，共11项。

重要程度位于4.5-4之间(比较重要)的因素有:教学思想与理念，生师比，教育教学水平，生源质量，学习时间投入，教学与科研的结合，课程资源，教学管理制度，共8项。

重要程度位于4-3.5之间(一般重要)的因素有:高级职称占教师比例，教师精力投入，参与社会活动，生均教学科研仪器设备，图书资料，班级规模，学校文体设施，学校后勤保障，第二课堂，共9项。

(三)影响院校教学质量的重要因素分析

1.因素的重要性分析

通过计算和比较各因素均值可以发现，有11项因素非常重要，8项因素的重要程度次之，还有9项因素再次之，按照重要程度排序见下表。

表5 因素重要性排序表

2.问卷调查结论

从以上对调查的28项重要因素的排名和聚类分析，得出以下结论:

(1)最重要的因素有:办学定位、人才培养目标、专业培养方案、课程设置、课堂教学。

办学定位:学校应根据经济建设和社会发展的需要、自身条件和发展的潜力，合理确定学校定位。办学定位应在学校发展规划中充分体现，并在人才培养中得到全面落实。

人才培养目标:培养目标包括学校人才培养总目标和专业培养目标两个层面。学校人才培养总目标应符合学校办学定位，专业培养目标应符合学校人才培养总目标。专业培养目标应体现于人才培养的全过程。

专业培养方案:在我国目前教育体制的专业框架下，高校人才培养很大程度上仍然是以专业为单位，专业与课程的实施是人才培养过程的主要载体。专业培养方案是对人才培养目标的细化，是由各类课程建立而成的有机整体，制定培养方案的质量决定着课程效能的发挥。

课程与教学:关于课程与教学的关系，在学术界有争论。但无论对课程与教学的关系持何种观点，任何人都不会否认教学总是依托于课程而存在的。无论评价本科教学质量还是研究影响本科教学质量的因素，都离不开课程。课程的设计与专业培养方案的制定均是限在某一学科和专业框架下的考量，而全校范围的课程规划对创新人才培养的重要作用亦不可忽视，其作用甚至更为深远。

在现有教育教学条件下，高校通过在课程设计、专业培养方案制定和全校课程规划这三个层次的积极探索和实践，能够开拓和形成有益于创新人才培养的现实途径。课程设计是针对单门课程的有效的教学内容组织和教学方式安排;专业培养方案是一组围绕某一特定人才培养目标所形成的课程有机整体;全校课程规划则以学校整体教育教学理念为依托，通过对全校公共课程结构的优化和大类课程平台的构建来实现其创新人才的培养目标。

课堂教学是落实课程教学的主要载体，是教师“教”、学生“学”的主要阵地，是学生获取知识的主要场所。被调查者将课堂教学内容、课堂教学方法排在28项重要性因素的第6、第7位，说明在我国现有条件下，课堂教学质量对教学质量有着重要的影响。要评价教学质量，课堂教学质量是不可忽视的一环。

(2)教学条件、资源性因素重要性低。在问卷的28项因素中，教学仪器设备、图书资料、生师比、高级职称教师等，这些涉及教学条件资源类的因素，重要性基本都排在后10名。我们分析认为，随着我国经济社会的快速发展，国家对高等教育的重视和投入不断加大，以及持续20年教学评估的开展，高校的基本办学条件明显得到了改善。虽然对2002年到2008年的水平评估，社会上有一些负面的声音，但不可否认的是，评估提出来的以评促建、评建结合、重在建设的方针是值得肯定的，而且通过评估，学校教学条件的建设和改善效果是最明显的。

(3)“软性”因素更重要，“硬性条件”因素退居二线。在上述最重要的几项因素中，“办学定位、人才培养目标”属于教育教学思想，“专业培养方案、课程教学”属于培养过程，说明被调查者更看重影响教学质量的“软实力”;再从这次实证调查涉及教师的5项因素来看，按重要性依次为:课外师生交流、教育教学水平、生师比、教师精力投入、高级职称占教师比例，这说明被调查者也更加看重教师的“软实力”和“软投入”，这从高级职称占教师的比例这项硬性条件因素在28项因素中，重要性排在23位也可看出。

三、我国院校评估指标体系构建原则

(一)以多元而统一的质量观为指导思想

研究影响院校教学质量的主要因素，首先要对什么是高等教育大众化时期的“院校教学质量”有科学的认识。文献表明，高等教育质量观因不同的时代、不同学派的哲学、不同类型的高校、不同的利益相关者而不同。大体说来，有如下几种质量观:一是符合性质量观，“合格即质量”;二是适用性质量观，“符合需要即质量”;三是发展性质量观。高等教育大众化必然带来多样化的质量观，但院校教学质量的多样化与统一性是辨证的关系。统一性和多样性是事物存在的基本关系，统一性反映事物共同特质;多样性反映事物的个性特质。因此，统一性和多样性是院校教学质量内在的两个方面，缺一不可。既不存在没有统一性只有多样性的本科教学质量，也不存只有统一性没有多样性的院校教学质量。我们认为，符合性质量观、适用性质量观、发展性质量观不仅是高等教育质量观发展史上的三个阶段，而且这三种质量观对于院校教学评估模式的建立，不同类型的高校采用何种评估模式具有一定的意义。比如在符合性质量观下的合格评估模式，比较适用于新建院校的评估。

(二)以影响教学质量的因素为主要内容

正如前述，院校教学评估的指标体系应该建立在对影响本科院校教学质量主要因素的研究基础之上，指标的内容应该抓住影响院校教学质量的重要因素。2002-2008年的水平评估指标体系对此不能说毫无考虑，但也应该承认，以前对影响本科教学质量的因素确实研究很不够，这是导致水平评估有效性欠缺的重要原因之一。影响本科教学质量的因素有很多，国内外文献中提到的诸如:教学理念、办学定位、教学与科研的结合、教师发展和教师队伍建设、招生方式和生源质量、学风、课程建设、人才培养模式、学科建设、教学方法改革、教学管理、教学设施和条件、国际化，等等。这些因素或虚或实，影响作用或大或小，有的是直接影响，有的是间接影响，各种因素往往又交织在一起。

(三)以指标的有效性为基本要求

影响教学质量的因素有很多，在不同模式下根据评估目的选择不同的影响因素作为指标。院校教学评估指标不要求面面俱到，这既不现实，也不可能，更无意义。在指标的选取上要本着有效、有用的原则，求精不求全，只要指标能够有效达到评估目标，能够发挥评估的导向作用即可，同时还要考虑数据的有效性和可信度。

(四)以成果检验——学生学习效果为出发点和落脚点

院校教学评估指标的选取要按照以学生发展为本的理念，建立以提高学生自主发展能力为目标的价值取向，以关注学生学习效果和学生发展为主线，构建院校教学评估指标体系。目前，国际高等教育质量保证呈现出一种趋势，即非常注重基于学生调查的评估模式。基于学生调查的评估模式是指以在校高年级学生或毕业不久的学生为调查对象，以学生学习投入及对大学学习、生活等于高等教育质量相关的多维度认知、评价为内容的调查。通过调查数据来制定有利于质量提高的政策或采取相关的措施。例如英国在2011年实施的新的质量保证方式中非常重视英国学生调查(NSS)，这个调查是首个在英国政府主导下推行的学生学习调查，NSS构成了目前英国高等教育质量保证框架的一部分。应该说学生调查直接或间接的触及了院校教学质量的本质，为质量改进提供了工具。