基于证据推理的高校人才培养质量评价系统研究*

钟金宏，黄 玲，李兴国，牛晓玲

（1．合肥工业大学管理学院，安徽合肥230009；2．解放军电子工程学院，安徽合肥230037）

基于证据推理的高校人才培养质量评价系统研究*

钟金宏1，黄 玲2，李兴国1，牛晓玲1

（1．合肥工业大学管理学院，安徽合肥230009；2．解放军电子工程学院，安徽合肥230037）

本文分析了高校人才培养质量监控与评价方面的研究进展。采用面向互联网的W eb应用程序架构，设计了一个涵盖内部教学质量和外部人才培养质量评估的高校人才培养质量监控与评价系统，并详细分析了系统的具体组成。全面使用证据推理方法体系，建立了各类人才培养质量评价模型，给出了系统实现方案。

人才培养质量；监控与评价系统；证据推理方法

教育部于2003年启动了五年一轮的本科教学评估，以加强对人才培养质量的评估与监控。同时，学校为保证教学质量和实时监控，需要建立常态的教学质量保障系统。本文提供了一个高校人才培养质量监控与评价系统的设计及实现方案。它可以动态检测与评价各类教学活动及其责任主体的质量，及时获取外部对人才培养质量的评价；通过集结内外评价，对学校工作提供指导或导向。

一、研究现状分析

现代高等教育评估最早可追溯到1845年Mann用学生测量分数来评价一所学校的教学质量。[1，2]目前这方面的研究主要有：

在指标体系研究上，很多研究集中在教学质量监控体系的构建原则和总体设计方面，其中有一般性论述，也有针对具体类型高校和教学实体的。[3-5]涉及的各类具体指标体系可归类为：课程教学质量指标体系和教师评价、实践教学质量监控指标体系、就业与外部评价。[6-8]从文献可看出，目前的指标体系大都偏向课堂教学、教师教学等某一方面，缺乏面向教学、学生和管理人员三方面的综合监控与评价体系，难以全面评价高校的人才培养质量。

在高校人才培养质量监控与评价系统建设方面，很多研究限于系统架构和分析设计，且主要侧重于某单一责任主体、载体和单一教学环节；实际系统的研发少，且大都功能单一，还没有面向教师、学生和管理人员的涵盖所有教学活动的全过程、全方位的人才培养质量监控与评价系统；部分研究关注了系统的具体实现技术，如数据仓库、数据挖掘、.NET、ASP、Web数据库等技术在监控与评价系统中的应用。[9,10]

此外，部分作者研究了国外的高教评估情况，意在为国内高教评估提供借鉴和启示。[11-13]相当多文献介绍了高校在教学质量监控与评价方面的实践情况。[14-17]在评估理论与方法方面，主要有ISO9000质量管理体系、齐次马尔可夫链分析法、层次分析法、模糊综合评价和证据推理方法等在高校教学质量监控与评价中的应用研究。[18-20]

二、系统架构及组成

为适应信息系统软件的发展趋势和信息收集发布的便利，高校人才培养质量监控与评价系统采用面向互联网的Web应用程序架构。为实现充分利用现有的信息数据，以及与现有信息管理系统的无缝连接，开发基于XML的信息交换组件。系统结构如图所示。

图 高校人才培养质量监控与评价系统

1.人机交互接口系统

信息采集、处理和转换系统收集政府评估、中介评估、社会评价、用人单位评价，以及来自其他信息管理系统的信息，支持手工输入、专用接口导入和网上收集。采集的原始数据经处理、转换由基础数据库管理系统存入基础数据库。

在其他监控和评价系统中，各种质量的信息输入主要采取用户习惯的方式，用图表实现，尽量做到准确、直观和有自我查错能力，避免模型输入错误。质量评价结果主要以分布式方法描述，以图表形式展示。数据库、模型库、方法与知识库管理系统也将以专用人机接口实现，避免直接修改数据库以增强系统容错能力。

2.数据、模型、知识和方法库

基础数据库和现有数据库能互相兼容和通讯。除了从现有数据库中提取、挖掘和整理的数据外，它主要用来存贮和管理与责任主体和教学活动质量相关的原始信息。基础数据库管理系统除能提供常用的数据库管理功能外，还应该能和模型数据库、知识与方法数据库通讯，为其提供必要的原始信息，同时负责与人机接口和显示模块的通讯。

模型库用于存贮质量评价模型的结构及运行模型所必需的知识和信息。模型数据库用来存贮评价责任主体和教学活动质量所需要的当前输入信息和相应的评价结果。模型库管理系统用来构建、修改和更新模型结构和相应的模型数据库，并负责和基础数据库的双向通讯，即从基础数据库获取模型所需的输入信息，同时向基础数据库输出质量评价结果。

该系统需要应用多种方法进行数据处理、信息转换、知识推理和决策支持。例如，传统的统计方法；决策理论中的规范化方法，以用来对数据进行归类和预处理；证据推理方法中的数据转换技术，以处理不精确信息和知识的综合问题，并产生质量的结果分布。这些方法将组成专有方法库和知识库，并与相应模型库中的模型结构相链接以实现这些方法的功能。方法库和知识库管理系统负责方法的构建、修改和更新。

3.监控与评价系统的功能模块

（1）教学活动质量监控与评价系统。教学活动按其性质可分为公共基础课程教学、专业课程教学、实践教学和创新性教学。该系统实时地评价和产生各类教学活动的质量分布，以准确和全面地指出教学活动中可能存在的质量问题和严重程度；并可产生、分析和评价不同的质量改进方案和估计可改进的程度，从而避免因盲目而制定不切实际或不必要的质量改进方案。

（2）责任主体评价系统。教学活动责任主体可分为人员和机构两类。面向人员的责任主体包括教师、学生和管理人员；面向机构的责任主体包括学院（系）、系（教研室）和教学管理部门。该系统产生各责任主体在各指标层次上的教学质量水平分布和量化评分。分布式评价能够对各主要管理环节及方面做出全面客观的评估，指出各责任主体在教学质量及其管理上的主要薄弱环节和需要改进的方面。

（3）社会和用人单位评价系统。社会评价主要涉及学生、家长和市场等方面的评价，主要是学校声誉和印象方面的，感性部分较多。用人单位评价比较实际、客观，参考价值大。该系统给出社会和用人单位对学校人才培养质量的评价分布。

（4）内部、外部及内外综合评价系统。在教学活动及其责任主体的教学质量评价的基础上，进行校级内部评估，判断学校教学工作的整体运作态势，对全校的人才培养过程及其质量进行全面的综合诊断，找出存在的问题，为学校相关决策提供依据，并建议改进方案。外部评估可看作是政府、社会、市场、毕业生和家长等对高等教育质量的监控，不具实时性，所得结果有助于学校培养社会需要人才；通过集结得到学校外部对人才培养质量的评价分布。综合内部、外部的评价结果，给出某高校人才培养质量的评价分布，生成评价结果的解释；比较学校内外部对人才培养质量的评价，对学校工作提供指导或导向作用。

三、系统实现方案

1.数据收集、处理、归化及数据库准备工作

为实现前述系统，大量工作将用于支持每一个目标的数据收集。为了收集教学质量指标的相关数据，将充分利用高校原有信息管理系统积累下的数据，如毕业生跟踪系统，以及学校积累的纸质数据；同时将采用调查问卷、网上信息收集、电话和电子邮件等多种方式采集信息。对收集的信息进行统计、量化分析和分类，建立了质量信息关键词的数据库。

关键词组织采用逐级下拉层次结构，每一级关键词都是人才培养质量水平评价的内容，只是不同层级的关键词反映的是不同的管理深度，只有针对不同层级的关键词进行统计、量化分析和模型计算，才能根据不同需要有层次地（或在不同层面上）提出不同的评价和改进措施或要求。

在网络平台和信息源分类数据库建立后，需要将日常监督工作中发现的质量问题录入到数据库，在统计质量问题数量的同时将不同质量问题反映的质量管理水平进行等级化或量化，综合质量问题数量后，将综合信息作为源信息（或不同数学模型的输入）提供给各类人才培养质量水平评价模型。

2.基于证据推理方法的评价模型建立

在人才培养质量的指标体系上，主要参考国内外高校和教育部门的相关评估标准和模型。国内将主要参考教育部的 《普通高等学校本科教学工作水平评估指标体系》以及相关学者研究成果。国外拟参考芬兰ADULT学校、美国卡内基·梅龙大学和杜克大学等在教学质量评价方面的做法，亦参考美国、英国和德国等高教发达国家的政府及民间机构的一些做法。在对机构评估时，将参考和借鉴欧洲质量管理委员会的标准模型，即EFQM模型，虽然它是面向欧洲企业的综合质量评估。拟基于XML技术先构造一个基本的指标体系描述文件，再采用继承递增模式产生各类教学活动的指标体系描述文件。

采用证据推理方法体系作为建立人才培养质量评价模型的理论基础。证据推理方法的核心是采用基于评价准则的分布式置信结构建模，并运用概率统计和人工智能中的近似推理方式进行多指标综合。这种建模与分析的特点是质量管理水平能够客观、准确和透明地评价成基于所规定准则的分布，这种分布可以在质量评价指标的各个层次产生并可以进一步量化成评分。这种分布与评分相结合的评价方法既有助于产生真实、可信和全面的质量评价结果，又能辅助识别哪些方面需要改进以提高质量。即该质量分布具有可追溯性和解释性，可一直追溯到最底层的质量关键词，利于找出问题所在，避免改进方案的盲目性。

在评价标准或依据建立上，由于各个学校的定位不同、培养目标不同，所以对学生的知识、能力素质的要求不一样，拟采用用户设定或用户初始化来解决。在质量等级与指标分类、分级间的关系上，考虑到人才培养质量评价的方法、过程和结果同时具有定性和定量的特点，采用证据推理多指标决策方法中的置信结构作为基本形式，对这类复杂评价问题进行信息收集、整理和归类，将原始信息和数据转换成证据推理方法所要求的信息结构，建立教学质量评价信息库。

采用证据推理方法中的证据合成算法，直接利用置信结构进行人才培养质量的推理评估；利用证据推理方法中的基于规则和基于效用的信息转换技术，实现各层次间质量评估的传递。这样可以全面有效地利用各类指标的检验过程和结果，以避免信息损失和变形，保证人才培养质量评估的完整性、合理性和可靠性。

建立人才培养质量评估模型的另一个步骤是估计各类指标在相应评估层次上所起的相对作用。可以想象，各类指标所起作用的程度不会完全相同，因此，需要通过系统调查分析，建立各级各类指标的相对权重和可能的变化区域。

四、结束语

为实现校内教学质量的监控与评价，获取并集结校外对人才培养质量的评价，本文设计了一个高校人才培养质量监控与评价系统的框架，分析了其详细组成。全面使用证据推理方法体系，给出了该系统的实现方案。系统本身适用高校本科人才培养质量监控与评价，通过扩展（指标体系、模型），系统可实现对研究生培养质量的监控与评估；实现的基于证据推理的质量评估方法适用于各种领域的质量评估。☉

[1]张慧洁,袁海军.高等学校教育评估概述[M].香港:雅园出版公司,2000:10-17.

[2]赵铁.“水平评估”对教学质量监控体系构建的启示[J].高教论坛,2006(1):35-39.

[3]韩理安,张斌,刘绍勤.高等教育教学质量监控体系的总体设计[J].中国高教研究,2002(12):77-78.

[4]任文涛.高等学校教学质量监控与评价体系的若干思考[J].教育理论与实践,2007,27(4):6-7.

[5]陈慧,张晓珠,刘济科.研究型大学本科教学质量监控体系构建与探索[J].高等理科教育,2006(1):7-10.

[6]张丽娜.北京理工大学课堂教学质量监控体系的建立与实践[J].北京理工大学学报(社会科学版)2007,9(5):116-117.

[7]彭文博.实践教学质量监控体系的实践与探索[J].实验室科学,2006(2):11-13.

[8]余新丽,费毓芳.构建新的高校就业工作评价体系[J].高等农业教育,2004(4):79-82.

[9]陈德良.高校质量管理信息系统关键技术研究[J].(中国)教育信息化,2006(11):39-41.

[10]赵秀峰.基于ASP和W eb数据库的高校教学质量评价系统的设计与实现[J].中国教育信息化2007(7):54-55.

[11]刘绍勤,韩理安.国内外教学质量监控与评估的比较研究及启示[J].中国高教研究,2002(5):51-52.

[12]刘拓.国外高校教学质量监控体系分析及启示[J].高等理科教育,2006(1):83-86.

[13]史秋衡.美国社区学院教学质量监控体系的结构及设计思想[J].高等教育研究,2006,27(8):91-96.

[14]朱永江.构建高校内部教学质量监控体系的探索[J].高教发展与评估,2005,21(1):51-52.

[15]杨小慧,魏红.北京高等学校教学质量监控与评价现状分析[J].高等理科教育,2005(1):34-38

[16]陈新民.新建本科院校教学管理制度改革的思考和实践[J].中国大学教学,2005(12):47-49.

[17]高海生.高等教育教学质量保障监控体系的构建与实践[J].教育研究2006(10):89-92.

[18]冉宝春,魏建军.我国高校建立ISO 9000质量管理体系的误区分析[J].清华大学教育研究,2004,25(6):43-46.

[19]张镅.齐次马尔可夫链分析法在教学效果综合评价中的应用[J].合肥工业大学学报(自然科学版)1999,S1:162-165.

[20]Y.M.W ang,J.B.Yang and D.L.Xu.The Evidential Reasoning Approach for Multiple Attribute Decision Analysis Using Interval Belief Degrees[J].European Journal of Operational Research2006,175(1):35-66.

（编辑：金冉）

G642.0

B

1673-8454（2010）13-0080-03

安徽省高等学校省级教学研究重点项目（2008jyxm047），合肥工业大学教学研究项目（XJ2009015）。