基于云模型的网络教育教师授课质量评价研究

【摘 要】

本研究针对网络教育教师授课质量评价存在的问题，研究了基于云模型的网络教育教师授课质量评价方法。研究首先采用德尔菲法构建了评价指标体系并确定了评价标准云模型，然后为了克服评价中的模糊性和随机性采用了云权重进行评价，接着阐述了基于欧式距离的评价等级确定方法，最后进行了实例说明。本方法在部分程度上能够解决网络教育授课质量评价不足的问题，评价结果可以为授课教师、学习者以及网络教育机构提供一定的参考。

【关键词】 网络教育；教学质量评价；云模型；云权重

【中图分类号】 G420 【文献标识码】 A 【文章编号】 1009—458x（2013）10—0022—08

随着多媒体技术和网络技术的普及与发展，网络教育得到了迅速发展，成为远程教育的新形式。目前，除了教育部确定的现代远程教育试点院校外，基础教育领域和一些企业单位也开办了面向不同层次学生的网上学习与培训[1]。教师授课作为网络教育的重要环节，其质量评价是网络教育教学管理的重要组成，如何进行网络教育教师授课质量评价是一项值得研究的重要课题。

一、文献回顾

相关学者也认识到了网络教育教师授课质量评价工作的重要性，并做了研究，主要研究成果总结如下。

蔡怡[2]分析了远程高等教育教学质量评价准则设计，并提出改进评价方法的五条思路；李葆萍[3]探讨了网络教育评价系统的实现，并介绍了这个系统的主要结构、功能；陶勇等[4]尝试性地提出一种网络教学评价模型和实现策略；柳琼华等[5]结合西南交通大学网络教育学院的实践经验，提出网络教育教学质量评价系统的设计，论述了该教学质量评价系统的建设目标和结构。上述研究对网络教育教学质量评价准则、实现途径等做了有益的分析和总结，但都属于探讨与尝试性质且没有提出具体的评价指标和评价方法。

从评价指标上来看，有文献[6]就中外现代远程教育教师教学质量评价指标进行比较，为建立行之有效的教学质量评价标准提供了理论依据。童小平等[7]采用文献调研与专家访谈相结合的方法，从学生评价维度建立了一套网络教师教学质量评价指标。任颖[8]在总结我国远程高等教学经验的基础上，并参考国外某些远程高校的教学质量评价指标和方法，制定了现代远程教育教师教学质量评价指标体系。有文献[9]通过国内外比较分析和实践调研，从网络教学准备、实施、学习支持服务、教学改革和研究四个方面，构建了一套科学有效、切实可行的网络教育教师教学质量评价指标体系。以上文献是有关网络教育教师授课质量评价指标体系研究的代表性文献，其研究成果对本文指标体系的构建极具参考价值并提供理论基础。

从评价方法来看，代表性研究成果有：黄宇[10]确立了远程高等教育教学质量评价三级指标体系，并采用加权平均法计算综合评分，然而加权平均法的问题在于难以证明各个评价因素之间是否具有线性可加性。董莉[11]构建了网络教育评价指标体系，并采用模糊评价方法进行评价。张宁蓉等[1]建立了网络课程质量评价指标体系层次分析模型，用层次分析法进行了指标权重的测定，最后同样采用模糊理论进行了网络课程质量的综合评价。模糊综合评价方法需要用先验知识确定隶属度函数，这是评价过程中的难点。郭协潮[12]参照其他学者网络教学质量评价指标体系，基于BP神经网络算法，建立了一套网络教学质量的评价模型，但该方法存在诸如网络中隐藏节点个数的确定以及学习训练过程中容易陷入局部最优等难点问题。

综上所述，虽然我国网络教育发展迅猛，但却没有制定出如何保证网络教育质量的相关政策的评价标准[13]，相关学者虽然对网络教育教师授课质量评价进行了有益的尝试，但尚未形成统一的、系统的评价指标体系以及较为科学合理的评价方法[5，9，15]。因此对网络教育教师授课质量评价研究力度还不够[14]，亟须开展相关研究。

网络教育教师授课质量评价分为两个层次[15]：第一，任课教师个人教学授课评价体系；第二，包括学校教学管理在内的整体教学工作质量评价体系。本研究只包括前者。

由于在主、客观世界普遍存在的不确定性中，随机性和模糊性是最重要的两种形式[16，17]，因而在评价中也存在随机性和模糊性，评价工作中随机性和模糊性产生的原因有[18]：① 外界环境影响的不确定性；② 评价工作的复杂性；③ 人类认识的模糊性。具体到网络教育评价中的随机性和模糊性也是普遍存在的，例如，学习者由于知识水平不同，对同一知识点的掌握情况就可能不同，这在评价中就出现了模糊性；再如，有的教师通常能及时回答学生提问，但若遇突发情况，回答速度就可能会受影响，这使评价出现了随机因素等。为了使网络教育授课质量评价更接近实际情况，就必须考虑这些随机的、模糊的因素，而云模型可以有效解决评价中的模糊性和随机性[19，20]，因而可采用云模型来研究网络教育教师授课质量评价问题。

二、云模型概述

云模型是由李德毅院士[21]提出的，是用于描述定性概念与其数值表示之间不确定性的转化模型。云模型可以通过三个数字特征（期望Ex，熵En，超熵He）来反映定性概念整体上的定量特征，能够将模糊性和随机性关联到一起，构成定性和定量的相互映射关系。其中，期望Ex在数域空间中代表定性概念的点，反映这个概念的云滴群的重心位置；熵En被用来衡量定性概念的模糊度与概率，反映定性概念的不确定性；超熵He是熵的不确定性度量，即熵的熵，反映了数域空间中代表该语言值所有点的不确定度的凝聚性，即云滴的凝聚度。由于研究中所用到的云模型理论知识主要涉及逆向云发生器和运算法则，限于篇幅原因，着重介绍这两部分的理论知识。李德毅 等[22]论证了正态云的普适性，因而采用正态云来进行教师授课质量的评价，且介绍的云模型理论仅针对正态云。

（一）逆向云发生器

以下介绍的逆向云发生器属于无确定度信息的逆向云发生器，其输入是给定的一组样本x = （x1， x2， …， xi， …， xn），输出是云模型的三个数字特征（Ex， En， He），具体算法如下[21]：

1. 计算样本均值[X]=[1n][i=1nxi]

一阶样本绝对中心矩[d]=[1n][i=1nxi-X]

样本方差[S2=1n-1][i=1n（xi-X）2]

2. 计算期望：[Ex=X]；

3. 计算熵：[En=dπ2]

4. 计算超熵：[He=S2-En2]

（二）云的运算规则

设有2个云Cloud1（Ex1， En1， He1）和Cloud2（Ex2， En2， He2），新云Cloud（Ex， En， He）由Cloud1和Cloud2通过加减乘除运算规则得到，对应的运算规则如表1所示。

表1 云的运算规则

[运算符＼&期望Ex＼&熵En＼&超熵He＼&+＼&Ex1+Ex2＼&＼&＼&-＼&Ex1-Ex2＼&＼&＼&×＼&Ex1×Ex2＼&＼&＼&/＼&Ex1/Ex2＼&＼&＼&]

三、评价步骤

（一）评价指标体系的构建

现有的指标体系构建方法有两类[23]：专家主观评定和比较判定法以及数据统计分析法。通常来说，第一类适用于资料有限，主要依据专家经验知识来确定指标的被评价对象，第二类适用于具有定量指标的被评价对象。由于网络教育授课质量评价中的众多指标属于定性指标，因此适宜采用第一类方法。德尔菲法是第一类中的典型方法，具有能充分发挥各位专家作用、避免权威人士影响他人意见等诸多优点[24]，所以采用德尔菲法构建评价指标体系。德尔菲法的关键步骤如图1所示。

图1 德尔菲法关键步骤流程

1. 成立领导协调小组

领导协调小组负责整个项目计划的制订，监督项目的实施进度，协调成立专家小组，保障咨询活动顺利开展等方面的工作。

2. 构建原始指标

原始指标的构建主要有两个途径：一是通过查阅相关文献，总结梳理；二是分析总结实践经验。

3. 开发指标确定系统

为了提高咨询工作效率，降低咨询成本，开发了一套基于Web的动态交互在线指标确定系统，该系统实现了德尔菲法的关键步骤，主要功能有：统计专家基本信息，批量增加新指标，在线咨询，咨询结果数据统计显示以及自动筛选指标等。

4. 组成专家小组

咨询工作共邀请了25名专家，专家包括网络教育机构有关领导、教育管理学研究者、网络教育教师和学习者，其中网络教育教师的筛选条件是：具有8年以上一线授课经历且近3年考评为优秀或相当等级。学习者的筛选条件为：课程累计学时大于300小时且有3/4课程达到优秀或同等水平。邀请学习者可以保证指标体系的全面性，主要原因有两条：一是学习者是网络教育授课质量评价的主要评价人，二是评价的主要目的是通过学习者的评价提高授课质量，让学习者满意。此外，可以通过控制专家小组学习者的人数和权重来保证指标体系的权威性和导向性。在专家组成员人数的确定中首先应用头脑风暴法[25]确定了各类专家对指标体系的贡献因素以及各因素的计量方法，然后构建了目标函数和约束条件，最后通过分支限界法[26]确定专家组成员人数。

① 指标体系贡献因素的确定

经预先召开专家小组会议，采用头脑风暴法确定的各类专家对指标体系的贡献因素主要有专家对指标体系的权威性、导向性的贡献，专家对该领域的熟悉程度，以及指标体系的易用性四项，由于这四项因素在专家组成员人数选取中的重要性不同，因而采用层次分析法确定了四项因素的权重（λ1， λ2， λ3， λ4） = （0.3， 0.27， 0.26， 0.17）。

② 各类专家对指标体系贡献因素的计量方法

专家通过在会议上各抒己见、会后总结分析达成了一种高效且简便、可行的四项因素计量方法。专家对指标体系的权威性、导向性的贡献和指标体系的易用性三项因素可以将各类专家依据贡献度排序，然后对各类专家赋值的方法进行计量，例如经头脑风暴法确定教育机构管理者对指标体系的导向性贡献最大，学者次之，然后是教师，最后是学习者，并分别赋值（1， 0.75， 0.5， 0.25）。专家对该领域的熟悉程度的计量方法可以分别计算各专家进入该领域的时间长度，然后按照各类专家求取平均数，最后归一化到（0， 1）区间。虽然以各专家进入该领域的时间长度来衡量专家对该领域的熟悉程度可能不够全面，但是能够在一定程度上高效简便地反映专家对该领域熟悉程度。

③目标函数及约束条件的构建

设n为专家组成员总人数，教育机构领导、学者、教师、学习者的人数分别为n1， n2， n3， n4，第i类专家对第j项因素的贡献度为xji，则目标函数为

[maxF=j=14λji=14nixji]

依据条件，可得约束条件

[s.t.n1+n2+n3+n4=n0n1n0n2n0n3n0n4n]

④目标函数的求解及计算结果

很显然上述问题是一个在约束条件下求目标函数最优整数解问题，分支限界法[26]可以有效求解本例问题，求解结果如表2。

表2 专家组成员统计情况

[＼&教育机构领导＼&研究学者＼&网络教育教师＼&学员＼&人数（人）＼&7＼&8＼&7＼&3＼&比例（%）＼&28＼&32＼&28＼&12＼&]

5. 咨询工作

在第一轮咨询工作前，专家通过指标确定系统添加新的指标，加上原始指标形成初始指标。本文的咨询工作是各专家通过指标确定系统在网上完成的，第一轮咨询工作界面如图2所示。

图2 第一轮咨询工作界面举例

6. 数据统计

根据专家对各指标判定情况，进行数据统计，统计的主要指标包括专家积极系数、满分比、等级和、加权平均数、变异系数和协调系数等。由于篇幅关系只介绍与本文相关的满分比、等级和和协调系数。

①满分比

[Ki=ain×100%]

式中n为专家人数，αi在第一轮等于认为指标i一般或重要（第一轮按指标重要性分为：不需即0、一般即1和重要即2）的专家人数，在以后几轮等于认为指标i一般重要、比较重要和非常重要（后边几轮按指标重要性分为：不重要即1、不太重要即2、一般重要即3、比较重要即4和非常重要即5）的人数。

②等级和

[Si=j=1nRij]

式中Rij表示j专家对i指标的评价等级。

③协调系数

[W=12n（m3-m）-ni=1nTij=1md2j]

式中n为专家总数，m为指标数，dj为个指标等级和的离均差，Ti为相同等级指标。

7. 指标筛选判断条件[27]

指标筛选判断条件有两条：

① 在各轮咨询中如果指标i的满分比Ki≤50%时，删除该指标；

②在第一轮咨询中如果指标i等级和Si≤n/2时，删除该指标，在第二轮及以后咨询中如果指标等级和Si≤2n，删除该指标。

8. 咨询结束判断条件[23]

进行协调系数显著性检验

[X2=j=1md2jnm（m+1）-1m-1i=1nTi]

自由度=m-1，计算[Z=2x2-2m-1]，按标准正态分布规律判定统计意义界限。如果P≤0.05说明协调性较好，结果可取，咨询结束；如果P>0.05说明结果不可取。

9. 指标体系的最终确定

按照上述步骤，在第二轮咨询结束后，经过数据统计后各指标满分比都大于86%，等级和均大于88，说明各指标不可再删除，是体系不可或缺的。协调系数0.167，显著性检验P≤0.05，可以结束咨询过程，确定的网络教育教师授课质量评价指标体系如表3所示。

（二）评价标准云模型的确定

标准云模型的确定也就是在论域中如何划分定性概念的问题。目前主要有两种基于云模型的评价集生成方法：基于云变换的数据驱动法和基于黄金分割的模型驱动法。前者适用于给定数据量较大的情形，后者适用于定性指标较多的情形。本研究适宜采用基于黄金分割的模型驱动法[28][29]确定评价标准云模型，若设定性语言值范围在[0， 1]，相邻云的熵和超熵中，较小者是较大者的0.618倍。

由于构建的评价指标体系中评语个数为3、4、5个，因而分别对应3、4、5个评估等级（评价标准云模型），对应的云模型如表4所示。

（三）各指标权重的确定

一般来说，权重的确定方向法有主观法、客观法和主客观结合的方法。主观法通常用于定性指标较多、依赖主观经验知识的情况，客观法一般用于定量指标、指标数据能够获得的情况，主客观相结合的方法一般用于部分指标能够量化，数据可以获得，但评价过程中主观作用比较大的情况。本研究中定性指标较多，权重的确定依赖主观经验知识，因此适用主观定权法。云权重又称“软权重”，是主观定权法的一种，它由3个数字特征表示Cloudw （wEx， wEn， wHe），其中wEx就是传统概念上的权重，而熵wEn与超熵wHe是用来软化权重的参数。

为方便讨论，分别采用层次分析法[30][31]和云模型来求取各指标权重。在求解云权重之前先要确定云权重标尺，仍然采用基于黄金分割的模型驱动法确定云权重标尺，云权重标尺如表4中的第一列所示。专家依据云标尺对各个指标的重要性打分，之后应用第二节中介绍的逆向云发生器的计算步骤，得到各指标的云权重，结果如表5所示。

表5中CR为层次分析法判断矩阵一致性比例，其中指标U1～U4的初始判断矩阵一致性比例CR = 0.116 > 0.1，需要进行一致性调整[31]，按照文献[32]的方法进行一致性调整后，一致性比例CR = 0.0923 < 0.1。

从表5中可以得出：① 如果只看云权重期望部分与层次分析法得出的权值，在各组指标重要性大小的排序上是一致的，对应权重绝对误差平均值为0.0178，相差不是很大；② 层次分析法所得权重均在云权重的3σ区间范围内；③ 对于层次分析法，当判断矩阵一致性比例CR>0.1，需要进行一致性调整。

综上，从性能来看，就本例而言层次分析法所得权重和云权重相差不大，说明层次分析法与云模型求解权重的性能相当；从信息反映情况来看，层次分析法虽然可以通过一致性比例在一定程度上反映认知上的差异，但由于判断矩阵一致性比例并不参与评价，因而评价中无法反映此信息，而云权重可以通过熵反映出来，并使这一信息加入到评价中，最终传导到评价结果中；从计算过程来看，云权重不需要一致性检验与一致性调整的计算。因而本研究采用“云权重”。

（四）综合评判方法

综合评判的思想是由底层的指标结合各指标的权重通过一定的运算方法，逐级评价直至最终目标层。本研究把各指标的评价结果与对应云权重通过云运算规则综合起来，逐级评价，得到目标层的评价结果。综合评判方法为：设某一层指标U由下一级n个指标（U1， U2， … ，Ui， … ， Un）构成，第i个指标的云权重为wi = （wExi， wEni， wHei），且对应的评价云模型为Ri= （Exi， Eni， Hei），则依据云运算法则，指标U的评价云模型R = （Ex， En， He）为[33]：

[R=i=1nwi*Ri]

wi与Ri的合成涉及云运算中的加和乘规则，这里不再将上式展开。

（五）评价等级的确定

评价等级确定的主要思路是比较评价云模型和标准云模型的相似度，因为云模型由三个数字特征期望、熵和超熵来表示，因而可以通过比较评价云与标准云的三个数字特征，来判断云的相似程度，一种比较通用的比较方法就是采用带权重的欧式距离方法[34]来比较，具体介绍如下：

设评价云模型为（Ex， En， He），评价标准云模型有n个，第i个参数为（Ex0i， En0i， He0i），三个数字特征之间的权值为ws= （ws1， ws2， ws3）

1. 计算欧式距离

[Di=sqrt[ws1（Ex-Ex0i）2+ws2（En-En0i）2+ws3（He-Heoi）2]]

式中sqrt为开方；

2. 令[δi=1Di]

计算相似度

[Si=δii=1nδi×100%]；

3. 重复n次计算出评价云相对于每一个评价标准云的相似度；

4. 当取得max（Si）时，令评价等级g=i。

四、实例分析

为了直观说明本评价方法的应用过程，举例加以说明和验证。

以某门网络课程为例，课程中及结束后的一段时间内，参加学习的学习者通过网络，按照本文构建的二级评价指标和评价标准云对授课教师的授课质量进行打分。经过数据处理后（剔除3σ以外的极端值以及听课学时占总学时不足5%的学习者打分），得到有效分数446个，具体打分限于篇幅不予列出。首先把这些数据输入逆向云发生器得到每个指标的评价云，然后通过第三节中介绍的综合评价方法，得到一级评价指标和目标层的评价云模型，最后按照欧式距离方法确定每一级各指标所对应的评价等级，并给出评语。计算所得各指标评价云模型、相似度、评价等级和评语结果如表6所示。

从表6可得，该教师该门课程的评价为良，同时还可得出各一级、二级指标所对应的等级和评语。

为论证本方法的可行性和实用性，加快从理论到实用的转变，开发了基于Web的云模型网络教育教师授课质量评价系统，该系统可实现学习者在线评分、数据剔除筛选、数据计算分析和评价结果显示等功能。本系统可作为相对独立的模块，添加到网站上，实现网络课程授课质量评价工作。图3是评价结果页面目标层的评价结果，评价结果曲线为粉色散点，评价云的数字特征显示于图像上方，评价等级为良，点击其它图像或“上一组”、“下一组”按钮可以方便地查看其它指标的评价结果。

图3 评价结果页面局部截图

表7 模糊综合评价法评价结果

[指标＼&评价结果集合＼&等级＼&U11＼&（0， 0， 0.576， 0.063）＼&3＼&U12＼&（0， 0， 0.480）＼&3＼&U13＼&（0， 0， 0.174， 0.182）＼&4＼&U1＼&（0， 0，0， 0.615， 0.075）＼&4＼&U21＼&（0， 0， 0.628）＼&3＼&U22＼&（0， 0， 0.403）＼&3＼&U23＼&（0， 0.002， 0.871， 0.028）＼&3＼&U24＼&（0.001， 0.092， 0.100）＼&3＼&U25＼&（0， 0.001， 0.807， 0.034）＼&3＼&U2＼&（0， 0， 0， 0.5234， 0.10）＼&4＼&U31＼&（0， 0.231， 0.003）＼&2＼&U32＼&（0.004， 0.742， 0.026）＼&2＼&U33＼&（0， 0， 0， 0.182， 0.178）＼&4＼&U3＼&（0， 0， 0.150，0.460，0.057）＼&4＼&U41＼&（0， 0， 0， 0.970， 0.018）＼&4＼&U42＼&（0， 0.028， 0.950， 0.006）＼&3＼&U43＼&（0， 0.340， 0.301， 0）＼&2＼&U4＼&（0， 0.004， 0.322， 0.541， 0.010）＼&4＼&U＼&（0， 0.001， 0.114， 0.528， 0.062）＼&4＼&]

此外，为进行对比分析，还采用模糊综合评价法就本例进行了评价。在评价中评价指标集合，评语等级集合与云模型方法相同，输入采用学习者对各项指标有效打分的平均值。由于云模型选用了正态云，相对应的模糊综合评价法隶属度函数选取高斯型隶属度函数，如下式所示：

[f（x）=exp-（x-c）22σ2]

式中c的取值与云模型对应等级的期望相同，σ取值与对应熵相同。

各指标权重采用表5中层次分析法所得权重，依据文献[35]的结论选择取乘与有界合成算子，利用该算子逐级评价，直到目标层，并用最大隶属度原则确定评价结果所属等级，计算结果如表7所示。

对比表6和表7可以得出：就本例，从评价结果来看，云模型评价方法与模糊综合评价方法基本相同，但云模型方法与模糊综合评价法相比存在以下两个优势：

其一，对于模糊综合评价法来说，当打分值靠近两个隶属度函数曲线的相交点时，会导致隶属度矩阵有2个较为接近的值，进而造成所属等级判断困难，在极端情况下，若2个值相同，导致无法判断所属等级。对本例，指标U13评价结果（0， 0， 0.174， 0.182）和指标U24评价结果（0.001， 0.092， 0.100）就属于该情况，U13、U24隶属于等级3的隶属度和隶属于等级2的隶属度相差并不是很大，若以明确的界限确定所属等级则无法全面反映评价真实情况，而云模型方法可以通过超熵来反映隶属度上的不确定性，且其在界定评价等级上不需要明确的界限，从而避免了模糊综合评价法所遇到的难题。

其二，模糊综合评价方法所得结果无法体现评价中的随机性，而且为了方便结果的比较，往往将最终的评价结果简化为一个数值，这样处理也无法体现出评价对象内在的模糊特性；而云模型方法的评价结果很直观地体现了评价对象的模糊性和随机性，能够提供更多的参考信息，本文所得这一观点与文献[36]也是一致的。

五、结束语

本文研究了基于云模型的网络课程教师授课质量评价方法，首先通过德尔菲法构建了评价指标体系，接着采用基于黄金分割的模型驱动法确定了评价标准云模型，然后阐述了综合评价方法和基于欧式距离的评价等级确定方法，最后举例说明本方法的应用过程和可行性。

本研究兼具理论价值和实践价值。其理论价值表现在：一是采用云模型研究了网络教育授课质量评价问题，丰富了评价方法，对其它评价研究有一定的借鉴意义；二是通过开发基于云模型的网络教育授课质量评价系统及其应用证明了云模型在网络教育授课质量评价中的可行性与实用性。其实践价值在于所开发的评价系统，易于网络应用，能使学习者通过网络高效便捷地对授课质量进行评价，有望改变目前网校授课质量评价单一简单的现状，研究成果有助于网络教育机构考核评价教师，有利于教师授课质量的提高，还可为学习者选课提供一定的依据。

本文的不足之处在于有三。一是构建的评价指标体系仅适用于没有实验、实操、实习等环节的标准课程，对于这些课程可单独构建评价指标体系。二是开发的基于Web的德尔菲法评价指标确定系统和基于Web的云模型网络教育教师授课质量评价系统到目前仍处于算法原理验证及小规模测试阶段，距实际规模化应用还有一段距离。三是在权重确定以及评价结果的比较中均仅就本例而言，所得结论是否适用其它案例，还有待进一步大量数据的实证研究或严谨的数学证明。

[参考文献]

[1] 张宁蓉，严立，陈亦望. 网络教学质量的模糊综合评价[J]. 计算机教育，2007，（4）：37-40.

[2] 蔡怡. 远程高等教育教学质量评价方法探析[J]. 中国远程教育，（214）：17-20.

[3] 李葆萍. 网络教育评价系统及其设计[J]. 中国远程教育，2001，（9）：46-48.

[4] 陶勇，李军义，杨贯中，尹新，杨健康. 网络教育教学评价模型与实现[J]. 教育信息化，2003，（3）：69-71.

[5] 柳琼华，罗 霄. 试论网络教育质量评价系统的设计——以西南交通大学网络教育教学质量评价系统为例[J]. 福建商业高等专科学校学报，2007，（4）：75-78.

[6] 任颖. 中外现代远程教育教师教学质量评价指标比较[J]. 宁波广播电视大学学报，2005，3（3）：44-47.

[7] 童小平，冯燕. 网络教师教学质量评价指标体系研究[J]. 中国高新技术企业，2008，（18）：185-186.

[8] 任颖. 现代远程教育教师教学质量评价指标体系研究——基于N广播电视大学的个案[D]. 上海：华东师范大学，2005.

[9] 任颖. 网络教学质量评价指标探析[J]. 职业技术教育（教学版），2006，27（23）：74-77.

[10] 黄宇. 现代远程高等教育教学质量评价指标体系研究[D]. 长沙：湖南大学，2006.

[11] 董莉. 网络教育模糊评价方法的探讨[J]. 交通科技与经济，2006，（3）：125-126.

[12] 郭协潮. 基于网络教学的教学质量评价模型研究[J]. 中国医学教育技术，2012，26（3）：283-286.

[13] 李虞斌. 计算机网络教学质量评价体系模型的建立[J]. 科技广场，2007，（2）：124-125.

[14] 基于模糊评判方法的远程教育学习评价[C]. International Conference on Management Science and Engineering，2010.

[15] 任 颖，裘伟廷. 基于Internet 技术的现代远程教育教师教学质量评价研究[A]. 2005年成人教育协会年会暨和谐社会与成人教育论坛论文集[C]. 2005.

[16] 李德毅，刘常昱，杜鹢，韩旭. 不确定性人工智能[J]. 软件学报，2004，15（11）：1584-1595.

[17] 李德毅. 知识表示中的不确定性[J]. 中国工程科学，2000，12（110）：73-79.

[18] 殷筱琴. 模糊综合评价法在企业绩效评价中的应用研究[D]. 南京：河海大学，2005.

[19] 刘常昱，李德毅，潘莉莉. 基于云模型的不确定性知识表示[J]. 计算机工程与应用，2004，（2）：32-35.

[20] 胡石元，李德仁，刘耀林，李德毅. 基于云模型和关联度分析法的土地评价因素权重挖掘[J]. 武汉大学学报（信息科学版），2006，31（5）：421-427.

[21] 李德毅等. 不确定性人工智能[M]. 北京：国防工业出版社，2005.

[22] 李德毅，刘常昱. 论正态云模型的普适性[J]. 中国工程科学，2004，6（8）：28-34.

[23] 李银霞，袁修干. 改进德尔菲法在驾驶舱显示系统工效学评价指标筛选中的应用研究[J]. 航天医学与医学工程，2006，19（5）：368-372.

[24] 刘学毅. 德尔菲法在交叉学科研究评价中的运用[J]. 西南交通大学学报（社会科学版），2007，8（2）：21-25.

[25] 谭志敏，郭亮. 头脑风暴法在教学中的运用及其注意要点[J]. 继续教育研究，2007，（5）：142-144.

[26] 龚纯，王正林. 精通MATLAB最优化计算[M]. 北京：电子工业出版社，2009.

[27] 苏捷斯. 基于德尔菲法的国际金融中心评价指标体系构建[J]. 科技管理研究，2010，（12）：60-62.

[28] 王小洁. 基于云模型的我国石油海洋运输安全评价研究[D]. 山东：中国海洋大学，2005.

[29] 王健等. 一种改进的基于云模型的效能评估方法[J]. 火力与指挥控制，2010，35（7）：139-142.

[30] 朱茵，孟志勇，阚叔愚. 用层次分析法计算权重[J]. 北方交通大学学报，1999，23（5）：119-122.

[31] 常建娥，蒋太立. 层次分析法确定权重的研究[J]. 武汉理工大学学报（信息与管理工程版），2007，29（1）：153-156.

[32] 杨永清. 层次分析法中判断矩阵不一致性调整方法研究[J]. 运筹与管理，1999，8（3）：12-16.

[33] 李丹. 基于云模型的多属性决策系统研究[D]. 黑龙江：黑龙江科技学院，2010.

[34] 张杰. 基于云模型的网络课程评价软件的设计与实现[D]. 内蒙古：内蒙古师范大学，2011.

[35] 郭齐胜等. 装备效能评估概论[M]. 北京：国防工业出版社，2005.

[36] 柳顺. 基于数据包络分析的模糊综合评价方法及其应用[D]. 杭州：浙江大学，2010.

收稿日期： 2013-06-15

作者简介：李辰颖，博士，讲师；张岩，博士，副教授。北京林业大学 （100083）。