动态综合评价在《卫生统计学》课堂教学评价中的应用*

王一任 曾小敏Δ 祝继明 孙振球Δ

对同一个对象评价，随着时间的推移与数据的积累，人们拥有大量的按时间顺序排列的二维平面数据集序列，称为“时序立体数据集”。传统的综合评价方法，如TOPSIS法、AHP法、RSR法等都属于静态评价法，适用于只含有“评价对象”和“评价指标”的二维平面数据集。而对于像课堂教学质量这样随着时间的发展而变化的“时序立体数据”资料，采用静态评价不能反映其发展变化趋势，无法评价整个动态的教学质量〔1〕。本文拟介绍能够综合考虑“过去情况”、“现在状况”及“未来发展趋势”的动态综合评价法，并给出其在《卫生统计学》课堂教学评价中的应用实例，通过比较不同教师(或教改方案)在不同时点的整体发展水平，来动态评价教学质量，择优教改方案。

基本原理

1.动态综合评价数据集描述

设有n个被评价对象Si(i=1，2，…，n)，每个Si有m个评价指标Gj(j=1，2，…，m)，xijk表示第 i个评价对象的第j个指标在时点tk(k=1，2，…，q)处经过同趋势化处理的值。这些值组合成了动态综合评价数据集。

2.指标的无量纲化

无量纲化的目的是消除不同指标在单位、量级上的差异(信息)。动态综合评价的无量钢化处理要将同一指标在q时点的数据集中到一块，统一进行无量纲化。“功效系数法”的无量纲化的计算:

3.时间权向量的设置

时间权向量wk反映对不同时刻的重视程度，时间权向量熵I与时间度λ的定义〔2〕:

时间权向量的熵反映了样本集结过程中权重包含信息的程度。时间度λ体现对时序的重视程度，λ在［0，1］之间，其值越小，表明评价者越注重距评价时刻较近的数据;反之，越注重距评价时刻较远的数据。

4．求解时间权向量的两种方法:

(1)熵值法 在“时间度”λ给定的情况下，以尽可能地挖掘样本的信息和兼顾被评价对象在时序上的差异信息为标准来寻找适合该样本集结的时间权向量〔3〕。

λ的取值征求专家意见决定，求解以上非线性规划问题，得到时间权向量wk。

(2)方差法 在λ给定情况下，以尽可能地寻找一组最稳定的时间权重系数来集结样本值，即寻找一组时间权重系数使其波动最小〔4〕。，方差法确定的时间权重中存在0分量，选择此法时要慎重。

5.根据对结果的需求选择动态综合评价方式

(1)先评价后综合方式

该方式首先对每个时点横截面上的数据采用静态的综合评价方法进行综合评价，得到不同时间截面上的静态综合评价值。再将时间因素与静态综合评价值按照一定的原则(如“厚今薄古”的思想)加权综合，得

λ的取值征求专家意见决定，求解以上非线性规划问题，得到时间权向量 wk。当λ∉到最终的动态评价值。对静态综合评价值进行“时间维”综合的方法主要有:TOWA(time order weight averaging operator)法〔5〕(式(6))和 TOWGA(time order weighted geometric averaging operator)法(式(7))。

其中，hi为最终的动态综合评价值;w=(w1，w2，…，wk)T是时间权向量;Gik是 tk(k=1，2，…，q)时刻第i个评价对象静态综合评价值。

(2)先综合后评价

首先对不同的时间截面赋予不同的权数(即对各时点赋权)，再把各个不同时间截面上的数据进行“时间维”综合。这样就把时间序列数据转化成了一个横截面数据，然后再用静态综合评价法进行综合评价得最终评价结果。对数据进行时间维综合的方法有:

TOWA法(式(8))和TOWGA法(式(9))。

其中，yij为综合“时间维”后的指标值;w=(w1，w2，…，wk)T是时间权向量;aijk是 tk(k=1，2，…，q)时刻第i个评价对象第j个指标经同趋势及无量纲化处理后的指标值。

实证研究

选取了5个时点(2012年2月、3月、4月、5月、6月)对某校公共卫生学院讲授同专业同年级《卫生(医学)统计学》的四名青年教师的课堂教学质量进行测评。由于我们既需要全面考查静态评价值的大小和动态增长变化两方面因素，同时考虑到教师和教学管理者需要及时掌握每个时点的教学情况，所以采用先静态评价后综合时间的方式进行动态综合评价。以我校现有的评价指标为基础，在各时点采用AHP法(层次分析法)求得督导、学生、教学管理者、同行及教师自评GIi(tk)的加权综合得分见表1。

1.时间权向量的确定

征求专家意见，确定时间度λ取值0.1适合该动态评价。由熵值法(式(4))求得时间权向量 w=(0.0051，0.0175，0.0602，0.2068，0.7105)T。为了比较λ取不同值时的结果，我们也同时求出了λ=0.2时的时间权向量 wλ=0.2=(0.0290，0.0599，0.1240，0.2564，0.5307)。

表1 四名教师5个月份的综合得分

2.评价结果排序

用式(6)对各时点AHP法的静态综合评价值进行“时间维”综合求得最终动态综合评价值hi，hi值越大，排序越靠前。

表2 四名教师5个月份教学质量的动态综合评价结果

可以看出，当时间度λ取值在［0.1，0.2］范围时，动态综合评价的结果完全一致，并且与按平均GI值排序结果完全不同，即与λ=5时(对各个时间段数据的重视程度相同时)的排序结果完全不同。

教师A的教学效果稳步上升(表1)，我们了解到教师A很认真，每次课后都会及时总结教学得失，及时调整教改措施。教师C一直保持好的教学效果，波动幅度不大。虽然教师C的平均分高于教师A，但动态综合评价考虑了连续时间点上的评价值随着时间的增加其影响程度递增这方面因素，所以最终的动态排序教师A优于教师C。教师D五个时点的平均分高于教师B，但教师D的教学效果不稳定，波动幅度大;而教师B在前两个时点教学效果不太好，且在第二个时点出现少许下降，但在更接近现在的后3个时点一直处于稳步上升状态，则对现在甚至将来的影响更大，因此动态评价值更看重后者，教师B的排名反而在教师D的前面。教师B进行了教学改革，采用了PBL、觅食式等教学，但在改革初期，由于学生不适应及改革方案不成熟等原因，教师B的初期教学效果不佳。如果只采用静态综合评价，在第1、2时点静态评价教学效果，则会打击教师B的教改积极性。

讨 论

1.动态综合评价是综合评价领域的一个重要分支。目前对于像医院医疗质量〔6〕、医疗效果〔7〕、教师业绩〔8〕、医学教育质量〔1〕等动态发展资料，大都采用静态综合评价法，但对时序立体数据的评价而言，动态法比静态法更实用，评价结果更合理、优越〔9〕。

2.不管采用何种动态综合评价法，都需把不同时间的指标值或评价结果值根据时间权数综合为一个数据，但是目前还没有给出一个科学合理的时间权数设置方法，如时间度的取值，到底取什么值能够比较真实客观地反映指标值大小和指标增长程度的重要性，这个问题还有待进一步研究。

1．王一任，吴志泉，王姿欢，等．医学课程课堂教学质量评价的若干问题与对策探析．实用预防医学，2012，19(1):149-150．

2．Yager R R．On ordered weight averaging aggregation operators in multicriteria decision making．IEEE Trans on Systems，Man，and Cybernetics，1988，18(1):183-190．

3．郭亚军，姚远，易平涛．一种动态综合评价方法及应用．系统工程理论与践，2007，27(10):154-158．

4．郭亚军，唐海勇，曲道钢．基于最小方差的动态综合评价方法及应用．系统工程与电子技术，2010，32(6):1225-1228．

5．Fuller R，Majlender P．On obtaining minimal variability OWA operator weights．Fuzzy Sets and Systems，2003，136(2):203-215．

6．巩斌．TOPSIS方法在医疗质量综合评价中的应用．中国卫生统计，2010，27(2):191-193．

7．于蓓．TOPSIS法与RSR法相结合评价某院单病种医疗质量．中国卫生统计，2011，28(3):307-311．

8．李建华，李晓毅．高校教师科研业绩的定量分析．中国卫生统计，2006，23(2):161-162．

9．王一任，任力峰，孙振球．一种新的动态TOPSIS法在医疗质量评价中的应用．中南大学学报:医学版，2012，37(10):1071 －1076．