寇 冰,段志光,刘田福,宋国华,陈朝阳,张持晨
(1.山西医科大学实验动物中心,太原 030001;2.山西医科大学公共卫生学院,太原 030001)
医科大学基本已成为教学研究型大学,或正处于由教学型向教学研究型或由教学研究型向研究教学型转型时期,对于科学研究的重视都达到了前所未有的程度,因而实验动物管理对教学、科研工作的正常开展及其水平的提高起着非常重要的作用。目前国内学者都是从定性的角度对实验动物管理工作进行评价,尚未检索到定量研究的相关文献。本研究采用Delphi法制订地方医科大学实验动物管理工作水平评价指标体系,试图为实验动物管理工作的评价提供参考。
1.1 调查对象
选取全国高校从事实验动物专业的专家37名。选择条件为:①从事实验动物工作时间不少于15年;②中级以上专业技术职务,本科以上学历;③对本研究有一定的积极性,且能够从不同的判断视角,提供比较全面的意见,愿意回答专家咨询问卷;④能保证在课题研究的时间内持续参加本研究的两轮函询。
1.2 方法与内容
采用 D elphi专家咨询法邮寄问卷给每位专家,要求专家亲自填写相关内容,调查内容分为两部分:第一部分为专家的基本信息,第二部分为问卷正文,即专家对该问题的熟悉程度、判断的依据和指标相对重要程度判断,并在问卷中设置开放性标栏,进一步了解专家对指标表中指标修改意见以及未提及内容的意见和建议;第二轮问卷在分析、修改、反馈第一轮咨询表的基础上,请专家判断各级指标间的相对重要程度。
1.3 资料处理与统计方法
资料来源于地方医科大学实验动物管理工作水平评价指标体系专家咨询的两轮咨询数据。资料采用SPSS16.0统计软件进行统计分析。
1.4 专家咨询表统计分析
(1)一般指标:专家的年龄、性别、职称职务、学历、工作时间、从事专业等一般情况。
(2)专家的积极程度:咨询表的回收率(应答专家数占调查全部专家数的百分比),其大小说明专家对本研究的关心、合作程度。
(3)专家意见的集中程度:用均数(Mj)、满分比(Kj)、等级和(Sj)来描述。指标值越大,指标的重要性越高。
(4)专家意见的协调程度[1]:单指标和指标体系的协调程度分别用变异系数和协调系数来反映。其中,计算协调系数,过程为:
(5)专家权威程度[1]:一般由两个因素决定,一个是专家对方案作出判断的依据,用Ca表示;一个是专家对问题的熟悉程度,用Cs表示。判断依据包括参考国内外相关资料、理论分析、工作经验、直观感觉,赋值见表1。熟悉程度分为非常熟悉、熟悉、较熟悉、一般、较不熟悉、不熟悉,分别赋值1.0、0.8、0.6、0.4、0.2。权威程度为判断系数和熟悉程度系数的算术平均值,计算公式为:Cr=(Ca+ Cs)/2。预测精度随着专家权威程度的提高而提高。
表1 咨询专家判断依据及其影响程度量化表
2.1 专家的一般情况分析
参评专家年龄最小的34岁,最大的65岁,平均年龄47.23±7.34岁;男性22人,女性4人;学历构成:本科占42.3%,研究生占57.7%;平均工作年限21.6年。从职务结构来看,92.3%的专家先后担任过实验动物中心主任或副主任。
2.2 专家的积极程度
第一轮问卷发出37份,回收26份,回收率为70.3%,有效问卷23份。回收后将各专家的意见汇总,对指标体系进行了修改和完善,形成了地方医科大学实验动物管理工作水平评价指标体系第二轮咨询表再次发给专家。第二轮问卷发出26份,回收20份,回收率为76.9%。
2.3 专家意见的集中程度
反映专家意见的集中程度指标,见表2。
2.4 指标体系的协调程度[1]
(1)各指标的变异系数:专家对各指标给予评价,单指标协调程度见表2。
(2)专家意见的协调系数:协调系数可以反映出专家对一组指标或全部指标的评价结果的一致程度,结果见表3。
表2 地方医科大学实验动物管理工作水平评价一、二级指标的集中程度
表3 第一轮、第二轮咨询问卷的肯德尔协调系数值及其显著性检验P值表
2.5 构建指标体系
采用Delphi法对专家进行了两轮问卷调查,对初建的评价指标体系进行修订和完善,最终构建出由条件管理、制度管理、人员管理、生产服务管理、教学管理和科研管理6个一级指标、15个二级指标以及38个三级指标组成的地方医科大学实验动物管理水平评价指标体系。
2.6 权重设置
权重反映指标在整个评价体系中的相对重要程度,指标的权重越大,其相对重要性就越大。目前用于确定权重的方法有很多,主要包括比例分配法、层次分析法、秩合比法、模糊聚类分析法等。本研究在咨询专家对各指标重要性赋值的基础上,选用层次分析法确定各指标权重。根据概率乘法原理,将具有满意一致性的各层次权重值,从底层到高层连乘,即得各指标的组合权重,即各指标在整个指标体系中所占的比重,一级指标没有上级指标,其分权重即是组合权重,见表4。
2.7 实证研究
本研究以国家教育部认定的独立设置的15所省属医科大学作为研究对象,非随机选出9所,采用综合评价法计算综合评价值。综合评价法是指运用多个指标对多个参评单位进行评价的方法。综合评价的方法有:累加法、连乘法、加乘法、加权法。本研究选择加权加法和加权乘法进行测定和比较,结果见表5。
3.1 关于Delphi法
实验动物管理工作水平的高低与地方医科大学教学和科研的开展有着密切联系。但是目前还没有系统评价地方医科大学实验动物管理工作水平的指标。Delphi法是依据多个专家的知识、经验、综合分析能力和个人价值观对指标体系进行分析、判断并主观赋权值的一种多次调查方法[2]。专家意见的概率服从或接近正态分布,可采用计算频数一般统计方法对专家意见进行统计分析[3,4]。本次参评专家从年龄、专业、学历、单位分布等情况来看,专家组的构成是比较全面的,而且要求工作年限在15年以上,保证了专家组的质量。
表4 地方医科大学实验动物管理工作水平评价指标体系
表5 9所地方医科大学实验动物管理工作水平综合评价值
3.2 关于专家咨询的可靠性分析
一般认为,50%的应答率是可以用来统计分析的起码比例,60%的应答率是好的,应答率在70%以上就非常好了[5]。本研究的应答率均大于70%,说明专家们对参与此项研究工作重视度高,积极性好。协调系数W的分布区间为0~1之间,越接近1,表明专家的协调程度越高,反之越低。根据国内几项大型德尔菲法在卫生系统的应用研究,最后一轮的W值一般在0.5左右[6]。本研究两轮咨询专家协调系数及显著性检验。协调系数在0.14~0.49范围,经显著性检验,均有统计学意义,表明专家对全部指标较好的协调程度。专家权威程度范围在0~0.95之间,从本咨询评价所得的结果权威程度为0.855。可以看出,专家对本研究的认可度较高,本研究结论较合理可信。
3.3 关于权重的设置
在多指标系统的综合评价中,指标权重的确定很关键。权重是评价指标自身重要性程度的体现,是对调查结果进行科学处理的重要组成部分,因此在定量研究中,每一指标都应有恰当的权重系数与之对应。从权重系数分布的特点可以看出,一、制度管理和条件管理占据较大权重,说明二者是目前实验动物管理工作水平评价的一个重点;二、二级指标和三级指标权重基本与一级指标权重一致,指标体系结构合理;同层次各个指标间既相互独立又相互依赖,从不同角度综合反映评价目标。
3.4 关于实证研究
实证研究的结果显示,本研究中Delphi法选择的专家具有较好的代表性,且专家的意见较集中,建立的地方医科大学实验动物管理工作水平评价指标体系是科学可行的。应注意对实验动物管理工作的评价不应该是单一的、片面的针对某一方面的评价,而是全面综合的评价。
[1]曾光.现代流行病学方法与应用[M].北京:北京医科大学中国协和医科大学联合出版社,1994:250-259.
[2]郭秀花.医学现场调查技术与统计分析[M].北京:人民卫生出版社,2009:286-288.
[3]刘晓红,段志光.本科护理学专业教材质量评价指标体系研究[D].山西医科大学,2008:5-17.
[4]Hays RD,Anderson R,Revicki D.Psychometric considerations in evaluating health-related quality of life measures.Qual Life Res.1993,2(2):441-449.
[5]沈林,何炜,杜亚平.社区公共卫生服务绩效评价指标体系研究[J].中国农村卫生事业管理,2011,31(2):127-130.
[6]贺鹭,孙喜斌,王晓力,等.应用Delphi法构建聋儿远期康复效果评价指标体系[J].中国卫生统计,2010,27(5):485-487.