□ 岳俊芳 孙道金
学习者满意度评测在远程教育质量管理中的设计与应用
——以中国人民大学网络教育为例
□ 岳俊芳 孙道金
随着我国现代远程教育进入内涵发展的新阶段,质量管理开始成为办学实践中较为重要的一环。为了保证学生者权益以及教育质量的持续改进,试点网络院校在质量管理中开展基于学习者体验的满意度评测具有重要意义。本文以中国人民大学网络教育2011年学习者满意度评测为例,首先基于满意度理论以及网络教学的工作实践,设计了学习者满意度评测问卷,通过问卷调查获得评测数据,进而验证、修订了评测量表;接着,比较分析了教育质量评价、满意度评价、学习价值评价和忠诚度评价,并对满意度模型进行了验证和修订;最后,得出了调查结论和工作改进建议,探讨了满意度评测在质量管理中的应用。
远程教育;学习者满意度;质量管理;期望质量;感知质量
自从1998年我国开展现代远程教育试点以来,网络教育快速发展。生源规模的不断扩张,对教学资源、教学管理和学习支持服务提出了越来越高的要求,教学质量问题引起了社会和教育界的普遍关注。为此,国家教育主管部门加强了评估和监管,并出台了一系列政策法规,要求试点院校建立网络教育质量管理体系,以保证办学质量、维护学习者的合法权益。试点网络院校如何建立、完善一整套教学质量管理体系,不断促进办学质量的持续改进?本文试图以中国人民大学网络教育为例,通过引入学习者满意度评测,研究和探索提高远程教育办学质量的新途径。
伴随着高等教育改革的不断深化,现阶段的“网络教育”已经成为一种服务性的“知识产品”,作为核心利益相关者的学习者在一定程度上成为试点网络院校教育服务的消费者,学习者因此成为教育服务质量评价的重要主体。事实上,这也是远程教育践行“学习者主体地位”的重要体现。学习者满意度是衡量学习者对教学服务满意程度的一种指标,是一种带有情感色彩的看法。学习者满意度是顾客满意度的延伸应用,其形成机理为美国学者奥立佛提出的顾客“期望—实绩模型”。在诸多的评测模型中,美国顾客满意度指数模型(ACSI)得到了较多的认可和应用。一般来说,它是由期望质量、感知质量、感知价值、顾客满意、顾客抱怨和顾客忠诚等若干因素组成。其模型如图1所示:
在国外,对学习者满意度的研究,最早始于1966年的美国。如今,澳大利亚、英国、欧盟成员国等多个国家在开展学习者满意度评价上都取得了较大的进展。国外的研究和实践证明,学习者满意度评价与学习者学业成功、学习者保有以及院校成功有着很强的正向相关关系。我国的学习者满意度研究起步较晚,最早是由清华大学刘西拉教授于2001年组织实施的。之后,王国强、沙嘉祥、赵国杰、史小明等多名专家学者利用满意度模型对高等教育质量进行了分析研究。在远程教育领域,北京大学医学网络教育以及部分电大开放教育也尝试开展了学习者满意度的评测。但总体而言,学习者的评价主体地位还没有得到足够重视,学习者满意度研究的测评范围还比较小、应用还不够深入、社会影响力也有限。
试点网络院校开展学习者满意度评测具有重要意义,主要体现在以下几方面:① 学习者满意度评测是学习者主体地位的确认和体现,为“以学习者为中心”教学思想的实施提供了着陆点。② 通过学习者满意度评测可以了解学习者受教育权益的实际获得情况,有利于保护学习者的受教育权益。③ 通过学习者满意度评测可以全面监测、评价网络教育服务质量,为持续改进和创新提供依据。④ 学习者满意度评测有利于改进校生关系,对于改善办学环境、实现学校发展的良性循环具有积极意义。
中国人民大学网络教育(即“网上人大”)较早认识到学习者满意度评测在远程教育质量管理中的重要作用。自2003年以来,为了更好地维护学习者权益和实现教学质量的持续提升,“网上人大”连续八次开展了学习者满意度调查研究,对学习者满意水平进行了持续评测。下面以“网上人大”2011年开展的学习者满意度研究为例进行介绍。
本次调查研究的对象为“网上人大”2011年年初的在读生,调查问卷基于满意度理论以及网络教育的工作实践而设计,采用德尔斐法,经过多次意见征询和试调查之后,形成了正式的调查问卷。正式问卷中的质量评测量表采用了三级指标体系,包含了8个二级分量表、共计71项三级指标。调查时,分别就71项三级指标的期望质量和感知质量进行评测,评价采用李克特(Likert)5点量表来进行;同时,进行了学习者对教学服务的价值认知、整体满意度、抱怨与投诉、忠诚度的测评;另外,设计了若干主观题项对教学服务各环节进行问题征询和建议反馈。
通过网络调查以及辅助的纸介问卷调查,最终获得有效问卷696份,利用SPSS12.0软件对调查数据进行了统计分析。在研究中,采用了绩效差异分析、SWOT分析、独立样本T检验、路径分析等分析方法。其中,二级感知质量指数的计算采用由三级指标加权汇总得出,一级感知质量指数由二级指标加权汇总得出。
为了保证问卷的质量和测量的精确度,对问卷中的量表进行了项目分析,以及信度和效度的检验。对质量评价量表142个项目进行独立样本T检验的结果表明,量表各题项均有显著区分度。对18个分量表、2个总量表的Alpha系数进行检测的结果表明,期望质量总量表、感知质量总量表的Alpha系数均为0.99,18个分量表的Alpha系数分布在0.881~0.976之间,表明各量表内项目间的一致性很好,均为信度相当高的量表。采用因素分析法对感知质量总量表进行结构效度检验,结果表明,量表的KMO值为0.966,球形检验卡方值为21512.583,自由度为2485,Bartllet’s球形检验达到显著水平,母群体的相关矩阵间有共同因素存在。由此可知,感知质量量表适宜进行因素分析。采用主成分分析法,以最大变异数转轴法进行直交转轴,萃取特征值大于1的因素,共萃取了8个因子,可累计解释变异量的77.536%。结构调整后,最终形成的评价量表包括了“校园文化”、“学生支持和服务”、“教学模式及制度”、“网络教学资源”、“信息沟通服务”、“教学过程”、“考前辅助”、“教育品牌”等8个层面。由上述分析看出,质量评价量表所设置的题项较为合理,问卷结构调整后,整体较为理想,可以进行进一步的分析和研究。
在2011年度“网上人大”学习者满意度评测的71个评价项目中,期望质量的评价得分分布在4.11~4.63分之间,感知质量的评价得分分布在3.78~4.50分之间。尽管期望质量和感知质量评价普遍较高,但根据绩效差距比较,依然有几项因素的期望质量与感知质量的差距相对较大,需要给予关注或加以改进,包括:面授教学、小组学习/协作学习、校园文化活动、实践教学、用人单位认可度等。而选课制(自由选课学习)、考试预约制度、免费短信服务、双期四考(每年两个学期四次考试)等项目的期望质量与感知质量几乎没有差距。由此看出,灵活的学习机制较好地解决了学习者的工学矛盾,短信服务作为便捷有效的沟通方式得到了学习者的好评。
经过对三级指标的加权汇总,得到二级指标的感知质量指数(表1)。从二级指标的绩效差距看,校园文化、教学过程两个层面的绩效差距较大,需要加以改进。考前辅助、教学模式与制度等层面满足学习者期望的程度最好,可维持现状或略加改善。通过绘制二级指标的SWOT分布图(图2),观察各二级指标的分布可以看出,8个层面中有6个落在优势区(第I象限),这说明“网上人大”的绝大部分工作较好地满足了学习者的需求。但是,校园文化、教学过程两个层面落在了弱势区,即次要改进区(第III象限),这两者需要加以改善,这再次验证了三级指标和二级指标的绩效差距相关结论。经过对二级指标的加权汇总,得到2011年教学服务感知质量指数为4.21分,感知质量水平总体较高。
表1 二级指标期望质量与感知质量评价
在2011年度“网上人大”学习者满意度评测的学习价值评价上,如表2所示,39.22%的学习者认为“非常值得”,认为“值得”的比例为51.29%,认为“一般”的比例为7.33%,认为“不太值”的比例仅为0.72%。价值认同度不高的学习者提到的原因主要有三点:一是学习效果、尤其是实践能力的提高不够明显,二是英语统考困难,三是面授的机会较少。
表2 学习价值评价
如表4所示,在学习者对“网上人大”(含教学站)的满意度评价中,“非常满意”、“比较满意”的比例分别为40.09%、50.29%,“一般”的比例只有8.48%。通过加权汇总,整体满意度指数为4.32分。可见,学习者对“网上人大”的教学服务总体较为满意。
表3 整体满意度评价
关于“如果你对网上人大或教学站的服务不满意,你可能会采取哪些行动”,调查结果如表4所示,学习者最愿意采取的行动是“向老师反映或报怨”,比例为71.26%;其次为“忍受”,比例为9.48%;也有的学习者倾向于采取激烈的行动,比如“寻求法律解决”、“退学”,比例分别达到5.17%、3.02%,合计为8.19%。可见,学习者对自身权益的维护,会采用多样化的方式,但更多地倾向于采用理性、温和的方式。
表4 不满意情况下的抱怨和投诉行为
在2011年度“网上人大”学习者满意度评测中的忠诚度评价上,设计了一个题项“学习者会否推荐新生”。调查结果如表5所示,54.31%的学习者会“鼓励加入网上人大”,43.1%的学习者会“客观介绍网上人大”,只有0.86%的学习者会“反对推荐网上人大”。反对推荐我院的学习者提到的主要原因是统考困难、毕业困难。
表5 学习者推荐新生情况
在本次研究中,以ACSI模型为基础,通过路径分析对该模型进行检验,检验采用多元回归分析法,共进行了5次回归分析,检验的影响路径共9条。具体如表6、图3所示:
表6 模型中各路径系数及其假设检验
上述路径检验结果表明,9条路径中有6条是显著的,分别为:H1、H3、H4、H5、H6、H8。可以看出,学习者期望对感知价值的影响,是经由感知质量而实现,期望质量对感知价值的影响是间接的;感知质量对感知价值的影响是直接的,感知质量既可以通过感知价值影响满意度,也可以直接影响满意度;期望质量、感知价值均可以直接影响满意度;满意度对学习者抱怨的影响,以及抱怨对学习者忠诚度的影响都不显著;满意度对学习者忠诚度的影响是显著的、直接的。因而,增强学习者对网络教育的感知质量十分重要,可以通过提供个性化的支持服务提高感知质量,使学习者保有较高程度的满意水平,进而提高忠诚度。
通过上述分析,对ACSI模型修订如图4所示:
我国现代远程教育已经进入内涵发展的新阶段,质量管理成为较重要的一环。为了保证学习者权益以及教育质量的持续改进,试点院校在质量管理中开展学习者满意度评测具有重要的现实意义。本文调查结果表明,学习者对网络教育的教学服务模式整体比较认可,网络教育灵活的学习机制有助于较好地解决学习者的工学矛盾,短信服务作为便捷有效的沟通方式得到学习者的好评;在学习价值、整体满意度、忠诚度评价等方面,“网上人大”得到了学习者较高程度的认可。另外,对满意度模型的验证结果表明,增强学习者感知质量十分重要,可以通过提供更多个性化的支持服务来保证学习者保有较高程度的满意水平。在网院该如何改进工作上,学习者提出了不少富有建设性的建议,比如,加强实践教学、加强教学交互、开展更多的个性化导学和督学,等等。
八年来,“网上人大”较为重视学习者满意度调查结果的应用。学习者满意度评测为资源建设、教学辅导、学习支持服务、生源推广、学习者保有,以及社会声誉建设等提供了及时、富有价值的参考。综合而言,作为一项有效的评价工具,学习者满意度评测在一定程度上促进了“网上人大”以深度服务为主题的全面质量管理的开展。
[1]熊进.远程开放教育服务质量满意度评价分析[J].甘肃广播电视大学学报,2011,(3):1-6.
[2]程连.远程教育教学质量管理体系探讨[J].内蒙古电大学刊,2009,(2):94-95.
[3]欧阳河等.学生评价高等教育服务质量实证研究——以湖南高校2008届毕业生满意度调查为例[J].现代大学教育,2008,(6):30-41.
[4]杨旭超,蔺哲.基于学生满意度的高校教学质量研究[J].山西财经大学学报(高等教育版),2007,(12):39-42.
[5]韩玉志.现代大学管理——以美国大学生满意度调查为例[M].杭州:浙江大学出版社,2008.
[6]孙宝芝.远程学习者满意度调查研究[J].开放教育研究,2003,(3):48-51.
[7]赵卫滨.网络教育服务质量用户满意度指数构建与分析研究[D].南京师范大学,2005.
[8]上海质量管理科学研究院.顾客满意度评测[M].上海:上海科学技术出版社,2001.
[9]洪彩真.高等教育服务质量与学生满意度研究[D].厦门大学,2007.
Designing and Applying Learner Satisfaction Evaluation in Distance Education Quality Management:A Case Study of Online Education of the Renmin University of China
Yue Junfang and Sun Daojin
With the further development of distance education in China,quality management receives increasing attention.Evaluating distance learners’satisfaction is essential for the protection of learners’rights and interests and for the continuous improvement of education quality.This article reports on the results of the 2011 Learner Satisfaction Evaluation in the online education sector of the Renmin University of China(RUC).Findings indicate that RUC’s online education model was well received overall.To be specific,the flexible learning mechanism wassuitablefor distancelearnerswith competing demandsof work and study and SMS was found to beaconvenient and effectivemeansof communication.Moreover,learnersalso ex-pressed their satisfaction with the learning experience and would recommend RUC to potential learners.Findings also show that learners expected more individualized learner support to strengthen their perception of quality.
distance education;quality management;expected quality;perceived quality;satisfaction
G420
B
1009—458x(2011)11—0038—04
2011-09-15
岳俊芳,博士,副院长;孙道金。中国人民大学继续教育学院网络教育部(100872)。
责任编辑 石 子