基于结构方程模型的中国模拟联合国大会满意度研究

2018-05-28 09:00王春迎张严瑞
中国管理信息化 2018年9期
关键词:信度总体学术

宗 滕,王春迎,魏 鑫,张严瑞

(中国人民解放军战略支援部队信息工程大学,郑州 450001)

0 引言

模拟联合国(Model United Nations),是模仿联合国及相关的国际机构,依据其运作方式和议事原则,围绕国际上的热点问题召开的会议,青年学生们扮演各个国家的外交官,参与到“联合国会议”当中,熟悉联合国的运作方式,了解世界上的国际大事。至今中国模拟联合国大会(CNMUNC,简称“中模”)已经成功举办了十四届,但对办会满意度的研究还是前所未有的。本文试通过第十三届大会问卷调查数据,探讨中模会议满意度的影响机制,并提出改善建议,为今后会议的举办提供很好的借鉴和参考,使模拟联合国大会在国内发挥更大的作用。

现有的满意度研究主要应用于教育、政治、经济等多个方面,如王宁等将开放教育网络课程学习分为3个层次、5个维度对其满意度进行探讨[1]。李强彬等在基于12省市领导干部的问卷调查的基础上对中国特色公众协商途径与协商民主实施满意度进行了分析[2],此外对会议满意度的研究也有一定的成果。李新杰基于ACSI模型抽取了5次具有代表性的学术会议,进行了比较分析[3]。张晓梅等以广州白云国际会议中心为例对大型会议配套设施和服务满意度进行了实证研究,文中以重要性为横轴,满意度为纵轴,其均值作为分界点,最终得到4个象限的IPA评价矩阵图,进而比对分析[4]。

目前对会议满意度的相关研究,多采用比较分析方法对会议满意度现状进行分析,包括对多次会议的纵向比较、对不同地区的横向比较、对不同实质性分析方法的比较以及对不同重要程度的分类比较,缺乏对其影响机制的深入研究。虽然对满意度的测量有多种方式,但许多实证研究缺乏对测量工具的可靠性验证。本文以ACSI模型为原型,采用结构方程模型的分析方法,在充分检验问卷信效度的基础上,深入分析影响中模会议满意度各因素之间的复杂关系,为更好地筹备和举办中模提供有益的借鉴。

1 研究方法

1.1 理论基础

美国顾客满意度指标(American Customer Satisfaction Index,简称ACSI)起源于20世纪80年代末密西根大学全国质量研究中心,由学者Fronell在瑞典模式的基础上提出,主要用于衡量产品和服务的品质[5],后来作为一种衡量经济产出质量的宏观指标,现广泛应用各领域的满意度评估。如邵笛在ACSI的基础上建构了适用于中国政府公共危机管理评价的新型满意度测评指标模型 GCMSI(政府危机管理满意度指数)[6]。

ACSI模型共有6个结构变量,分别为感知期望、感知质量、感知价值、顾客满意、顾客抱怨以及顾客忠诚(如图1)。其中顾客满意是最终所求的目标变量,感知期望、感知质量和感知价值是顾客满意度的原因变量,顾客抱怨和顾客忠诚则是顾客满意度的结果变量。

图1 ACSI模型

1.2 问卷设计与指标构建

问卷共包括四个部分:第一部分是基本信息,包括人员类别、性别、人员组成、专业类别、院校类别、所在委员会、所在大洲等七个方面;第二部分是问卷主体部分,其设计基于美国ACSI满意度模型,共开发了参会预期、学术质量感知、服务保障感知、总体满意度、参会抱怨、忠诚度六个维度,共26个题项,选项采用Likert(李克特)五级度量;第三部分为多选题,考察本届大会对所有参与者的能力提升;第四部分为主观题,考察大会参与人员对本届大会以及承办院校的意见和建议。

本文分析的数据主要为第二部分问卷主体内容,其中参会预期测量的是会议前参会人员对本届大会的学术水平、服务保障以及总体效果的心里预期。学术质量感知测量的是参会人员对会议的组织以及学术水平的认可程度。服务保障感知测量的是参会人员对承办院校提供的各项会议保障工作的认可程度。总体满意度测量的是参会人员对本届大会的总体认可程度。参会抱怨测量的是参会人员对本届大会的抱怨与不满。忠诚度则是从推广与再参与的角度反映了参会人员对本届大会的认可程度。

1.3 问卷实施与数据统计

本调查共发放365份问卷,收回问卷350份,剔除50份无效问卷后,保留有效问卷300份,问卷有效率82.19%。此处所剔除的无效问卷包括两类,一类是数据缺失过多的问卷,本文对数据有效的界定较为严格,将缺失数据超过10%以上认为缺失过多。另一类是答题者主观答题态度不够端正(即全部勾选“非常同意”)的问卷。

调查采用纸质问卷,数据的录入、预处理以及描述性统计在SPSS18.0中完成,后续问卷可靠性检验、模型验证与修正采用AMOS24.0。

2 信度与效度检验

问卷的设计虽是以ASCI模型为原型,但是在进行结构方程模型分析前依然要考虑顾客满意度模型对本届中模会议满意度分析的适应性,验证问卷的可信程度和有效程度。

2.1 题目信度

首先对所设计的问卷题目进行一阶验证性因素分析(CFA)来验证各题目的可靠性。其中题目信度用平方复相关系数(SMC)来表示,其计算为潜在变量下各指标的标准化因素负荷量的平方值,数值在0.5以上说明信度良好,0.36以上说明信度可以接受[7]。通过对各潜变量进行CFA,得到的各题目指标的信度除个别略低于0.36外,其余均在可接受水平以上,但这并不能说明可以全部接受。通过分析各潜变量下的拟合程度,我们发现在服务保障感知和学术质量感知两个潜变量下的拟合度指标不佳。以学术质量感知为例进行说明。

图2 学术质量感知验证性因素分析

如图2,在学术质量感知维度下共设计5个题目,其样本矩为5*6/2=15,该模型估计5个残差加1个回归系数和4个因素负荷量共10个参数,样本矩大于估计参数,自由度为5,模型属于过度辨识,符合理论上模型正定的要求。在Amos软件中进行因子分析后,可以得到除b1的因素负荷量0.58略低于0.6以外其余均在0.6以上,我们认为各题目的因素负荷量均在可接受的范围内。但是该维度的拟合度指标不佳,表现在卡方/自由度为4.477大于其可接受值1-3。这是由于部分题目指标的残差不独立造成的,通过检查这两个潜变量下的修正指数(MI)予以改进[7]。

表1 修正指数分析

如表1所示,其中残差所对应的观察变量就是需要调整的题目指标。在学术质量感知维度下,得到b5题的残差与b1、b3、b4均存在高度相关,考虑现实题目含义,将b4、b5两题打包合并成b45,是对“议题深入讨论与产生决议的满意程度”进行考察。调整后重新进行CFA检验,如图3所示,最终学术质量感知维度共保留4个观察变量。标准化系数均在0.6以上,残差均为正值且显著,各项指标没有违反估计准则的情况[8],因此保留这4个题项进行后续分析。

图3 调整后的学术质量感知验证性因素分析

同理,在服务保障感知维度下,c4与其余的题目打包均不能得到较好的拟合度指标,因此删除。删除后重新进行CFA检验,发现题目信度均良好,但拟合度指标依然不佳,检查修正指标,发现是由于c2题与其他题目的残差不独立,经过测试发现,c2与c3两题打包后拟合度指标达到最佳,切符合现实含义,c23考察了“参会人员对茶歇、晚会等模联特色的交流休闲服务保障的满意程度”。

根据以上原则调整后,对问卷题目组成的6个维度进行内部一致性检验。

2.2 内部一致性信度

潜变量的组成信度(CR):为观察变量信度的组成,表示因子下指标的内部一致性,信度越高表示这些指标的一致性越高[9],在0.6和0.7之间的信度是可接受的,在0.7以上代表研究模型内部一致性良好[10]。

其中,λi:为标准化因素负荷量

εi:为测量误差

潜变量的平均方差萃取量(AVE):是计算潜变量各测量变量对该潜在变量的平均解释能力[9]。若AVE值越高,则表示潜变量间的观察变量相关越高,一致性也越高,潜变量有越高的信度与收敛效度,其建议值大于 0.5[10]。

其中,λi:为标准化因素负荷量

εi:为测量误差

在修正了题目信度的基础上计算各潜变量的CR值与AVE值,绘制信度及收敛效度表(如表2),我们对报表解释如下:在非标准化下的所有指标均为正且显著,说明调整后的各题目指标都存在;在标准化下的因素负荷量均在0.60以上,SMC均在0.36以上,都在可接受的范围以内,说明问卷具有较好的题目信度;各潜变量的组成信度(CR)在0.77到0.87之间,说明变量的内部一致性良好;变量的平均方差萃取量(AVE)基本都在0.5以上,除参会预期和服务保障感知的AVE值分别为0.46和0.45外,也都接近0.5的建议标准,仍在可接受的范围以内,说明各变量存在一定的收敛效度,即潜变量对各观察变量均具有较好的平均解释能力。

表2 信度及收敛效度表

2.3 区别效度

计算各潜变量的皮尔森相关并与平均方差萃取量(AVE)的算术平方根进行比较,得到各变量间的区别效度,如表3所示。参会抱怨与其他变量之间存在负相关,比较时将其数值绝对值与AVE的算术平方根进行比较。我们得到,参会抱怨、忠诚度、总体满意度、参会预期的AVE值算数平方根均明显大于与其他变量的相关系数,说明这四个变量均与其他变量存在明显的区别效度[9],服务保障感知与学术质量感知存在个别变量间相关略大于 AVE 值的算术平方根(分别相差 0.04、0.04、0.11),仍在可接受的范围内,说明这两个变量与其他变量间存在一定的区别效度。

表3 区别效度

3 假设检验与结果分析

3.1 假设检验

构建的中模会议满意度模型经过验证性因素分析调整观察变量后,共包含23个观察变量和6个潜变量。之前提到保留的有效问卷数量为300,因此观察变量与样本量之比大约为1∶13,因此可采用极大似然法对模型进行参数估计。最终得到模型的参数估计结果以及标准化的路径系数,如图4。

图4 中模会议满意度模型标准化参数估计路径图

同时我们得到结构方程模型标准回归路径系数表(如表4),其完整展示了标准化下各潜变量之间的路径系数,对内生变量估计的误差方差以及路径的显著性水平。分析表中信息,可得参会预期对总体满意度以及参会抱怨对忠诚度的支撑关系并不显著,在模型分析中应该考虑予以删除。由图5中展示的模型整体拟合指数可得,删除路径后各拟合指数基本无变化,卡方值增加不显著,因此支持删除路径。其中,删除参会预期对总体满意度的路径可解释为:参会人员的总体满意度与会前预期相差不大,并没有产生由于会前预期过高或者过低对总体满意度产生负向或者正向的直接影响。删除参会抱怨对忠诚度的路径系数可解释为:会议往往是各学校间轮流承办,参加会议区别于购买商品,更倾向于一种一次性体验,因此参会人员的忠诚度会直接来源于对大会的总体满意度,并不存在对参加会议的抱怨不满造成的调整与改进而产生的忠诚度。

表4 结构方程模型标准回归路径系数

3.2 结果分析

根据假设检验结果,删除两条路径后,得到修正模型的参数估计结果以及标准化的路径系数,如图5。

3.2.1 模型整体拟合情况

卡方自由度比为 2.071,非范拟合指数(NNFI)为 0.919,比较拟合指数(CFI)为 0.928,近似误差均方根指数(RMSEA)为 0.06。其中,卡方自由度比的建议值为1-3之间;NNFI与CFI值大于0.9为可接受,大于 0.95为良好;RMSEA 在 0.08以下为可接受,在0.05以下为良好[11]。经检验,模型的整体拟合指数均在可接受范围内,说明现有模型较好地拟合了本届中模满意度调查的结果。

图5 修正的中模会议满意度模型标准化参数估计路径图

3.2.2 路径系数及影响效应

参会预期对学术质量感知的影响作用十分明显,远大于对服务保障感知的影响。

学术质量感知是对总体满意度影响最大的因素,其总效应为 0.66,其中直接效应 0.50,间接效应 0.16。 进一步分析“会议组织有序”“会议过程讨论热烈、观点鲜明”对学术质量感知的支撑作用更加明显。

参会预期虽对总体满意度没有直接影响,但是影响效应为0.65位居第二,是通过影响学术质量感知和服务保障感知间接影响总体满意度。进一步分析可得“会前确信各委员会讨论热烈而富有成效”对预期的支撑作用最明显,说明对学术质量的预期更为重要。

服务保障感知也是对总体满意度的重要影响因素,总效应为0.41,是完全通过直接效应来影响总体满意度的。进一步分析对“社交晚会”“茶歇”“饮食保障”满意是支持该维度最核心的因素。

总体满意度与参会抱怨呈现明显的负相关,与忠诚度呈现明显的正相关,且参会抱怨与忠诚度之间没有明显的支撑关系。参会预期、学术质量感知与服务保障感知对忠诚度均有一定间接效应;此外,对中模会议满意的参会人员有一半以上(直接效应0.54)会成为模联的忠诚参与者,在较长时间内关注和参与模联。

表5 各潜变量之间的影响效应表

4 结论与建议

(1)加强对会前的宣传工作。可大力宣传本届中模邀请的知名专家、招募的具有丰富经验的主席团力量,以及承办学校的学术水平。因为通过上述分析得到参会预期对学术质量感知有非常明显的支撑作用,对总体满意度的效应也非常大,并且在该潜变量下最为有力的观察变量也是对学术水平的预期。大力宣传本届中模及举办方的学术水平,对增加参会人员对大会学术水平的信心与期望、增强学术质量、提高总体满意度有重要作用。

(2)严格把控主席团质量。因为学术质量感知是对总体满意度影响效应最大的因素,鉴于“会议组织有序”与“会议过程讨论热烈,观点鲜明”是支撑学术感知重要的观察变量,各分委会主席起着有序组织会议、掌握会场氛围导向的关键作用,因此,主席团成员的选择对成功举办中模会议至关重要。

(3)筹备具有特色、令人难忘的社交晚会。服务保障感知对总体满意度的影响也起着关键的作用。社交晚会是其重要的组成部分,是支撑服务保障感知潜变量最为重要的观察变量,也是在中模会议中展现学生风采、展示主办学校主场风采的重要途径。同时也为全国各地高校参会人员提供一个相互交流、相互学习、彼此切磋、结交友谊的平台。

(4)细心准备会议茶歇,合理健康保障饮食。饮食保障与会议间隙的茶歇也是模联会议过程中可以展示学校特色的一大亮点。因为中模会议通常需要三天开完,是一个比较持久的会议,保障好这期间的饮食与茶歇是展示学校为本届大会提供服务保障筹备的重要方面,也是所有参会人员生活上最为关心的问题。

(5)完善对新闻发布会的组织实施。总体满意度对参会抱怨与忠诚度均有非常显著的影响,说明本届中模会议总体来说确实是非常成功的,但是也确确实实存在一些不如人意的地方。通过问卷主观题得出,大家对主新闻中心MPC发挥的作用提出了质疑,主新闻中心参与人员的自我获得感和认可程度也不强,说明本届大会把过多的精力放在了6个分委员会当中了,MPC没有完全发挥较好的作用促进议题的深入讨论。

主要参考文献

[1]王宁,琚向红,葛正鹏.开放教育网络课程学习满意度影响因素[J].开放教育研究,2014(6):111-118.

[2]李强彬,谢星全.中国特色公众协商途径与协商民主实施满意度——基于12省市领导干部的问卷调查[J].国家行政学院学报,2017(1):120-124.

[3]李新杰.基于改进的ACSI模型的学术会议质量评价实证研究[J].中原工学院学报,2017,28(2):66-72.

[4]张晓梅,余构雄.大型会议配套设施和服务满意度实证研究——以广州白云国际会议中心为例[J].企业导报,2013(1):124-126.

[5]殷容伍.美国顾客满意度指数评述[J].标准科学,2000,16(1):7-10.

[6]邵笛.基于ACSI的政府危机管理公众满意度指数模型实证分析[J].上海管理科学,2014,36(5):85-91.

[7]张伟豪,邓时宜.与结构方程模型共舞:曙光初现[M].新北:前程文化出版社,2010:250-256

[8]Fornell C,Larcker D F.Evaluating Structural Equation Models with Unobservable Variables and Measurement Error [J].Journal of Marketing Research,1981,18(1):39-50.

[9]张伟豪.SEM 论文写作不求人[M].台北:鼎茂出版社,2010:183-190.

[10]Hair J F,Anderson R E,Babin B J,and Black W C.Multivariate Data Analysis:A Global Perspective [M].Upper Saddle River,NJ: Pearson,2010.

[11]侯杰泰.结构方程模型及其应用[M].北京:教育科学出版社,2004.

猜你喜欢
信度总体学术
《广东地区儿童中医体质辨识量表》的信度和效度研究
2020年秋粮收购总体进度快于上年
如何理解“Curator”:一个由翻译引发的学术思考
外汇市场运行有望延续总体平稳发展趋势
对学术造假重拳出击
直击高考中的用样本估计总体
科技成果评价的信度分析及模型优化
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
中文版脑性瘫痪儿童生活质量问卷的信度
学术