阅读推广活动评价指标体系构建及信效度分析

孙 震

(内蒙古医科大学 图书馆，内蒙古 呼和浩特 010010)

1 阅读推广活动评价概述

2009年9月27日，中国图书馆学会阅读推广委员会成立大会及第一次工作会议在苏州图书馆隆重召开[1]，标志着我国阅读推广工作全面正式的开展。在其引领下，全国各地图书馆也持续地开展各类阅读推广活动，经过十余年的积累，在阅读推广理论和实践方面都积累了丰富的经验，学者们对阅读推广策略、阅读推广服务和阅读推广案例等方面进行了深入的研究，但对阅读推广评价方面的关注较少[2]。构建有效的评价指标体系是对阅读推广活动进行科学评价的重要方法。阅读推广活动评价是促进全民阅读的客观需求，是各级图书馆开展阅读推广活动的基础，是不断改进阅读推广策略的重要工具。构建科学合理的评价体系，能够客观反映出活动投入与活动预期[3]，读者需求和读者受益之间的差距[4]，为改善阅读推广策略、优化活动资源配置、创新阅读推广方式、丰富阅读推广内涵和提升读者满意度等方面提供依据。

国内对阅读推广评价研究的起步较晚，CNKI中检索到的相关研究文献最早发表于2011年。国内学者对阅读推广评价研究主要集中在以下几个方面：①采用不同方法构建评价体系，如基于层次分析法[5]、基于CIPP法[6]、Kano模型[7]等；②不同组织机构角度构建评价体系，如公共馆、高校图书馆、美术院校图书馆等；③对不同方式或人群开展阅读推广评价，如青少年、电子书、经典阅读等。总体来说，国内在阅读推广活动评价方面的研究不充分，操作性和普适性不足，对指标体系的信效度缺乏验证分析。

2 阅读推广活动评价指标体系构建

2.1 确定评价客体和主体

评价客体是指评价什么，评价主体是指谁评价，通常先确定评价客体。评价客体应选取活动的部分或全部过程，结合评价体系设计目的而确定。如果想评价阅读推广活动全过程，全面评价阅读推广活动管理、组织、实施、影响，应考虑多角度、全过程因素来设计，但一般因涉及评价主体较多且活动形式多样，较难实施；如果想对活动管理过程评价，衡量管理绩效，应针对活动组织、实施过程中各管理因素设计指标体系[8]；如果想评价活动对读者的影响，评价活动实施效果，应考虑读者角度设计评价指标体系。通常阅读推广活动开展，均以读者为活动对象，基于读者视角参与活动的感受来评价阅读推广活动成效，是保证评价客观性和可行性的基础。

2.2 筛选阅读推广活动评价要素

课题组通过文献分析法，对国内外各类阅读推广活动指标体系的评价要素进行整理汇总，形成评价指标频次表，筛选出频次>3的要素，共得到25个评价要素；通过阅读推广领域专家的半结构式访谈，收集到20个评价要素；通过对两种方法得到的评价要素进行梳理，为增大指标的普适性，又进行了部分指标合并，筛选出23个评价要素。对评价要素进行分析整理，初步形成由4个一级指标、23个二级指标组成的阅读推广活动评价指标体系。

2.3 Delphi法确定评价指标

课题组遴选了18位阅读推广领域的专家，以电子邮件的方式进行函询，函询问卷包含问卷说明、指标重要程度问卷(采用Likert5级评分法[9])、专家信息、判断依据和熟悉程度调查表4部分，同时对其中9名专家进行指标关联性问卷调查。本研究共进行了3轮函询，对每轮函询中保留了重要性均值>3.50且变异系数<0.25的指标，并按照专家的建议进行了修改合并，函询结束后保留了20个指标。根据判断依据和熟悉程度调查表得到判断系数(Ca)和熟悉系数(Cs)。

2.4 层次分析法(AHP)[10-11]确定各指标权重

根据阅读推广活动评价指标结构，使用Yaahp软件[12]构建层次模型，生成AHP调查表(Excel版)分发给专家填写。AHP调查表采用Saaty提出的1级～9级标度，由评价指标两两比较的多组判断矩阵构成。回收问卷导入后，采取一致性比例最优方式修正矩阵，满足一致性比例(CR)<0.1[13]，根据权威系数给专家赋权值，采用几何平均法，得到各层要素的权重值(见表1)。

表1 指标体系权重结果

3 问卷调查及信效度分析

3.1 问卷调查

在正式调查前，对42名读者发放电子问卷进行预测试。预测试中一级指标和总的Cronbach's α值位于0.6～0.9之间，KMO值为0.825，信效度表现良好[14-15]。根据个别读者反馈，进行了部分问卷细节的修改。正式调查采用电子问卷的形式，对参与某项阅读推广活动的150名读者发放问卷，共收回有效问卷145份。

3.2 专家积极程度、权威程度及协调程度[16]

第一轮专家函询中，回收问卷17份，提出修改意见9份，问卷有效回收率为94.44%，专家意见提出率为50%；第二轮函询中，回收问卷18份，提出修改意见2份，问卷有效回收率为100%，意见提出率为11%；第三轮专家函询中，回收问卷18份，均未提出修改意见，问卷有效回收率为100%。结合问卷回收率和意见提出率两项指标，表明专家的积极程度较高。

专家的权威系数(Cr)由专家对问题的判断依据和专家对问题的熟悉程度两个因素决定，权威系数Cr=(Ca+Cs)/2，一般认为专家权威系数Cr≥0.7即认为研究结果可靠。经汇总分析，得到专家权威程度表(见表2)，两轮函询的专家权威系数均≥0.7，表明专家的权威程度较高。

表2 专家权威程度

专家协调程度使用Kendall系数表示。使用SPSS录入数据进行分析，结果呈现显著性(P=0.00<0.01)，Kendall’s W值均位于0.4～0.6之间，说明专家评分具备一致性[17]，协调程度较好。

3.3 信度分析

问卷各一级指标的一致性系数Cronbach's α值均在0.7以上(见表3)，总体Cronbach's α值为0.849，校正项总计相关性CITC值均大于0.3，说明信度良好，可靠性较高[18]。

表3 4个维度及总体指标信度分析

3.4 效度分析

3.4.1 结构效度。对20个二级指标进行因子分析，结果显示，KMO值为0.757，Bartlett球形度检验X2值为1 253.892，P<0.001，说明适合做因子分析[19]。采用主成分分析和方差最大正交旋转法，提取特征值大于1的公因子4个，累计方差贡献率为77.528%，与指标体系设计构想一致。各指标因子载荷位于0.519～0.804间(见表4)。

表4 阅读推广活动评价指标体系探索性因子分析结果

3.4.2 内容效度。根据专家反馈的指标关联性问卷结果，计算内容效度I-CVI(条目水平)取值0.78～1.00之间，S-CVI/UA(全体一致SCVI)0.85，S-CVI/Ave(平均SCVI)0.978，总体内容效度较好[20](见表5)。

表5 阅读推广活动评价指标体系内容效度专家评分及内容效度指数的计算

4 讨论

本研究参考国内多个阅读推广活动评价模型，综合考虑阅读推广活动实际，从读者的视角评价阅读活动全过程，制定出包含4个一级指标和20个二级指标的评价指标体系。通过细化指标分类，增强指标体系评价的全面性；通过合并相似指标，提升指标体系的通用性；采用层次分析法确定指标权重，使评价结果更科学、客观。评价指标体系的权重结构显示，活动内容评价和活动影响评价的权重较高，是阅读推广活动中非常重要的因素；二级指标中的阅读意愿影响、心理受益影响、认知受益影响和活动内容权重比较高，这些指标均直接影响读者的受益程度，阅读推广活动设计时应以此为导向。

本研究构建的阅读推广活动评价指标体系从活动预备阶段、活动参与过程、活动内容评价和活动影响评价4个方面客观反映阅读推广活动成效，采用Delphi法、层次分析法(AHP)等方法构建指标体系，并进行信效度验证，提升了阅读推广活动评价指标体系构建的科学性，增强了可靠性和有效性。后续，将使用该指标体系对各类阅读推广活动进行评价验证，横向纵向对比，提升指标体系的通用性，进一步完善指标体系，成为评价阅读推广活动的评测工具。希望通过对阅读推广活动的科学评价，分析活动过程中的不足，合理分配活动资源，创新活动内容和形式，明晰阅读推广导向，助力阅读推广工作不断发展。