省级（域）科普工作评估的核心指标

张增一　贾萍萍　王丽慧　莫扬

[摘   要] 本研究对来自我国东部、中部和西部共计15位省级科协科普部部长进行深度访谈，累计获得标准化访谈文本13万余字。利用质性分析软件Nvivo11Plus对访谈文本进行开放式编码、主轴式编码和选择式编码。借助矩阵编码，在分析我国东部、中部和西部地区部分省级科协科普部部长对各具体指标科学性、准确性和可获得性方面的意见和态度的基础上，提出了三套分别适用于东部、中部、西部的科普工作评估核心指标体系。这三套核心指标体系不仅包含科普人员、经费、基础设施等传统指标，同时融合了科普创作与传媒、科普新态势等能够体现最新科普动态的定量指标。此外，定性案例也被纳入其中，用以辅助定量指标来对省级（域）科普工作进行更为全面的评估。

[关键词]省级（域）科普工作评估   核心指标   文本分析   质性分析

[中图分类号] N4 [文献标识码] A [ DOI ] 10.19293/j.cnki.1673-8357.2023.02.003

省级（域）科普工作是我国科普工作中最重要的一环，在落实《关于新时代进一步加强科学技术普及工作的意见》《全民科学素质行动规划纲要（2021—2035 年）》方面发挥着关键作用。对省级（域）科普工作开展评估是促进省级（域）科普工作发展的重要手段，它不仅要评估一段时间内该省（域）科普工作的成 效，而且要能发现其科普工作的短板，进而 为各省（域）今后的科普工作提供方向上的 引导，以评促建。科学前瞻的评估指标体系构建是省级（域）科普工作评估的前提，也是持续推进其高质量发展的支持和保障。当前，面对新时代科普工作的新发展、新变化，原有的针对省级（域）科普工作的评估指标已在很多方面难以适应现实需求，亟须研发一套兼具灵活性、可操作性、实用性的省级（域）科普工作评估核心指标体系，以便科普管理部门及时总结经验，发现问题，把握方向，促进各省级（域）科普工作的发展。

1研究现状

国内学者对区域科普效果的研究主要以如下几个方面作为切入点：理论指导、区域科普总体效果、区域科普活动效果、区域内科普场馆效果、区域内基层科普效果、区域内科普媒体效果、区域内少数民族对口科普效果等。其中，对区域内基层科普效果的关注较多，基于区域整体进行相关效果评估的研究较少。姚琳以河北省科普效果作为总体研究对象，最早从科普投入、科普社会环境、科普活动或项目效果以及科普综合产出效果4个层面（共计42个分指标）对河北省内各市的科普效果进行评估。其中，科普投入包括经费、专员、机构等重要分指标，科普社会环境包括场馆、画廊、媒介等重要分指标[1]。此后，胡萌等又以江西省科普效果作为总体研究对象，对江西省内各市的科普效果进行评估，该套评估指标体系中的“父级”指标继承了姚琳的体系，但在科普综合产出效果中削减了空气质量、农民收入等子指标[2]。尽管这两个指标能够更好地对区域科普效果进行评估，但是数据获取难度大、计算复杂度高且指标体系较为庞杂。其后，杜彤以湖北省科普效果作为总体研究对象，从“投入—产出”的视角构建了区域总体科普效果评估指标，在产出端，去除了空气质量指标，保留了农村人均纯收入指标，并加入了城镇人均纯收入指标[3]。

上述学者构建的区域科普效果评估指标的框架大体一致，仅对子指标进行了细微调节，在具体的指标选择中，大多数研究选择数据获取难度低、数据记录齐全和操作度较低的指标对区域科普效果进行评估，难以涵盖科普工作的所有方面，如政策或组织管理。同时，指标选取也不能面面俱到过于繁杂，以致难以操作。因此，本研究拟在调研一线科普工作管理人员的基础上，通过质性分析，遴选一批关键指标，以构建区域科普工作核心指标。

2研究设计及过程

本研究采用深度访谈和焦点小组的方式来获取主要研究样本，通过文本分析的方法完成对样本内容的分析。

2.1访谈的实施

正式访谈工作前，本研究对已有指标进行分析，确定了访谈的階段与形式（前期为非结构式访谈，从2022年7月至2022年8月；中期为半结构化访谈，从2022年9月至2022年10月；后期为焦点小组访谈，从2022年11月至2022年12月）。为确保受访者的代表性，本研究以各省份科协科普部负责人作为访谈对象；考虑到地区间的差异性，按东、中、西部地区进行划分，在每个地区中均选取了有代表性的省份。研究前期，主要对宁夏科协、青海省科协科普部部长进行非结构式访谈（Unstructured Interview）[4]，经受访者同意后进行录音并获得标准化文稿17 721字。研究中期，以初期访谈内容及结果为基础，经专家论证编制访谈提纲。在中期的半结构化访谈（Semi-structured Interview）[5]中，分别对山西、河南、浙江、江苏、福建5省科协科普部部长进行了深度访谈。经受访者同意后进行录音并获得标准化文稿44 822字。研究后期采用了焦点小组（Focus Group）的形式[6]，第一次焦点小组的受访者为广西科协、新疆科协、云南省科协科普部部长；第二次的受访者为广东省和深圳市科协科普部部长；第三次的受访者为黑龙江、吉林、辽宁和山东4省科协科普部部长。经受访者同意后对访谈过程进行录音并获得标准化文稿69 392字。

2.2信度检验

经过三个阶段的访谈，本研究共计获得标准化文稿131 935字。将文本进行初步整理后导入Nvivo11Plus进行后续的文本分析工作。在正式文本分析工作开始之前，需要通过预编码及信度检验的形式确保编码员及编码表的信度。从文本中随机抽取10%（理论上应选取13 194字，考虑到访谈文本的完整性，本研究选取其中一个完整的访谈文本作为样本进行信度检验，受检样本字数为16 604字）的文本进行信度检验。经编码比对，Kappa系数为0.8384（>0.8），编码员与编码表合格，证明编码员的主观倾向性对于编码工作的影响在置信区间内，可以开展正式的编码工作。

2.3文本分析与编码

Nvivo是由QSR公司开发设计的一款计算机辅助质性数据分析软件，本研究先通过Nvivo11Plus对10份访谈文本进行文本挖掘，其后基于编码情况，通过交叉矩阵的形式对编码结果进行下一步分析。

2.3.1开放编码

通过开放编码对原始文本进行材料分析，提取原始概念，对概念进行深入比较之后做范畴化处理，累计得到1 258个参考点、65个初始概念和25个初始范畴。初始概念既来自受访者对特定指标的看法，也来自受访者对当地工作得失的总结。在开放式编码的过程中，将初始概念记为an，对初始概念形成的各类范畴记为An，部分开放式编码的示例及结果见表1、表2。

2.3.2主轴式编码

本次研究中的主轴式编码借助Nvivo11Plus中的聚类分析实现，通过对初始范畴的单词相似性系数及逻辑关系的梳理，将25个初始范畴归纳整理为科普创作与传媒、科普活动、科普设施、科普新态势、科普经费、组织管理、科普人员、其他共8个主范畴（见图1，着色依据为参考点数量）。

2.3.3选择式编码

分析主轴编码形成的8类主范畴，对其进行聚类与逻辑梳理，提出科普投入、科普产出、顶层设计、辅助性要素共4个核心类属。四大核心类属其及相互关系见图2。

3研究内容与发现

在访谈和对文本进行初步分析的过程中发现，我国区域科普发展不充足、不均衡的现象显著。因此，东部、中部和西部地区在区域科普工作评估核心指标上也有一定的差异。在后续的研究中，继续遵循实用性、适用性和灵活性的原则，通过矩阵编码的方式总结出三套分别用于评估我国东部、中部和西部地区的科普工作评估核心指标。为了保证矩阵编码的科学性，在Nvivo11Plus中通过为访谈案例赋予“属性”的方式，将所有文本按照地区属性分为三类，即东部地区、中部地区和西部地区。在矩阵编码的过程中，以地区属性作为X轴、全部文本的所有编码节点（精确到三级节点）作为Y轴运行矩阵编码程序，由此可得到不同地区的受访者对不同编码节点的关注程度。

为了保证三套核心指标体系的可行性与灵活性，在矩阵编码结果的基础上对节点分布情况展开进一步分析。通过矩阵编码结果可知，较少有指标能够获得受访者一致的肯定，不同地区的受访者对于同一指标的态度较难有极为一致的结论。因此，本研究进一步分析不同节点背后所隐含的受访者态度（正向态度、负向态度）。若某地区的所有受访者对于某一指标的正向态度超过负向态度，则认为该指标具有被纳入本地区核心指标体系的资格；若正向态度的数量与负向态度的数量相等，则将该指标纳入备选核心指标体系中；若负向态度的数量超过正向态度的数量，则认为该指标不适合纳入本地区的核心指标体系。

通过矩阵编码与态度分析相结合的方式，得以对每个地区对于每个节点的态度进行具体研究。在此基础上，得以构建三套分别适用于我国东部、中部和西部地区的区域科普效果评估的核心指标体系。三套体系中既有确定指标，又有备选指标；既能保证指标体系的可行性，又能兼顾指标体系的灵活性。

3.1科普经费

根据矩阵编码的结果（见图3），可以发现东部地区对科普经费的关注度最高，其次是西部地区和中部地区。在科普经费中，三个地区的受访者对于人均科普经费的关注度都显著大于对社会科普经费筹集额的关注度。东部地区的受访者认为，人均科普经费的财政报告可考性高（6次）、导向性强（6次）、政府投入认可度高（2次），但是统计口径不一（11次）的问题显著。总体来看，东部地区的受访者对该指标的赞成度大于否定度，因此，将这一指标纳入东部地区的区域科普工作评估核心指标体系具有可行性。

除了财政报告可考性高（2次）、导向性强（5次）之外，西部地区的受访者认为人均科普经费受制于经济因素（4次）且统计口径不一（4次）的问题也较为显著，但是相较于社会科普经费筹集额来说，人均科普经费对于西部地区的意义更大。从中部地区受访者的角度来看，人均科普经费的财政报告可考性高（2次）、导向性强（1次）、政府投入认可度高（4次），但是这一指标在中部地区同样具有统计口径不一（4次）的问题。

3.2科普人员

从矩阵编码的结果（见图4）中可以发现，东部地区对科普人员的关注度最高，中部地区和西部地区次之。在东部地区的受访者看来，科技志愿者的机动性强（4次）、可考性高（8次）、数据认可度高（4次）、志愿者的综合性强（8次），这一指标对于东部地区科普工作的评估具有重要意义。科普人员数量这一指标存在如下问题：一是科普兼职人员的概念模糊（13次），二是科普专职人员的编制权限不归科协系统管辖（4次），因此这一指标不适合纳入区域科普工作核心指标体系。“科普中国”信息员对东部地区来说具有打通科普渠道（2次）的作用，因此这一指标也可纳入核心指标体系中。

从中部地区来看，科技志愿者具有注册流程烦琐（1次）这一缺点，但是可考性高（5次），因此适合纳入区域科普工作评估核心指标体系中。从西部地区来看，尽管注册流程烦琐（1次），但是科技志愿者的机动性强（5次）且可考性高（1次），因此可以纳入核心指标体系中；“科普中国”信息员不仅概念清晰（1次），而且能夠打通科普渠道（3次），因此也可以纳入该体系中。

3.3科普设施

根据矩阵编码的结果（见图5），可以发现东部地区对科普设施的关注度最高，中部地区次之，最后是西部地区。从东部地区的角度来看，基层科普设施或场地数量具有综合性强（3次）的特征，较为适合纳入该体系中；科普场馆的数量具有可考性（6次），因此也可以纳入该体系中；尽管当前对科普基地进行认定较为困难（2次），但是科普基地的概念清晰（3次）、数量可考（2次）且能够推动工作开展（2次），因此该指标也可以纳入核心指标体系中。

从中部地区的角度来看，基层科普设施或场地的综合性强（4次）；科普场馆的数量既具有可考性（1次），又能保障工作的开展（4次）；科普基地能够推动科普工作顺利开展（2次）；尽管面向社会开放的高校、科研院所、重点实验室、科技企业的数量受制于其他因素的影响（2次），但是这些形式能够促进科技资源科普化（4次）。因此，这4个指标均可纳入核心指标体系中。

从西部地区的角度来看，基层科普设施或场地的综合性强（1次）；科普场馆的数量可考（2次）且能保障工作的开展（1次）；科普基地能够推动工作顺利开展（4次），并且其数量具有可考性（2次）；面向社会开放的高校等能够促进科技资源科普化（4次）。因此，这4个指标均可纳入核心指标体系中。

3.4科普活动

根据矩阵编码的结果（见图6），可以发现中部地区对科普活动的关注度最高，其次是东部地区和西部地区。从东部地区的角度来看，年度科普活动覆盖常住人口的比例这一指标的重复性较高（2次），因此不适合纳入核心指标体系；三类传统科普活动的效果评估较难（3次），因此也不适合纳入该体系；特色品牌科普活动的效力易于统计（1次），因此适合纳入核心指标体系中。

从中部地区的角度来看，尽管三类传统科普活动的参加人数难以统计（1次），并且活动效果的评估较难（3次），但是重点活动易于统计（3次），并且面向重点人群的科普活动实用性强（3次），因此这一指标适合纳入核心指标体系中；特色品牌科普活动的成效显著（8次），因此这一指标同样可以纳入该体系中。从西部地区的角度来看，重点活动易于统计（2次），但是如何评估活动效果依旧存在困难（3次）；品牌活动的效力易于统计（1次），因此较适合纳入核心指标体系中。

3.5科普创作与传媒

根据矩阵编码的结果（见图7），可以发现我国东部、中部和西部地区对于该指标的关注度差别较小。从东部地区的角度来看，科普图书的出版数量可考性高（2次），且能够提升社会创作的积极性（1次），因此可以纳入核心指标体系中；科普创作人员的界定较为困难（1次）且人员流动性大（2次），因此该指标的适用性较低；科协主管的新媒体数量可考性强（2次），但是界定困难（2次），因此该指标目前可作为核心指标体系中的备选指标。

从中部地区的角度来看，缺乏图书出版管理权限（2次）的弊端显著；科协主管的新媒体数量可考性强（3次）且新媒体的推送内容来源广泛（2次），因此适合纳入核心指标体系中。从西部地区的角度来看，出版科普图书缺乏管理权限（2次），因此不适合纳入核心指标体系中；科普创作人员的流动性大（2次）且界定困难（1次），因此也不适合纳入核心指标体系中；科普新媒体由于边界模糊难以界定（4次）。因此在科普创作与传媒这一指标下缺乏适合西部地区的核心指标。

具体来看，“科普新媒体的数量”这一指标对中部地区来说较为适用。相较于传统媒体中的科普而言，科普新媒体的内容来源广泛，因此能够适应不同群体对特定科普内容的需求，有助于保障科普内容的供需平衡。但是无论对东部还是西部地区来说，科普新媒体都存在界定困难的问题，西部地区的这一问题尤为严重，即如何把握科普新媒体的入选标准问题——若某一综合类的门户网站、微博或微信公众号刊载了包含科普内容的作品，是否可以将其纳入科普新媒体的范畴内，需要满足多少数量或比例等。在实际评估工作中，需要进一步明确科普新媒体的具体概念与内涵，以提升该指标的可操作性。

3.6科普新态势

根据矩阵编码的结果（见图8），可以发现东部地区对科普新态势的关注度最高，中部地区次之，最后是西部地区。从东部地区的角度来看，尽管科普产业能够发挥市场优势，进而推动科普的发展（7次），但是科普产业界定难（2次）和配套政策缺乏（5次）的问题显著，因此该指标是否可以纳入核心指标体系有待商榷；企业科普活动的效力因概念模糊（1次）、数据统计困难（4次），因此不适合纳入该体系中；信息化科普资源综合平台的数量这一指标较多依附于“科普中国”（5次），因此推动“科普中国”的落地与本地化应用至关重要；依托网络平台开展的科普的辐射人次由于数据可考性高（1次）、数据认可度也较高（3次），因此可以纳入核心指标体系中。

从中部地区来看，科普产业基础薄弱（2次）、概念界定困难（2次）且配套政策缺乏（2次），因此该指标不适合评估中部地区的科普工作；企业科普活动由于基础薄弱（1次）且企业数据较难统计（2次），因此也不适合；信息化科普资源综合平台的着力点在于推动本地科普与“科普中国”的融合（4次）；依托网络平台开展的科普的辐射人次由于数据可考性高（5次），因此该指标也可以纳入核心指标体系中。从西部地区来看，信息化科普资源综合平台的数量受制于地区差异（3次），但是依附“科普中国”这一综合资源平台对于本地的科普发展依旧具有重要意义（3次）；依托网络平台开展的科普的辐射人次由于数据可考性高（3次），因此可以纳入核心指标体系中。

3.7组织管理

根据矩阵编码的结果（见图9），可以发现中部地区对组织管理的关注度最高，其次是东部地区，西部地区对该指标的关注度最低。从东部地区的角度来看，奖励与表彰制度受到地区政策的限制（3次），因此无法纳入核心指标体系中；将科普工作列入党政领导的年度目标责任考核由于实现难度较大（4次），因此也无法纳入该体系中；完善领导与协调机制對于东部地区科普工作的落实（13次）来说具有重要意义。

从中部地区的角度来看，尽管奖励与表彰制度的政策限制大（4次），却能调动科普工作的积极性（6次），因此该指标可以纳入核心指标体系中；尽管将科普工作列入党政领导年度目标责任考核的实现难度较大（2次），却是中部地区科普工作顺利开展的重要保障（13次）；领导与协调机制的完善对于促进科普工作的落实（3次）具有重要意义，因此该指标适合纳入核心指标体系中；尽管制定年度计划或规划的主体对于该规划的效力有一定程度的影响（2次），却具有较强的操作性（4次），因此也可以纳入该体系中。

从西部地区的角度来看，奖励与表彰能够调动科普工作的积极性（1次），而将科普工作列入党政领导年度目标责任考核的实现难度较大（2次），完善领导与协调机制能够促进科普工作的落实（2次），制定年度工作规划或计划具有操作性（1次）。因此，后两个指标可以纳入核心指标体系中。

3.8其他

根据矩阵编码的结果（见图10），可以发现东部地区对辅助性因素的关注度最高，中部地区和西部地区对该指标的关注度较低。从东部地区的角度来看，定性案例评估能够鼓励创新（2次），并且能够展现地方科普工作的特色（7次），因此可以纳入核心指标体系中；尽管公民科学素质水平增长率受制于地区发展水平（3次），但是数据的客观性强（6次）且数据认可度高（5次），因此也可以纳入核心指标体系中。

从中部地区来看，定性案例评估可以鼓励创新（3次），公民科学素质水平增长率虽然受制于地区发展水平（2次），但是数据的客观性强（2次）且认可度高（4次），因此可以纳入核心指标体系中。从西部地区来看，定性案例评估能够展现特色（5次）、鼓励创新（2次），公民科学素质水平增长率由于其数据客观性强（2次）和认可度高（3次），因此均可纳入核心指标体系中。

4结论与讨论

4.1我国东部、中部和西部科普工作评估核心指标体系

根据矩阵编码的结果，提出三套分别适用于东部、中部和西部地区的科普工作评估核心指标体系（见表3）。在评估东部地区的科普工作时，人均科普经费、科技志愿者数量、“科普中国”信息员数量、基层科普设施或场地数量、科普场馆数量、科普基地数量、特色品牌科普活动的效力、出版科普图书册数、信息化科普资源综合平台数量、依托网络平台开展科普的辐射人次、领导与协调机制、定性案例评估、公民科学素质水平增长率等可以作为评估科普工作的核心指标体系，面向社会开放的高校和科研院所等的数量、科普产业规模、科普新媒体数量以及制定年度工作计划或规划这4个指标是否能够纳入核心指标体系中有待商榷。

在评估中部地区的科普工作时，人均科普经费、科技志愿者数量、基层科普设施或场地数量、科普场馆数量、科普基地数量、面向社会开放的高校和科研院所等的数量、三类传统科普活动的效力、特色品牌科普活动的效力、科普新媒体数量、信息化科普资源综合平台数量、依托网络平台开展的科普的辐射人次、奖励与表彰制度、科普工作列入黨政领导年度目标责任考核、领导与协调机制、制定年度计划或规划、定性案例评估、公民科学素质水平增长率等可以作为评估科普工作的核心指标体系，“科普中国”信息员的数量是否能够纳入核心指标体系中有待商榷。

在评估西部地区的科普工作时，人均科普经费、科技志愿者数量、“科普中国”信息员数量、基层科普设施或场地数量、科普场馆数量、科普基地数量、面向社会开放的高校和科研院所等的数量、特色品牌科普活动的效力、依托网络平台开展的科普的辐射人次、领导与协调机制、制定年度计划或规划、定性案例评估、公民科学素质水平增长率等可以作为评估科普工作的核心指标体系，信息化科普资源综合平台数量是否能够纳入核心指标体系中有待商榷。

4.2研究不足与展望

本研究通过对省级科协科普管理人员的访谈和分析，针对东部、中部和西部地区尝试性地提出了三套省级（域）科普工作评估核心指标体系，但是部分指标在实际应用中仍有可能面临一些问题。一方面是由于访谈对象在所在区域的代表性问题；另一方面是由于本次访谈对象主要集中于省级科协部门，而省级（域）科普工作涉及省内党政多个部门。希望今后能有相关研究在一些省（自治区、直辖市）开展试点评估，不断完善核心指标体系，也希望在未来的研究中将访谈对象扩大到科技、教育、农业等与科普密切相关的部门，不断丰富和完善省级（域）科普工作评价核心指标体系。

参考文献

姚琳. 河北省科普效果分析与评价研究[D]. 石家庄：河北科技大学，2009.

胡萌，朱安红. 江西省科普效果指标体系及综合评价研究[J]. 科技广场，2012（12）：21-24.

杜彤. 湖北省科普工作实施效果评价研究[D]. 武汉：华中师范大学，2017.

林崇德，杨治良， 黄希庭. 心理学大辞典[M]. 上海：上海教育出版社，2003.

Rubin R B，Rubin A M，Peel L J. 传播研究方法[M]. 黄晓兰，译. 北京：华夏出版社，2000.

袁方. 社会研究方法教程[M]. 北京：北京大学出版社，1997.

（编辑  颜燕 袁博）