● 确定评价指标
根据评价目的、种类和内容以及传播方式来确定评价指标。评价指标体系包括形成评价、过程评价、效果评价。指标要有敏感性、特异性和可获得性。
评估内容包括参与单位个数、参与人数、传播材料发放数量、信息可接受性、活动宣传报道情况、活动知晓率、成本效益等。
例如举办了一次传播活动,评价时可以观察群众的关注度和参与度;可通过现场问卷了解群众对本次活动内容、形式是否感兴趣,对活动组织是否满意,对传播的知识是否有印象;活动结束后媒体和网络报道的数量、内容、阅读量、转载量等可作为活动影响力的评价指标等。
● 确定评价方法
根据传播目的、传播方式等确定评价方法,通过定性或定量的方法来收集相关数据。
评估常用的数据收集方法有定量和定性两种,通常情况下会综合使用两种方法。
定量方法侧重于使用量化的数据描述、解释或预测现象,常用的定量方法包括问卷调查、健康指标测量等。
定性方法侧重解释或说明现象发生的原因,常用的定性方法包括查阅工作记录、文件资料、观察法、个别访谈、小组讨论等。
● 开展效果评价
制订健康传播效果评价方案,包括评价背景、目的、对象、指标、方法、时间安排、组织分工和质量控制等内容。评价须在相关理论的指导下开展,客观反映活动的直接效果和社会影响。
● 撰写评价报告
根据评价目的、评价指标,对定性和定量数据进行分析并撰写报告。项目类型不同,评价报告所要求的内容和格式也不完全一致。
(一)数据预处理
数据库预处理包括三项主要工作:一是进行数据库清理,二是进行数据的编码、赋值,三是检验数据分布是否符合预先拟定的数据统计、特别是参数检验条件。
在数据库清理中,首先要评估数据录入的准确性。可以通过统计软件程序审查数据是否符合逻辑,是否存在异常值,是否存在缺失值以及缺失数据的多少。确定数据剔除标准,按标准剔除不符合要求的样本。
对于问卷调查,通常需对数据进行编码和赋值。需要编制编码与赋值指南,逐一说明每个条目的编码和赋值情况,便于后续进行数据分析时,团队成员对于条目的编码、赋值保持一致。
大多数参数检验对自变量与因变量之间的关系、变量分布、方差齐性、变量间共线性有一定的要求,因此,需要在数据预处理阶段进行相关分析判断,以确定现有数据是否符合预先确定的统计要求。如果达不到要求,则需要根据数据的具体特点,选择适宜的统计分析方法。
(二)定性分析
健康教育中常用的定性研究方法包括专题小组讨论、个人访谈、参与式观察、文献研究等。使用定性方法分析数据有助于深入理解所关注的问题。
定性分析的样本量通常较小,包括以下3个步骤:
1. 简化数据:通过对数据的选择、聚焦、浓缩和转换,确定“哪些数据能够最好地回答评估问题”。
2. 展示数据:通过图表、矩阵或文本等形式,展示定性调查的结果。具体做法是首先对文本(或图像、视频等)中包含相同信息或彼此关联的段落进行编码或标记、归类并对所选段落中的相同点进行进一步解释,最终形成不同形式的展示。
3. 得出结论及验证:重新审查数据以验证、核实或确认所确定的主题和展示方式。
(三)定量分析
在健康教育中,常见的定量分析方法包括描述性统计分析和推断性统计分析,根据评估目的选择合适的统计方法和统计指标。
1. 描述性统计方法:使用描述性统计方法分析数据,目的是阐述研究对象的特征、健康问题在特定人群中的分布等,通常用绝对数、百分比、率、均数等表示。
2. 推断性统计方法:推断性统计方法用于解释现象,在健康教育中一般用于解释观察指标受哪些因素的影响、健康教育干预效果等。常用方法有3种:
(1)t检验与方差分析:t检验(student's t test,亦称student t检验)用于比较两个样本均数是否存在差异,如比较某一人群干预前后健康知识得分的变化、体重的变化;方差分析用于两组以上人群指标值的差异比较,如不同文化程度(大学及以上、高中、初中级以下)居民的健康知识得分是否存在差异等。
(2)卡方检验:用于比较两个或两个以上样本构成是否存在差异,如干预前后人群的吸烟率是否发生改变,超重肥胖比例是否发生改变等。
(3)回归分析:多元线性回归用于因变量为连续变量时,分析因变量的影响因素,如人群体重变化的影响因素;逻辑回归(logistic regression)用于因变量为分类变量时,分析因变量的影响因素,如人群吸烟的影响因素。
行为的影响因素是多层面、多因素的,因此,多元回归分析更能科学地解释健康教育综合干预的效果。
分析结果可以通过数字、表格、条图、饼图、线图或地图等形式进行展示。