四川省医药卫生社会公益类第三方科技成果评价指标体系的信效度研究*

李 倩，陈志余，曹玉莹，郭逸静，陈 果，覃雪静，魏 巍△

(1.四川省卫生健康政策和医学情报研究所，成都 610041；2.四川大学华西公共卫生学院/华西第四医院，成都 610041)

科技成果评价指受托方根据委托方明确的目的，按照规定的原则、程序和标准，运用科学、可行的方法对科学技术活动及与科学技术活动相关的事项所进行的论证、评审、评议、评估、验收等活动[1]。四川省科学技术厅2017年7月印发《四川省科技成果评价改革试点方案》的通知，指出“为适应新形势新要求，必须加紧改进和规范科技成果评价，通过采取先行试点、总结经验、稳步推进的工作方式，积极探索科学明晰、规范高效、客观公正的科技成果评价指标、评价规范和评价机构，逐步建立和完善适应社会主义市场经济和科技发展要求的科技成果评价体系。”[2]并授予四川省卫生健康政策和医学情报研究所、四川西部国际技术转移中心、成都生产力促进中心等10家单位为试点单位。

作为四川省内10家试点单位中唯一的一家医疗卫生机构，四川省卫生健康政策和医学情报研究所组织专家，根据分类评价的原则，针对医药卫生类科技成果的特点，建立了四川省医药卫生社会公益类、成果推广类、技术开发类、软科学类4套第三方科技成果评价指标体系，其中社会公益类评价指标体系包括4个维度11个条目。本研究旨在对已建立的四川省医药卫生社会公益类第三方科技成果评价指标体系的信度与效度进行验证，现报道如下。

1 资料与方法

1.1 一般资料

采用随机数字表法，在四川省卫生健康政策和医学情报研究所2019年完成的医药卫生社会公益类第三方科技成果评价项目中抽取9项，对参与项目评审的63名专家的63份量表进行统计分析。

1.2 方法

1.2.1研究方法

采用随机数字表法分别从9项社会公益类项目的评审专家中各抽取3名，共计27名专家，邀请其对所参与的项目再次进行测评打分，对再次测评的27份量表进行统计分析，以考察量表的重测信度。根据国际量表设计原则[3],量表中的1个条目至少对应5～10个样本量，量表共有11个条目，本次研究共统计专家测评量表90份，基本满足统计学的经验做法。

1.2.2研究工具

前期综合运用文献荟萃分析、专题小组讨论、小型专家会议、专家咨询法、层次分析法等研究方法建立了四川省医药卫生社会公益类第三方科技成果评价指标体系用于评价医药卫生社会公益类成果，包括4个维度：科技水平(4条目)、推广应用(4条目)、成果效益(2条目)、成果产出(1条目)，维度分等于相应条目分之和，量表分等于相应维度分之和。各条目具体得分按照相关权重计算，量表总分为100分，分数越高，表明项目的质量越高。

1.3 统计学处理

2 结 果

2.1 信度检验结果

2.1.1内部一致性检验

将63名专家的测评结果以各条目得分整理后纳入统计分析。内部一致性检验结果显示，指标体系的Cronbach′s α系数为0.957，当删除任意条目后，Cronbach′s α系数波动于0.949～0.961。

2.1.2重测信度

将27名专家的首次测评结果和重测结果按照总得分、各维度得分进行整理，结果显示两次测评的总得分及两次测评的各维度得分比较，差异无统计学意义(P>0.05)。相关性分析显示，相关系数r最高为成果产出0.983，最低为成果效益0.749，两次得分的相关程度高，见表1。

表1 总得分及各维度重测信度检验结果分)

2.2 效度检验结果

2.2.1内容效度

将63名专家的测评结果以各维度得分整理后纳入统计分析，结果显示各维度得分与总得分之间的相关系数为0.815～0.971；各维度之间的相关系数为0.631～0.830(P<0.05)，见表2。

表2 社会公益类成果评价总得分与各维度得分之间的相关系数(r)

2.2.2结构效度

将27名专家再次测评的结果以各条目得分整理后纳入统计分析，结果显示KMO=0.916，Bartlett球形度检验P<0.001，适合因子分析。采用主成分分析方法，固定公因子数量为4，累积方差贡献率为91.223%。采用最大方差法正交旋转，经13次迭代后，各条目在其对应的因子上载荷在0.500～0.879，见表3。

表3 社会公益类成果评价旋转后各条目因子载荷

3 讨 论

3.1 指标体系具有良好的信度

信度指测量结果的可靠性、精确性、稳定性和一致性[4]。目前评价信度的方法较多，但主要采用内部一致性Cronbach′s α系数和重测信度[5]。Cronbach′s α系数反映测量指标的各组成部分与整体间的一致性[6]。通常Cronbach′s α系数大于0.8表明量表信度好[7-8]。四川省医药卫生社会公益类第三方科技成果评价指标体系的Cronbach′s α系数为0.957，当删除任意条目后Cronbach′s α系数波动范围为0.949～0.961，表明评价指标内部一致性非常好且稳定性非常高。

重测信度是指同一量表对同一研究对象先后测量两次，以评价两次测量的相关性，反映评测跨越时间的稳定性和一致性[9]。重测信度用相关系数r来衡量,一般要求达到0.4以上[10]。两次测评的总得分及两次测评的各维度得分的相关系数最高为0.983，最低为0.749。配对t检验显示两次测评比较，差异无统计学意义(P<0.05)。证实两次得分的相关程度高，评价指标具有跨时间的稳定性与一致性。

3.2 指标体系具有良好的效度

效度是指量表的有效性和准确性[11]，本研究的效度评价分为内容效度和结构效度。内容效度是指条目样本对所要测量概念的反映程度[12]，内容效度分析采用定量的方法进行分析，使用单项与总和相关分析法获得评价结果[13]，计算每个维度得分与总得分的相关系数。分析结果显示，各维度得分与总得分之间的相关系数均较高，说明评价指标的内容关联性较强，内容效度较好。

结构效度是指实验与理论之间的一致性，即实验是否真正测量到假设的理论[14]，采用因子分析法进行分析[15]。一般来说，公因子累计方差贡献率应大于40%，且每个条目在其公因子上的载荷值大于0.4，公因子就能很好地解释条目[16]。本研究中公因子的累计方差贡献率为91.223%，各条目在其对应的因子上载荷为0.500～0.879，均符合上述两项条件。各条目按照因子分析归类后归为4个公因子，分别为成果产出、推广应用、科技水平、成果效益，各公因子均可获得专业上的解释，并且各公因子解释内容与预先设计的指标体系结构相符。提示评价指标体系结构与预先设计的结构相符，具有较好的结构效度。

综上所述，四川省医药卫生社会公益类第三方科技成果指标体系具有较好的信度和效度，说明指标体系所测结果既具有较好的稳定性又有较强的真实性，为该类科技成果提供了标准化的测评工具。由于目前受理的项目有限，今后将进一步在实践中收集统计数据，对指标进行进一步的调整、验证。