我国护理期刊学术影响力评价指标的研究

王 丽,韩世范,程金莲,孙玉梅,王益锵

我国护理期刊学术影响力评价指标的研究

王 丽,韩世范,程金莲,孙玉梅,王益锵

[目的]结合自然科学期刊及社会科学期刊评价指标体系与评价方法,探索一个适合于护理期刊的评价指标体系。[方法]选择我国10个省市高校图书馆领域、护理期刊编辑领域及护理学科领域专家24名为研究对象,采用文献研究法、德尔菲法、层次分析法及数理统计方法构建护理期刊学术影响力评价指标体系。[结果]经过两轮专家咨询,最终确定评价指标为3个一级指标、8个二级指标。一级指标的权重分别为期刊引用指标(0.730 6)、期刊来源指标(0.188 4)、网络传播指标(0.081 0);二级指标组合权重按权重大小排序,依次为总被引频次(0.361 6)、影响因子(0.227 3)、来源文献量(0.1118)、他引总引比(0.097 1)、平均引文数(0.047 0)、高被引论文数(0.044 6)、地区分布数(0.029 6)、Web下载量(0.081 0)。各级指标权重均满足一致性检验,所得权重系数符合逻辑。[结论]本研究构建的指标体系适用于护理期刊的评价,且体现了护理专业的特色。

护理期刊;学术影响力;期刊评价;评价指标体系;权重

近年来,随着学术论文功能的凸显,期刊评价成果被广泛运用于职称评定、研究生毕业考核等方面,随着学术期刊功能的拓展、异化,导致各领域对期刊及期刊评价的高度关注[1]。国内外期刊评价方式主要有两种:同行评议与文献计量学方法,由于同行评议易受人为因素干扰,因此定量评价因其可行性与客观性成为我国主要的期刊评价方法[2]。随着期刊评价研究工作的逐步深入,我国相继建立了各种期刊评价指标体系,大致分为两类,即评价自然科学期刊的指标体系与评价人文社会科学期刊的指标体系,如评价自然科学期刊的《中国科技期刊引证报告》和《中国学术期刊综合引证报告》;评价人文社会科学期刊的《人文社会科学核心期刊要览》和《中文社会科学引文索引》以及评价全部中文学术期刊的《中文核心期刊要目总览》。各评价体系在指标选取及指标权重赋值方面,一般仅限于期刊管理或图书情报而缺乏各学科或专业领域专家调查,由此确定的指标及指标权重不能有效体现学科或专业之间的差别[3]。护理学科具有自然科学与社会科学相互渗透的特性[4],有必要结合护理期刊的特点,对护理期刊评价进行独立研究。目前,国内期刊评价的趋势是由先前在社会科学或自然科学分类下测定期刊,向仅在某一学科领域中测定期刊发展,最终将发展到在某一特定专业下测定期刊,即应分类分学科评价[5]。从国外近几年期刊评价的研究与实践来看,分专业进行的评价也是其主流[6]。可见,针对护理期刊评价进行研究是顺应期刊评价发展趋势的。如何结合护理期刊的特点客观地对其进行评价,是护理期刊自身建设与发展需要研究的重要内容。

1 对象与方法

1.1 对象 本研究选择来自高校图书馆领域、护理期刊编辑领域、护理学科领域专家为研究对象,共24名。专家分布于上海、河北、辽宁、宁夏、山西、山东、吉林、江苏、黑龙江及湖北10个省、自治区、直辖市。专家的入选标准为:①具备中级以上职称;②在本课题相关领域有10年以上的工作经验;③对期刊评价研究比较熟悉;④对本研究感兴趣,能保证在课题研究的时间内持续参加本研究的两轮咨询。专家基本情况见表1。

表1 专家基本情况(n=24)

1.2 方法

1.2.1 研究方法

1.2.1.1 文献研究法 通过文献研究法对现行期刊评价体系及方法进行比较、分析,探索组成护理期刊学术影响力评价指标体系的基本内容,初步拟定护理期刊学术影响力评价指标框架。

1.2.1.2 德尔菲法 德尔菲法是通过匿名方式广泛征求专家意见,经几轮反复信息反馈,经统计处理,得到专家意见逐渐趋同的预测方法。本研究通过两轮专家咨询,对指标进行增加、修订或删除、反复论证相关内容,使专家意见逐步趋于一致,最终确定护理期刊学术影响力评价指标。

1.2.1.3 层次分析法 层次分析法是由美国运筹学家T.L.Saaty教授于20世纪70年代初期提出的一种用于决策和规划的新方法。它是将复杂的决策问题按照过程把各种因素进行分解,形成层次化的分析模型,通过因素间的两两比较、一致性检验,确定各决策因素的重要性和权重或相对优劣的排序值,从而对多目标决策过程提供决策支持[7]。本研究运用层次分析法确定了各指标的权重。

1.2.1.4 统计学方法 相关数据用Office 2003 Excel和SPSS17.0统计软件处理。对咨询专家的组成结构进行统计描述,运用专家意见集中程度、协调程度、积极系数和权威系数等指标,对专家咨询的可靠性和代表性进行检验。

1.2.2 指标体系设计原则 在遵循科技期刊评价科学性、系统性、可测性等基本原则的前提下,针对护理期刊评价,在指标体系设计时还特别遵循以下3项原则:①坚持实践是检验真理的唯一标准,指标选取主要以反映期刊发表的研究成果被他人重视、认可和引用的情况为核心;②指标要体现护理学科特色,指标选取结合护理期刊的特点及实际情况;③客观性原则,评价指标全部采用量化指标,去除易受人为因素干扰的指标,最大限度保证评价的客观性。

2 结果

2.1 专家咨询结果可靠性分析

2.1.1 专家积极程度 本研究进行了两轮专家咨询,第一轮专家咨询,发放问卷30份,收回问卷26份,回收率为86.67%,有效问卷为25份,有效率为96.15%;第二轮专家咨询发放问卷25份,回收24份,回收率为96.00%,有效问卷24份,有效回收率为100.00%,说明专家参与本研究的积极性较高。

2.1.2 专家权威程度 专家权威程度(Cr)由专家对研究内容的判断依据(Ca)和熟悉程度(Cs)决定。本研究依据曾光[8]建议的专家对问题判断依据的赋值标准,得到判断系数为0.924,专家对本研究的熟悉程度为0.684,权威系数为0.804,一般认为权威程度系数≥0.70为可接受的信度,说明专家在本研究领域权威程度较高。

2.1.3 专家协调程度 通过计算Kendall协调系数(W)了解专家对研究指标的协调程度。协调系数在0～1之间,协调系数越大,专家协调性越好。本研究中两轮专家咨询的协调系数分别为0.408,0.356,经统计学检验差异均有统计学意义(P＜0.001),说明两轮专家意见协调程度都比较好,结果可取。本研究两轮专家咨询的协调系数及其显著性检验结果见表2。

表2 两轮专家咨询的协调系数及其显著性检验

2.2 护理期刊学术影响力评价指标的确定 通过两轮专家咨询,在专家评分的基础上,满足重要性赋值均数＞3.5,满分频率＞0.2,变异系数＜0.25的标准[9],结合专家意见,删除了即年指标、引用刊数、被引半衰期、H指数、扩散因子、开放因子、文献选出率、引用半衰期、机构分布数、平均作者数、基金论文比、Web下载率、浏览量13项指标,增加了“高被引论文数”指标,最终确定一级指标3个、二级指标8个。

2.3 护理期刊学术影响力评价指标权重的确定 本研究采用Saaty 1～9标度评分法,根据第二轮专家咨询问卷中专家对各指标的重要性赋值均数确定了关于指标间相对重要性的判断矩阵,运用层次分析法分别计算出一级指标的权重及二级指标相对于一级指标的权重,利用概率乘法计算出各指标的组合权重值。通过对指标的判断矩阵进行一致性检验,各判断矩阵一致性比率均小于0.10,排序结果具有满意的一致性,说明权重系数可接受。各指标权重设置结果见表3。

表3 护理期刊学术影响力评价指标及指标权重设置结果

3 讨论

近年来,随着我国护理学科的发展,护理期刊逐步形成了具有一定规模、基本能满足护理人员成果发表和学术交流需要的护理学术期刊体系,护理学术期刊尤其是护理核心期刊更是受到护理学科领域专业人员的高度关注。目前我国评价核心期刊采用的部分指标如被摘量、被摘率、被索量、获奖或被重要检索工具收录、基金论文比等,对于护理期刊评价存在一定程度的缺陷。其中,文摘量是指期刊发表的原创论文被文摘期刊进行选择、评价、撰写文摘或收录原文摘的数量。文摘率则是指某刊在某年度在某学科内被摘的篇(次)数与该刊在某年度刊载该学科论文的篇数之比。它们都是评价人文社会期刊的指标,论文或期刊被摘量大、被摘率高,一般说来,影响力较大、质量较高[10],但是目前我国权威的护理文摘还比较少,因此被摘量、被摘率不适用于护理期刊的评价。国际著名检索系统及国内重要检索系统收录数是表明期刊学术水平的外延性指标,我国护理期刊在国外检索系统中显示率极低,将国内外检索系统收录指标作为评价护理期刊的指标意义不大。论文相关研究成果获奖数指论文发表后,相关的研究成果获省、部级以上国家设立的自然科学奖、科技进步奖、发明奖、星火奖四大奖的数量和等级。基金项目论文比指在给定时间内,省、部级以上重大项目和基金项目的论文所占期刊论文总数的比[11]。但是基金申请及论文获奖等易受人为活动的不正常介入,容易诱导学术不端现象的产生,导致评价结果的不公正,因此不应强调基金论文比及论文获奖情况对于护理期刊的评价作用。

本研究针对护理期刊对现行期刊评价存在的不适用性,本着“同类相聚、同级相比”的原则,在借鉴自然科学期刊评价指标体系及人文社会科学期刊评价指标体系的基础上,结合护理学术期刊的特点及现状,对护理期刊的评价进行了独立研究。通过两轮专家咨询,综合高校图书馆、护理期刊编辑及护理学科等多个领域专家的意见,在当前期刊评价指标的基础上提炼出总被引频次、影响因子、他引总引比、高被引论文数、来源文献量、平均引文数、地区分布数及Web下载量8项指标。《中国科技期刊引证报告》采用总被引频次、影响因子、他引总引比、基金论文比、平均引文数及开放因子6项指标评估核心期刊。本研究构建的指标体系在其基础上增加了来源文献量、高被引论文数、地区分布数和Web下载量4项指标,删除了基金论文比指标。相较于上述评价指标体系,本体系在突出护理期刊“质”的评价效用的基础上,同时增加了对护理期刊“量”的评价,在一定程度上可以控制部分期刊为提高影响因子故意减少发文量的现象,更好地发挥护理期刊作为护理学术成果传播载体的功能。高被引论文是期刊之所以高质量、高水平的主要贡献者,它们构成了高质量、高水平期刊的核心内容[12],本研究创新性地将高被引论文数引入护理期刊评价中,它可以反映被评价期刊的理论性、实用性及其生命力强弱。另外,增加地区分布指标可以反映期刊的影响广度,期刊论文稿源的分布涉及地区越广,说明期刊的开放性越强,影响力越大。本体系采用的指标全部为定量指标,且去除了易受人为因素干扰的指标,最大限度保证了评价的客观性、准确性。当前期刊评价研究的新特点、新趋势是信息技术与网络技术的发展和广泛应用,因此引入Web下载量指标反映网络环境下期刊的扩散程度和利用率,弥补了被摘量、被索量等传统期刊评价指标的不足,并且使指标体系融合了社会科学期刊评价的特点。

综上所述,本研究构建的期刊评价指标体系适用于护理期刊的评价,在总体上具有一定的科学合理性,既体现了专业性,又融入了护理学科特色,能够较公平和客观地对护理期刊进行评价。本研究已取得了阶段性的研究成果,下一步拟应用构建的指标体系对我国护理期刊进行综合评价分析。

[1] 姜思锯,安秀敏.我国学术期刊评价体系的异同[J].中国科技期刊研究,2006,17(3):419- 422.

[2] 李爱群,黄玉舫,邱均平.中国学术期刊文献计量评价体系的客观性与评价结果的准确性探讨[J].中国科技期刊研究,2009,20(4): 612.

[3] 魏晓峰.国内学术期刊质量评价指标体系构建探索与实证研究[J].图书馆理论与实践,2013(12):53.

[4] 郁晓路,仇瑶琴,袁长蓉,等.护理学术期刊质量评价现状[J].中华医学图书情报杂志,2011,20(8):72.

[5] 王健东.关于完善期刊评价体系的思考[J].出版发行研究,2013 (5):81.

[6] 黄显堂.学术期刊评价的类型及其利益相关群体[J].情报资料工作,2009(2):88-92.

[7] 周树迪,范莉,冯泽永,等.运用层次分析法确定社区卫生服务的绩效考核指标体系及其权重[J].社区医学杂志,2009(6):11-13.

[8] 曾光.现代流行病学方法与应用[M].北京:北京协和医科大学出版社,1994:256- 258.

[9] 关勋强,李瑞兴,刘运成.医学研究生教育评价研究与实践[M].北京:军事医学科学出版社,2008:82.

[10] 叶继元,朱强.论文评价与期刊评价——兼及核心期刊的概念[J].学术界,2001(3):88.

[11] 安静,夏旭,李海燕.科技期刊质量评价指标体系研究[J].中华医学科研管理杂志,2009,22(3):151-154.

[12] 金碧辉.高论文量与低引文量带给我们的思考——关于科技期刊评价的价值导向与定量指标[J].科学学与科学技术管理,2004 (3):11.

Study on evaluation indexes of nursing journals academic influence

Wang Li,Han Shifan,Cheng Jinlian,et al
(Shanxi Medical University,Shanxi 030001 China)

Objective:To explore a suitable evaluation system of nursing journals combined with Natural science and social science journals evaluation system and method.Methods:A total of 24 experts in the library field, nursing journals field and nursing disciplines field in universities in 10 provinces in China were selected as the research objects,using literature research,Delphi,AHP and mathematical statistics were used for construction of evaluation indexes of nursing journals academic influence.Results:After two rounds of expert consultation,evaluation indexes were determined includingthree first- level indicators,eight secondary indicators.Right- level index weights were Journal Citation Index(0.730 6),periodicals source index(0.188 4),the network spread index(0.081 0);secondary indexes combination weights were weighted more heavily small order,followed by total citations(0.361 6),the impact factor(0.227 3),the amount of source documents(0.1118),he cited overall lead ratio(0.097 1),the average number of citations(0.047 0),the number of highly cited papers(0.044 6), the number of distribution areas(0.029 6),Web downloads(0.081 0).All levels of index weight were met consistency test,the resultant weighting coefficient was logical.Conclusion:The constructed evaluation system in this study is suitable for evaluation of nursing journals,and reflects the characteristics of the nursing profession.

nursing journals;academic influence;journal evaluation;evaluation system;weight

R47

A

10.3969/j.issn.1009 6493.2015.16.009

1009 6493(2015)06A 1948 04

2015- 04- 16;

2015- 05- 20)

(本文编辑 孙玉梅)

山西省卫生厅科研课题,编号:201201031。

王丽,硕士研究生在读,单位:030001,山西医科大学;韩世范(通讯作者)、程金莲、孙玉梅单位:030001,山西医科大学第一医院;王益锵单位:030012,山西职工医学院。