基于Z指数模型的药学科研人员代表作评析

丁佐奇，李芙蓉，孙劲楠，郝海平

（1中国药科大学理学院，南京210009；2中国药科大学《中国天然药物》编辑部，南京210009；3中国药科大学药学院，南京210009）

目前，科研评价活动特别是科研论文往往存在“重数量、轻质量”的现象，与新时代科技发展的目标和内涵不相适应。为了扭转这种局面，国家陆续出台了改革意见和通知，2018年国务院办公厅印发了《关于深化项目评审、人才评价、机构评估改革的意见》［1］，2020年科技部印发了《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》的通知［2］，教育部、科技部印发《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》的通知［3］，要求高等学校规范各类评价工作中SCI论文相关指标的使用，鼓励定性与定量相结合的综合评价方式，实行代表作评价，重点阐述代表性成果的创新点和意义。可见，在今后的科研评价活动中，代表作制度将发挥更加重要的作用。

在改革政策指导下，高校教授职称评审实行代表作评价制度已达成共识，建立合理的评价机制，通过评价机制的导向作用，建立良好的学术环境，促使学术研究回归本位［4］。然而，想要合理评价代表作，首先要选取合适的代表作。

现今被广泛使用的评价方法主要是同行评议法和基于指标体系的定量评价，同行评议有着实施效率低、成本高的局限性，而定量评价主要依据的是论文发表的数量、被引量及发文期刊的影响因子（impact factor，IF）等客观数据，实施效率较高［5］。合理利用定量指标，建立一套筛选标准与评价方式，能够大大提高前期筛选评估的效率，为同行评审提供参考与辅助，推进代表作制度的落实。除了根据被引频次筛选代表作，针对学科领域之间的差异，有学者提出根据论文被引频次在所属学科所处的百分位数来进行评价。应用较广的是Bornmann等［6］提出的PR6指标，即所有在同一年发表的、具有相同文献类型和属于同一领域（由一个以学科为导向的数据库所定义）的论文，被分为6个百分位等级，前1%、5%、10%、25%、50%和后50%。后续有学者根据PR6改进提出PR8分值法，增加了0.01%和0.1%两个百分位等级，进行代表作筛选［7］。该方法可以有效减少因学科领域的差异带来的引用行为的差异，并且有效避免采用一维指标带来的局限性。在此基础上，如果能够将反映学术论文的学术影响的若干项指标综合应用，则能够较为客观地选取代表作。如将论文所属期刊分区，论文的学科领域百分比（percentile in subject area，PSA）和学科规范化引文影响力（category normalized citation impact，CNCI）等指标综合起来。Q1分区是根据不同学科期刊影响因子划分的，一方面能够区分学科，另一方面取Q1分区是取排名前25%的期刊，是相对大范围的筛选。同时，PSA作为与CNCI密切相关的指标，在CNCI得到广泛认可基础上，采用PSA能够更方便地划定不同标准线，例如高层次的代表作选取可以选择排名前10%或者前5%的论文，通过灵活调整PSA的值对论文数量进行调整，针对不同样本和不同筛选需求，都可以确定一个具体可行的筛选标准。最后，加入衡量施引文献影响力的指标施引文献CNCI，使得筛选标准更加全面。

h指数（h-index）［8］作为常见的科学计量指标在实际应用中获得了较大的成功，但也存在着其计算方式本身带来的局限性［9-10］，如不能反映科研人员最新的科研成果和最高被引文献的价值［11-12］。许多学者针对h指数的缺陷提出了不同的方法来改进h指数，包括Hl指数［13］（Hl-index）、G指数［14］（G-index）等。Prathap在h指数的基础上提出了p指数［15］，并对其进行优化提出了Z指数［16］。Z指数首先将引文的分布情况作为一项指标引入评价体系中，使得Z指数可以在一定程度上更好地反映某一科研人员的总体科研水平。将代表作制度引入Z指数，在实际应用中具有较大的研究前景。

因此，本研究提出了以下问题作为研究的重点：相较于较为成熟的h指数核心法和representa‐tive法，本研究提出的Q1-PSA-CNCI法在代表作选取上有何优势？3种方法所得到的代表作在引入Z指数后的表现如何？本研究以C大学近3年的职称评审文章及评审结果为基础，选取药学院、药物科学研究院以及中药学院教授的论文，采用目前常用的representative方法和h指数核心法筛选其代表作，并对结果进行分析比较，提出一种更为合理的、具有一定普遍性的代表作选取方法即学术认可度法（Q1-PSA-CNCI），并将不同方法筛选得到的代表作引入到Z指数中，为今后代表作制度的筛选和评价提供依据。

1 研究对象与方法

1.1 研究对象

1.1.1 职称评审论文 2017－2019年C大学各学院参与职称评审的所有文章，用以分析职称评审论文的文献计量特征。

1.1.2 Z指数评价 C大学药学院、中药学院和药物科学院2017－2019年参与职称评审的52位教授以第一作者或通信作者身份发表的论文，发表时间限定为2008年1月1日至评审年。采取不同方法筛选，代入Z指数，对不同评审级别教授的不同Z指数进行分析。

以职称申报情况分布看，2019年申报正高级专业技术职务（以下简称“正高职称”）有6位、副高级专业技术职务（以下简称“副高职称”）有7位，2018年申报正高职称有14位、副高职称有8位，2017年申报正高职称有6位、副高职称有11位。

1.2 研究方法

1.2.1 检索方法 在InCites数据库中，以2008年—评审年为分析时间段，以研究对象隶属机构为检索对象，研究方向为Web of Science（WoS）学科分类体系，通信作者和第一作者为标准，再以“隶属于实体的研究人员”选项获得该机构的所有科研人员信息，分别以各教授姓名为检索对象，获取其以第一作者/通信作者身份发表的所有论文以及其被引频次。被引频次分别保留截止到评审年和2020年10月31日。

汇总整理相关数据后，形成了包括52位教授提供的参与职称评审的340篇论文和830篇以第一作者/通信作者身份筛选出的论文。

1.2.2 代表作筛选 Representative法［17］：将目标作者的所有论文按被引数降序排列，并将各篇论文按照顺序记为正整数编号n（1≤n≤N），每篇文章的被引数记为Cn，有Cn＞Cn+1；然后，依次计算相邻两篇文章被引数的差值Δ（Δ=Cn-Cn+1）；最后找到所有差值中的最大值maxΔ，那么与此直接相关的第n篇及其之前的论文就是作者的代表作；h指数核心法：选择入选h指数的所有论文作为代表作；Q1-PSA-CNCI（X%）法：筛选发表期刊为Q1分区，PSA前X%，施引文献CNCI值较大的论文作为代表作。

1.2.3 Z指数计算 在获取了样本教授的所有第一作者或通信作者发表的论文后，按照计算公式分别得各人得分。Z指数的计算公式如式（1）所示［18］：

式中：C4是某一教授所发表的全部论文被引数之和的4次方；N是该教授的总发文量；是该教授所发表的全部论文的被引数的平方和。

Zh指数，表示用h指数核心法筛选出的某教授代表作的数据代入计算。

Zr指数，用representative方法筛选出的某教授代表作的数据代入计算。

Zs指数，各教授自己选取的用于职称评审的论文作为代表作，其数据代入计算。

Zq指数，用Q1-PSA-CNCI法选择出的某教授代表作的数据代入计算。

分析方法：使用SPSS软件进行描述性统计分析、正态分布检验、相关分析。对于不同学科定量指标之间的差异进行描述性统计分析；对职称论文各项定量指标值进行正态性检验；对定量指标与同行评审结果以及不同Z指数与不同职称级别之间的相关分析采用Spearman秩相关，检验水准α=0.05；对于不同Z指数之间相关性采用Person相关检验，检验水准α=0.05。

2 研究结果

2.1 代表作文献特征

2.1.1 期刊分布 对近3年C大学参与职称评审文章的期刊分布情况进行分析，共计340篇，其中328篇是以C大学为第一单位发表的。论文期刊分布情况如图1所示，其中75.6%的文章发表在Q1期刊上，85%的文章所属期刊影响因子在2~10，32篇发表在影响因子大于10的期刊上。

图1 代表作发表期刊分区（A）和期刊影响因子（B）

2.1.2 学科影响力 如图2-A所示，一半以上参与职称评审的论文CNCI值大于1，CNCI值在0.4~1.5分布密集。如图2-B所示，有5篇文章的引用量在学科内排名前百分之一，36篇排名前百分之五，大部分文章分布在前10%至30%。参与职称评审的论文主要集中在影响因子2~10的期刊上，在这个区间内，论文本身影响力差异较大，故期刊影响因子不能作为有效的单一筛选指标。与CNCI值的集中相比，学科领域百分比的分布更加分散，便于划定标准进行论文的筛选。

图2 代表作CNCI值（A）和学科领域百分比（B）

2.2 引证指标与同行评审关系

参与职称评审的论文多为近年发表的论文，被引周期短，本研究统计了出版年至次年引用及至评审年平均被引两个指标值。除了职称论文的CNCI值之外，论文影响力评价指标需要兼顾反映施引文献的质量，对于被引频次不足的论文，施引文献CNCI值能够在一定程度上弥补出版年的差异，将这些指标与同行评审结果进行相关分析［19］。同行专家定性评价与定量指标评价互为补充，研究目的不是为了建立二者的相关模型，而是利用同行评审结果找到具有概括性的评价指标，从而能够利用定量指标筛选代表作。

2.2.1 不同学科之间定量指标比较 选取C大学参与职称评审的论文分布较多的化学、临床医学、材料科学、药理学与毒理学4个学科，对不同学科之间定量指标的差异进行分析，结果如表1所示。除施引文献CNCI外，其他指标差异均有统计学意义。

表1 不同学科之间定量指标差异分析

2.2.2 论文同行评议结果与引证指标的关系考虑到学科之间差异，选取C大学参与职称评审的论文分布最多的ESI学科化学学科的论文定量指标与同行评审结果进行相关性分析。结果如表2所示，论文CNCI、至职称评审年的平均被引、施引文献CNCI与同行评审结果具有显著相关性；出版年至次年平均被引及期刊IF与同行评审结果不具有明显相关性。这也说明了目前以影响因子确定代表作的方法有失偏颇。在不区分学科的情况下，所有参与职称评审的论文的指标值与同行评审结果之间不具备统计意义上的相关性。定性评价与定量评价之间是互为补充的关系，不能互相取代。

表2 化学学科参与职称评审的论文定量指标与同行评审结果相关性分析

2.3 不同方法筛选代表作结果

选取具有代表性的药学院、中药学院、药物科学院近3年参与正高和副高职称评审的52位教授。分别用representative法、h指数核心法和本研究提出的Q1-PSA-CNCI法（所属期刊分区Q1，学科领域百分比，施引文献CNCI 3项综合指标）筛选代表作。

比较各教授发表论文以及用不同方法筛选出代表作的数量。结果如图3所示，申报正高职称的教授发表论文数的中位数是20，平均数为22，大部分发表论文数在15~25篇，申报副高职称的教授发表论文中位数是10，平均数为11，大部分发表论文数在8~13篇；申报正高职称的教授用h指数核心法筛选得到代表作的论文数中位数是7，平均数为8，大部分论文数在6~9篇，申报副高职称的教授用h指数筛选得到的论文中位数是4，平均数是5；用representative法筛选得到的申报正高职称的教授论文数除两位有2篇，两位有3篇之外，其余均为一篇，申报副高职称的教授则9位2篇，17位1篇。

图3 不同方法筛选代表作结果

由于representative法通常只选取出了被引量最高的论文，而仅一篇文章不能充分体现研究成果。h指数核心法选取得到的论文数量较多，起到的筛选作用不强。同时，序号22到38，评审年为2017年的论文被引频次到2020年时发生了变化，从而导致h指数核心法筛选得到的论文数变化较大，这也与大部分申报教授论文的被引频次在20之内有关，在被引频次偏低时，被引频次的增加对h指数影响较大。

h指数的计算方式决定了h指数核心法不适于筛选近年出版的论文，因为论文发表前几年的被引频次可能普遍较低，因此引用量的变动会影响h指数核心法的筛选结果。同时h指数核心法筛选论文必然会导致学术生涯较长的学者筛选得出更多的代表作，也更容易筛选得到发表较早的论文。考虑到代表作的选取一般为3~4篇，C大学职称论文评审时也是选取3篇代表作，从论文数量的角度来看，h指数核心法和representative法均不适合作为代表作的筛选方法。

根据C大学参与职称评审论文学科领域百分比的分布情况，选择了TOP 20%作为基准线进行筛选，使得大部分教授通过筛选能够得到4~5篇代表作，再结合Q1分区，最后取施引文献CNCI值前3的论文作为代表作。21位申报正高职称的教授筛选得到3篇代表作，3位筛选得到2篇代表作，2位筛选得到1篇代表作；13位申报副高职称的教授筛选得到3篇代表作，6位筛选得到2篇代表作，6位筛选得到1篇代表作，还有1位没有符合筛选标准的代表作。部分申报副高职称的教授能够有符合标准的3篇代表作，这样也给不同学术生涯教授之间的平行比较提供了可能性。

此外，各教授发文量和其筛选得到的代表作的数量并不完全正相关。例如样本教授中，药科院2018年参评正高职称和药学院2017年参评的教授，两位教授虽然发文量不多，但学科百分位靠前的论文较多。这也说明了仅依靠论文数量进行评价的方法是不可取的。

2.4 代表作评价研究

2.4.1 基于Z指数的代表作评价Z指数的计算考虑了所有论文的引用情况，发文量较高但论文被引量较低的科研人员在Z指数的评价上会处于劣势。Z指数在一定程度上能够反映科研人员的整体影响力。因此将通过不同的筛选方法得到的代表作作为新的数据集引入到Z指数中，进行计算。

结果如图4所示，比较不同方法筛选得到的论文Z指数以及所有论文Z指数之间的关系，被引频次截止到评审年。可以看出，Zh指数更接近总体Z指数，当教授存在某一高被引论文时，通过repre‐sentative法筛选得到的代表作会有较高的Z指数，使得Zr指数的排名与Z指数和Zh指数差异更明显。教授自己选择的代表作Zs并不都拥有较高的值。而Q1-PSA-CNCI法得到的Zq指数值一般高于总体Z指数值，低于Zr指数值，起到了筛选作用的同时，也区别于Zr指数局限在个别高被引论文上。

图4 不同方法筛选所得代表作的Z指数

2.4.2Z指数相关性分析 从表3中可以发现，不同方法筛选得到的Z指数之间都通过了相关性检验，表现出了一定的相关性。其中Z指数和Zh指数之间表现出了极强的相关性，达到0.936，为所有结果中最高的。Zq指数和Zr指数之间表现出了较强的相关性，达到了0.830。Zs指数和其他Z指数之间表现出来中等程度的相关性，分别为0.588、0.536和0.569。

表3 Z指数相关性

2.4.3 不同学术影响力教授Z指数比较 经过前述部分研究发现代表作和所有论文Z指数排名差异明显。进一步比较参评正高职称和副高职称的教授之间Z指数的差异以研究各项指标在职称评定的实际应用。结果见表4。

表4 申报不同职称的教授不同Z指数比较分析

总的来说，Z指数反映出各科研能力水平基本与科研人员的影响力正相关。参评正高职称的教授的不同Z指数平均数与中位数均高于参评副高职称的教授，但不同职称教授之间Zq之间没有统计学意义上的显著差异。Z指数本身能够平衡论文数量与质量，以Q1-PSA-CNCI法能够筛选出合适数量的优质论文。这一结果表明即使在论文总数上可能不占优势的年轻学者，只要具备了一定数量的代表作，使用Zq指数便能够进行横向的直观比较，这对于推行代表作制度意义重大。

3 讨 论

相较于h指数核心法和representative法，本研究提出的Q1-PSA-CNCI法不仅能够规避h指数核心法导致的代表数量过多进而稀释了高水平研究成果价值的先天劣势，而且能够避免representative法由于少数高水平研究成果导致代表作数量较少的先天劣势，通过综合发文期刊区属、学科领域百分比和CNCI优化代表作数量构成。此外，通过对各项指数的比较发现，各项指标间存在显著的相关性，并且由Q1-PSA-CNCI法衍生出的Zq指数可以应用于青年学者的评价。

3.1 Q1-PSA-CNCI法筛选代表作，克服“以刊评文”

对SCI期刊的盲目追求，使得之前学术界存在着“以刊评文”的现象。期刊影响因子可在一定程度上表征其学术质量的优劣，但影响因子与学术质量间并非呈线性正比关系，不能直接对期刊影响因子数值进行比较［20］，亟需采取恰当的方法来选取代表作。

采取不同方法筛选得到的论文代表作结果并不相同。h指数核心法不适于筛选近年发表论文，论文出版时间较短，被引频次普遍较低时，小幅增长也会引起h指数的变化。而representative法一般能筛选出高被引的论文，当需要对学者高被引论文进行比较时，可以选择representative法筛选。但representative法筛选出的论文数量可能普遍较低，且无法采取统一标准调控。本研究针对目前存在的代表作筛选方法的优缺点，根据PR8分值法，创造性地提出了Q1-PSA-CNCI法筛选代表作，不受出版年和学科类型的影响，且能够根据需要设置不同的值来调控论文数量。同时，根据不同学科被引频次百分位筛选代表作时，排名差异明显，因此在界定代表作时，可以根据参与评价的学者水平，选择合适的基准线。最后，针对可能存在的高质量论文被引频次较低的情况，加入了施引文献指标，丰富了筛选标准。该方法能够快速帮助学者筛选出合适的代表作，而不仅仅是根据期刊影响因子来判断。

3.2 Z q指数推动代表作评价

h指数已经得到了广泛认可和使用，而Z指数在其基础上进一步发展，具有更加科学的评价意义。本研究采用的Zh指数、Zr指数和Zq指数等是在Z指数的基础上进一步发展而来，在一定程度上克服了Z指数的缺陷。各种筛选方式不同得到的Z指数都具有相关性，采用Q1-PSA-CNCI法得到的Zq指数，并没有简单按照被引频次筛选，却与Zr指数相关性最高，被引量表现较好。同时，针对不同职称的教授进行Z指数的比较，只有Zq指数在不同职称之间没有显著差异。不同职称教授实际上处于不同的学术生涯阶段，考虑到年轻学者的学术生涯较短，采用Zh和Zr指数都会受早期发表的引用较高的论文影响，而Zq指数在筛选过程中极大减小了出版年的差异，且能够以数值的形式进行直观比较，充分发挥了定量指标直观、客观、可比较的优势。只要具备了一定数量的代表作，年轻学者在Zq指数上便能够有较好表现，Zq指数可以作为代表作评价的有效指标。

3.3 选择“小同行”，定性定量结合评价

从定量指标的规律来看，区分学科至关重要，不同学科之间差异显著，不具备可比性。对于同行评审也应当尽量选择研究方向相近的“小同行”，同行评审与定量评价是互为补充的关系。评审意见和定量指标不一致的，要看具体意见，一方面可能是同行评审的选择有问题，没有精准选择“小同行”；另一方面也可能是作者发了影响因子虚高的期刊，而这期刊业界并不认可，或者文章高被引是由于否定引用、作者课题组自引高等原因。科研评价需要采取定性与定量评价结合的方式，以定量评价提高效率，优化同行评审，选择小同行更好地进行代表作评估。

本研究提出了一种新的学术认可度法（Q1-PSA-CNCI）来筛选代表作，然后基于Z指数模型对药学科研人员的代表作进行评价，希望相关方法和研究成果能够为其他学科领域选取代表作及推进代表作评价提供参考和借鉴。