基于亲和力与研究方向覆盖率的审稿人推荐算法

2023-02-24 05:01周允升余敦辉崔海波
计算机应用 2023年2期
关键词:审稿人集上亲和力

钟 磊,周允升,余敦辉,2,崔海波,2*

(1.湖北大学 计算机与信息工程学院,武汉 430062;2.湖北省教育信息化工程技术研究中心(湖北大学),武汉 430062)

0 引言

随着互联网技术的迅速发展,人们获取信息的效率得到了极大的提升,新的科技知识和信息量迅猛增加,信息产生的速率也越来越快。近年来印刷信息每5 年便增长一倍,2019 年中国出版新版图书为22 万种,全世界每天发表的论文超过14 000 篇,仅在2019 年中国就发表了68 万篇研究论文。伴随着越来越多的学术、科技论文投往各类期刊、会议,学术机构常通过同行评审[1-2]来评估提交的论文,这个过程中最具挑战性的任务之一是在最大限度提高审稿质量的条件下为论文分配审稿人,此问题称为审稿人分配问题(Reviewer Assignment Problem,RAP)[3-5]。对于论文提交量越来越大的计算机科学领域,一次会议通常涉及成百上千的投稿论文以及审稿专家,在要求研究领域匹配和遵循会议时间表的情况下,采用传统人工分配审稿专家评审投稿论文显得十分耗时并且分配效果可能非常差。因此,研究一种为会议投稿论文高效准确地推荐审稿人的方法十分重要。

目前解决审稿人分配问题大致可以分为基于检索的方法和基于分配的方法。基于检索的审稿人分配方法[6-7]将论文视作一次查询,将审稿人曾经发表过的作品表示成文本文件,将排名靠前的文件对应的审稿人分配给论文。Karimzadehgan 等[7]使用概率潜在 语义分析(Probabilistric Latent Semantic Analysis,PLSA)模型[8-9]得到审稿人和论文的研究方向分布,并基于多方面专业知识的匹配来检索合适的审稿人;但是这类方法会产生不均衡的分配,其中一些审稿人可能会收到太多要审阅的论文。另一种基于分配的审稿人分配方法是在限制分配给审稿人论文数量和规定每篇论文必须接受的评论数量的情况下,求解审稿人和待审论文间相似度全局最大化的问题。文献[10]最早提出此想法,提出了一种计算审稿人与待审论文间亲和力分数方法,假设这些亲和力分数可以准确地模拟每个审稿人为每篇论文提供的预期审阅质量,通过最大化所有审稿人-待审论文对的亲和力得分总和来找到最优分配;但是该方法会出现为了得到更高的整体匹配分数,有些论文被分配给缺乏该领域专业知识的一组审稿人的情况。O’Dell 等[11]通过最大化最小亲和力论文得分来缓解这个问题;但这个目标可能会与最大化全局论文得分总和的目标相冲突,并不会同时优化整体的最佳分配。Kobren 等[12]提出了基于松弛迭代的分配算法(Fair matching via Iterative Relaxation,FairIR)和基于最小成本的分配算法(Fair paper matching as min-cost Flow,FairFlow)两种算法,要求每篇论文必须在获得高于指定阈值的亲和力分数的约束下,最大化全局亲和力得分总和。Stelmakh 等[13]提出的同行评审公平分配算法(Fair and Accurate reviewer assignment in Peer Review,PR4A)将审稿人划分为不同的轮次进行分配,每轮中确保最大化最小亲和力论文得分,然后在下一轮次的分配中优化另一篇分数较小的论文。Payan等[14]提出审稿专家贪婪轮询算法(Greedy Reviewer Round Robin,GRRR),基于轮询调度产生最佳的论文选择序列,将审稿人进行更公平的分配来达到提升整体论文审阅质量的目的。然而,此类方法都没有考虑一篇论文可能涉及多个研究方向,一篇跨学科论文可能会由一组专业知识过于狭窄的审稿人进行审阅,从而导致论文未被分配给一组能尽量覆盖论文所有研究方向的审稿人,最终可能会发生所有指定的审稿人能很好地覆盖论文主要研究方向,但未能覆盖论文其他研究方向的情况。

在会议为论文分配审稿人的过程中,即使得到了一篇论文的推荐审稿人,考虑到审稿人审阅论文数量的限制,为论文分配审稿人的次序不同,最终得到的分配结果也不同。如何确定合理的待审论文选择次序,将审稿人进行公平的分配是很有必要的。同时,在得到每篇论文的推荐审稿小组后,检查审稿人和论文间是否存在利益冲突(Conflict of Interest,COI)[15],从而避免不公平审阅的发生,也是值得研究的要点。

结合论文选择次序和利益冲突检查,本文提出一种基于亲和力与研究方向覆盖率的审稿人推荐算法(reviewer recommendation algorithm based on Affinity and Research Direction Coverage,ARDC)。与现有方法主要通过最大化全局亲和力得分的方式分配审稿人不同,本文所提方法要求审稿人拥有与论文较大亲和力的同时,还尽可能地与其他审稿人一起更全面地覆盖论文的所有研究方向,实现较高的研究方向覆盖率。实验结果表明,本文算法能充分考虑审稿人与论文间亲和力以及对研究方向的覆盖率,为论文安排合理的选择审稿人次序并进行利益冲突检查,能够使得审稿人推荐结果更加合理准确。

针对实际的会议审稿场景,本文算法首先根据提交给会议的待审论文,和参与会议评审的审稿人发表过的论文计算出待审论文选择审稿人的次序;接着基于词频语言模型和隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)模型计算出审稿人的综合审阅得分并依据轮询调度策略得到待审论文的预分配审稿小组;最后进行利益冲突检查与消解得到会议每篇待审论文的推荐审稿小组。

1 基于亲和力与研究方向覆盖率的审稿人推荐算法

1.1 算法整体框架

为确保能够为论文推荐合适的审稿人,首先根据研究方向在待审论文和审稿人论文组中出现的频数,得到论文选择审稿人的次序;然后基于词频语言模型计算论文与审稿人间亲和力得分,基于LDA 模型对审稿人论文组和待审论文进行建模,计算研究方向覆盖得分,进而得到审稿人的综合审阅得分并采用轮询调度的方式为论文预分配审稿人;最后经过审稿人和论文间的利益冲突检查后得到最终的推荐审稿小组。算法整体框架图如图1 所示。

图1 算法整体框架Fig.1 Algorithm framework

本文提出了一种基于亲和力与研究方向覆盖率的审稿人推荐算法,该算法在实际应用中可有效减少各类学术会议为每篇论文指定审稿人的工作量,精简会议周期,准确高效地为待审论文推荐合适的审稿小组,提升会议整体的审阅质量。本文的主要工作包括:

1)提出了一种基于亲和力与研究方向覆盖率的审稿人推荐算法,该算法中提出了一种最大化亲和力得分和研究方向覆盖选择审稿人的方法。与现有通过最大化全局亲和力得分的方法不同,本文所提方法要求审稿人拥有与论文较大亲和力的同时还可以与其他审稿人一起互补的覆盖论文的所有研究方向。

2)设计了一种论文选择审稿人次序计算方法,将包含冷门研究方向的论文分配给适合的审稿人,并进行利益冲突检查,确保审稿小组分配最优化。

1.2 待审论文选择次序计算

在实际会议环境中,考虑到审稿人审阅论文的数量限制,为待审论文确定合适的选择审稿人次序,能确保分配效果更好。假设有两篇论文pi和pj,pi由于涉及某个冷门研究方向只有少数审稿人能较好地审阅,pj则多数审稿人都能审阅。让pj先进行审稿人选择,可能会出现适合审阅pi的审稿人由于审稿负载无法审阅pi,之后pi也无法找到其他有能力审阅的审稿人的情况,这种选择次序是不合理的。因此应该优先将涉及冷门研究方向的论文分配给适合的审稿人,达到提高整体审稿质量的目的。

基于此思想,本文对待审论文涉及的研究方向在此次会议中的研究状况进行度量,计算论文的审稿人选择次序Q。由于大多数会议要求作者为他们提交的论文指明主要和次要的学科领域,据此可以得到待审论文的研究方向集合areaP={areaP1,areaP2,…,areaPx},areaPi代表第i篇待审论文pi涉及的研究方向。当pi所有的研究方向出现在areaP中频数的均值小于冷门研究方向阈值m时,记为signPi=1;否则signPi=0。同样的,收集审稿专家的相关信息,得到参与会议所有审稿人的研究方向集合areaR={areaR1,areaR2,…,areaRy},按照同样的方法可得pi的研究方向在areaR中的研究状况,记为signRi=1 或者signRi=0,则待审论文pi在此次会议中的研究状况标志位的组合有以下4 种情况:

1)1 类(signPi=0,signRi=1):表明当前论文的各研究方向在待审论文集中出现频率均值非常高,但从事该类方向研究的审稿人很稀缺,该类论文最应该被优先分配。

2)2 类(signPi=1,signRi=1):表明论文涉及的研究方向在待审论文集中很少出现,同时能审阅该类方向的审稿人也很少。属于此类别论文的数量相较于1 类论文会更少,同时选择审稿人的数量也会少一些,因此在满足1 类论文优先分配的情况下,将此类论文放在第二批次的分配中。

3)3 类(signPi=0,signRi=0):表明当前论文的各研究方向在待审论文集和审稿人中出现得都很频繁,此类论文对审稿人的需求没有之前类别那么强烈,因此将其放在第三批次的分配中。

4)4 类(signPi=1,signRi=0):表明当前论文的各研究方向虽然在待审论文集中出现频率的均值较低,但该类方向大多数审稿人都能进行较好的审阅,将其放在最后分配。

冷门研究方向阈值m受会议规模的影响,当提交给会议论文数量较多、会议规模较大时,m的值自然较大。为了适应于不同的会议规模,本文使用冷门研究方向因子ε计算m:

其中:pN为会议待审论文数量,当确定了冷门研究方向阈值m后,通过计算论文的研究方向在待审论文集和审稿人中出现的频数,可以得到论文的研究状况标志位signP和signR,论文根据研究状况标志位划分为4 个类别分4 个批次依次进入队列,得到论文选择审稿人的选择次序队列Q。

1.3 基于综合审阅得分的审稿人预分配

根据1.2 节得到的待审论文审稿人选择次序Q,依次为论文分配合适的审稿人。为了达到选择的审稿人拥有与论文较大亲和力的同时还可以与其他审稿人一起尽可能地互补覆盖论文的所有研究方向的目的,本节通过计算审稿人和论文间的亲和力得分,以及基于LDA 模型计算研究方向覆盖得分,综合得到审稿人的综合审阅得分来衡量审稿人审阅质量高低,并利用轮询调度的方式让论文选择合适的审稿人,得到论文预分配审稿小组PT。

1.3.1 基于词频语言模型的亲和力得分计算

TPMS(Toronto Paper Matching System)值[10]是审稿人分配问题中常用的用来衡量审稿人对某篇论文亲和力大小的数值,通常是通过测量审稿人曾经发表的相关学术作品与目标待审论文间的相似性来计算的。本文使用原论文中基于词频语言模型(Language Model based on the word count representation)的方法来计算TPMS 值。

对于审稿人r,收集r发表过的论文形成论文组Rsetr,将论文组中的论文摘要进行分词、去停用词等预处理,得到审稿人r论文组的词袋表示Ar;采用相同的方法可以得到待审论文p摘要的词袋表示Ap,则审稿人r和待审论文p的TPMS值为:

其中frw是词项w在Ar中的狄利克雷平滑归一化频率(Dirichlet-smoothed normalized frequency),计算方法如下:

其中:C表示所有待审论文和审稿人论文组的摘要形成语料库的词袋表示,|C|和|Ar|分别表示语料库C和审稿人论文集Ar中词项的总数,C(w)和Ar(w)分别表示词项w出现在C和Ar中的次数,β是平滑因子,用于放缩归一化频率使最后得到的TPMS 值处于合理的范围中。由于本文实验基于文献[16]构建的数据集,因此参照文献[16],采用β=1 000 作为平滑因子的值。

1.3.2 基于LDA模型的研究方向覆盖得分计算

为确保审稿小组能最大化覆盖论文研究方向,从选择第二位审稿人开始,除了考虑对论文的亲和力之外,均需考虑之前所选择的审稿人已经覆盖的论文研究方向,要尽可能选择能覆盖这篇论文未被覆盖的研究方向的审稿人作为最佳的审稿人。因此,需要对审稿人和待审论文的研究方向进行建模,使用得到的研究方向分布进行覆盖得分的计算。

LDA 模型[17-18]是一种文本主题生成模型,包含文档、主题和词项三层结构,基本思想是一篇文档是有多个主题的,不同主题下词项出现的概率是不同的。这种关系和论文与研究方向之间的关系很类似,一篇论文通常包含多个研究方向,不同研究方向下词项出现的概率也是不同的。因此,LDA 模型对应本文的三层结构即为论文、研究方向和词项,其拓扑结构如图2 所示。

图2 LDA模型的拓扑结构Fig.2 Topological structure of LDA model

基于LDA 模型,生成论文p的对数似然概率为:

其中:c(w,p)是词项w在论文p中出现的次数,θj表示论文p中出现研究方向j的概率,ϕwj表示词项w在研究方向j中出现的概率。

本文使用LDA 模型,以所有审稿人论文组与待审论文集的摘要作为语料库,采用Gibbs 采样算法进行建模,得到审稿人和待审论文的研究方向分布,并计算研究方向分布之间的余弦相似度作为研究方向覆盖得分,以此反映审稿人对待审论文研究方向的覆盖程度。审稿人r对论文p的研究方向覆盖得分为:

其中:θr和θp代表r和p的研究方向分布,可以将其看作是一个k维的向量(k为LDA 主题数);代表r中出现研究方向a的概率。

1.3.3 基于综合审阅得分的审稿人预分配

考虑审稿人与待审论文间亲和力大小,以及同一审稿小组对论文的研究方向覆盖率,本文提出一种计算审稿人综合审阅得分的方法,综合审阅得分高的审稿人与论文亲和力较大,还可以与其他审稿人一起互补的覆盖论文的研究方向。

在计算出亲和力得分和研究方向覆盖得分后,通过加权求和的方式将两个衡量审稿人审阅质量的分数融合得到审稿人综合审阅得分,审稿小组中第s个审稿人相对于论文p的综合审阅得分为:

参数σ为审稿小组影响因子,用来控制依赖先前选择的审稿人来覆盖论文的研究方向的程度。当σ=0 时,当前计算中最好的审稿人能较好覆盖论文所有研究方向;当σ>0时,对论文研究方向的部分覆盖将会受到之前审稿人的影响,当前计算得到最好的审稿人将会是能最好覆盖之前尚未被覆盖到的研究方向的审稿人。

根据论文选择审稿人次序Q,本文利用轮询调度的方法将审稿人分配给待审论文:待审论文选择审稿人的过程按轮次进行,每一轮按次序Q迭代待审论文,让每篇待审论文选择不在自己的审稿小组中、综合审阅得分最高而且未达到审稿负载的审稿人,直到没有新的审稿人被分配或者达到最大迭代轮次,据此产生每篇待审论文的预分配审稿小组PT。

1.4 基于利益冲突检查的审稿小组推荐

为确保论文评审的公正,避免审稿人审阅该论文时可能会带有偏见,在实际分配论文给审稿人时,应充分权衡审稿人与论文间的利益冲突。

Long 等[19]整理了常见的几种利益冲突,本文将其归为两类冲突:关系冲突和竞争冲突。关系冲突指待审论文作者和审稿人共同撰写了一些论文或者在同一机构中工作,表明论文作者和审稿人具有合作历史;竞争冲突是指审稿人和待审论文具有相同的研究领域相同的研究方向,通常情况下审稿人也会向会议提交论文,在这种情况下很难假设审稿人会客观地判断该论文。因此,在将论文分配给审稿人时,避免利益冲突对保证论文审阅质量很关键。

对于待审论文p和审稿人r,进行利益冲突检查的步骤为:

1)关系冲突检查。

根据r对应的论文组Rsetr可以得到r的合作作者集authorR={authorR1,authorR2,…,authorRx} 和学术机构集placeR={placeR1,placeR2,…,placeRy},authorRi表 示r的第i个合作作者,placeRj表示和r有关系的第j个学术机构,authorR和placeR的计算方式为:

其中:authorsi指的是Rsetr的第i篇论文中出现的作者集合,placesj指的是Rsetr的第j篇论文中每个作者对应的机构集合。对于待审论文p也可以得到其合作作者集authorP={authorP1,authorP2,…,authorPu} 和学术机构集placeP={placeP1,placeP2,…,placePv},当出现

则证明撰写论文p的作者们其中有人与审稿人r一同写过论文或者在同一机构中,具有合作历史,存在关系冲突。

2)竞争冲突检查。

根据1.2 节,可以得到审稿人r和待审论文p的研究方向areaRr和areaPp,当r也向会议提交了论文并且有:

则证明r和p有着相同的研究领域,为了保证论文无偏见评审,认为r和p存在竞争冲突。

在得到待审论文的预分配审稿小组PT后,对其中每个审稿人进行两种类型的利益冲突检查,除去那些存在利益冲突的审稿人,最终按照会议对待审论文安排审稿人数量的要求,选择综合审阅得分排名在前的几名审稿人形成推荐审稿小组T。

2 算法具体实现

ARDC 算法伪代码如下:

算法 基于亲和力与研究方向覆盖率的审稿人推荐算法(ARDC)。

输入 待审论文集合P={p1,p2,…,px},审稿人论文组集合Rset={Rset1,Rset2,…,Rsety}。

输出 推荐审稿小组T={T1,T2,…,Tx}。

3 实验结果与分析

3.1 数据集选择

由于会议对审稿人具体的分配信息是保密的,难以获取真实的审稿人数据去评估本文方法的有效性,而且即使拥有真实会议分配信息,也不一定表明这次会议分配结果是最佳的。因此,本文使用S2ORC[16]和SIGIR[7]这两个模拟数据集去模拟真实的会议审稿分配流程,并针对SIGIR 数据集中所缺失的详细作者信息采用随机化方式进行了补全。S2ORC和SIGIR 数据集从真实的会议数据中筛选合适的待审论文和审稿专家,收集待审论文和模拟审稿人论文摘要信息和研究方向信息,具体数值如表1 所示。

表1 数据集信息Tab.1 Dataset information

3.2 对比算法

为了验证ARDC 算法性能,本文选择现有各种审稿人推荐算法作为对比算法,包括PLSARAM[7]、TPMS[10]、FairIR[12]、FairFlow[12]、PR4A[13]和GRRR[14]。对于会议审稿相关参数设置,本文为每篇待审论文分配3 个审稿人,每个审稿人最多审6 篇论文。对比算法均采用其论文中对应的默认参数,由于PLSARAM 算法中并未考虑审稿人负载限制和论文选择次序,因此本文随机的选择待审论文为其分配审稿人,并在分配的过程中移除达到负载的审稿人,最后将10 次运行结果的平均值作为PLSARAM 算法的最终结果。

3.3 评价指标

本文采用平均研究方向覆盖得分(RAvg.Coverage),平均亲和力得分(RAvg.TPMS)和利益冲突对数目(Conflict of Interest,COI)作为会议审稿人分配质量的评价指标。

Avg.Coverage 代表审稿小组对论文p研究方向覆盖的程度,n表示审稿小组中审稿人的数目,表示审稿小组中第i个审稿人ri对p的研究方向覆盖得分:

Avg.TPMS 为审稿小组对论文p亲和力得分的平均值,表示审稿小组中第i个审稿人ri对p的TPMS 值:

上述两个评价指标都是值越大,说明为论文分配审稿小组的审阅质量越好。COI 表示在当前会议的审稿安排中审稿人-待审论文对间出现利益冲突的个数,COI 越大则表明审稿人分配越不合理。

3.4 参数确定实验

本文算法有主题数k,审稿小组影响因子σ,融合权重因子ω和冷门研究方向因子ε四个参数,实验数据参数如表2所示。

表2 实验数据参数Tab.2 Experimental data parameters

3.4.1 主题数k

主题数k是LDA 模型在构建过程中必须给出的参数,k不同最后得到的研究方向分布也不同。设定审稿小组影响因子σ为0.5,冷门研究方向因子ε为0.02,融合权重因子ω为1,即仅使用研究方向覆盖得分探究主题数k对Avg.Coverage 和Avg.TPMS 的影响,结果如图3、4 所示。

图3 S2ORC数据集上评价指标随k变化Fig.3 Evaluation metrics changing with k on S2ORC dataset

图4 SIGIR数据集上评价指标随k变化Fig.4 Evaluation metrics changing with k on SIGIR dataset

由图3、4 可知,两个数据集上的Avg.Coverage 整体上都是随着主题数k的增大而减小,证明了选择较少的主题数能更好地对论文的研究方向进行建模;随着k的增大,S2ORC数据集上的Avg.TPMS 先逐渐增大,当k超过50 后就保持稳定,不再有明显的波动,此时SIGIR 数据集上Avg.TPMS 的值也是稳定在0.6 附近,故确定主题数k=50 时算法有较好的效果。

3.4.2 审稿小组影响因子σ

参数σ用来控制依赖先前选择审稿人来覆盖论文研究方向的程度,当σ取值过大,会使当前审稿人覆盖效果不明显导致整体分配结果较差,因此在选取参数σ要避免其过大。确定主题数k=50 之后,设定冷门研究方向因子ε为0.02,融合权重因子ω为1,探究不同σ对评价指标的影响,结果如图5、6 所示。

图5 S2ORC数据集上评价指标随σ变化Fig.5 Evaluation metrics changing with σ on S2ORC dataset

由图5、6 可知,σ在两个数据集上都对Avg.TPMS 没有明显影响,而Avg.Coverage 则随着σ的增大而减小,印证了前面提到的当σ过大时新审稿人的选择效果会被现有审稿小组掩盖,导致结果变差的观点。由于σ为0、0.1 和0.2 对应的Avg.Coverage 值在S2ORC 数据集上分别为0.905 1、0.905 2 和0.904 7,此时SIGIR 数据集上Avg.Coverage 值没有明显变化,故确定实验所用的审稿小组影响因子σ为0.1。

图6 SIGIR数据集上评价指标随σ变化Fig.6 Evaluation metrics changing with σ on SIGIR dataset

3.4.3 融合权重因子ω

ω为利用亲和力得分和研究方向覆盖得分计算综合审阅质量得分时的权重系数。当ω=1 时,代表综合审阅质量得分等于研究方向覆盖得分,此时不考虑论文与待审论文间亲和力大小;当ω=0 时,代表综合审阅质量得分等于亲和力得分,此时为论文分配审稿人不考虑研究方向的匹配。

在得到使算法表现性能最佳的主题数k和审稿小组影响因子ω后,设定冷门研究方向因子ε为0.02,使用不同的融合权重因子ω观察Avg.Coverage 和Avg.TPMS 的变化,结果如图7、8 所示。

图7 S2ORC数据集上评价指标随ω变化Fig.7 Evaluation metrics changing with ω on S2ORC dataset

图8 SIGIR数据集上评价指标随ω变化Fig.8 Evaluation metrics changing with ω on SIGIR dataset

由图7、8 可知,ARDC 算法在两个数据集上评价指标的变化趋势是一致的,都是Avg.Coverage 随着ω的增大而减小,Avg.TPMS 的值随着ω的增加而增大,ω的取值可以为0.4 或0.5,此时两个评价指标都能取得较大的值。

3.4.4 冷门研究方向因子ε

ε用来确定论文在此次会议中的研究状况标志位,并产生论文审稿人选择次序。确定主题数k=50,审稿小组影响因子σ=0.1,融合权重因子ω=0.4 后,探究不同的冷门研究方向因子ε对于评价指标的影响,结果如图9、10 所示。

图9 S2ORC数据集上评价指标随ε变化Fig.9 Evaluation metrics changing with ε on S2ORC dataset

由图10 可知,冷门研究方向因子ε在规模较小的SIGIR数据集上对评价指标的影响不大,这是由于在此数据集上审稿人与待审论文比例接近2.5∶1,涉及冷门研究方向的论文找不到合适审稿人的概率很小,因此在审稿人数量充足的情况下出现这种现象是符合实际情况的。为此本文根据评价指标在S2ORC 数据集上的变化确定ε的取值:由图9 可知,冷门研究方向因子ε对Avg.TPMS 的影响不大,其值始终在0.855 和0.856 之间波动;随着ε的增大,Avg.Coverage 先不断波动,在ε超过0.05 之后趋于一个稳定的状态,故使用Avg.Coverage 来确定最佳ε的取值,观察图像可知,ε为0.02时Avg.Coverage 有最值,因此最终确定ε的取值为0.02。

图10 SIGIR数据集上评价指标随ε变化Fig.10 Evaluation metrics changing with ε on SIGIR dataset

3.5 与其他算法对比实验

通过上一节在S2ORC 和SIGIR 数据集上的参数分析,可以得到ARDC 算法的参数取值为k=50,σ=0.1,ω=0.4,ε=0.02。将本文算法与现有的6 种审稿人推荐算法基于平均研究方向覆盖得分、平均亲和力得分和利益冲突对数目进行对比,表3 是每种算法在数据集上得到的结果。

表3 各算法的实验结果对比Tab.3 Comparison of experimental results of different algorithms

由表3 可知,本文提出的ARDC 算法在总体上优于其他6 种对比算法。在保证待审论文与审稿人间利益冲突对数目为0 的情况下,与基于分配的TPMS、PR4A、FairIR、FairFlow 和GRRR 算法相比,ARDC 要求审稿人拥有与待审论文较高亲和力的同时与论文的研究方向相匹配,因此算法能在保持较高的Avg.TPMS 的同时,使Avg.Coverage 获得较大的提升:ARDC 算法在S2ORC 数据集上得到的亲和力得分平均仅下降9%,但研究方向覆盖得分最低提高37%,平均提高38%。这种现象在规模较小的SIGIR 数据集上体现得更加明显,亲和力得分平均下降18%,但研究方向覆盖得分平均提高65%。与PLSARAM 算法相比,ARDC 在基于研究方向匹配的基础上增加了亲和力得分和论文审稿人选择次序,最终结果也获得了较大的提升:ARDC 算法在得到的亲和力得分仅下降2.6%和5.2%的情况下,将研究方向覆盖得分分别提高19%和12%,实验结果证明了本文方法的有效性。

4 结语

本文提出了一种基于亲和力与研究方向覆盖率的审稿人推荐算法,与现有通过最大化全局亲和力得分的算法不同,本文所提算法要求审稿人拥有与论文较大亲和力的同时还可以与其他审稿人一起互补的覆盖论文所有的研究方向,并据此得到论文预分配审稿小组。在此基础上,结合会议审稿流程,通过计算待审论文选择审稿人次序和进行利益冲突检查,最终得到论文推荐审稿小组,并在S2ORC 和SIGIR 数据集上获得了更好的推荐结果。

在现实会议中,并不只是根据审稿人曾经发表过的作品就为其分配待审论文,还要考虑审稿人的社会关系,论文的审阅质量以及最后论文是否录用等其他方面的因素。今后为论文推荐审稿人时可以对审稿人的相关信息进行充分的挖掘,刻画审稿人的专家画像,以提高最后的推荐效果。

猜你喜欢
审稿人集上亲和力
《军事护理》2021年度优秀编委、审稿人
《电源技术》2021年度优秀审稿人
Cookie-Cutter集上的Gibbs测度
特约审稿人遴选通知
链完备偏序集上广义向量均衡问题解映射的保序性
分形集上的Ostrowski型不等式和Ostrowski-Grüss型不等式
本刊评出2018年度优秀作者和优秀审稿人
高端访谈节目如何提升亲和力
高端访谈节目如何提升亲和力探索
亲和力在播音主持中的作用探究