郑富豪 沈金波
科研工作是三级甲等医院发展和建设的重要内容之一,可提升医院核心竞争力,促进学术发展、人才培养及提高医疗技术和管理水平[1-3]。近年来,人工智能作为一种新的评价方法为科研绩效评价问题提供了一种新的研究思路[4-5]。本研究选取近5年来我院开展科研工作的客观数据,采用聚类分析法和关联分析法,对医院科研绩效评价进行研究分析,总结特点规律,发现不足,以便采取有针对性的措施以提升整体科研水平,为医院科研管理工作提供参考。
收集我院2014年~2018年度科研管理部门收集的临床、医技、护理和行政后勤等相关部门的443名科研人员的科研工作成果及学历、职称、工龄等基本信息。
采用文献分析法,根据相关研究成果,结合医院科研绩效评价的实际情况,遵循可操作、可比性等原则,参考医院年度科研奖励情况,在医院科研绩效评价指标体系中共设置5个一级评价指标,分别为课题项目、学术论文、科技成果、授权专利、著作[6-8]。科研人员每个一级指标的评价分值,是由其二级指标的科研成果数量乘以对应权重计算得到。
1.2.1 课题项目的权重设置:课题项目包括院校级、厅局级、省部级、国家级和横向课题5个二级指标,根据实际情况,为了方便评价,把课题项目权重设置分为4种,国家级0.45,省部级0.28,厅局级0.17,院校级和横向课题0.10。
1.2.2 学术论文的权重设置:学术论文包括SCI、核心期刊(CSCD、北大核心、中华系列)、其他等3个二级指标,权重设置分别为SCI 0.45、核心期刊0.38、其他0.17。
1.2.3 科技成果的权重设置:科技成果包括国家级科技奖、省部级科技奖、厅局级科技奖、国家级学会奖、省级学会奖等一、二、三等奖和院校级、其他共17个二级指标,根据实际情况,为了方便评价,把科研成果权重设置分为3种,国家级0.54,省部级、国家级学会奖0.34,厅局级、省级学会奖、院校级、其他0.12。其中,一、二、三等奖分别按100%、80%、60%分别计算,院校级及其他按60%计算。
1.2.4 授权专利的权重设置:授权专利包括外观设计、实用新型、国家发明等3个二级指标,权重设置分别为外观设计0.12、实用新型0.33、发明专利0.55。
1.2.5 著作的权重设置:著作包括教材、编著等2个二级指标,权重设置分别为专著0.61、教材0.39。
基于Python语言的开源机器学习工具scikitlearn库,采用K-means聚类法对科研人员的5个一级指标的科研绩效分值进行聚类分析,划分科研人员评价等级;在此基础上,采用开源关联规则分析的apyori库,进一步分析各评价等级科研人员的评价等级与科室类别、学历、职称、工龄等特征间关联规则,总结特点和规律,发现共性问题并找出薄弱点。
1.3.1 聚类分析法:聚类分析是根据相似性原则,把相似度较高的训练数据划分为同一个类簇,而把相异度较高的训练数据划分为不同类簇[9]。K-means聚类算法是无监督学习,是一种聚类分析法中经典算法。K-means算法以距离作为训练数据间相似性度量的标准,即训练数据间距离越小则相似性越高,则训练数据越有可能划分在同一个类簇。K-means算法通常采用欧氏距离计算训练数据间的距离。
1.3.2 关联分析法:关联分析,用于发现隐藏在大型事务数据集中隐藏的有意义关联,用关联规则形式表示,描述一个事务中事件之间同时出现的规律的知识模式[9-10]。利用关联规则对新事务或未知问题进行推测判断。关联规则是形如X⇒Y的蕴涵表达式,X为规则前项,Y为规则后项,关联规则用支持度Support、置信度Confidence和提升度Lift来度量[11]。
关联规则X⇒Y的支持度定义为事务集T中包含X∪Y的事务在全部事务中占的百分比,即support(X⇒Y)=P(X∪Y)。关联规则X⇒Y的置信度定义为事务集T中包含X事务中同时也包含Y事务的百分比,即confidence(X⇒Y)=P(X∪Y)/P(X) 。提升度评估X事务的出现使得Y事务出现的程度,定义为 lift(X⇒Y)=P(X∪Y)/P(X)P(Y) =confidence(X⇒Y)/support(Y)。提升度是一种相关性度量,小于1表示X的出现和Y的出现是负相关的,等于1表示X和Y是独立的,大于1表示X和Y是正相关的。
表1 科研人员基本信息情况
表2 整体科研人员科研绩效一级指标评价分值统计情况
科研人员基本情况如表1所示,科研人员中约70%为临床医生,硕士研究生以上学历占61.20%,高级职称占65.90%,将近一半工龄超过20年。在科研工作成果方面,超过半数以上的科研人员未有著作、专利、科技成果等科研工作成果,其中有98.0%人员其著作项得分为0,有95.0%人员专利项得分为0,有82.8%人员科技成果项得分为0,说明论文和课题项目在科研绩效评价上发挥主要作用。科研人员科研绩效一级指标评价情况见表2。
采用K-means算法对医院科研数据进行聚类分析,结合实际情况把科研人员分为合格、良好和优秀等3个等级,3个等级之间具有较好的区分度,科研人员评价等级聚类分析结果如表3所示。3个等级科研人员一级指标分值统计情况见表4。比较论文分值,优秀显著高于良好和合格(P<0.05),良好显著高于合格(P<0.05);比较课题项目分值,优秀显著高于良好和合格(P<0.05),良好显著高于合格(P<0.05);比较科技成果分值,优秀、良好显著高于合格(P<0.05)。
表3 科研人员评价等级聚类分析结果
表4 各等级科研人员科研绩效一级指标分值统计情况
表5 单特征关联规则分析结果
表6 多特征关联规则分析结果
为了总结分析科研人员的评价等级与科室类别、学历、职称、工龄等特征间规律,采用Apriori算法,分析单个特征对科研绩效评价等级的支持度、置信度、提升度,结果如表5所示,学历为博士研究生和评价等级优秀的提升度大于3,职称为正高和评价等级优秀的提升度大于2,学历为博士研究生和职称为正高分别与评价等级优秀具有明显的相关性。同时,在评价等级为合格时,规则提升度大于1,置信度超过80%,说明工龄不超过10年、学历为大学本科或专科、职称为初级或中级、科室类别为护理或行政的科研人员评价等级较高概率为合格,而且有一定程度的相关性。用Apriori算法分析多个特征与科研绩效评价等级间规律,结果如表6所示,以规则前项['临床','(20,+ ∞)','正高','博士研究生']为例,同时具备工龄超过20年、学历为博士研究生、职称为正高、科室类别为临床等特征的科研人员,其评价等级为优秀的概率为21.74%、提升度为5.35,评价等级为良好的概率为52.38%、提升度为2.42,说明不同评价等级的科研人员可能具备相同特征,但他们之间的概率、关联性不一样,即一般高评价等级的规则具备较强关联性、较低概率,低评价等级的规则具备较弱关联性、较高概率。评价等级为优秀和良好的科研人员,一般是高学历、高职称的临床医生。
在科研人员的学科分布方面,科研人员中约70%为临床医生,评价等级优秀中临床医生占比为83.33%,评价等级良好中临床医生占比为72.92%。临床医生是医院主要科研主力,而行政、护理、医技等科室人员的科研能力整体较弱,说明医院科研情况在学科方面分布不均衡,应加强行政、护理、医技等科室人员的科研能力提升。
在科研人员的学历、职称和工龄等分布方面,硕士研究生以上学历占61.20%,高级职称占65.90%,工龄超过20年占45.60%。但是,博士研究生学历只占20.10%,工龄为(0,10]只占18.50%,说明医院科研人员中高学历和低工龄者比例偏低,在招聘时和人才引进方面应倾向高学历、年轻化方面的优秀人才。
在科研工作成果方面,有98.0%人员著作项得分为0,有95.0%人员专利项得分为0,著作、专利的偏度、峰度值比较大,说明绝大部分科研人员对著作、专利等方面重视程度不够。同时,有82.84%人员科技成果项得分为0,偏度值为4.94,峰度值为28.62,说明科研成果得分方面主要分布在特定的部分科研人员,医院应加强对科技成果申报等支持。
评价等级为优秀的人数为18名,占比为4.06%,其中大部分科研人员是工龄超过20年、正高职称的临床医生,学历以博士研究生为主,担任一定管理职务,参与学术组织的积极性高,论文、课题项目和科技成果等方面优势明显,这部分人员主要是资深型的科研人才,科研工作比较全面,但在专利、著作等方面都有一定的提升空间。
评价等级为良好的人数为96名,占比为21.67%,这部分科研人员在论文、课题项目等方面能力较好,其中只有约30%有科技成果评分,以工龄超过10年、正高或副高职称、博士或硕士研究生学历等特征为主,少量人员是工龄低于10年、中级职称,这部分人员主要是骨干型的科研人才,应加强这部分人才的科研能力,使其积极参与相关学术活动。
评价等级为合格的人数为329名,占比为74.27%,这部分科研人员科研工作不均衡,其中约11.25%人员有科技成果评分,约49.85%人员有课题项目评分。而且,这部分科研人员中,工龄(0,10]占比为20.67%,初级或中级职称占比为39.21%,博士或硕士研究生学历占比为57.14%。其中,同时具有工龄(0,10]、初级或中级职称、博士或硕士研究生学历等特征的人员占比为16.41%,这些科研人员科研工作处于起步阶段,工龄小、职称低,是潜力型的科研人才,应加强对这部分科研人群的引导和帮助。
在评价等级为优秀和良好的关联规则中,其提升度基本上都超过2,说明评价等级为优秀和良好的与高学历、高职称、临床等特征具有明显的相关性。但是,这些关联规则中,支持度、置信度都较低,说明还有不少比例的高学历、高职称等特征的科研人员在科研能力上有待提升。医院应跟踪分析这些评价等级为合格、具有高学历、高职称等特征的科研人员,从中挖掘具有潜力的、科研基础较好的科研人员予以支持引导,进一步提高评价等级为优秀和良好的科研人员占比。
不同类型科研人员的科研能力差异化明显,相关评价指标也存在差异,需要制定有针对性的科研能力提升措施和方法。在医院科研绩效聚类分析、关联分析结果的基础上,结合医院实际情况,进一步细化和制定相关科研管理措施,以提升医院整体科研能力。一是要加强对行政、护理、医技等科室人员的引导激励,这些人员的科研能力整体较弱,应加强对其进行科研引导,积极宣传科研政策和课题、论文、成果等申报方面的技巧,可以探索建立“师带徒”制度,循序渐进开展科研工作,引导鼓励行政、护理、医技、临床等科研人员之间的科研合作,鼓励其加入医院内部优秀科研团队。二是要创造良好的医院科研工作的软、硬件环境。医院可通过设置医院青年课题基金,解决科研经费问题,支持其科研工作的可持续发展;为他们提供各种参与学术会议交流、进修机会,拓展学术视野,加强与外部优秀科研人才交流机会;积极选送他们去参加科研相关培训和学习,对有获得科研成果的科室、个人给予特别表扬和宣传。针对评价等级良好的科研人员,医院应进一步加强在人员设施配备、实验平台建设等方面的支撑,在高级别课题项目、科技成果奖励等申报方面提供支持;同时,鼓励与优秀科研人员加强科研合作,充分利用其学术影响力,进一步争取参与更多高级别课题项目、科技成果申报以及提升科研能力等,将具有良好素质的科研人员逐步向优秀科研人员转化。针对评价等级优秀的科研人员,医院应激励其努力争取国家级课题、省部级课题以及相应科研成果奖励申报,医院应该有意识组建优秀科研团队,充分鼓励该类科研人员发挥自身价值,加强与名校、全国知名医院的科研交流和协作,加强与临床紧密相关问题的研究和攻关。同时发挥医院优秀科研人员的功能,帮助其他科研人员进一步提升科研能力,协助培养和指导更多入门科研人员。
在科研绩效评价中,聚类算法根据各科研指标评价数据对科研人员进行划分,操作简单,聚类效果较好,和实际科研绩效评价结果比较吻合,可以较为准确地评价医院所有科研人员的科研绩效。在此基础上,通过关联分析发掘评价等级与特征之间有意义的关联规则,寻找可能影响科研绩效评价的主要特征,总结出不同科研人员群体的特点规律,提高医院科研管理的工作效率,为医院科研管理者制定、完善科研管理和评价考核制度提供依据。下一步,将不断完善、优化聚类算法、关联规则算法,在实际工作中不断提高科研绩效评价的科学性、准确率,以更好地提升医院科研管理能力。