闫 冬,武思宏,田德录,杨 云,方 衍
(科技部科技评估中心,北京 100081)
绩效评估是绩效管理的重要环节,强调制定明确、合理的公共支出绩效目标,建立科学、规范的绩效评估指标体系,对绩效目标的实现程度及效果进行考核与评估。目前,不同国家和国际组织对绩效评估尚无统一定义;但各方对绩效本质的理解是一致的,即一项公共支出活动的绩效包含活动实施过程的效率以及活动实施所取得的效果[1]。各国政府对财政支出绩效评估日益重视,并逐步推行。2007年财政部颁布的《中央级民口科技计划(基金)经费绩效考评管理暂行办法》和2011年颁布的《财政支出绩效评估管理暂行办法》,分别对财政支出科技项目和一般财政支出项目的绩效评估做出了具体要求;美国行政管理和预算办公室自2002年起,采用计划评价评级工具(PART)进行绩效评价;英国2011年出版的《紫皮书——评价指导手册》从技术角度给出了评估设计的具体技术问题和案例;欧盟预算总司2004年出台了《评价欧盟的活动——操作性指南》,用以指导欧盟各委员会的评估工作和绩效管理。这些政策措施和指导性文件,是各国开展绩效评估的重要制度保障。
中医药是中华民族在与疾病长期斗争的过程中积累的宝贵财富,其有效的实践和丰富的知识中蕴含着深厚的科学内涵,是中华民族优秀文化的重要组成部分,为中华民族的繁衍昌盛和人类健康做出了不可磨灭的贡献。《国家中长期科学和技术发展规划纲要(2006—2020年)》提出了推动“中医药传承与创新发展”的重点任务;《中医药创新发展规划纲要 (2006—2020年)》也明确了中医药创新发展的基本任务是“继承、创新、现代化、国际化”。在继承发扬中医药优势特色的基础上,充分利用现代科学技术,推动中医药现代化和国际化,以满足时代发展和民众日益增长的医疗保健需求,是中医药科技发展的必然趋势[2]。
中西方不同的自然地理条件和文化背景,使中医学的萌发、成长和趋于成熟具有其他医学难以模仿的原创性和独特性[3-4]。中医学以自然科学知识为主体,与人文社会科学知识相互交融,形成了包括阴阳五行、藏象经络、气血津液、病因病机、辨证论治、五运六气、药性归经等一系列丰富的理论体系和临床经验[5]。如何确立能够充分反映中医药科研项目核心绩效的指标体系、建立具有中医药特色的科研项目绩效评估方法,是科技管理者面临的新命题。
建立中医类科研项目绩效评估指标体系主要依据以下原则:一要体现国家中医药科技发展的战略方针和政策导向;二要满足国家有关绩效评估管理规定的具体要求;三要体现中医类科研项目研发活动的规律和特征;四要聚焦关键,繁简适度。
国家科技计划项目从筹备立项到服务于经济社会发展,通常需经历若干阶段,即制定行业发展战略、需求分析或发现亟待解决的科学问题、制定任务目标、确立经费渠道并进行科技投入、开展科技研发活动、形成研发成果、产生实施成效,以及出现可持续的经济社会效益等(见图1)。各环节间存在的内在联系和逻辑关系,是建立绩效评估准则的主要出发点。本文结合中医类科研项目特点,提出相关性、实施与管理、目标实现、特色与创新、效果与影响5 个评估准则,体现绩效评估的主要方面。
(1)相关性准则考察在开展绩效评估之时,项目目标和内容是否与当前中医药行业科技发展战略相符,是否仍然针对当前学科发展、健康服务和社会公众的重大需求或关键问题,以及研究目标制定的科学合理性。相关性准则考察的是“后相关性”。
(2)实施与管理准则评估项目实施过程中,经费使用的合规性与组织实施和资源配置的效率。具体评估内容体现了国家科技计划管理改革的最新要求,包括项目承担单位法人负责制落实情况、知识产权管理情况、资源共享共用情况等。
(3)目标实现准则评估项目科研工作的实施和完成情况、考核指标和总体目标的实现情况。评估目标实现情况充分重视科研项目的目标动态性和研究过程的不确定性,如果项目研发任务、目标或考核指标发生调整,且获得主管部门批准,则应按调整后的任务和目标进行评估。如未实现预定目标,应分析和说明原因,并重点关注是否进行了有效的科研活动,或者获得了有益的实验研究数据和结论。
(4)特色与创新准则体现了中医行业的独特属性,主要评估研究项目在中医研究方法和研究成果的传承和创新。中医理论学说大多来自传统古籍和名老中医的医学经验,通过现代化手段,突破中医药领域口口相传的局限性,汇聚各主流门派医学精髓,继承并发扬大量宝贵的中华传统医学财富,是实施中医药科研项目的重要意义所在。在评估科研项目传承性的同时,应注重在传承的基础上找到新的创新点,对传承的起点及研究过程进行合理性评估,并通过同行评议辨别和评估研究成果创新性和技术水平。
(5)效果与影响准则评估项目的实施在推动科研能力建设上发挥的作用,以及项目产生的关键成果在扩充基础理论体系、提高临床技术水平、建立标准规范等方面产生的直接效果。在项目结题后的一个时期内,研发成果的推广应用可能产生更广泛的效果和影响。此时,应根据项目特点,评估关键成果的推广应用是否提高了健康服务机构的服务能力和水平,带来了更广泛的经济社会效益,以及推动了有关政策的实施或制定等。
基于国家科技计划项目绩效评价方法的研究成果[1],结合中医类科研项目自身属性,项目组通过召开7 场咨询研讨会,吸纳120 余位中医领域专家和医生、绩效评估专家和科技管理者的意见和建议,并对中医药行业科研专项已结题的6 个试点项目开展实地调研,逐步建立、检验和优化了绩效评估框架。经过综合分析和反复论证,最终提出15 个一级指标和38 个二级指标(见表1),作为中医类科研项目绩效评估的指标库,全面反映各类型科研项目实施绩效的核心内容。
图1 中医类科研项目绩效评估准则设计逻辑模型
按照《中医药创新发展规划纲要(2006—2020年)》的任务部署,国家财政资金重点资助的中医类科研项目应涉及“基础理论研究”、“中医临床研究”和“标准规范”3 个优先领域。其中,中医临床研究包括“防治重大疾病”、“优势病种疗效评估与推广”、“诊疗技术”和“传承”4 个研究类别;基础理论研究包括“理论体系”、“临床基础理论”和“医学发展模式”3 个研究类别;标准规范研究包括“中医药标准体系的构架”和“中医技术标准”2 个研究类别,共计9 个研究类别。
为区分各类型科研活动的绩效评估标准、增强指标体系在实际操作中的适用性,本文根据《中医药创新发展规划纲要(2006—2020年)》的任务部署,将指标框架进行了归类和细分,给出了建议的绩效评估指标系列(见表2)。部分项目的研究内容可能介于多种类别之间,本文不做单独说明。
中医类科研项目的绩效评估应严格按照“相关性”、“实施与管理”、“目标实现”、“特色与创新”、“效果与影响”5 个评估准则开展绩效评估。评估准则下的15 个一级指标和38 个二级指标,可分为“通用指标”和“个性指标”两类。“通用指标(一级指标‘1~8’及其二级指标)”反映项目绩效的共性特点,是各类科研项目开展绩效评估时的必选指标。“个性指标(一级指标‘9~15’及其二级指标)”反映项目绩效的个性特点和突出亮点,各类型项目应区别对待。
用于反映项目“个性特点”的一级指标‘9~13’,也是绩效评估的必选指标,但仅就项目类型所对应的部分二级指标进行绩效评估;用于反映项目“突出亮点”的一级指标‘14~15’是绩效评估的可选指标,建议评估人员根据被评项目实施情况,遴选其中 能够体现项目突出亮点的若干二级指标开展绩效评估。
表2 中医类科研项目类型和指标选择
中医类科研项目的绩效评估采用定性与定量相结合的评估方式。绩效评估证据主要由定量指标的统计数据和定性指标的专家(或利益相关方)判断组成。国际通用的评估证据收集方法主要有:案卷研究、同行评议、试点项目调研、利益相关方座谈、问卷调查等。
“围作业治疗针灸方案在卒中社区康复中的研究”项目由中医药行业科研专项资助,于2011年12月结题,属“优势病种疗效评价与推广”研究类别。该项目针对社区康复资源不足的现状,针对具体的功能障碍而不是疾病的全程,以简便易行的针刺替代对人员、技术、设备投入要求较高的物理治疗(PT),在脑卒中患者社区康复阶段,与日常生活密切相关的作业治疗(OT)相结合,形成脑卒中围作业治疗针灸方案,建立脑卒中中医康复培训基地。
本文运用“中医类科研项目绩效评估框架”,按照该项目所属类型(见表2),验证绩效评估框架的合理性和可行性(见表3)。验证结果显示,绩效评估框架的各级指标均能通过案卷研究等多种方式获取有力证据,支撑评估人员把握项目特点、找出核心绩效、发现突出问题、得到评估结论。本文采用的其他5 个试点项目,同样验证了绩效评估框架的科学合理性。
绩效评估是绩效管理中的一个重要环节。本文在深入研究国内外绩效评估政策措施和技术路线的基础上,通过多轮专家座谈、技术咨询和实地调研,提炼出能够全面反映中医类科研项目实施绩效的若干关键指标,并通过试点项目加以验证。中医类科研项目绩效评估的指标库包括“相关性”、“实施与管理”、“目标实现”、“继承与创新”和“效果与影响”5 个评估准则、15 个一级指标及38 个二级指标。考虑到中医类科研活动的多样性和创新性评价的复杂性,结合《中医药创新发展规划纲要(2006—2020年)》的任务部署,对中医类科研项目进行分类,并对各类型项目分别给出了建议选取的评估指标系列和使用方法,以区分各类科研活动的绩效评估标准、增强指标体系在实际操作中的适用性。
从总体上看,现阶段我国开展绩效评估尚未形成“事前确立目标、事中跟踪调查、事后绩效评估”的全过程管理制度和机制。在绩效评估过程中,常遇到绩效目标不明确、管理制度不健全、考评方法单一等突出问题。因此建议管理者在积极推动绩效评估方法研究的同时,不断完善绩效评估制度和实施管理办法,加快建立科研项目的绩效管理体系。
表3 “围作业治疗针灸方案在卒中社区康复中的研究”项目绩效评估框架验证表
[1]迟计,杨云,邢怀滨,韩军等.促进创新的国家科技计划项目绩效评价方法研究[R].北京:科技部科技评估中心(内部研究报告)2013.10-32.
[2]谭智敏.关于中医药科研指导思想和定位的思考[J],现代中西医结合杂志,2010,19(33):4323-4324.
[3]何裕民等.中医学方法论——兼作中西医学比较研究[M],北京:中国协和医科大学出版社,2005.
[4]张超中.中医药科研的方法论反思[J].中国中医基础医学杂志,2006,12(6):401-405.
[5]中国科学技术协会,中华中医药学会.中医药学学科发展报告[R].北京:中国科学技术出版社,2007.