基于Delphi法的江西省医疗器械不良事件报告质量评估指标体系研究

周鹃 余超 李穗 罗培 詹杨 邓小云 徐玉茗 江西省药品不良反应监测中心 （江西 南昌 330006）

内容提要： 目的：筛选江西省医疗器械不良事件报告质量评估指标。方法：在预调查确定的指标基础上，遴选行业内专家21人，利用Delphi法对备选指标进行2轮次评估、筛选。结果：专家来自ADR中心、医疗机构、企业和高校，89.47%的专家具有本科及以上学历，63.16%的专家具有高级职称，73.68%的专家具有20年以上工作经验；两轮专家积极性系数均为90.48%、100.00%，所有指标的专家意见权威系数平均值0.78，指标评价的Kendall协调系数分别为0.131、0.490。经过2轮正式咨询，最终筛选出4个一级指标、11个二级指标、33个三级指标。结论：专家意见可靠性较高，意见较为统一，利用Delphi法确定地域医疗器械不良事件报告质量评估指标具有切实可行性。

当前，我国医疗器械行业快速增长，市场规模不断扩大，随之而来的医疗器械不良事件（Medical Devices Adverse Event，MDAE）日益增多。《国家医疗器械不良事件监测年度报告（2017年度）》数据显示，2017年，国家药品不良反应（Adverse Drug Reaction，ADR）监测中心共收到不良事件报告表37.61万份，其中，严重报告占15.41%[1]。MDAE监测工作的作用日渐凸显。为提高报告质量，国家ADR中心颁布《医疗器械不良事件报告表质量评估规定（试行）》，确定MDAE报告表的质量评估计分标准。但是，评估规定仅仅是对报告表本身的评估，而地区MDAE报告工作质量以报告表为载体，却不仅局限于报告表。基于此，本研究在国内外文献数量和专家咨询基础上，确定了4个一级指标、10个二级指标、33个三级指标的MDAE质量评估体系。

1.研究对象与方法

1.1 成立专家小组

为保证咨询的质量和价值，结合MDAE报告利益相关群体的现状，确定专家备选条件如下：①岗位要求：从事MDAE监测与研究相关工作；②从业年限：从事相关工作5年及以上；③学历要求：本科及以上；④职称要求：副高及以上。

根据相关研究，结合前期专家摸底情况，课题组确定专家人数为21人[2-4]。

1.2 咨询表的设计

咨询表内容主要包括研究目的与填表说明；咨询专家的年龄、性别、学历、职称、工作领域、工作年限等个人基本情况；备选评估指标及指标解释、计算方法。在调查表中，要求咨询专家分层级、对每个指标的重要性、可操作性、熟悉程度进行选择、赋值，判断依据赋值详见表1。

表1. 判断依据赋值表

1.3 专家咨询

通过电子邮件分别发送给21位专家，请其根据自己的知识和经验，做出自己的选择、判断，并在规定时间内反馈给课题组。课题组归纳整理专家判断后，再分发至各专家，让专家比较他人不同意见，给出自己的新意见和判断。以此类推，直至专家意见一致性达到预先设定的标准。

1.4 资料统计分析

运用统计分析软件SPSS22.0处理调查表资料。其中，专家一致性系数采用Kendall协调系数。

2.数据分析与结果

2.1 专家积极性系数

专家积极性采用咨询表回收率表示，第一轮发出咨询问卷表21份，回收19份有效问卷，回收率90.48%；第二轮发出咨询问卷表19份，回收19份有效问卷，回收率100%。

2.2 专家权威程度

主要考虑两方面：一是专家对指标熟悉程度（熟悉系数），二是专家判断依据（判断系数）。权威系数为判断系数与熟悉系数的均值。参与两轮专家咨询的19位专家对于每一个指标均具有较高的熟悉程度、判断较科学；判断系数最低值0.74，最高值0.84；熟悉系数最低值0.63，最高值0.85；专家意见权威程度系数最低值0.72，最高值0.82，平均值0.78，高于基本标准0.70。

2.3 专家意见协调程度

2.3.1 专家对各指标意见的协调程度

采用变异系数法评价不同专家对同一指标的意见一致程度。评价结果显示：专家对单个指标评价结果的变异系数大多＜0.5，且未有＞1.0者；同时，第二轮咨询后，大部分指标的变异系数低于第一轮咨询结果（见表2）。经过第一轮意见收集和指标解释的更加明确、具体，专家对单个指标的意见趋于一致。

2.3.2 Kendall协调系数分析

分别对一级指标、二级指标、三级指标和所有指标做Kendall协调系数计算，结果（见表3）显示，第二轮协调系数最高值接近1.0，最小值接近0.5，符合常规判断专家协调性的标准。据此可以判断：在第一轮咨询基础上，第二轮咨询结果具有较高的协调性，专家意见趋于一致，故意见征询可以结束。

2.4 指标优选结果

根据上述指标体系筛选过程，按照保留专家一致性较高的指标（单个指标变异系数不超过1.0），并结合实践需求进行了适当优化与调整，最终确定指标体系及其指标解释与计算方式，见表4。

3.讨论

3.1 构建医疗器械不良事件报告质量评价指标体系的意义

当前，MDAE报告是医疗器械上市后安全性信息的重要来源、MDAE监测的重要资料[5,6]。随着监测与报告工作逐步深入，MDAE报告工作已然进入了一个新时期，实现“由重数量向重质量转变，由重报告统计向重报告分析转变，由重报告监测向重报告利用转变”，加强对报告质量的评估与控制，是稳步推进监测工作顺利开展、医疗事业健康发展的重要举措[7]。但是，当前对报告质量的评估局限于报告的质量评价上，没有真正做到以报告为载体，综合反映特定地域不良事件报告工作整体质量，特别是激励报告主体积极性。为此，以质量管理、绩效管理概念与理论为基础，构建MDAE质量评估指标体系，对于完善报告体系、提高报告积极性、促进报告工作转型具有重要的理论与现实意义。

表2. 专家对单个指标评价的变异系数情况

表3. 专家意见Kendall协调系数简表

表4. 江西省MDAE报告质量评估指标体系

3.2 医疗器械不良事件报告质量评价指标体系的可靠性

专家的选择是Delphi法成败的关键[8]。为避免因专业知识、实践经验的局限，本研究选择了从事医疗器械监管、生产、经营、使用实践和相关领域研究的资深、专业人员作为咨询专家，并综合考虑专家的工作年限、职称、学历等因素，充分保证了咨询结果的权威性和科学性。定量分析结果显示，专家积极性系数超过90%，权威系数均值达到0.78，意见协调指数Kendall协调系数达到0.49，说明专家积极性、权威性水平较高，意见分歧较小。指标选择结果具有较高的可信度。当然，由于MDAE报告在我国尚处于发展阶段，加之近年来行业监测人员稳定性出现波动，因此，专家专业领域相关性仍存在一定局限，如本研究中持续从事MDAE报告实践超过5年、咨询时仍从事该工作的专家尚不足2/3，在一定程度上可以解释为何熟悉系数最低值仅有0.63；此外，由于该行业发展的时间较短，目前完整理论体系尚在形成中，这就很好地揭示了为什么专家在判断中根据实践经验判断的比例仍然较高、判断系数最低值只有0.74。因此，如何通过高等教育、职业教育、继续教育体系的完善，提高从业人员综合素质，仍是提高MDAE报告质量的重要一环。