药物警戒检查结果量化评分体系构建及应用探索

文 雯，邓 莉，罗永强，王 彦

（重庆市药品不良反应监测中心，重庆 401120）

2019年12月1 日起施行的《中华人民共和国药品管理法》将“实行药品不良反应报告制度”修改为“国家建立药物警戒制度”[1］，药品不良反应报告和监测检查自2020年起更名为药物警戒检查。《药物警戒质量管理规范》（2021年第65号，以下简称《新规范》）正式施行前，仍以《药品不良反应报告和监测检查指南（试行）》（食药监药化监〔2015〕78号，以下简称《指南》）[2］及《国家药品监督管理局关于药品上市许可持有人直接报告不良反应事宜的公告（2018年第66号）》（以下简称《公告》）[3］为检查指导原则，对药品上市许可持有人（以下简称持有人）实施药物警戒检查。2020年和2021年是我国正式迈入药物警戒新时代至关重要的过渡期。一方面，持有人需将药品不良反应监测体系逐步转变为药物警戒体系；另一方面，在日常监督检查中，药品监管部门需转变检查思路，立足药物警戒的高度，指导持有人顺利完成药品不良反应监测到药物警戒的过渡。本研究中参考《公告》《指南》，采用德尔菲法对评分指标和权重进行专家咨询，对此信度进行统计学分析，构建了过渡期间药物警戒检查结果的量化评分体系，并于2020年和2021年应用于36家持有人药物警戒检查结果中。通过基于数据的科学分析，掌握持有人药物警戒体系的完善程度，探索性地研究药物警戒检查结果量化评分的可行性，以及评分结果在指导监管实践、提升监管效能中的作用。现报道如下。

1 量化评分体系构建

1.1 评分指标确定

以药品不良反应报告和监测检查要点为基础，结合《公告》中对持有人的相关要求，将9个检查类别设为一级指标，38个检查内容设为二级指标，77个检查要点设为三级指标，组成检查类别-检查内容-检查要点的三级量化评分体系。

1.2 专家咨询及信度分析

问卷设计和指标赋值：共遴选9名药物警戒专家，采用电子邮件、QQ、微信等方式发放调查问卷。问卷内容由调查说明、各级指标赋值表、专家基本情况调查表组成。其中，调查说明包括函询介绍和填表要求；各级指标赋值表中，一级指标和二级指标的权重由专家直接评分确定，三级指标需根据专家对各指标条目的重要性和熟悉程度的评分进行计算。采用Excel 2020软件和SPSS 26.0统计学软件对专家咨询结果进行分析。

专家基本情况：9名专家中，重庆市药品监督管理局1人（11.11%），重庆市药品监督管理局直属检查局2人（22.22%），重庆市药品不良反应监测中心4人（44.44%），持有人2人（22.22%）；男5人（55.56%），女4人（44.44%）；年龄32～47岁，平均（39.22±5.97）岁；从事药物警戒相关工作5～13年，平均7.67年；博士研究生1人（11.11%），硕士研究生3人（33.33%），大学本科5人（55.56%）。

专家积极程度：是指专家对某评价指标的关心程度，以问卷的回收率表示[4］。本次专家咨询共发放调查问卷9份，回收调查问卷9份，问卷回收率及合格率均为100%，表明专家对此次咨询内容的积极程度较高。

专家权威程度：也称权威系数（Cr），是指专家针对某一问题或方向的权威力度，其大小影响评价结果的可靠性[5］，一般根据专家对专业领域的熟悉程度（Cs）和判断依据（Ca）来计算，即Cr=（Cs+Ca）/2。Cr＞0.7时咨询结果才算可靠[6］。本研究中，Cr的判断依据包括理论分析、实践经验、对国内外同行的了解和直观感觉4个方面。根 据计算，本次咨询的Cs为0.906，Ca为0.956，故Cr为0.931，表明专家的权威程度较高。

专家意见协调程度：是指专家对指标评分意见的一致性程度，一般以肯德尔W系数（Kendall's W）表示，其值为0～1，数值越大，表示专家的意见协调程度越高[7］。Kendall's W＞0.7，且经非参数检验后具有显著性，表明专家的评分意见一致性较高；0.4≤Kendall's W＜0.7，且经非参数检验后具有显著性，表明专家的评分意见中等较好；Kendall's W＜0.4，表明专家的评分意见差异较大，有必要进行下一轮咨询[8］。本研究中，一级、二级、三 级 指 标 的Kendall's W分 别 为0.824，0.543，0.424，提示咨询结果均可取。详见表1。

表1 专家意见协调程度Tab.1 Coordination degree of the experts＇opinions

1.3 评分权重确定

一级指标最终权重为各专家赋值的平均值；二级指标最终权重=对应一级指标最终权重×该二级指标专家赋值的平均值；三级指标则需根据问卷调查中各专家对三级指标的重要性和熟悉程度的评分进行计算。其中，i为三级指标编号，pij为专家j对指标i的重要性评分，cj为专家j的权威程度系数，Xi为三级指标i的加权平均数，m为专家数。Xi做归一化处理，将归一化权重与对应的二级指标权重相乘，得三级指标最终权重[9］。药物警戒检查结果量化评分体系及权重见表2。

表2 药物警戒检查结果量化评分体系及权重Tab.2 Quantitative scoring system and weights of GVP inspection results

2 应用

2.1 评价实际操作

将构建的评分指标体系制成调查问卷，根据检查实际，将每个三级指标设置2～5个等级选项，由检查人员根据指标完成情况进行勾选，如“专职人员数量是否充足”设置“充足”“不充足”2个等级选项，专职人员“是否具备分析评价药品不良反应的能力”设置“具备”“一般具备”“不具备”3个等级选项，“制度文件中是否包含明确的机构职责”设置“职责非常明确”“职责较明确”“职责一般明确”“职责不明确”“无工作职责描述”5个等级选项。如职责非常明确、职责较明确、职责一般明确、职责不明确和无工作职责描述选项等级依次为1，1/2，1/3，1/4，0。持有人综合评分（Score）=其中，i为三级指标编号，Ri为指标权重值，Ki为指标选项等级。

2.2 持有人综合评分

36家持有人中，综合评分为80～100分的2家，70～＜80分的8家，60～＜70分和50～＜60分的各13家；以在产制剂数量将持有人分为小规模（1～19个）组、中规模（20～40个）组和大规模（＞40个）组。详见表3。

大规模组的综合评分最高（72.50分），80～100分的2家持有人均在该组，4家持有人综合评分为60～＜70分；中规模组的综合评分为68.61分，以70～＜80分为主，2家持有人的综合评分低于60分；小规模组的综合评分为60.78分，11家持有人的综合评分低于60分。综合评分不低于80分，药物警戒体系构建基本完善；60～＜80分，构建较完善；低于60分，构建尚未成形。由表3可知，36家持有人中，2家（5.56%）体系构建基本完善，21家（58.33%）体系构建较完善，13家（36.11%）体系构建尚未成形。

表3 不同规模药品上市许可持有人综合评分[家（%）］Tab.3 Comprehensive scores of MAHs with different scales of preparations[MAH（%）］

2.3 持有人综合评分雷达图

36家持有人2020年和2021年均未涉及群体/聚集性不良事件和重点监测，仅1家持有人涉及境外报告，故雷达图中只对其余6个检查类别的评分效果进行多维度展示。分别选取不同分数段的4家持有人进行雷达图效果展示，其综合评分依次为84.28分（持有人1）、71.49分（持有人2）、62.53分（持有人3）和50.36分（持有人4）。详见图1。

图1 4家药品上市许可持有人药物警戒检查综合评分雷达图Fig.1 Radar graphs of comprehensive scores of GVP inspection of four MAHs

可见，评分越高的持有人，雷达图形状越饱满，面积越大。由雷达图半径可知，评价与控制是4家持有人均存在的较大缺陷；60分以上的持有人其余5个检查类别的半径均处于三环至五环之间，可认为药物警戒体系搭建基本成形，虽然组织机构、人员管理和质量管理体系仍不完善，但未影响个例报告中大部分工作的开展；60分以下的持有人多数检查类别的半径处于三环内，药物警戒体系搭建尚未成形，个例报告有关的日常工作开展较差。

3 讨论

3.1 量化评分体系构建的重要性和创新性

药物警戒检查是由药品监督管理部门根据监管需要对持有人按有关技术规范要求进行的监督检查。《新规范》自2021年12月1日起正式施行，在此之前，各省级药品监督管理部门需督促本行政区域内的持有人做好相关准备工作，同时通过加强日常检查等监督和指导持有人按要求执行《新规范》[10］。与过去的药品不良反应监测相比，药物警戒的监测对象、范围、方法均更广泛，尤其在风险识别、控制和管理方面对持有人提出了更高要求[11］。但现有检查指导原则只有检查要点，没有缺陷分级，在药品不良反应监测向药物警戒过渡的背景下，只对检查问题进行描述较难直观地呈现持有人药物警戒体系的整体构建情况，尤其持有人数量较多时，监管部门很难从几十或上百份检查报告中了解辖区持有人的工作状况。因此，本研究中以解决监管难点为出发点，构建量化评分体系，并于2020年和2021年应用于实际检查中。通过量化检查结果进行数据分析和雷达图展示，能更全面、直观地呈现持有人药物警戒体系的构建情况。

3.2 评分指标及权重确定的合理性和科学性

本研究中以《指南》《公告》为基础构建量化评分体系，检查指标直接由检查要点转化，合理性、可操作性均较强。采用德尔菲法确定权重，由专家根据经验对权重进行赋值，再对指标进行综合评估。本次咨询的专家全部来自药物警戒相关领域；相关工作从业年限为5～13年；7名实施过药物警戒检查，2名在持有人中担任药物警戒负责人。本次咨询的Cr为0.931，一级指标的Kendall's W为0.824，二级指标和三级指标指标数目虽多，但Kendall's W在0.4～0.7范围内，提示此次专家咨询结果可靠。

从最终权重分配比例来看，评价与控制的权重最高，质量管理体系、个例报告的权重较高，组织机构和人员管理次之，最后为境外报告、群体/聚集性不良事件、定期安全性更新报告（PSUR）和重点监测。该权重分配比例体现了以下三点：1）评价与控制权重高，符合《新规范》关于提高持有人风险评估和控制能力的要求；2）在机构和人员配备完善的基础上，质量管理体系和个例报告的相关工作是否做实、做细最能反映持有人工作状况的差异，故权重均较高；3）符合工作实际，本地区持有人2020年和2021年几乎未涉及境外报告、群体/聚集性不良事件和重点监测相关工作，而PSUR与药品再注册挂钩，属药品生产企业办理再注册许可时必须按有关要求提交的报告，故权重均较低。

3.3 量化评分体系的应用

1）可用于评估持有人药物警戒体系构建的整体水平。36家持有人中，2家体系构建基本完善，符合《新规范》要求；21家体系构建较完善，但仍有部分制度文件或工作程序不符合《新规范》要求，还需修订、更新；13家持有人体系构建尚未成形，需加大力度整改。2）可用于纵向评估持有人体系构建的进度，尤其在连续多次检查过程中，通过对比综合评分和雷达图面积，可直观地呈现整改效果。3）可用于构建药品监管的风险矩阵，根据风险级别合理规划监管措施，指导相关工作的开展。

3.4 局限性

本研究中咨询专家均来自同一地区，故在权重分配上具有地区特色。地区性政策和持有人的情况不同，各省（直辖市）对检查指标的权重分配意见可能不同，如PSUR在部分省（直辖市）不属于再注册时必须提交的报告；部分地区跨国企业较多，境外报告相关的指标权重比例可能更高。结合2022年4月发布的《药物警戒检查指导原则》（国药监药管〔2022〕17号），量化评分指标需继续进行优化和更新。