屈媛媛,王会如,张 宏,李 明,张 蔓
(北京市医疗器械检验所质量部,北京 101111)
申请医疗器械产品注册时,注册申请人应向药品监督管理部门提交经国务院认证认可部门认定的检验机构出具的检验报告[1]。检验机构依据医疗器械产品的技术要求对其性能和电磁兼容性等进行检验,验证其安全性和有效性。
通过对检验数据进行分析,在所有类型的医疗器械检验任务中,放射治疗设备、医用成像设备等大型医疗器械(以下简称“大型设备”)在实验室永久控制之外的地点或设施中实施检验(以下简称“现场检验”)的比重最高,达到99.4%。由于检验样品及检验环境的复杂性,很多工作都需要检验机构、制造商和安装使用单位等多方面的协调配合。而在环境保障(设备、环境设施)、检验方法的选择、检验方案的制订等方面存在更多的不可控因素,很多工作往往依赖于工程师的个人经验,使得判定标准存在较大的个体差异,比在实验室内部进行的检验更为复杂、风险控制的难度更大。
ISO/IEC 17025:2017《检测和校准实验室能力的通用要求》规定,当实施现场检验活动时,应确保设施和环境、设备及质量控制等符合标准要求[2]。因此,加强医疗器械现场检验工作的风险控制,需要检验机构进行更多的技术性研究和探讨。当前的检验机构风险管理多为经验总结,这些方法不具备前瞻性,而且多为定性研究,被评估的结果较难以量化的形式呈现出来,评估方法不具备系统性。
潜在失效模式与效应分析(failure mode and effects analysis,FMEA)不仅是一种识别风险、降低风险的定性分析和评估方法[3],还是一种可以提高任何领域系统安全性、可靠性的实用工具[4]。2001 年,美国医疗机构联合评审委员会推荐FMEA 作为前瞻性风险评估工具[5]。ISO 14971:2007《医疗器械 风险管理对医疗器械的应用》中将该方法作为推荐的医疗器械风险分析方法之一。目前,我国医疗器械检验领域对该方法鲜有应用。本研究依据以往数据及检验工程师的经验分析,采用FMEA 对医疗器械进行高风险因素的确定和评估,对高风险事件制订控制措施,从而提高医疗器械现场检验的效率和规范化水平,为检验检测机构的风险控制找到一种新的评估工具。
为了确保现场检验风险分析过程涉及要素的充分性,将大型医疗器械的现场检验数据作为确定本次危险事件的研究资料。
FMEA 主要通过风险优先序数(risk priority number,RPN)来评估失效模式带来的严重后果。RPN 值是严重度(S)、发生概率(O)、检测度(D)的乘积[6]。其中,严重度(S)为该失效模式发生后对检验工作造成的影响;发生概率(O)为该失效模式在检测过程中发生的频率;检测度(D)为在现有条件下,失效模式发生而未被侦查出的可能性。RPN 值越高,表明该失效模式的风险性越高。
以内部质量体系要求和工程师以往的经验积累为基础,预测出可能的失效模式。以检验结果的准确性和服务客户为目标,对严重度(S)、发生概率(O)和检测度(D)进行评价并计算RPN 值。根据RPN 值的高低确定高风险事件并制订控制措施,从而降低风险发生的概率。
为评价FMEA 实施后的效果,采用实施前后RPN 值和S 值对比的方法来分析控制措施的有效性。采用SPSS 25.0 软件对抽样结果的Kappa 系数进行分析来评价人员间评估结果的一致性程度。统计评估结果的Z 值,表示评估结果满意。对FMEA控制措施实施前后得出的RPN 值进行样本t 检验,P<0.05 表示差异具有统计学意义。
保证检验结果的准确性和服务客户是检验机构最为重要的工作。检验检测机构具备的依据国家标准和行业标准检测的检验能力是经过了方法验证的,因此在检验结果准确性和可靠性方面的风险是相对可控的。那些在标准中尚未规定、主要依赖于检验工程师已有的经验进行判定的方法,在检验活动的一致性运作和结果准确性方面存在较大风险。此外,通过调研,检验工作的时效性、技术指导的充分性、方法选择的准确性和适宜性是客户的最主要诉求。基于上述两方面内容,在本次研究中,将影响医疗器械产品的安全性和有效性判定、导致补充检验、影响检验进度和给客户造成经济损失4 个方面作为本次研究中风险的判定原则。
现场检验的实施主要涉及检验工程师、技术管理层及质量管理人员。基于本次研究的医疗器械产品特点,选取从事有源医疗器械检验工作5 a 以上的检验工程师14 人(其中专职从事大型设备检验工程师10 人)和质量管理人员1 人组成评估小组,其中具备副高级以上专业技术职称的有10 人。参与评估的成员通过FMEA 培训后,基于已经确定的内部质量体系要求和既往经验,提炼出现场检验任务的实际执行流程,如图1 所示。该流程共包含5 个主要环节和19 个子环节。
评估组在已确定的流程步骤基础上逐项进行失效模式分析,尽可能多地找出各个环节中可能出现的错误场景,并列出可能产生的影响。最终在19 个子环节中共总结出52 个潜在失效模式,详见表1。
通过对国际及国内风险分析标准以及国内医疗器械相关领域的风险管理经验[8]进行调研,经过对既往数据的统计及讨论,最终将S、D、O 设定为5 个标准级别并分别确定判定准则,详见表2~4。评估数据中包含国内外几十家医疗器械生产企业的检验执行情况,保证了评估标准的普适性。
评估小组按照打分原则对已完成的检验资料进行失效模式评分,最终得出失效模式的分布状态列表,详见表5。
图1 现场检验任务执行流程图
表1 潜在失效模式列表
通过相关调研发现,我国医疗器械检验领域尚无可直接参考的RPN 值。通过评估小组讨论,对本次获取的所有数据综合运用FMEA 第四版[9]中3 种RPN 值分析法,将RPN≥15 且S≥4 作为高风险失效模式的辅助参考。经统计,高风险失效模式共18 个,如图2 所示,主要分布于安全件[10]的技术参数核对、标准引用情况的核查、设备使用的准确性等环节。
为评价人员间评估结果的一致性程度,随机选取2 名评估小组成员对3 个失效模式的10 份评价结果进行Kappa 分析,详见表6。可以看出,一致性检验结果在0.4≤Kappa<0.75 范围内,说明一致性程度较好[11]。
为确保评估人员能力的稳定性,随机抽取1份涉及失效模式最多的评分结果进行数据分析。分别计算各评估人员对每个失效模式 S、D、O 值的中位值,并将中位值作为评估结果的指定值。将各失效模式评估结果的标准化IQR(四分位距)作为结果评定标准差,按公式(1)计算每个失效模式评估结果的Z 值:
式中,x 为评估人员的评估结果;X 为指定值;σ为结果评价标准差。通过Z 值统计(如图 3 所示)发现,评估人员评分结果的值均控制在2 以内,结果在95%的置信区间内,说明评估人员对于评价准则的评定能力满足要求[12]。
评估小组对出现失效的典型记录进行充分讨论,梳理出可能导致高风险失效模式的影响因素。小组成员分别对已确定的所有高风险失效模式进行影响因素判定,经过统计得出每种影响因素对各失效模式的影响百分比(详见表7),最终将技术文件、工作程序和培训与监督确定为实施控制的因素,并制订具体措施。
表2 严重度(S)判定准则
表3 发生概率(O)判定准则
表4 检测度(D)判定准则
表5 失效模式分布状态列表
2.6.1 规范工作程序
以放射治疗设备为例,《医疗器械分类目录》中将放射治疗设备分为4 个一级类别和22 个二级类别[13]。要验证其中某个产品的安全、有效性,仅对个体实施检验是很难实现的,必须依靠一个复杂的系统(如放射治疗模拟机、激光定位装置、图像引导系统、呼吸门控系统、放射治疗计划系统等)才可以实现。放射治疗设备的组成部件多、结构复杂,实施检验前对医用电气系统的有效核查将直接影响检验项目的判定方式和检验进度。一旦对样品组成核查不充分、不准确,有可能会导致产品组成/部件的遗漏,会对检测效率造成影响,严重的可能导致检验样品的偏离。因此,样品组成核查应从资料性核查开始,在检验方案制订前完成。资料核查工作应涵盖设备间情况核查、设备组成核查等,重点核查样品的基础信息、技术指标(功能概述、电气参数、符合的安全标准)和安全认证资料等,为检验方案的制订、技术要求的评估以及检验现场的样品核查提供重要的基础性保障。
2.6.2 补充技术性指导文件
针对引起高风险失效模式的环节制订相应的标准操作规程,明确检测环境、设备及资料要求,降低不充分沟通导致的风险,明确资料核查内容及方法、环境试验的评估原则及安全性试验的评价原则等,提高操作的一致性和科学性。
2.6.3 加强人员风险管理培训并强化监督
开展对YY/T 0316—2016《医疗器械 风险管理对医疗器械的应用》标准学习的系统培训,提高人员的风险分析能力。逐步将检验工作的实施建立在产品风险识别的基础上,降低关键性验证指标的漏检风险。定期监督人员的实际操作情况,及时发现并纠正不符合事项。将现场检验相关工作文件的掌握情况、检验计划的编制及执行情况作为人员能力评估的考核事项,从执行的规范性方面降低外出检验的风险,从而降低发生人为差错的概率。
实施控制措施后,评估小组再次对已完成的现场检验记录进行打分,并与改进前的结果进行对比,详见表8。与控制措施实施前相比,控制措施实施后RPN 值显著降低(高风险失效模式的RNP 平均值由26.1 降低到 15.4),差异有统计学意义(t=6.5,P<0.05)。大部分高风险失效模式的S 值没有变化,但RPN 值明显变小,证明控制措施实施后风险发生概率得到有效改善,说明检验人员提升了对高风险事件的关注度,且问题的可探测难度也明显下降。初步证明了采用FMEA 方法进行检验风险的确定、评估及控制对于提高现场检验效率和规范化具有积极意义。由于医疗器械注册流程及周期的限制,控制措施实施后对于方法选择的影响不能在短期内得到验证,仍需要持续跟踪来补充检验等相关数据,进一步验证控制措施效果的全面性。
图2 高风险失效模式(RPN≥15 且S≥4)分布鱼骨图
表6 失效模式评价结果一致性程度分析
图3 评估结果Z 值分布图
表7 影响因素对高风险失效模式的影响占比
目前,我国针对医疗器械检验工作失效模式的确定、评级及描述方式尚缺乏统一的标准和要求,失效数据的获取也缺乏系统性。本文提出的基于FMEA 的医疗器械现场检验风险分析能够有效降低医疗器械现场检验过程中的风险,减少潜在失效模式的发生,为检验机构的风险控制提供了一个新的管理工具。同时,检验机构应从多角度摸索检验失效模式及效应分析、积极建立检测失效模式数据库、确定评级标准、规范失效模式记录等角度出发,系统性开展失效模式分析,不仅对检验效率的提升、保证检验结果的准确性和一致性有积极影响,还对提高现场检验效率和规范化水平具有积极意义。
表8 对高风险失效模式实施控制措施前后效果对比