医疗器械不良事件报告自动分析软件的设计

凌庆庆，王浩文，夏景涛，张博涵，李子好，孙遥，陈宏文

1.南方医科大学南方医院 医学工程科，广东 广州 510515；2.广东省药品不良反应监测中心，广东 广州 510515

引言

医疗器械不良事件监测，是指对医疗器械不良事件的收集、报告、调查、分析、评价和控制的过程[1-2]。做好医疗器械不良事件日常监测至关重要，可以减少甚至避免同类医疗器械不良事件的重复发生，保障医疗器械安全有效运行，降低患者、医务人员和其他人员使用医疗器械的风险。

随着《医疗器械不良事件监测和再评价管理办法》[3]《医疗器械使用质量监督管理办法》[4]《医疗器械临床使用管理办法》[5]等政策的出台完善，监管力度逐渐加强，企业和使用单位对不良事件的监测能力和上报意识逐步提升[6-8]。由于医疗器械不良事件的报告遵循可疑即报的原则，且受报告者的经验水平、认知程度等影响，导致医疗器械监测机构收集到大量存在片面性和局限性的不良事件报告[9-10]，使得监测机构无法快速分析筛选到需预警的报告。本研究旨在开发一款医疗器械不良事件报告自动分析软件，使监测机构能在繁多且质量参差不齐的不良事件报告中迅速定位有风险的不良事件，并做出预警。

1 需求分析

使用单位或注册人等在国家医疗器械不良事件监测信息系统上报不良事件，各级药品不良反应监测中心在收到大量且质量参差不齐的报告后，以Excel 格式导出并通过经验手动筛选需要预警的不良事件报告，然后进行调查、分析和评价等工作。然而，人工筛选的方法规则不统一且耗费大量时间和精力，不利于医疗器械不良事件的监测管理。

为了提高各级药品不良反应监测中心筛选并预警医疗器械不良事件报告的质量和效率，更好地进行后续的不良事件报告监测的调查、分析和评价等工作。本文以提高医疗器械不良事件报告筛选及预警的准确率和效率为用户核心需求，开发一款医疗器械不良事件报告自动分析软件，其软件功能需求主要包括报告导入、报告显示、报告分析、分析结果、关键词库管理5 个功能模块，见图1。

图1 医疗器械不良事件报告自动分析软件系统框架

1.1 报告导入

数据来源主要包括使用单位上报和持有人上报两种报告。Excel 是唯一的输入文件格式，并可实现多个Excel 文件及十万份报告信息的同时导入。报告信息包括序号、报告编码、发生日期、产品名称、注册证编号、上市许可持有人名称、伤害、伤害表现、器械故障表现、事件原因分析描述、产品类别。

1.2 报告显示

由于每条不良事件报告的内容较多，除了列表显示模式，还有便于浏览信息的易读模式，双击可进入报告详情易读界面，并可切换阅读报告。

1.3 报告分析

报告分析包括分析规则设计、自动分析和手动分析3 个功能。

（1）分析规则设计是根据需求制定不同的预警规则，参数主要包括伤害程度、故障程度、发生频次，其中伤害程度由伤害关键词决定、故障程度由故障关键词决定、发生频次是指某段时间发生的次数。此外，还可通过产品名称、注册证编号、许可持有人名称等实现重点规则设置。

（2）自动分析是通过选择当前已制定的分析规则对导入的不良事件报告进行自动筛选及预警，并且可设置特别关注参数作为额外预警信息，进行单独分析、展示和导出。预警等级分为高风险、中风险和低风险3 种，可根据需求自主设定风险等级。例如设预警规则中的发生频次为x，自动分析检出的第i个注册证编号的实际发生次数为ni，则预警等级如公式（1）所示。此外，伤害程度为严重伤害和死亡的不良事件报告均显示高风险预警。

（3）手动分析可手动选择需预警的报告，并在界面中显示需预警报告数量。

1.4 分析结果

按预警等级展示需预警报告并以Excel 格式导出，同一注册证编号的报告集中以树形结构进行两级显示，二级信息默认收起状态，双击可用易读模式显示报告详情。对比展示自动分析和手动分析的结果，且计算自动分析的结果准确率（Result Accuracy，RA），计算方法如公式（2）所示。

式中，NA为自动分析的预警报告数量；NR为实际需预警的报告数量。

1.5 关键词库管理

可持续学习不良事件报告的关键词并添加到关键词库，并对关键词库进行编辑和查找。

2 软件设计

2.1 系统架构

为满足医疗器械不良事件报告自动分析软件各模块的功能需求，本研究使用桌面端软件，并将软件的核心服务模块封装在SpringBoot 服务器端实现。软件的客户端基于Visual Studio 2013 和QT 5.9.5 开发，服务器端基于JDK8.0 和MySQL 8.0.16 数据库开发，服务器端的硬件配置为Xeon Silver 4210（2.2 GHz@13.75 M），内存64 G，Centos7 系统。在桌面端软件启动时会自动启动相应的服务器端软件，桌面端通过客户端封装好的Core Service Framework 层模块使用HTTP 接口调用服务器端的核心服务模块实现相应的业务功能，软件的整体技术框架如图2所示。

图2 医疗器械不良事件自动报告分析软件的技术框架图

2.2 软件功能

如图3所示为医疗器械不良事件报告自动分析软件的功能界面，其自动分析流程简要描述如图4所示：① 利用过往的不良事件报告创建关键词库，并根据需求制定分析预警规则；② 根据报告来源是“使用单位”还是“经营企业”导入待分析的不良事件报告，导入信息包括序号、报告编码、发生日期、产品名称、注册证编号、上市许可持有人名称、伤害、伤害表现、故障表现等；③ 确定需要执行的分析预警规则后，可执行自动分析，得到需预警报告，并以Excel 格式导出自动分析结果；也可选择手动分析功能与自动分析结果对比，得出自动分析的准确率。此外，可根据分析结果更新优化关键词库，在系统设置功能中可进行关键词库的增加、删除等操作。

图3 医疗器械不良事件报告自动分析软件功能界面

图4 医疗器械不良事件报告自动分析软件工作流程图

3 软件测试

本研究使用广东省药监局提供的2019年5399 份脱敏医用监护仪不良事件报告对医疗器械不良事件报告自动分析软件功能进行测试，5 位资深医疗器械工程师利用经验总结法从报告的故障和伤害描述中提取关键词，并创建关键词库；使用2023年695 份监护仪不良报告分别进行自动分析和手动分析，展示软件的测试结果。

如表1所示，本研究制定了3 种预警分析规则，分别是每周发生2 次、每月发生3 次、每季度发生5 次，经过软件测试得到自动分析结果，并和手动分析结果的金标准进行对比，计算出RA 分别是85.38%、84.60%和86.42%。耗时从平均1 h 左右降低到5 s 内，且差异有统计学意义（P＜0.05）。

表1 医疗器械不良事件报告自动分析软件测试结果与手动分析结果对比

以分析规则3 为例展示了自动分析和手动分析的直方图统计结果（图5），自动分析和手动分析分别检出了19 个和25 个需要预警的注册证编号，分别用不同颜色展示了不同注册证编号的预警风险等级，其中对于注册证编号为11、12、14、15、20、22 和23 的7 种医疗器械，两种方法的预警结果均为高风险等级，需要分析人员重点关注。

图5 分析规则3的自动分析和手动分析的结果直方图

4 讨论

各级药品不良反应监测中心收到的医疗器械不良事件报告越来越多且质量参差不齐，直接使用Excel 表格手动筛选报告的方法耗费大量人力且效率低下，因此，实现不良事件报告的自动筛选与预警非常重要。然而，当前关于医疗器械不良事件的研究主要集中在对我国医疗器械不良事件监测的现状分析与管理展望[11-14]、医疗器械不良事件监测的风险控制管理方法探讨[15-17]，以及从医疗机构角度进行医疗器械不良事件的管理工作实践分析[18-19]与监管体系研究[20-22]，较少研究涉及对医疗器械不良事件报告进行软件自动化筛选分析。为此，本研究基于Visual Studio 2013 和QT 5.9.5 开发了一款医疗器械不良事件报告自动分析软件，可以实现不良事件的自动筛选及预警，并使用695 份医用监护仪的不良报告数据对软件进行测试，通过和传统Excel 手动分析结果对比，分析时间从平均1 h 左右降低至5 s 以内，分析效率得到极大提高。

本研究的特色和创新之处主要包括3 点：① 根据以往不良事件报告中伤害表现和故障表现描述，提取关键词并创建关键词库，并在使用过程中不断进行补充完善。本研究创建的不良事件关键词库无论是对人工手动筛选不良事件，还是对软件中得到精确的分析结果均有益处；② 可根据需求个性化制定分析规则，使用多种规则实现报告的多维分析。针对同批数据，不良事件分析人员可以根据需求选择不良事件发生的频次以及重点关注内容等来创建不同分析规则，实现不同规则下的报告筛选分析，相比常规人工筛选的方式，更加简单快捷、省时省力；③ 可根据分析人员的需求设置报告风险预警等级规则，进而快速定位到需要重点关注的报告条例，判断出某个注册证编号的医疗器械存在的风险程度，基于此提出应对措施，如对该类医疗设备进行预防性维护、定期检查等，从而减少医疗器械不良事件的发生。

相较于手动分析的金标准，本研究软件自动筛选预警的准确率主要取决于创建的描述不良事件伤害和故障的关键词库，而不良事件上报人员可能来自不同的工作岗位，对医疗器械的伤害和故障的描述方式差异较大，因此需收集更多的关键词，进一步提高软件分析的精确度。此外，后续计划引入无监督机器学习算法，智能化提取关键词以及分析不良事件报告，进一步提高软件的全流程自动化及分析结果精度。

5 结论

针对当前各级药品不良反应监测中心收集的医疗器械不良事件报告繁多且质量参差不齐的问题，本研究设计了一款医疗器械不良事件报告自动分析软件，实现对大量不良事件报告的自动筛选并预警，使分析人员迅速定位高风险不良事件，进一步保障医疗器械的安全有效运行，具有重要意义。