基于医院RIS-PACS场景的人工智能骨龄检测系统集成技术与实现

【作 者】施莉丽，杨秀军，于广军，赖双，潘志君，王乾

1 上海交通大学附属儿童医院，上海市，200062

2 卫宁健康科技集团有限公司，上海市，200072

3 上海交通大学 生物医学工程学院，上海市，200030

0 引言

人工智能（artificial intelligence,AI）+医疗是近年发展迅猛的技术新浪潮，由于其直接关乎国计民生，成了各国政府不惜重金研发的热点和高地。随着深度学习技术在医学影像诊断与分析领域的不断发展，国内外各种基于医学影像AI算法的研究如火如荼，实验模型亦应运而生，且一些模型在国内外各类平台的比赛中，无论工作效率、诊断准确性还是图像质量方面均表现不俗[1-3]，甚至已超越人类。AI+医疗正由学术界驱动转为学术界、产业界共同驱动和产学研协同创新发展。一个由AI替代影像医师进行简单、机械、重复劳动，协助影像医师提高诊查效率与精确性的影像学科也离我们越来越近了。

然而，就医学影像诊断与分析而言，需要医生在主要基于医院网络和放射科信息系统（radiological information system，RIS）及医学影像存档与通讯系统（picture archiving and communication system，PACS）的平台上完成。为此，再好的AI模型，不上线落地该平台临床应用都无法实现。如何将AI算法模块系统、深度集成到RIS-PACS平台中，实现基于医院网络及RISPACS真实场景的AI项目的落地，创建一键式快速自动化临床影像诊断工作流，是一个非常棘手的问题，至今尚缺非常成功的临床案例与研究报道[4-6]。基于自主研发的两套不同骨龄AI检测系统（CHBoneAI 1.0/2.0）在真实医院网络及RISPACS平台的集成与实践，提出了一种解决这个问题的方法和架构，成功实现了CHBoneAI项目初步落地和临床上线“并行运行”。

1 材料与方法

采用分步、分阶段遵从医学数字成像及通讯（digital imaging and communication in medicine,DICOM3.0）和无缝衔接（health level 7，HL7）标准设计、构建与实施。I期将基于深度学习的骨龄人工智能检测评估系统（China bone-age-assessment artificial intelligence system，CHBoneAI）软件包集成、嵌入现行医院网络和影像科RIS-PACS平台中，实现骨龄人工评估和人工智能评估“并行运行”；II期利用强化学习、迁移学习等策略，推进CHBoneAI模型自我进化和初写报告“替代运行”，为探索从单中心到多中心的可扩展服务模式、全面智能化替代运行夯实基础。本研究主要实现I期构建目标。

1.1 算法模型构建

选择深度学习核心算法并优化其工程实现，通过深度卷积神经网络提取骨龄影像视觉信息并抽象为高阶特征描述子，构建CHBoneAI模型，实现骨龄影像到临床诊断的端到端映射[3]。首先应用faster RCNN，对基于临床先验知识相关的手腕部骨关节具有重要骨龄评估价值的17个传统骨化中心特征区域进行标记，远节指骨近端标记为1、近节指骨近端标记为2、掌骨远端标记为3、腕骨标记为4、桡骨远端标记为5、尺骨远端标记为6；在这些部位数字后面进一步标注1或0分别表示有或无骨化中心出现（图1）。

图1 骨龄AI评估坐标图Fig.1 The bone age AI assessment coordinates map

以此为基础深度学习，同时结合性别、年龄先验信息进行多模态特征训练，建立Xgboost骨龄回归模型，成功实现了第一套骨龄AI评估系统（CHBoneAI 1.0）；随后鉴于实际骨龄尚存在17个特征区域以外的位置及结构特征决定因素以及实际验证、测试结果的情况，采用在resnet101基础上设计构建基于整张手腕部数字化放射摄影（digital radiography，DR）整体影像特征的异构数据驱动下视觉注意力引导的信息融合的深度学习骨龄评估模型（CHBoneAI 2.0），CHBoneAI 2.0利用神经网络注意力机制，基于整张手腕部DR整体影像，深度学习特征，根据特征图的梯度和激活情况来显示出模型所关注的区域及关注度，骨龄AI评估热力图（图2）有颜色区域为重点关注的部分，颜色越深关注度越高。CHBoneAI 2.0实现在进行骨龄判读的同时，获取神经网络在手腕部DR图像中真正扫描和关注的重要区域，并以热力图的形式可视化呈现，提高了骨龄AI评估的精准度。

图2 骨龄AI评估热力图Fig.2 The bone-age AI heat map

1.2 RIS-PACS系统的流程改造

为了将RIS-PACS系统与AI系统对接，需要对其进行改造。改造的结果需要基于以下原则：充分考虑医院科室现有的工作流程，对现有的检查和报告流程不做修改；同时系统的改造对工作人员是无感的，不会增加其工作量。改造后的流程（图3）主要包括：①病人完成登记后，和原来的流程一样进入检查阶段，对病人来说没有任何变化。② 后台服务对是否需要进行骨龄检测进行判断，若需要则进入下一阶段的检测流程，不需要则进入其他报告流程。③PACS骨龄服务获取对应检查影像，采用标准的Restful接口，与AI系统对接，影像没有准备好，则轮询直到影像准备完成。④ 检测结果与检查做自动关联，准备好报告内容。为确保登记信息与检测结果的一一对应，在登记时为每位病人的每次检查分配了唯一的流水条码号，设备做检查时与系统交互，将获取这个唯一的条码号。设备在后续生成影像时，包含了此条码号，确保了影像和报告的一一关联。为了确保关联性，我们为病人提供了条码腕带，设备操作间配备了扫码硬件，每次病人进检查间，医师都要对病人腕带条码进行扫码确认。这些措施保证了人、影像和报告的一致性。⑤ 医生打开报告后，对报告结果进行审核、确认。整个流程对报告医生而言，免去了原先需要进行的查看影像结果，翻阅图谱资料进行比对等过程，大大节省了时间，提高了工作效率。

图3 骨龄AI检测系统工作流程Fig.3 Bone age AI detection system workflow

1.3 AI系统与RIS-PACS系统的集成

为了让AI骨龄检测系统无缝接入PACS-RIS系统，我们设计了系统模型（图4）。以HTTP接口的形式对外提供服务，其中PACS人工智能服务负责从RIS-PACS系统中获取需要做检测的检查与影像信息，通过HTTP接口与AI-骨龄检测引擎进行通信，获得检测结果后，返回PACS-RIS系统。

图4 AI模型与RIS-PACS平台的集成构架Fig.4 AI model and RIS-PACS platform integration framework

PACS、RIS系统提供PACS人工智能服务需要的检测数据，并将检测结果显示出来。在RIS中显示报告内容，在PACS中显示检测后的影像结果。以现有报告模块为基础，构建了计算机视觉评估的结构化结果模块，其中仅骨龄预测的数值是变量，由AI实测写入。同时本项目也对传统的骨化中心情况进行自动检测，分析指标如表1所示，根据骨龄查找表将结果转化为报告内容、记录到数据库中，并同步显示于人工视觉评估结果栏内，供影像医师评估时参考。

表1 掌骨远端、近节指骨近端、远节指骨近端及桡骨、尺骨远端骨化中心AI检测结果表达Tab.1 Expression of AI in the distal metacarpal,proximal phalanx,proximal phalanx,and ossification center of the humerus and ulna

这样，CHBoneAI软件包前端界面部分集成在RIS报告书写界面中、提供DLL方式挂载到RIS的程序中，后端提供单独运行的Windows服务、安装在独立的应用服务器（GPU）中。CHBoneAI系统运行时，RIS系统通过电子申请单接口获取HIS系统中相关病人的基本信息如性别、年龄等及检查电子申请单对应的主要信息如检查项目、部位等。通过PACS人工智能服务器轮询、过滤RIS服务器骨龄DR摄影队列和登记信息，将登记为需要骨龄检查的记录识别出来。同时判断是否完成了检查，如果已经完成了检查，则下载关联的影像并推送到GPU服务器本地（若未完成检查，将等待检查完成后再下载影像）。GPU服务器随即对完成下载的骨龄影像自动评估（规定其最新影像为AI评估的目标图像，来解决一个目录下多个影像的问题），通过webservice接口将预测的骨龄结果数据、AI所关注的17个关键点坐标图或关注区域热力图传输并记录、存储于RIS服务器数据库中（包括病人检查的唯一条码信息），评估完成后GPU上的骨龄影像数据自动清除。

2 结果

2套不同的人工智能骨龄检测系统均成功嵌入式集成于本院网络及RIS-PACS平台上，近3年来医师人工评估和AI评估“并行运行”临床上线较为稳定。CHBoneAI 1.0（图5）和CHBoneAI 2.0（图6）输出结果均包括医师和AI两者评估的骨龄数值，数值临床意义解读由医师完成。

图5 CHBoneAI 1.0并行运行结果输出格式与内容Fig.5 CHBoneAI 1.0 parallel operation results output format and content

图6 CHBoneAI 2.0并行运行结果输出格式与内容Fig.6 CHBoneAI 2.0 parallel operation results output format and content

2套AI算法模型计算机视觉评估结果的输出格式不同，前者输出模块为“AI自动识别和定位指定的掌指、指间及腕部关键17个区域，基于区域内高阶视觉编码，通过深度卷积网络分析其高阶视觉特征和模式，动态融合结果，骨龄符合n.n(y)”，后者输出模块为“AI自动识别、定位非指定的包括腕骨、远端尺桡骨、掌指骨及籽骨的整个手腕部DR影像区域，基于整体影像异构数据高阶视觉编码，分析视觉特征及其模式，通过多尺度动态特种融合完成骨龄评估，综合预测手腕骨的整体骨龄为n.n(y)”。在目前医院千兆网络条件下，每个临床病例骨龄AI检测整个流程所花费的时间不超过3 s，其中图像下载与传输时间在2 s以内、骨龄预测所需时间为0.1 s。

本研究的CHBoneAI系统在临床运行中存在的问题及CHBoneAI 2.0对比CHBoneAI 1.0改进措施如下：图像曝光不足、置位不正尤其手腕部位置呈横位、先天或后天原因导致手腕骨塑形异常、同一目录下混有其他影像等情况，CHBoneAI 1.0未能预测读数出骨龄；HIS、RIS登录性别、年龄错误，CHBoneAI 1.0骨龄预测误差增大、CHBoneAI 2.0无影响，检查项目、部位错误主要是检查项目、部位栏目里无“骨龄片-腕关节”主题词，CHBoneAI 1.0和CHBoneAI 2.0均未能预测读数出骨龄，检查项目、部位栏目里有“骨龄片-腕关节”主题词但非手腕部骨龄片，CHBoneAI 1.0拒绝骨龄评估及读数、CHBoneAI 2.0误读骨龄。此外目前本研究的CHBoneAI尚未能对其预测的骨龄数值的临床意义进行评判，软件自我进化等问题也未涉猎与解决。

3 讨论

骨龄检测无论图谱法、计分法或其他综合性方法，均颇为繁琐、机械，个人经验依赖性强，因此骨龄检测特别适合计算机视觉处理和基于AI诊断工具的自动化检测[3-8]。尽管基于大数据的深度网络计算模型已越来越类似人脑智能[8-9]，但迄今临床上仍缺乏一款实战实用、真正运行在医院网络平台和RIS-PACS工作流程中的线上AI骨龄检测系统。

RIS-PACS平台上AI骨龄检测实现的关键，一是软件包的异构系统间集成与融合，二是AI分析结果输出转换为符合放射诊断质控要求的报告。系统中计算机处理图像过程主要包括以下4步：①从主机内存将需要处理的数据拷贝到GPU的内存上；②CPU发送数据处理执行给GPU；③GPU执行并行数据处理；④将结果从GPU内存拷贝到主机内存。为此，CHBoneAI软件包的前端模块包括数据处理平台（硬件层与数据处理层）、AI引擎、服务层，通过院内集成平台与RIS系统进行数据交互，提供基于深度学习核心算法的骨龄检测AI服务；后端架设了骨龄检测的应用服务，与院内PACS系统通过标准的webservcie方式集成，将系统中的影像数据与AI系统进行交互，获取报告信息后自动完成报告内容的生成。这样的集成方式，可确保即使CHBoneAI软件包发生异常，也不会影响院内PACS系统运行，从而有效避免对PACS系统日常业务的干扰。

总之，基于Python flask web框架的http协议，通过调用、对接医院PACS、RIS接口，实现CHBoneAI模型API（应用程序编程接口）与PACS、RIS系统的集成；输入端兼容DICOM格式、输出端自动生成符合临床规范格式的诊断报告，实现了医院网络真实场景和工作流程的一键式骨龄AI检测和骨龄智能诊断服务的高性能部署，初步实现了快速一键式自动化骨龄检测。近3年的临床实践和“并行运行”，显示其性能较为稳定，不失为一个符合中国国情的AI落地策略，成功完成了I期CHBoneAI的构建。不过，本研究中CHBoneAI尚未对其预测的骨龄数值的临床意义进行评判，目标目录下多图像、非标化图像的精准智能识别及软件自我进化、“替代运行”等问题也未能有效解决，这些将有待在Ⅱ期建设中进一步深入研究与完善。