高长曌,袁太兴,崔晶蕾,李洪军,王 辉,王中山,刘景鑫
1. 吉林大学中日联谊医院,吉林 长春 130033;2. 吉林省医学影像工程技术研究中心,吉林 长春 130033
新 型 冠 状 病 毒 肺 炎(Coronavirus Disease 2019,COVID-19)[1-3]疫情在全球持续升级,急需研发能够远程智能防控诊断的云服务平台。疫情出现后,我们在吉林大学和吉林省科技厅的COVID-19疫情防控应急科技攻关项目的支持下,开展了突发疫情远程智能防控诊断平台研究。
首先确定研究目标,平台必须迅速应用于突发疫情。医生可进入平台了解重点防护城市与地区疫情相关人员信息,浏览人员的影像信息。依托人工智能、机器学习、深度学习[4-6]等创新技术构建智能防控平台,对CT、DR等影像进行智能化分析、处理,实现智能化实时监测预警防控工作。主要研究对象:CT、DR影像数据、影像设备相关参数和人工智能图像处理算法。主要研究方法:平台主要研究人工智能图像处理算法,研究与OBS、COVID-19影像诊断接口对接方法,研究影像传输标准。
(1) 对 象 存 储 服 务(Object Storage Service,OBS)。这是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS系统和单个系统都没有总数据容量和对象/文件数量的限制,为用户提供了超大存储容量的能力,适合存放任意类型的文件,适合普通用户、网站、企业和开发者使用。OBS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet的电脑上,通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据[7]。此外,OBS支持SDK和OBS API接口,可使用户方便管理自己存储在OBS上的数据,以及开发多种类型的上层业务应用。
(2)人工智能医学图像处理。卷积神经网络(Convolutional Neural Network,CNN)是机器学习研究中的热点,在医学图像应用中具有一定价值。本文首先介绍了CNN基本原理,其次综述了其在网络结构的改进:在模型结构方面总结了CNN的11种经典模型,并以时间顺序梳理发展进程;在结构优化方面从CNN的5个方面(输入层、卷积层、下采样层、全连接层以及整个网络)总结研究进展。然后,对学习算法从优化和融合两个方面进行归纳:在优化算法方面根据优化目的(提高准确率、防止过拟合、防止局部最值、提高收敛速度)梳理算法的进展;在方法融合方面分别从输入层、卷积层、下采样层、全连接层和输出层共5个角度进行归纳。最后,将CNN映射到医学图像领域,结合计算机辅助诊断探讨CNN在医学图像中的应用。本文对CNN进行了较为全面系统地总结,对CNN的研究发展具有积极意义。用CNN卷积神经网络识别图片,一般需要的步骤有:① 卷积层初步提取特征;② 池化层提取主要特征;③ 全连接层将各部分特征汇总;④ 产生分类器,进行预测识别[8-15]。
(3)图像文件存储。MongoDB是一个基于分布式文件存储[16-19]的数据库。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。
平台架构主要分四层,第一层为用户接入层,用户可以通过电脑、手机、其它终端的方式通过互联网登录平台应用平台的相关功能。第二层为服务层,平台提供存档、阅片、诊断、共享、教育培训、质控互认等服务。第三层为数据层,平台访问数据通过统一的接口访问用户数据、提供服务接口与其它系统对接。第四层为基础设施层,提供平台运行时需要的软件、硬件的支持,图1为平台架构图。
图1 平台架构图
平台主要有为五大系统组成:① 用户系统,主要存储用户基本信息、检查信息、诊断建议、查看影像;② CT、DR影像存档服务;③ 影像的质控互认;④ COVID-19智能诊断;⑤ 影像共享数据库。平台组成部分图,见图2。
图2 平台组成部分示意图
2.3.1 架构描述
平台的架构分为五个部分:① 疫情数据上报;② CT、DR影像查看;③ 影像的互认共享;④ COVID-19智能诊断;⑤ 共享数据库。海量的数据存储与分析固然离不开对海量数据的存储与处理,疫情人员的影像数据的存储采用OBS进行存储 。
平台在MVC架构的基础上改进增添了action层、复杂Model层,形成了多层架构,将前端、用户行为、后台、数据进行隔离。M是指业务模型,V是指用户界面,C则是控制器,使用MVC的目的是将M和V的实现代码分离,从而使同一个程序可以使用不同的表现形式。比如一批统计数据可以分别用柱状图、饼图来表示。C存在的目的则是确保M和V的同步,一旦M改变,V应该同步更新,service层主要实现平台核心的业务逻辑,dao层主要实现数据库的操作,平台采用面向接口的设计方式,完全可与其它第三方系统进行对接。平台采用深度学习、人工智能技术结合自然语言处理工具对医学领域中文、特定词表和规则匹配,依托2016年国家重点研发计划项目建立的医学影像质控互认共享云平台成果和影像互认共享数据库中的海量数据,对通过质控互认平台互认通过的影像、检查报告中的检查结论、知识图谱中的词汇的语法、语义,基于自然语言处理算法、深度学习算法,完成分词、命名实体识别、关系提取处理过程从而实现结构化变量的输出,进一步做标准化处理。人工智能技术处理CT、DR影像,辅助医生进行诊断。平台运行在华为、联通、移动等国内巨头云服务提供商、平台安全性、数据的安全性得到了充分保障。
2.3.2 平台模块描述
平台通过在现有的互联网+大数据等技术,结合重大疾病应急防控诊疗流程,建立重大疾病应急防控诊疗云服务平台(图3),可通过手机、电脑等以浏览器、APP等访问,为医务工作者提供疾病防控、诊断、治疗的功能,也为百姓提供防控科普知识,主要模块描述如下。
(1)通知公告。公告主要用于及时对外宣布有关突发事件、最新动态、重要事项。
(2)组织机构。主要包括以下几点:① 平台简介:介绍防疫机构的基本情况、优势、提供的服务、研究内容等;② 专家介绍:介绍参与治疗疫情的专家,帮助及时了解专家专长专项,有效发挥专家作用;③ 联系我们:描述机构的联系方式、传真、邮箱、地理位置等信息。
图3 COVID-19疫情防疫平台图
(3)教育培训。提供线上职业技能培训资源,疫情期间针对当前疫情的种类和特点进行线上职业技能培训,预防常识。
(4)专题报道。以图文的形式展示相关较高新闻价值的疫情、事件、问题。
(5)新闻动态。显示国内外对与当前疫情、重大突发事件。
(6)标准规范。及时公布新出台的关于突发事件、疫情的相关标准规范。
(7)影像诊断。上传影像后通过调用WEBAPI接口调用通过人工智能分析诊断后的诊断结果。影像管理界面,见图4。
图4 影像管理界面图
(8)查看影像。点击查看影像,即跳转到阅片系统中,并显示对应的影像信息。
(9)用户分享影像。用户可以查看用户分享给该医生用户的的影像信息,并以列表的形式显示。
(10)撰写报告。医生可以填写病人的诊断报告,完成对影像的报告撰写。
2.3.3 相关代码
COVID-19远程智能防控诊断平台代码目录结构图如图5所示,其他各层级代码示意图如图6~8所示。
平台部署上线后,与吉林省延边州安图县医院等多个医院成功对接,接收到影像信息。如图9所示,服务器存储影像数据,经实验验证系统完全满足需求,实现预期目标,系统可以快速处理异构结构化数据和非结构化数据、检索、分析海量数据,具有较强的理论和实用价值,有利用疫情防护知识的宣传,增强百姓防范意识,有效提高对疫情诊断的精准度、节省诊断时间,提高效率。
图5 代码目录结构图
图6 API项目分层示意图
图7 API服务层代码示意图
图8 COVID-19诊断接口代码示意图
图9 服务器存储影像数据
平台现已上线,经验证,系统完全满足远程智能诊断需求,可实现预期目标,系统最终的实现可以快速处理异构结构化数据和非结构化数据、检索、分析海量数据,具有较强的理论和实用价值,有利于疫情防护知识的宣传,增强百姓防范意识,有效提高对疫情诊断的精准度、节省诊断时间,提高效率,并通过数字影像分享功能,能够使用户与疫情诊断专家不受场地限制,可随时随地用移动设备和电脑完成有关工作,大大减少疫情传染几率。