胡天亮,连宪辉,马德东,马嵩华,孔胜利
(1.山东大学机械工程学院,济南250061;2.高效洁净机械制造教育部重点实验室,济南 250061;3.机械工程国家级实验教学示范中心,济南250061;4.山东大学齐鲁医院,济南 250012;5.国家卫生健康委员会耳鼻咽喉科学重点实验室-山东大学,济南 250012;6.齐鲁工业大学(山东省科学院)机械与汽车工程学院,济南 250353;7.山东省机械设计研究院,济南 250031)
现代诊疗系统包含患者、医疗设备、治疗方案三个要素。患者是诊疗系统乃至整个医疗系统服务的主要对象;医疗设备可分为诊断设备、治疗设备和辅助设备,为诊疗系统提供多维度的诊断数据支持、先进的治疗手段以及医疗环境和治疗保障,是评价医院技术能力现代化程度的重要指标[1];治疗方案是诊疗系统的核心,与医护人员的技术水平、临床经验以及医疗设备的水平息息相关。随着近代医疗与信息技术的进步,治疗医师通过各种医疗设备收集患者的生理参数、药物使用数据、环境数据以及医疗设备的使用数据等[2-4],构建数据库,利用数据挖掘和分析技术从数据库中提取有用信息[5-6],判断患者病情,预测病程,以制定有效、精准的个性化治疗方案。数据处理技术在一定程度上促进了现代诊疗系统的不断完善与发展。然而目前仍有一些顽固性慢性疾病,比如慢性肺气肿、高血压、冠心病、类风湿和恶性肿瘤等难以根治。同时,对于脑出血、脑梗死、急性型心肌梗死、肺栓塞等突发性高致命性疾病的预测预防手段仍有不足。应对这些挑战,现代诊疗系统三要素作为一个整体,在治疗过程中应统筹三方面的信息,但在实际治疗过程中仍存在如下问题:
(1)医疗设备层面:对于诊断类设备而言,在获取患者生理参数的过程中存在滞后性、局部性问题;对于治疗设备而言,在使用的安全性、可靠性和适用性上还存在问题[7];同时,医疗设备在应用时,需要精准的执行和舒适的人机交互。这些问题最终会影响到治疗方案可靠、准确和安全的实施[8]。
(2)治疗方案层面:由于医护人员对于患者的信息掌握不完备或信息分析不全面,以及治疗经验问题,导致隐性信息呈现不足,给及时发现病情和精准治疗带来挑战。同时,在执行治疗方案过程中,操作者经验和熟练程度也将影响治疗方案的精准执行。
(3)患者层面:不同患者的体质、病情、病程存在广泛的差异性,影响了特异性指标对检查结论的正确判断和治疗方案的正确制定。
通过分析以上问题,对现代诊疗系统的技术提升可归结为状态感知、机理模型、智能算法三个方面:
(1)构建完备的状态感知系统。现代诊疗系统对患者、医疗设备多维度状态参数的采集、秩序化处理以及信息挖掘不充分,诊疗系统存在“感而不知”,隐性致病机理未挖掘,对诊断决策缺少进一步支持的问题;
(2)建立多领域、多尺度的人-机融合的机理模型。患者生理/病理、设备运行的机理模型不充分,无法真实、准确、有效地映射诊疗系统生理、病理、诊断、治疗手段内在的机理与相互作用关系;
(3)精准的决策算法。由于状态感知系统功能和机理模型的问题,导致智能决策算法的准确性、针对性不足,医疗设备诊疗过程中智能性缺失,致使治疗方案正确性的人为影响因素过大,智能医疗系统决策结果可信度不高。
以上问题的实质为诊疗系统物理世界与信息世界的融合与交互问题。可通过将现阶段物理融合技术与医疗诊断技术结合加以解决。
早在2002年,密歇根大学教授Michael Grieves提出了数字孪生的概念。数字孪生具有虚拟空间与物理空间紧密融合的特点,是充分利用机理模型、状态感知信息、决策方法等集成多学科、多维度、多尺度的仿真过程,其通过虚实同步映射和虚实融合实现虚实共生,涵盖物理实体的全生命周期过程,实现智能应用决策[9]。数字孪生技术现已应用于许多行业,代表性的如美国空军研究实验室开展了基于数字孪生的飞机结构寿命预测[10],达索系统利用数字孪生技术还原巴黎古城的建造过程,加拿大渥太华大学MCR实验室提出了边缘运行的数字孪生心脏[11],萨马拉国立技术大学提出了一种关于冠状动脉血管数字孪生的建模方法[12],OnScale推出了用于改善新冠病毒COVID-19患者预后的数字孪生肺等。
根据数字孪生技术的虚实同步映射、虚实融合的特点与优势,本研究基于数字孪生技术设计了数字孪生诊疗系统(digital twin enabled therapy system, DTTS)。DTTS从系统层面将状态感知、机理模型、智能算法三个方面融合,建立起现代诊疗系统三要素关系,探索其在临床诊疗、基础医学研究、医学教育培训、医疗设备研发中的应用,以提高诊疗系统的智能性和安全性,为智能诊疗系统的发展提供可行的思路。
理想的现代诊疗系统三要素应具备的关系,见图1。
图1 现代诊疗系统三要素Fig.1 Three elements in modern therapy system
患者与医疗设备的关系:患者是医疗设备的直接或间接的作用者,是医疗设备的服务对象。诊断设备获取患者生理病理状态参数,治疗设备辅助患者的治疗与恢复,并实时监测患者与治疗相关的生理病理状态参数,根据病情变化调整治疗参数。
患者与治疗方案的关系:患者是治疗方案的服务对象与使用者,是治疗方案制定的信息来源。医护人员针对不同的患者提出个性化的治疗方案,患者将治疗方案的效果直接反馈或通过诊断设备反馈至医护人员,供医护人员进行治疗方案调整。
治疗方案与医疗设备的关系:医护人员是治疗方案的直接制定者和医疗设备的直接操作者。医护人员根据诊断设备提供的诊疗平台与数据支持,做出合理的分析,提供相应的治疗方案;治疗设备是治疗方案的辅助实施者,将治疗方案通过设备进行实施。
患者、医疗设备、治疗方案三者相互驱动、相互反馈,实现人-机数据的融合,形成数字化、智能化的诊疗系统。
根据上述诊疗系统三要素的理想关系以及数字孪生概念的基本理念,为充分实现诊疗系统的智能化,本研究依据数字孪生虚实融合的理念,建立了DTTS,见图2。该系统是在智能诊疗系统需求的驱动下,基于信息物理融合技术,通过物理实体(包括患者、医疗设备)、孪生数据以及孪生机理模型的映射与交互,实现物理实体和其数字孪生体的多学科、多物理量、多维度、多尺度的融合。在孪生体中的孪生数据和孪生机理模型的融合驱动下,进行智能分析决策,最终服务于临床诊疗、基础医学研究、医疗教育培训以及医疗设备研发和使用。
图2 数字孪生诊疗系统Fig.2 Digital twin enabled therapy system
DTTS分为物理空间和数字空间,主要由物理实体、DTTS孪生数据、DTTS孪生机理模型和DTTS智能决策四部分组成。
其中,物理空间包括患者(消化、呼吸、循环、内分泌、神经、运动、泌尿以及生殖系统等)、医疗设备(诊断设备、治疗设备和辅助类设备等)、传感设备(各种生理传感设备和设备的状态传感器等)以及用于物理实体(患者和医疗设备)状态数据传输的信息交互平台。
数字空间包括DTTS孪生数据、DTTS孪生机理模型和DTTS智能决策模块。DTTS孪生数据主要包括来自物理空间的感知数据,分为实时数据和存档数据。DTTS孪生机理模型基于物理实体建立,与DTTS孪生数据共同实现对患者和医疗设备忠实的、数字化的镜像。
DTTS智能决策模块负责完成辅助临床判断与决策。基于深度学习平台,利用DTTS孪生数据和DTTS孪生机理模型单独或者融合实现对患者、医疗设备的状态识别以及不同应用场景的指导。
数字空间通过信息交互平台获取物理空间的状态(包括患者的生理病理参数、设备的运行状态等),实现虚实映射。数字空间的决策结果通过信息交互平台反馈给医疗设备或者直接反馈给医护人员,形成治疗方案,同时,物理空间中的患者和医疗设备接收来自医护人员的医嘱并精确执行。
DTTS孪生数据主要包括来自物理空间的传感数据。传感数据具有多源异构、多维度、动态性、海量、时序性等特征。如三维结构数据可通过CT三维扫描得出;心率和血压可利用心率测量仪测得;由温度传感器测量相应位置的体温;通过计算胸内压与潮气量的斜率间接得到肺部顺应性等[13]。根据传感数据的特点,孪生数据从时间维度可以分为两类。一类是实时数据,通过设备采集生理病理实时数据(如心电图数据、体温、血压、血氧等)和医疗设备状态数据(如设备运行实时参数等),并直接显示或进行处理;另一类是存档数据,包括实时历史数据(需要存储的生理病理实时数据和医疗设备实时状态数据)以及其它数据,其它数据指非实时生理病理数据(如影像学数据、化验数据、以及患者的性别、年龄、身高、体重等)以及非实时设备数据(设备的使用年限、使用次数等)。
考虑采集数据的完整性、冗杂性等问题,需要对原始数据进行“原始数据→数据清理→数据集成→数据变换→数据归约”流程的预处理,对所采集的数据做出审核、筛选、排序等必要的处理,生成最终的DTTS孪生数据,使后续的数据分析、数据挖掘等结果更高效、准确。
将以上数据通过信息交互平台传至数字空间,即将物理实体的状态数据映射到数字空间,实现感知物理实体的全要素信息。在数字空间实现全要素医疗信息的集成、分析与决策,有助于临床症状分析、病理研究、医疗设备智能运行维护以及设计开发等。
DTTS孪生数据为DTTS提供了全方位、多层次、多领域的数据集成与共享模块,驱动DTTS孪生机理模型的不断迭代更新,实现精准的DTTS智能决策模型建立与优化。
为实现物理实体到DTTS孪生机理模型描述的真实映射,对患者和医疗设备分别建立其孪生机理模型,见图3。根据影像学数据、生理参数、生理学数据等,从解剖、物理、功能和规则四个维度对患者进行建模;从机械、电气、气动和控制四个层面对医疗设备从几何、物理、行为、规则四个维度进行建模。并根据实际诊疗需求,实现DTTS孪生机理模型的自更新、自优化和自配置。约定模型间的融合关系,从而在数字空间建立一个完整的、高保真的DTTS孪生机理模型。
图3 DTTS孪生机理模型的建立流程图Fig.3 The process of building DTTS mechanism model
对于患者孪生机理模型,本研究从解剖结构、物理属性、生理功能和生理规则四方面对八大系统进行刻画与描述,根据需求建立“解剖-物理-功能-规则”四维融合模型。具体如下:
解剖模型:主要对患者的生理结构结合影像学建立的解剖学表述模型。
物理模型:主要根据人体八大系统生理功能参数(比如血压、心率、顺应性等)并且结合流体力学和弹性力学而建立的模型。
功能模型:用于描述八大系统各组织结构处于不同状态时的生理功能的模型。
规则模型:自觉或非自觉地由神经中枢控制的人体各器官或组织的生理病理运行规则。
对于医疗设备四维模型,从医疗装备涉及的机械、电气、控制、气动四个系统层面,从几何、物理、行为、规则四个维度进行刻画与描述,根据需求建立“几何-物理-行为-规则”四维融合模型。具体如下:
几何模型:主要对医疗装备的零部件、子系统、系统分层级的几何表述模型。
物理模型:对医疗装备物理特性,如材料、质量、强度、运动部件的摩擦系数等进行表述。
行为模型:对医疗装备行使功能时的行为特性进行表述。
规则模型:对医疗装备的运行规则进行表述。
DTTS孪生机理模型是对物理实体进行不同维度的系统级描述,各维度之间互相关联与映射。对于患者孪生模型,可利用CT数据进行图像重建,并通过语义识别区别出各组织器官和系统,建立解剖模型;在解剖模型基础上,将物理属性参数融合,建立物理模型;同时根据生理特征建立各系统的功能模型;在功能模型的基础上,结合生理运行规则建立规则模型。对于医疗设备孪生模型,从机械-电气-气动-控制四个层面建立几何-物理-行为-规则四维模型,四维模型之间是一个有机融合的整体,实现医疗设备孪生模型几何-物理-行为-规则的描述。
患者孪生模型和医疗设备孪生模型根据不同方式建立,但两者在诊疗过程中相互依存。依据两者的交互要求构建交互接口,建立患者孪生模型与医疗设备孪生模型的“驱动-反馈”关系,形成人-机融合的DTTS孪生机理模型。
为了保持DTTS孪生机理模型数据与物理实体数据的真实同步,需进行模型实例化和模型跟随。模型实例化指从普适性模型到具体专用模型的转化;模型跟随是随物理实体状态的变化而实时更新孪生机理模型。DTTS孪生机理模型自更新技术路线(见图4)根据物理空间中患者或医疗设备的状态进行实时更新,保证DTTS机理模型与物理实体的一致性。
图4 DTTS孪生机理模型自更新技术路线Fig.4 The self-updating technical route of DTTS twin mechanism model
在诊疗系统运行的全部阶段,通过基于遗传算法的优化过程,对各种传感器的累积信号响应进行评估,建立诊疗系统综合差异评估模型,映射物理实体整个诊疗过程中的实体几何变化、生理参数更新、功能及规则特性的更新,并通过诊疗系统综合差异评估模型,实现DTTS孪生机理模型的自主更新。
在DTTS孪生机理模型自优化方面,以临床应用分析为导向,依据误差影响评判规则,对DTTS孪生机理模型进行自主优化降阶处理,在保留患者和医疗设备必要的行为特性,以及主导效应的前提下,在保证准确性的同时,对机理模型进行优化。
在DTTS孪生机理模型自配置方面,以临床应用分析为导向,利用层次分析法选取患者目标子系统或医疗设备目标零部件,并结合子系统或零部件之间的耦合关系,自组织生成以具体应用为目标的DTTS孪生机理模型。在保证应用需求的基础上,实现机理模型的简化,以减轻智能决策的计算负担。
在精确建立DTTS孪生机理模型的前提下,DTTS对物理实体的临床状态识别是智能决策的基础。基于DTTS孪生机理模型和孪生数据融合的方法是临床状态识别技术的关键,基于临床状态识别的智能决策的技术路线,见图5。通过构建临床状态感知本体模型,明确诊疗系统包括的实体范围。基于此模型对存档数据进行筛选和预处理,构成临床状态识别训练集。采用机器学习及数据挖掘方法对数据进行预处理,并进行临床状态识别模块中映射关系的训练,获取临床状态特征列表,构成“状态类型-数据”的映射图谱,构成临床状态识别上下文并输出。
图5 基于临床状态识别的智能决策的技术路线Fig.5 The technical route of intelligent decision based on clinical state recognition
以临床状态识别模块为基础,以应用场景、状态类别为导向,将临床状态识别结果输入到神经网络中,通过不断的迭代训练,得到精确的神经网络划分器,进行不同应用场景的智能决策。突破统计方法、数据驱动、物理模型等单一数据分析算法的局限性,以机理模型和DTTS数据为基础,建立融合型决策方法,根据不同的诊疗场景进行筛选,实现模型、数据的有效融合,以获得更加准确的决策结果,为不同状态的患者和医疗设备及不同的应用场景提供服务。
基于上述DTTS研究,预期可以在临床诊疗、基础医学研究、教育培训和设备研发等四个场景中进行应用。
临床诊疗是DTTS最主要的应用。利用DTTS,针对不同疾病或某一疾病不同阶段的患者,在治疗之前对患者进行充分评估,从生命体征、生理结构、营养情况、工作环境等多维角度判断病症,建立个性化患者孪生机理模型,从海量孪生数据中提取有效信息,识别出有助于预测患者病情导向的“数字生物标记”,依据相关场景的智能决策指导治疗医师提供个性化治疗方案,并驱动医疗设备运行,辅助疾病的诊断、治疗以及预防等。
针对人体生理系统和子系统,建立孪生机理模型,结合检测设备检测的孪生数据,从生理、病理多学科、多物理场景、不同维度进行研究,深入研究人体生理活动机理和病理演进机理,推动基础医学的发展。
利用DTTS,从不同维度对人体、医疗设备进行研究、解读,建立多维数字化平台,辅助医护人员提高治疗技术以及对医疗设备的操作水平,以可视化的方式助力于学生教育、护理技术训练,并可针对患者的疾病进行科普教育。
医疗装备可靠性、有效性、智能性、易用性的提升,可有效保障治疗效果,减轻医护人员的操作难度,减少医疗事故的发生几率。在医疗设备研发、优化的过程中,利用DTTS模拟患者、医疗设备进行辅助设计和验证,可大量减少设计过程中受试者的参与时间及相应的人力、物力,高效安全地进行设备的研发、优化。同时,针对医疗设备采集相关使用参数,建立医疗设备模型,可以对其进行评估,实现医疗设备寿命预测以及故障智能诊断维护。
针对现代诊疗系统患者、医疗设备、治疗方案三要素存在的问题,本研究基于数字孪生理念,从状态感知、机理模型、智能算法三个方面探讨了数字孪生诊疗系统的构建方法,并对孪生数据、孪生机理模型、智能决策三方面进行了阐述,对数字孪生诊疗系统在临床诊疗、基础医学研究、教育培训和医疗设备研发四方面的应用进行了初步探讨。后续将以数字孪生诊疗系统理论为基础,推进临床医疗设备和数字平台的建设实施。