田 竞,田 野,张 贺,武 岳,李雪华
(1.北部战区总医院卫勤训练中心,沈阳 110840;2.西北工业大学航空学院,西安 710072)
数字孪生技术是利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,可通过在虚拟空间的映射,反映对应实体的全实验周期信息[1]。相对于传统计算机仿真技术,数字孪生技术具备全要素系统仿真,运算速度更快、可信度更高等优势[2],成为研究复杂结构的重要工具,已被美国国防部作为战略级技术应用于F-15C战斗机、数字林肯和“阿凡达”项目等的研究中[3]。临床医学或军事医学中,研究人体外伤后的病理生理变化、对药物或治疗措施的反应、损伤及武器效能评估等,往往需要动物实验或者等效体模,所得到的结果只反映局部和某时间点的情况,由于人体的复杂性远超过机械,各组织器官协同复杂,难以了解持续变化信息和相互影响情况[4]。
人体数字孪生目前尚无标准的定义和概念,陈岳飞等[5]将其表述为基于多时空尺度、多维数据,通过建模完美地复制出虚拟人体的技术。Liu 等[6]将人体孪生模型看作人体数字孪生保健系统(digital twin health care system,DTH)的虚拟对象部分,由物理对象、虚拟对象、医疗保健数据三大部分构成。医疗数据是数字孪生技术的基石与方向,中国工程院院士丛斌认为,未来生命科学的发展方向是促进生命科学与大数据、人工智能等领域深度融合,驱使生命科学迈向“数据密集型”科学研究范式[7]。本文结合数字孪生技术的概念和医学研究的需求,将人体数字孪生定义为:基于3D 实体几何模型及数学物理建模技术,构建人体全息生命系统数学模型,该模型计算可用于定性、定量及定位描述生命活动状态,如健康水平变化、疾病或损伤程度以及对治疗的反应和效果等。总体上,数字孪生技术突破了过去解剖数字人的静态局限,使得动态研究人体系统受干预后的持续变化成为可能。本研究采用数模双驱动方法实现人体数字孪生模型的构建,以为后续展开研究奠定一定基础。
数字孪生的概念由密歇根大学Michael Grieves教授首次提出,在2014 年,他将其描述为“在信息空间构建一个可以映射表征物理设备的虚拟系统,它们之间的联系并不是单向和静态的,而是在整个产品的生命周期中都联系在一起”[8]。可以理解为,为所研究的复杂系统创造一个数字版的“克隆体”,将真实物体运行的实际情况在数字体上复现。
目前,数字孪生技术多集中应用于装备制造和设备运维,对于人体的数字孪生鲜有报道,但其前驱性技术还在不断发展,大致分为以下几个方面:
(1)可视化人体模型。其是通过将人类遗体进行切片再扫描而实现的。在国外,美国最早于20 世纪90 年代初将一成年男性和成年女性的遗体切割成为1 mm 和0.3 mm 的薄片[9]。在国内,钟世镇院士于2005 年完成国内首具“数字人男一号”模型[10],该模型切片厚度仅为0.2 mm,相机像素高达2 200 万,是世界上0.2 mm“虚拟人”切片中分辨力最高的数据集。
(2)物理人体模型。其为医学人员解决了医疗卫生领域的诸多可视化问题,但不具备物理属性。近年来,借助动物实验获得人体的等效物性参数的实验越来越多[11-13],基于更准确的参数,科研人员开展了多方位的仿真研究,如上海理工大学联合上海交通大学医学院研究了可吸收的镁合金寰枢椎脱位固定系统的生物力学仿真[14],北京工业大学与江苏省肿瘤医院借助COMSOL 商业软件研究了兔肺肿瘤在微波消融术中的温度分布,得出适合的消融参数[15]。
(3)军事虚拟人。其为美国陆军环境医学研究所2010 年开始启动的一个项目,旨在创建完整的“阿凡达”单兵,它可以不断加载战场环境的数字孪生体来进行各种逼真的高风险模拟,从而替代实战测试。所有测试过程无人身危险,可以随意反复试验[16]。
(4)临床虚拟患者。随着虚拟现实技术的快速发展和新型药品研发成本的快速攀升,医学临床领域逐渐开展了“虚拟患者”的研究[17-18],科研人员可使用“虚拟患者”进行新型药物研发、测试不同器械的使用和不同治疗方法的效果。
人体试验由于涉及政治、法律、高昂成本和道德伦理等非技术因素无法进行系统性试验,迫切需要一种对人体模型的精度和可信度进行评估的方法。例如研究现代战争中对爆震伤的防护与救治,除动物实验外,尚无法获得爆震伤机理模型、科学实验测试方法等,而相关研究可通过数字驱动的人体数字孪生模型展开。综上所述,人体数字孪生的技术关键在于:第一,在可视化人体模型基础上,形成3D 实体几何模型,保障几何精度的同时,兼顾物理模型的泛化能力和数据模型的快速求解,能够实现实时预测;第二,人体是一个复杂系统,人体孪生必须兼顾不同组织系统和多学科物理之间的耦合效应和数据融合。因此,本文针对第一条关键技术,率先提出人体孪生应当构建物理-数据双驱的孪生模型,并通过合理的实验设计,将实测数据与高保真的物理仿真数据融合,构建可以快速求解、实时预测的代理模型,最终奠定人体数字孪生模型的基础方法。
人体数字孪生模型的构建整体分为四大阶段:
第一阶段,标准3D 几何人体模型构建。主要是建立包含国人体征统计意义的三维模型,此举可以保障数字孪生体的普适性。另外,所建立模型为实体3D 格式,即可以直接用于后续物理计算的网格剖分,跨越当前几何人体模型无法直接用于物理计算的技术鸿沟。
高校教育课程资源的共享是高校教育资源整合、利用与发展的重要部分。只有避免本位主义、小集团利益思想,才能更好地树立合作、开放、共赢的高校教育共享理念,从而促进高校教育资源体系生态化的构建。生态资源表面上说是生态环境,往深层次讲是人类在时间、空间、能量、物质、信息等元素相互集合下复杂多变的体系。高校教育资源的整合、利用与发展,要以空间教育资源的整合、扩展为目标,向自然社会空间发展,主要是生态环境资源、高校网络教育资源、地理环境资源等几个方面的开发、整合、利用以及发展。从而通过对生态环境空间资源科学合理的整合,实现高校教育资源体系系统化、规范化的构建。
第二阶段,人体多学科数据源构建。为了解决当前自主人体数据匮乏的问题,需要对人体应用系统工程理论进行层级划分,完成不同层级的测试实验,获取不同物理学科譬如力学、流体、传热等的本构方程及物性参数。
第三阶段,数据-物理双驱模型开发。针对当前物理模型可信度高但是计算效率低的难题,提出数据驱动建模的快速建模方式,最终采用数据-物理双驱形式联立完成人体数字孪生模型构建工作。
第四阶段,人体数字孪生验证及确认。其本质为模型V&V 工作,人体数字孪生的验证工作主要包含软件工程和数学物理验证工作,确认工作包含双驱模型的标定和可信度评价。其总体设计思路如图1所示。
图1 人体数字孪生模型总体设计思路
根据2.1 所述的总体设计思路,模型构建可分以下步骤进行:
第一步,需要进行3D 实体几何人体模型的建立。参考《2000 年国民体质监测报告》中50 百分位男性体态数据,并结合统计抽样后测量得到的中国成年人人体尺寸数据,在Hybrid Ⅲ型50 百分位男性假人模型的基础上,使用MADYMO/Scaler 程序,生成中国人体体态的假人模型。采用统计学方法,建立具有良好外推性的标准几何人体信息库,包含不同性别、不同百分位人体的几何信息数。在此基础上建立人体3D 几何模型,使用Philips 256 排螺旋CT,完成志愿者人体数据收集,建立标准化3D 人体几何实体数据样本。最终通过3D 重建软件Mimics 获取3D人体点云数据,进一步通过逆向工程软件Geomagic等将3D 人体数据转换为主流计算机辅助设计(computer aided design,CAD)软件可读取的3D 实体几何文件格式,譬如IGES、STP 和X-t 等格式,方便被计算机辅助工程(computer aided engineering,CAE)软件处理,完成网格剖分等前处理工作。
第二步,完成人体多学科数据源构建。人体是一个系统工程,其复杂程度不亚于战斗机,以往重个体、轻群体,重局部、轻整体,重专科、轻系统的研究方式往往容易出现以偏概全的弊病。为了准确地描述人体,需要引入系统工程的理念方法。
依据美国航空航天协会发布的确认实验层次,将人体实验层次依照优先级依次划分为尸体实验—动物实验—假人实验—材料实验4 个层次,搜集不同层次实验所应关注的物理特征和确认的测量数据;通过物理人体力学参数测试方法和针对不同研究内容的实验装置,完成参数测试和物理特征实验,并对实验数据进行分析建模,包含数据的误差分析、相关性分析、敏感性分析和聚类分析等。图2 是从基于模型的系统工程(model based system engineer,MBSE)视角出发,把人体这个复杂系统分层拆解为不同的子系统,全系统到子系统拆解依据是按照功能,子系统到组件也是按照功能进一步拆分。
图2 人体数字孪生模型系统分层示意图
第三步,完成数据-物理双驱模型技术开发。高保真模型、秒级响应的快速求解技术和可信度评估是人体数字孪生的核心技术,本文旨在阐述数据-物理双驱建模的理念,由于当前实验手段限制,对于生物化学层面的模拟暂不在本文讨论范畴,因为其往往涉及分子尺度的多个反应关联的效应,人体的数字孪生突破口推荐放在力学和热学层面,参考航空航天领域的相关技术,依次构建混合数据源、力学和热学代理模型,最终获取人体在不同环境下的热力响应。
其次,通过建立符合人体统计学规律的力学、热学特征数据矩阵,梳理不同环境载荷对人体响应的各项数据,获得可快速求解的数学近似函数,建立多种形式的人体热力代理模型。
最终,通过科学的模型管理技术,用代理模型替代低求解效率的离散类求解方法,譬如有限元、有限差分等,进行人体在不同环境下的热力响应,获取应力状态、损伤评估和诊疗建议等关键信息。代理模型示意图如图3 所示,首先从人体模型以及与装备相关的影响因素中提取特征,其次进行多维度的实验设计,开发代理模型,最后再设计优化算法,最终反馈到人机工程上。
图3 代理模型构建流程图
人体数字孪生无论是真实的物理模型,还是数据驱动的代理模型,均是对现实世界的抽象概括。为了验证孪生结果能否实现既定目标,需要对其计算结果的正确性、普适性和可信性进行检验,本文引入V&V 技术完成孪生模型的检验工作。
其整体确认与验证过程如图4 所示[19],主要体现在输入参数、模型本身和载荷扰动等方面的不确定性,其中实验设计和实验数据即2.2 小节所述的分层实验设计及多学科数据源构建。整体工作包括模型验证和模型确认两大部分,其中模型验证本质是为了确定计算模型是否能够准确地将概念模型的数学物理方程进行求解的过程,通过代码验证和计算验证的方式开展。而模型确认是从模型用途的角度,确定计算模型与真实系统之间存在的精度差距的过程,包括模型标定和不确定性量化两大部分。模型标定主要是采取灵敏度分析法或贝叶斯方法等对模型的方程形式和参数进行修正,使其精度进一步提升;不确定性量化则是评价模型可信度的主要方式,其本质是采用数理统计方法分析并描述所有影响模型精度的因素,并对这些因素的不确定性进行量化描述的过程。
图4 确认与验证活动整体思路[19]
所构建模型的检验结果,即模型验证及确认的结果包括:在原有孪生模型框架下,通过模型标定获取精度更高的新模型;经过不确定性量化计算得出模型的概率密度函数,即在不确定性物理量的影响下,模型计算得到某一结果的概率分布。
人体是一个复杂系统,包含呼吸系统、消化系统、神经系统和运动系统等多个子系统,很难展开统计意义的全系统实验,因此如何根据有限信息对多种来源的不确定性作出估计,是人体数字孪生的关键挑战。不确定性量化示意图如图5 所示。
图5 不确定性量化示意图
通过人体数字孪生技术构建的高保真模型具有高完整度、高精度和高可信度等优势,可通过传感器采集真实数据与物理模型完成双向驱动,实时掌握人体机能在各类环境下的变化,评估人体的健康状态,提供给医护人员和科研人员多源多学科的参考数据,因此该项技术的不断发展推广,势必在军事医学、人机工效和临床医学等领域发挥显著的推动作用。
随着我军承担任务的多样化,海外军事任务已经成为紧贴实战历练军人的平台和靠近前线检验部队的载体。联合国相关统计数据表明:在反恐维稳、维和任务中,以简易爆炸装置(improved explosive device,IED)为主的恐怖袭击造成的人员伤亡已远超枪弹伤成为主要致伤因素,受伤程度可从脑震荡、挫裂伤到肢体离断伤,甚至由于钝性损伤和穿透伤导致死亡[20]。研究IED 所致下肢损伤,使用人体数字孪生技术整合爆震数据采集、现场伤情判断、评估标准判断、伤员处理措施判断等各个过程的数据处理结果,通过最终的终端诊疗智能分析技术进行汇总,可以实现实时的统一评估和调度。
人体数字孪生作为计算机辅助人机工效的集大成者,其对人机工效长期的推动主要表现在以下方面:
(1)工效虚拟人建模。人体数字孪生的发展,将大大地拓展工效虚拟人的应用场景及逼真程度,譬如可以考虑特殊环境下的温度载荷、电磁扰动、强光噪声等对人体的影响。这些更贴近实际工业场景及装备服役环境的因素很大程度上填补了虚拟人多学科工程指标空白及物理逼真性问题,将人机交互分析与评估在舒适性和安全性方面提升到全新的水平。
(2)全新的人机界面。人体数字孪生技术的人机界面在高精度图形分辨力的基础上,将大量引入触摸式交互和三维式交互。触摸式交互充分发挥了人们触摸物理世界的经验,大幅降低了用户的学习成本和技能要求;三维式交互界面通过视觉传感器的动作捕捉或者可穿戴设备可以突破二维界面的限制,使得用户可以按照与实际场景中相同的交互技术与虚拟人体完成交互。近年来,机器视觉和语音识别的快速发展,为声控交互、表情交互甚至是眼动交互等多模态交互提供了有力的技术支撑。上述多样化的交互技术大大弥补了老年人、残障人士生理和认知能力的不足,使他们能够较为流畅地与他人及外界环境进行交流。总之,基于人体数字孪生的人机交互技术将比机器科学本身更广泛和更多样化,充分地将人类的活动、体验和感受融入到人机交互中。
人体数字孪生在3D 数字几何人体的基础上增加了力学、热学和流体动力学等多种物理属性,将诸多物理学科与人体的运动系统、呼吸系统和循环系统等结合起来,它所带给临床医学研究的改变是革命性的,具体体现在以下几个方面:
(1)全新的临床数据治理理念。数字孪生技术本身是在系统工程方法论的基础上发展起来的,这与传统中医的理念不谋而合,在很大程度上避免了西医的头痛医头脚痛医脚的局限性,它会从人体的整体出发,形成全身3D 几何信息以及物理数据,再通过数据标准化以及云计算的方式,为受试者生成一份完整、真实和可追溯的三维数字人体,为受试者、研究者、医院和从业者提供了全方位协作的共性可视化数据基础[21-22]。
(2)全新的外科手术设计方法。以往的手术设计往往是基于CT 几何图像[23-24],对于人体的动态响应则主要凭借研究者和医护人员的主观经验,而人体数字孪生技术能够详细地提供肌肉应力分布、血管损伤及出血量甚至骨骼矫正后的受力等物理信息,大大提升了研究者和医护人员的决策准确率,同时为手术机器人等先进设备提供了必要的物理数据支撑。
(3)推动临床医学的运营模式发展。人体数字孪生的发展必然推动数字医疗设备和现有医院信息管理系统的变革,从静态的、局部的文本信息和2D 图像信息向3D 动态的、物理属性的病患大数据系统升级,大大提升了远程医疗和医学机器人的可靠性。
随着智能制造的快速推进,各个工业强国先后推出了国家层面的智能制造发展战略,如美国的工业互联网、德国的工业4.0、英国的英国工业2050 战略、法国的新工业法国2.0 以及中国的中国制造2025和互联网+。数字孪生作为解决智能制造信息物理融合难题和践行智能制造理念为目标的关键使能技术,得到了越来越多的关注和研究。
人体数字孪生的发展,为我国提供了一个绝佳的机遇,它能够从战创伤评估、多场景虚拟人建模、高效人机交互、数据治理和智能诊疗等多方面推动军事医学、人机工效和临床领域发展。本研究提出通过建立基于中国人体特征尺寸的标准3D 人体几何模型,然后进一步明确数模双驱的快速建模方法,最终通过高算力求解以及模型可信度评价获得人体在医疗、人机工效等多场景中的高精度计算结果,甚至可以定性、定量地考察模型逼近真实物理世界的程度。人体数字孪生的实现,将最大程度解决当前数字化人体重几何、轻物理,重局部、轻整体,重理论、轻应用等诸多严峻问题。虽然数字孪生因其对硬件算力、图形渲染和实测数据的较高要求在当前存在一定局限性,但随着“东数西算”、图形处理器技术及传感器技术的飞速发展,其局限性将逐一被打破。因此,提前探索研究人体数字孪生,将为我军数字化、智能化卫勤共性技术探索奠定坚实的基础。