智能体在医疗健康领域的研究与应用*

满坚平 黄国立

(中山大学中山医学院 广州 510080) (惠州学院计算机科学与工程学院 惠州 516007)

赖 聪 陈子怡 周 毅

(中山大学孙逸仙纪念医院 泌尿外科 广州 510120) (中山大学附属第一医院神经 内科 广州 510080) (中山大学中山医学院 广州 510080)

1 引言

《“健康中国2030”规划纲要》等系列政策的发布推动医疗健康服务向疾病预防、智能诊疗、健康管理等环节延伸，覆盖生命全周期、健康全过程。自2016年人工智能(Artificial Intelligence，AI)开始在医疗健康领域渗透与深度融合，借助科技赋能提升人类健康水平已形成全球共识[1]。目前“AI+医疗”从早期理论研究向应用探索发展，并结合大数据、5G、区块链、物联网等新一代信息技术推动医院数字化、智能化进程。人工智能发展通常可分为计算智能、感知智能和认知智能3个阶段[2]。目前人工智能逐渐从感知智能向决策智能方向发展。基于智能体理论的决策智能在游戏领域得到突破性进展[3]。随着健康医疗数据的爆发式增长人类的感知和决策能力往往无法有效满足大型、复杂、动态临床环境下的决策需求，迫切需要发展以智能体为载体的人工智能，实现人类智能与机器智能结合的智能人机交互与协同。

2 智能体概述

2.1 概念、特点及分类

2.1.1 概念 智能体(Agent)理论是计算机科学与人工智能的发展方向。1986年人工智能之父Marvin Minsky在《心智社会》(TheSocietyofMind)中提出Agent理论[4]。但目前Agent尚未形成统一定义且有多种译法，包括“智能体”“智能主体”“主体”“智能代理”等。本文中Agent是指与环境交互，并根据其已有知识及获得反馈更新其行为进行学习的决策实体[5]。

2.1.2 特点及分类 智能体一般具有自治性、反应性、主动性、社会性等特征，此外还具有移动性、诚实性、友好性、理性等特性[6]。依照不同分类标准智能体可分为不同类型[7]。根据其属性智能体体系结构可分为审慎式、反应式和混合式[8]。其中审慎式结构可用于复杂推理，反应式结构适合实时决策，混合式结构综合审慎式和反应式结构的优势，但系统复杂性较高，见表1。

表1 智能体分类

2.1.3 多智能体系统 通常单个智能体在资源条件和计算能力等方面受到限制，多个智能体协作、共同决策成为主流。多智能体系统(Multi-Agent System，MAS)[9]由一组松散耦合的智能体交互协作完成其局部和全局目标，其智能可通过方法、函数、过程、算法或强化学习来实现[10]。多智能体系统具有自主性、容错性、灵活性、可扩展性、协作性等特点，为大规模分布式和自适应复杂系统发展提供了新思路。常见多智能体系统体系结构主要包括网络结构、联盟结构、黑板结构[11]，见表2。

表2 MAS体系结构分类及其特点

2.2 多智能体强化学习基本理论

2.2.1 概述 强化学习与智能体理论结合发展了单智能体强化学习(Single Agent Reinforcement Learning，SARL)和多智能体强化学习(Multi Agent Reinforcement Learning，MARL)。SARL通过智能体与环境的交互执行顺序决策，遵循马尔可夫决策过程或部分可观察马尔可夫决策过程，其目标是通过与环境的不断交互(即采取行动)学习最优策略，最大化累计回馈[12]。

2.2.2 单智能体强化学习基本结构 本文重点关注基于马尔可夫决策过程的单智能体强化学习，见图1。马尔可夫决策过程一般定义为多元组，其中S和A分别为智能体的状态和动作空间，R为回报(或奖励)函数，f为状态转移函数，γ为折扣系数[12]。

2.2.3 多智能体强化学习基本结构 MARL遵循马尔可夫博弈或随机博弈过程[12]。随机博弈过程可定义为多元组，其中S为环境状态空间，Ai为每个智能体的动作空间，A=A1×A2×…×An为所有智能体的联合动作空间，Ri为每个智能体的回报函数，f为联合状态转移函数，γ为折扣系数，n为环境中智能体的数量[10]，见图2。

2.2.4 MARL分类及其算法 在博弈论领域MARL根据其要解决的任务类型可以分为完全合作型、完全竞争型和混合型[12]。为了便于分析和计算，在竞争环境中通常讨论两个相互竞争的智能体，其中一个智能体的奖励是另一个智能体的损失，见表3。

表3 MARL分类及其算法

3 国内外医疗智能体研究与应用现状

3.1 医学场景仿真建模

随着智能体仿真模型在医疗领域的应用[13]，多智能体建模仿真(Multi-Agent Modeling and Simulation，MAMS)技术可解决不同复杂系统中的灵活组织和调度问题，适用于分布式仿真，具有较好稳定性和可重用性[14]。在医疗领域中MAMS技术多用于传染性或流行性疾病传播、人群动态模拟、细胞或神经元通信、医学教育等相关场景研究。国内外学者研究特定环境中个体在空间的行为模式和相互间的通信关系，利用可视化工具建模分析疾病在不同场景的传播过程，结合地理信息系统(Geographic Information System，GIS)，统计学与人工智能技术探索疾病的时空传播规律。Younsi F Z和Hamdadou D[15]提出一种基于MAS、SIR模型和GIS的流行病传播仿真系统，旨在找出流行病传播的主要因素，监测疾病在时空上的传播并实现快速预警。Xiao S、Li Y和Sung M等[16]根据3种主要传播途径(空气传播、密切接触和污染物)确定7种中东呼吸综合征传播模式，使用多智能体建模框架评估每种假设的感染风险。

3.2 基于数据融合与智能体的医疗物联网

医疗物联网(Internet of Medical Things，IoMT)已广泛应用于辅助监护、远程康复、移动健康、智慧养老等领域[17]。考虑到患者远程监测的响应性和灵活性需求，国内外学者研究探索基于MAS的IoMT框架。Fernandes C O和De Lucena C J P[18]提出一种基于MAS的患者远程监控软件框架IoT4Health，自动远程实时监控患者活动。Liu X、Leon-Garcia A和 Zhu P[19]通过设计软件定义的传感器、执行器和控制器，统一多个不同的物联网应用，提出面向智能家居的智能健康监测解决方案。在IoMT发展过程中，患者数据的隐私和安全受到高度关注。Poap D团队将IoMT网络中的每个事物建模为对应智能体，利用区块链技术存储和保护数据[20]并结合联邦学习，提出一种基于联邦学习和区块链的智能体架构[21]，在多个独立的设备上应用智能体训练模型，可为肺炎、癌症等疾病诊断任务创建不同的分类器。

3.3 基于智能体的医学数据分析

3.3.1 研究概况 自20世纪50年代以来，国内外学者一直致力于医疗信息系统研究，并进行健康医疗数据分析[22-23]。目前国内外研究者已利用智能体理论，在临床文本数据、影像波形数据、生物组学数据等方面开展研究与分析，为疾病预测、分类诊断、治疗方案优化、健康管理等提供临床决策支持，见图3。

3.3.2 临床文本数据 主要呈现为电子健康档案(Electronic Health Record，EHR),电子病历等。我国学者针对治疗策略优化问题，提出一种结合EHR和深度Q网络的智能体强化学习算法EHR-DQN[24]，为糖尿病并发症患者实现更准确的血糖控制。Atteya W A、Dahal K和 Hossain M A[25]提出一种用于早期发现膀胱炎和肾盂肾炎的多智能体慢病诊断系统，集成两家医院的专病数据，利用Apriori算法进行疾病预测。

3.3.3 影像波形数据 包括2D/3D医学图像以及脑电图、心电图信号等。Bennai M T、Guessoum Z和Mazouzi S等[26]利用智能体在核磁共振图像中移动、交互和协调动作，实现对健康和病态大脑图像的识别。Liao X、Li W和Xu Q等[27]提出一种基于MARL的交互式3D医学图像分割方法IteR-MRL，对图像分割任务的动态过程进行建模。Pathirana S团队研究证实了MAS对脑电图信号分类的适用性并将其部署在脑机接口系统中[28]。

3.3.4 基于基因组、转录组、蛋白质组、代谢组等生物组学数据的早期筛查 其对癌症高危尤其是携带致病遗传基因的人群具有重要意义。Ramos J、Castellanos-Garzón J A和 González-Briones A等[29]提出一种从DNA微阵列数据中进行基因选择和组织样本分类的多智能体系统，有效分类肺癌、结肠癌和白血病。刘健、顾扬和程玉虎等[30]提出BCDQN和PMDQN两种MARL方法，并利用肿瘤基因组数据库(The Cancer Genome Atlas，TCGA)数据预测乳腺癌致病基因。

4 医疗智能体研究的挑战与应用展望

4.1 智能仿真：医疗仿真建模与数字孪生、元宇宙

随着数字孪生(Digital Twin，DT)在医疗领域的应用[31]及元宇宙(Metaverse)的发展，智能体仿真与数字孪生、元宇宙等理论相结合将成为医疗仿真建模发展的新思路。目前已有研究探讨了DT与MAS的集成并在严重创伤管理中开展应用[32]。Netlogo、Anylogic作为通用的多智能体建模工具普遍应用于粗粒度或个性化场景下复杂问题的建模。但MARL算法并未沿用这类工具。针对更加复杂的医学环境建模仿真任务，在现有软件能力匮乏的情况下，基于逻辑推演的特征选取考验研究者对问题的经验判断能力，为医疗智能体的研究带来不少阻力。

4.2 智能感知：数据驱动物联网及传感器网络

环境智能的发展极大丰富了通过环境传感获得的数据或信息。但在建设医院智能环境前需要重视感知智能所面临的挑战[33]。多智能体系统由于其特有的动态能力与分布式认知一致原理，将推动数据驱动的物联网及传感器网络实现具有自主行为的感知智能。多智能体协作理论在落地实践过程中仍存在诸多问题。多智能体分层协作框架Hit-MAC[34]可有效控制有限数量的传感器，实现全局最优的目标覆盖。但不同结构、不同数量的智能体在组合过程中会形成不同规模的一阶、二阶乃至高阶的异构智能体拓扑。面向带时滞一致性问题，需要专门针对多智能体通信过程中产生的物理性质时延、测试噪声、数据丢包、量化误差等要素进行处理。

4.3 智能人机交互：多智能体深度强化学习

复杂临床环境下(如多学科会诊、疑难重症诊疗等)，人工求解能力往往无法有效应对复杂决策问题，而机器难以处理非形式化的隐形问题。发展人机智能交互，建立医生、患者、智能体、临床环境全方位影响要素的内在关联，将适应和预测医生与患者的交互行为。多智能体深度强化学习[35]可解决MAS环境中的众多复杂任务问题(如高维状态空间下状态特征建模等)，将为人机智能交互与协同提供更有利的条件。非平稳性、给定通信及计算效率等因素可能对多智能体深度强化学习的决策性能产生影响[36-37]。Deepmind与OpenAI机构的研究重心在于场景背后的算法原理(如StarCraft2 RTS对抗环境)，而SARL常用的Gym虚拟环境并不适用。目前仅以Terry J K、Black B和Grammel N等[38]提出的PettingZoo作为Gym通用环境的延续。

4.4 智能决策：多智能体临床决策支持系统与医院智能体

“互联网+医疗健康”的快速发展，推动临床决策从集中式发展为网络环境下的分布式，对精准医学研究具有积极意义[39]。面向专病临床决策需求，结合多智能体、专病库、知识库、本体和各种推理模式，发展多智能体临床决策支持系统，将有效改善分布式环境内医学数据的学习过程，提高决策系统的鲁棒性、可靠性、灵活性。面向智慧医院管理的决策问题，“全场景智能”将成为智慧医院建设的发展方向。华为发布行业首个医院智能体，其进一步发展还需要建立配套体制，进行定期迭代更新。在智能决策过程中，医疗数据质量和决策结果的透明化也是关乎智能体决策效果的重要因素。

5 结语

产业互联网的“存量变革”背景下，人机融合智能将成为“AI+医疗健康”发展的新常态。针对特定人群、特定业务、特定需求的智能应用以及便捷、智能、精准、高效的医疗健康服务模式，将是未来信息化发展的重要方向。智能体理论作为人工智能的研究方向将推动人机协同决策与智能交互的发展。随着强化学习和深度强化学习在医疗健康领域的研究应用，智能体理论与其结合将更加适应当前大型、动态、复杂的临床环境，为临床决策提供更灵活、稳健、智能化的支持。目前国内外学者已从医学仿真建模、医疗物联网、医学数据分析等方面开展医疗智能体研究，为疾病预防、诊断治疗、健康管理等提供智能决策支持。但面对临床复杂环境，智能体建模工具的可及性、多智能体的协作能力、医疗数据的质量、决策结果的可解释性等问题仍是影响智能体理论在医疗健康领域发展的重要因素。未来智能体理论可在智能仿真、智能感知、智能人机交互、智能决策等方面深入研究与应用，结合数字孪生、元宇宙等新元素，将推进其在医疗健康领域的探索与实践，共同为“AI+医疗健康”注入新活力，助推智慧医疗健康的发展与建设。