基于强化学习的1型糖尿病胰岛素给药策略研究

焦泽辉 解柏森 孙福权

摘 要：1型糖尿病（T1D）患者需要通过外源性胰岛素的输送将血糖（BG）维持在治疗范围内。目前，已有的几种基于模型预测控制和强化学习（RL）的胰岛素给药算法存在样本效率差、奖励机制过于简单、血糖调控效果不佳等问题。为此提出了一种基于强化学习的带有指导网络的胰岛素给药策略（insulin administration strategy with guided network，IASGN），针对给药策略安全性能和快速性的特点，引入累积情节奖励和分类经验回放方法，按照不同的重要性采样权重增加了精英樣本池，并基于精英样本池训练给药指导网络，对策略网络进行动作指导，改进了奖励机制，在FDA批准的UVA/Padova T1D模拟器中验证了该方法的性能。结果显示，该方法TIR（time in range）达到了98.21%，TBR（time below range）接近于0，CVGA中所有患者均处于A+B区的安全范围，可以使患者血糖长期处于正常范围内，避免了低血糖的风险，在与基准方法对比中也获得了更好的表现。

关键词：强化学习； 1型糖尿病治疗； 胰岛素给药策略； 精英样本池； 指导网络

中图分类号：TP391   文献标志码：A

文章编号：1001-3695（2023）09-031-2765-05

doi：10.19734/j.issn.1001-3695.2023.02.0052

Study on insulin administration strategy of type 1 diabetesbased on reinforcement learning

Jiao Zehui1， Xie Baisen1， Sun Fuquan2

（1.College of Information Science & Engineering， North Eastern University， Shenyang 110000， China; 2.College of Mathematics & Statistics， North Eastern University at Qinhuangdao， Qinhuangdao Hebei 066000， China）

Abstract：Type 1 diabetes（T1D） patients need to maintain blood glucose（BG） within the treatment range through the delivery of exogenous insulin. At present， several existing insulin administration algorithms based on model predictive control and reinforcement learning（RL） have problems such as poor sample efficiency， overly simple reward mechanisms， and poor blood glucose regulation effects. This paper proposed an IASGN strategy based on reinforcement learning. Aiming at the characteristics of safety and rapidity of the administration strategy，it introduced cumulative plot rewards and classified experience playback me-thods， increased elite sample pool according to different importance sampling weights， trained the administration guidance network based on the elite sample pool to guide the action of the strategy network， and improved the reward mechanism. It verified the performance of the proposed method in the FDA approved UVA/Padova T1D simulator. The results show that the TIR of the proposed method reaches 98.21%， and the TBR is close to 0. All patients in CVGA are within the safe range of A+B zone， which can keep their blood sugar within the normal range for a long time and avoid the risk of hypoglycemia. Compared with the benchmark methods， it also achieved better performance.

Key words：reinforcement learning; treatment of type 1 diabetes; insulin administration; elite sample pool; guidance network

0 引言

糖尿病是当前备受关注的一项疾病，糖尿病患者血糖水平的调节对其健康管理有着重要的作用。

根据国际糖尿病联盟（IDF）2021年发布的《全球糖尿病地图（第十版）》［1］显示，全球成年人（20～79岁）中有5.37亿（10.5%）糖尿病患者，糖尿病总人数预计到2030年将增至6.43亿（11.3%）。其中1型糖尿病（T1D）约占8.5%，T1D患者由于体内缺乏胰岛素，需要长期的血糖自我监测和外源性胰岛素给药［2］。所以，胰岛素给药策略能否有效控制好血糖水平［3］，已成为1型糖尿病治疗的关键所在。目前1型糖尿病的治疗以胰岛素注射为主，主要根据患者的症状，结合性别、年龄、身高、体重等因素确定药物的种类和使用剂量，仍处于传统的遵守医嘱情况，具有较强的经验性。而不同患者间一般存在较大的特异性，给药剂量过多或过少，可能会导致治疗无明显效果，造成医疗浪费，甚至会危害患者的生命安全。近些年来，胰岛素泵［4］作为一种可以持续快速注入胰岛素来控制血糖的工具得到了广泛应用，避免了多次皮下注射胰岛素的困扰，但仍不能实现胰岛素给药的精确控制，而能提供最佳胰岛素剂量的自动化系统备受关注。体外人工胰腺（artificial pancreas，AP）［5］是一种闭环胰岛素输送系统，用于自动控制T1D患者的血糖水平，AP包括连续血糖监测器（continuous glucose monitor，CGM）［6］、连续胰岛素泵和用于估计最佳胰岛素剂量的控制算法。研究的算法包括比例积分控制（PID）［7］、模型预测控制（MPC）［8］和强化学习算法［9］，尤其是强化学习得到了广泛的关注。

强化学习这一通过智能体和环境交互获取最大奖励值的学习范式具备强大的表征能力，可以用来处理复杂的决策问题，已经被扩展到各种控制的实际应用场景中。随着人工智能和大数据的兴起，强化学习在棋盘游戏［10］、交通信号灯控制［11］、自动驾驶［12］等方面都取得了不错的效果。然而，在胰岛素给药问题中，药物用于探索真实环境（即临床人类患者）可能会造成危险。幸运的是，一些糖尿病代谢模拟器已被设计用于在虚拟患者中进行临床研究，如被FDA认可的UVA/Padova T1D代谢模拟器（T1DMS）［13］，它可以为强化学习提供理想的环境，帮助检查控制算法的性能，评估受试者对药物治疗的反应。特别是，使用模拟器［14～18］设计了RL方法用于胰岛素输送，智能体可以轻松地与患者进行电子交互，通过大量交互学习获取胰岛素给药的最优策略，从而控制糖尿病患者的血糖水平，但存在训练时间过长、样本效率低下、奖励函数过于简单、低血糖情况难以避免等问题，血糖调控效果仍然有较大的提升空间。

本文引入情节累积奖励和分类经验回放的方法，增加精英样本池，提升了样本效率和给药策略的训练速度；在奖励函数中引入entity-to-box distance方法［19］，促進最大化范围内的时间（TIR）和最小化低血糖，有助于强化学习模型快速学习和策略收敛；增加了给药动作的指导网络，提升了血糖调节的效果，TIR达到了98.21%，TBR为0，满足关键的低血糖安全约束问题，有效避免了低血糖的发生。

1 背景及相关工作

1.1 强化学习

强化学习是机器学习的一种学习方法，它与监督学习、无监督学习相并列，但不依赖于大量的标签数据，无须给出正确的策略作为监督信息，是一种从环境状态映射到动作，进行试错学习的范式，在与环境的交互中通过回报不断调整策略，从而训练出一个最优的策略，目的是使智能体的累积奖励值最大。强化学习可以处理具有采样、评估和延迟反馈的顺序决策问题，并且经过训练对于不同状态能自适应地采取最优的动作。强化学习的一般过程如图1所示。

1.2 相关工作

自个性化医疗、精准医疗的概念提出以来，关于糖尿病精准给药的研究［20］层出不穷。Garg等人［21］采用PID作为混合闭环血糖系统控制算法，但存在难以控制餐后的低血糖和高血糖的问题；Hovorka等人［22］使用模型预测控制（model predictive control，MPC）与机器学习相结合的方法，利用血糖预测的非线性模型和自适应技术，通过对患者血糖的预测及药物剂量的优化实现胰岛素给药的个性化调整。与PID和MPC方法相比， RL方法可以更多地从患者的自身数据中学习，并产生更安全的策略。Ribba等人［23］借鉴强化学习的闭环控制模式，提出了一组用于生成给药行为的马尔可夫决策方法，模型通过人体的积极或消极反馈来指导马尔可夫决策模型学习给药行为和人体状态之间的最佳映射，根据映射制定下一时刻的给药方案。Yasini等人［24］利用Q-Learning算法进行了给药决策任务的初步探索，证实了此闭环控制体系能够实现胰岛素剂量的精确计算和管理。Sun等人［16］提出一种用于血糖调控的双模式自适应基础胰岛素RL模型，可提供个性化的自适应胰岛素方案来控制血糖。Fox等人［25］在血糖调控中尝试使用具有离散作用空间的深度Q网络和具有连续作用空间的软演员—批评家方法。然而，在Sun和Fox等人的工作中，他们使用RL算法生成了全天的总体基础胰岛素率，这意味着无法及时对血糖的突然变化作出反应。Lim等人［26］在早期采用比例—积分—微分（PID）控制指导行为者—批评家网络来确定胰岛素剂量，并引入了带有悬浮和额外胰岛素剂量的自适应安全机制，利用随机森林回归和双注意力网络进行葡萄糖预测和状态变量的扩展，从可解释性方面对血糖控制问题进行了延展。Zhu等人［27］通过一个两步的学习框架，在通用特征基础上进行了个性化DQN训练，对单、双激素给药策略可以起到更好的血糖调控效果。Yu等人［28］对葡萄糖—胰岛素的控制系统模块化处理提出了因果耦合机制，探索了分工合作和竞争的关系，引入分层强化学习进行血糖调控。但现有的研究很少关注RL中的奖励函数，通过胰岛素给药来进行血糖控制的安全性探索不足，给药策略训练缓慢，同时血糖调控效果仍有较大提升的空间。

2 基于强化学习的胰岛素给药方法

2.1 问题描述

T1D的闭环胰岛素给药任务可以用一个马尔可夫决策过程（Markov decision process，MDP）来描述，用一个五元组〈S，P，A，R，γ〉进行定义，其中状态S是糖尿病患者的生理状态，为包括血糖浓度（BG）在内的13维特征的连续状态；动作A为基础胰岛素的给药动作和剂量；状态转移函数P（s′，s，a）表示由于给药动作a的选择，从当前血糖状态s转移到下一血糖状态s′的概率；r（s，a，s′） 表示在当前血糖状态s采取给药动作a转移到下一状态s′的瞬时奖励；0＜γ＜1 是对未来奖励的折扣因子，γ越大，表示未来奖励对当前状态动作选择的影响越大。智能体在一定时间内与糖尿病患者环境交互，控制系统通过传感器设备感知s，并采取给药动作a输送胰岛素剂量，T1D患者的生理状态过渡到s′，根据血糖变化评估并返回奖励r。π（a|s，θ）表示参数为θ的给药策略，表示在给定生理状态s的条件下采取给药动作a的条件概率密度，目标是最大化累积奖励R（s，a），并得到一个最优的给药策略π*。一个动作价值函数为

3 实验

3.1 UVA/Padova T1DM模拟器

T1DMS也被称为UVA/Padova Type 1糖尿病代谢模拟器，最早在2009年基于MATLAB环境提出，用于糖尿病人体生理建模。2014年进行了首次更新，2018年再次更新后，开发团队公布了该模拟器基于Python语言的架构。在研究1型糖尿病的治疗策略背景之下，美国食品与药品管理局（FDA）正式通过了该模型的认证，批准其作为临床实验的方案之一。除速效胰岛素外，T1DMS支持长效胰岛素或口服药物的模拟，这为糖尿病患者代谢实验引入了更多使用不同治疗方法的可能性，因此该模拟器在近些年的研究中得到了广泛使用。

3.2 实验设置

T1DMS模拟器为智能体探索和学习策略提供了一个交互式环境。本文也选用此模拟器用做强化学习的真实环境进行实验，并对其提供的10名成年 T1D虚拟受试者进行模拟，以评估所提出的深度强化学习框架的性能。在实验中，考虑一天三餐，即早餐06：00（70 g），午餐11：00（110 g），晚餐18：00（90 g）。进食量的大小由饭菜所含的CHO含量来计算，用餐时间限制为15 min。碳水化合物的用量误差估计为-30%～+10%，且均匀分布，膳食吸收的变化量设置为30%，碳水化合物的变化量设置为10%，胰岛素敏感度设置为20%，在模拟器的配置文件中生成。

3.3 性能指标

为了衡量血糖调控的表现，本文使用一组在AP临床实验中常用的指标［29］。血糖管理系统的主要目标是将血糖水平维持在目标范围内，并将低血糖发生的概率降至最低。因此，［70，180］ mg/dL的时间范围百分比（TIR）是一个直观的指标，它表明受试者的BG水平处于正常血糖区的时间。相应地，低于范围的时间（time below range，TBR）（BG＜70 mg/dL）和高于范圍的时间（time above range，TAR）（BG＞180 mg/dL）分别代表低血糖和高血糖的时间。此外，控制变异性网格分析（control variability grid analysis，CVGA）［30］是一项评价一组病人在同一天的血糖调控性能非常有效的性能指标。它通过在一个有9个区域的网格上绘制极端（最小/最大）BG值来可视化血糖结果，每个病人代表一个点，每个点的X坐标代表最小血糖值，Y坐标代表最大血糖值。CVGA分为5个区域，分别为A、B、C、D、E区域，其中A区域为最安全的区域，E为最危险的区域，A+B区的点代表AP系统的最佳血糖调控效果，该方法已广泛用于在血糖控制研究和临床实验中比较不同算法的有效性。

3.4 对比方法

为验证本文提出的基于强化学习的带指导网络的糖尿病胰岛素给药策略（IASGN）性能，将与如下方法进行比较：

a）低葡萄糖胰岛素悬浮液方法（low glucose suspend，LGS）［31］。LGS系统已经被证明可以通过暂停基础胰岛素的给药剂量来降低糖尿病患者低血糖的风险。

b）标准剂量计算器（standard bolus calculator，SBC） ［32］。它是一种根据患者当前及目标血糖值等条件计算胰岛素注入剂量来调控血糖的方法。

c）深度强化学习控制方法（deep reinforcement learning，DRL）。将深度强化学习算法应用于糖尿病患者胰岛素给药策略来控制患者血糖，目前诸如SAC（soft actor critic） ［33］强化学习算法也在该领域有了一定应用。Zhu等人［27］ 所提出双激素DRL-DH模型和Yu等人［28］提出的因果耦合机制CCMs模型也将作为对比方法。

3.5 实验结果

通过对不同算法的给药模型60天的训练，并进行为期3天（4 320 min）的测试，结果均用均值和标准差表示。图3展示了患者8在训练过程中最高、最低血糖值的收敛情况。表1展示了不同算法在T1DMS模拟器中所提供的10名患者血糖控制的性能指标情况。如图3所示，8号患者的最高、最低血糖值在训练的第3天就进入正常范围内，并在第10天开始趋于稳定，表明患者全天的血糖浓度值BG均处于［70，180］mg/dL的正常范围内，策略的收敛速度较快。

总体看来，DRL的算法在胰岛素给药任务中展现出较LGS和SBC更好的血糖调控性能，TIR指标更占优势。可见将强化学习算法应用于糖尿病患者的给药和血糖控制任务有着很强的适用性和发展前景。相较于DRL中表现优秀的SAC算法和当期领域内的DRL-DH算法和CCMs算法，本文所提出的IASGN算法TIR达到了98.21%，TBR接近0，TAR也更小，极大地避免了低血糖的发生，而SAC的TIR为87.39%，DRL-DH为85.75%，CCMs为96.30，仍低于IASGN的TIR值，说明本文算法表现出更优秀的性能。图4展示了T1DMS模拟器所提供的10名患者选用本文IASGN算法在4 320 min内的血糖浓度变化曲线。持续高于180 mg/dL被认为是高血糖，持续小于70 mg/dL被认为是低血糖，70和180对应的阈值以虚线标出。由图4可见，在4 320 min的测试时间内，10名患者均未出现低血糖的情况，个别患者有短暂越过180 mg/dL的情况，但总体上各个患者的血糖均控制在正常范围。

在4 320 min的测试期内，对于采用本文方法的患者血糖情况进行了控制变异性网格分析。图5为10名患者序列中的CVGA图。

由CVGA图中可见，在本文方法的闭环控制下，A+B区的百分率为100%，其中70%对应于A区，30%对应于B区，实现了对AP系统最佳的血糖调控效果。

4 结束语

本文验证了强化学习应用于糖尿病患者的血糖控制任务的适用性和延展性，并针对胰岛素给药和血糖调控安全性的特点，提出了一种基于强化学习带有指导网络的胰岛素给药策略。在T1DMS模拟器中测试了其性能，表明本文方法能够满足关键的低血糖安全约束问题，可以使受试患者血糖长期维持在正常范围内，避免了低血糖或者高血糖症状的出现，保证了患者的安全，且在与其他基准方法的对比中表现出了更佳的性能，TIR值达到98.21%，TBR值接近0，有助于糖尿病给药治疗与强化学习等人工智能技术的结合与发展。

虽然T1DMS模拟器是基于生理学的，但其本身的局限性与临床环境的不确定性限制了BG控制方法的进一步改进。尽管本文采取了精英样本池和离线的训练方法，但训练效率仍然有待提高。近年来，一些基于模型的DRL和离线DRL在提高样本效率方面取得飞速发展。因此，在今后的工作中，本文将考虑对个体的药代动力学和药效学（PK/PD）特性进行建模，并改进基于模型的RL和离线RL的BG控制方法。

参考文献：

［1］Sun Hong， Saeedi P， Karuranga S， et al. IDF diabetes atlas：global， regional and country-level diabetes prevalence estimates for 2021 and projections for 2045［J］. Diabetes Research and Clinical Practice， 2022，183： 109119.

［2］Zimmet P Z， Magliano D J， Herman W H， et al. Diabetes： a 21st century challenge［J］. The Lancet Diabetes & Endocrinology， 2014，2（1）： 56-64.

［3］寧芳芳. 胰岛素不同给药方式对糖尿病患者血糖控制效果的影响［J］. 中国医药指南， 2021，19（5）： 63-64. （Ning Fangfang. Effect of different insulin administration methods on blood glucose control in patients with diabetes mellitus［J］. Guide of China Medicine， 2021，19（5）： 63-64.）

［4］Pickup J C. Insulin-pump therapy for type 1 diabetes mellitus［J］. New England Journal of Medicine， 2012，366（17）： 1616-1624.

［5］Kovatchev B. A century of diabetes technology： signals， models， and artificial pancreas control［J］. Trends in Endocrinology & Metabolism， 2019，30（7）： 432-444.

［6］Klonoff D C. Continuous glucose monitoring： roadmap for 21st century diabetes therapy［J］. Diabetes Care， 2005，28（5）： 1231-1239.

［7］Chee F， Fernando T L， Savkin A V， et al. Expert PID control system for blood glucose control in critically ill patients［J］. IEEE Trans on Information Technology in Biomedicine， 2003，7（4）： 419-425.

［8］Hovorka R， Canonico V， Chassin L J， et al. Nonlinear model predictive control of glucose concentration in subjects with type 1 diabetes［J］. Physiological Measurement， 2004，25（4）： 905-920.

［9］Li Yuxi. Deep reinforcement learning： an overview［EB/OL］. （2018-11-26）. https：//arxiv.org/abs/1701.07274.

［10］Granter S R， Beck A H， Papke Jr D J. AlphaGo， deep learning， and the future of the human microscopist［J］. Archives of Pathology & Laboratory Medicine， 2017，141（5）： 619-621.

［11］Yu Bingquan， Guo Jinqiu， Zhao Qinpei， et al. Smarter and safer traffic signal controlling via deep reinforcement learning［C］//Proc of the 29th ACM International Conference on Information & Knowledge Management. New York： ACM Press， 2020： 3345-3348.

［12］Pan Xinlei， You Yurong， Wang Ziyan， et al. Virtual to real reinforcement learning for autonomous driving［EB/OL］. （2017-09-26）. https：//arxiv.org/abs/1704.03952.

［13］Man C D， Micheletto F， Lyu Dayu， et al. The UVA/PADOVA type 1 diabetes simulator： new features［J］. Journal of Diabetes Science and Technology， 2014，8（1）： 26-34.

［14］Lee S， Kim J， Park S W， et al. Toward a fully automated artificial pancreas system using a bioinspired reinforcement learning design： in silico validation［J］. IEEE Journal of Biomedical and Health Informatics， 2020，25 （2）： 536-546.

［15］Daskalaki E， Diem P， Mougiakakou S G. An actor-critic based controller for glucose regulation in type 1 diabetes［J］. Computer Me-thods and Programs in Biomedicine， 2013，109（2）： 116-125.

［16］Sun Qingnan ， Jankovic M V， Budzinski J， et al. A dual mode adaptive basal-bolus advisor based on reinforcement learning［J］. IEEE Journal of Biomedical and Health Informatics， 2018，23（6）： 2633-2641.

［17］Li Kezhi， Liu Chengyuan， Zhu Taiyu， et al. GluNet： a deep lear-ning framework for accurate glucose forecasting［J］. IEEE Journal of Biomedical and Health Informatics， 2019，24（2）： 414-423.

［18］Daskalaki E， Diem P， Mougiakakou S G. Personalized tuning of a reinforcement learning control algorithm for glucose regulation［C］//Proc of the 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway， NJ： IEEE Press， 2013： 3487-3490.

［19］Ren Hongyu，Hu Weihua，Leskovec J. Query2box：reasoning over know-ledge graphs in vector space using box embeddings［EB/OL］. （2020-02-29）. https：//arxiv.org/abs/2002.05969.

［20］赵冰， 麻淳博， 孙冰冰， 等. 智能胰島素递送系统用于糖尿病治疗的研究进展［J］. 中国生物工程杂志， 2022，42（5）： 81-90. （Zhao Bing， Ma Chunbo， Sun Bingbing， et al. Research progress of intelligent insulin delivery system for diabetes treatment［J］. China Biotechnology， 2022，42（5）： 81-90.）

［21］Garg S K， Weinzimer S A， Tamborlane W V， et al. Glucose outcomes with the in-home use of a hybrid closed-loop insulin delivery system in adolescents and adults with type 1 diabetes［J］. Diabetes Technology & Therapeutics， 2017，19（3）： 155-163.

［22］Hovorka R， Allen J M， Elleri D， et al. Manual closed-loop insulin delivery in children and adolescents with type 1 diabetes： a phase 2 randomised crossover trial［J］. The Lancet， 2010， 375（9716）： 743-751.

［23］Ribba B， Dudal S， Lavé T， et al. Model-informed artificial intel-ligence： reinforcement learning for precision dosing［J］. Clinical Pharmacology & Therapeutics， 2020，107（4）： 853-857.

［24］Yasini S， Naghibi-Sistani M， Karimpour A. Agent-based simulation for blood glucose control in diabetic patients［J］. International Journal of Applied Science， Engineering and Technology， 2009，5（1）： 40-49.

［25］Fox I， Lee J， Pop-Busui R， et al. Deep reinforcement learning for closed-loop blood glucose control［EB/OL］. （2020-09-18）. https：//arxiv.org/abs/2009.09051.

［26］Lim M H， Lee W H， Jeon B， et al. A blood glucose control framework based on reinforcement learning with safety and interpretability： in silico validation［J］. IEEE Access， 2021， 9： 105756-105775.

［27］Zhu Taiyu， Li Kezhi， Herrero P， et al. Basal glucose control in type 1 diabetes using deep reinforcement learning： an in silico validation［J］. IEEE Journal of Biomedical and Health Informatics， 2020， 25（4）： 1223-1232.

［28］Yu Xuehui， Guan Yi， Yu Xinmiao， et al. Causal coupled mechanisms： a control method with cooperation and competition for complex system［C］//Proc of IEEE International Conference on Bioinformatics and Biomedicine. Piscataway， NJ： IEEE Press， 2022： 2556-2563.

［29］Maahs D M， Buckingham B A， Castle J R， et al. Outcome measures for artificial pancreas clinical trials： a consensus report［J］. Diabetes Care， 2016， 39（7）： 1175-1179.

［30］Magni L， Raimondo D M， Man C D， et al. Evaluating the efficacy of closed-loop glucose regulation via control-variability grid analysis［J］. Journal of Diabetes Science and Technology， 2008， 2（4）： 630-635.

［31］Liu Chengyuan ， Avari P， Leal Y， et al. A modular safety system for an insulin dose recommender： a feasibility study［J］. Journal of Diabetes Science and Technology， 2020，14（1）： 87-96.

［32］Schmidt S， Nrgaard K. Bolus calculators［J］. Journal of Diabetes Science and Technology， 2014， 8（5）： 1035-1041.

［33］Haarnoja T， Zhou A， Abbeel P， et al. Soft actor-critic： off-policy maximum entropy deep reinforcement learning with a stochastic actor［C］//Proc of the 35th International Conference on Machine Lear-ning. 2018： 1861-1870.

收稿日期：2023-02-23；修回日期：2023-04-12  基金項目：国家重点研发计划资助项目（2018YFB1402800）

作者简介：焦泽辉（1998-），男，山西晋城人，硕士研究生，主要研究方向为强化学习、大数据分析；解柏森（1998-），男，辽宁沈阳人，硕士研究生，主要研究方向为深度学习、大数据分析；孙福权（1964-），男（通信作者），辽宁锦州人，教授，硕导，博士，主要研究方向为电子商务与大数据分析（404893391@qq.com）．