基于多模态智能对话机器人的糖尿病健康管理服务平台应用研究

高逸佳，林靖生，杨海俊，滕晓燕

1. 上海交通大学医学院附属瑞金医院 a. 门诊办公室；b. 学科规划与大设施管理处；c. 数字医学创新中心，上海 200025；2. 谷歌公司，上海 200120

引言

人工智能技术在完成人类日常复杂工作时拥有更高效、更敏捷、使用成本更低的突出优点，使人工智能和机器人技术在医疗健康领域有巨大的潜力，并越来越成为医疗健康生态系统的一部分，在糖尿病病程管理中也有着重要的应用前景。Elhadd等[1]将一种机器学习人工智能算法XGBoost应用到高血糖偏移的预测中，肖薇[2]将机器学习算法应用在糖尿病的预测中，张永亮等[3]将人工智能应用于糖尿病视网膜病变智能识别的SCSDN泛化性增强方法中，吴天柱[4]用人工智能构建了基于深度学习的糖尿病视网膜病变分级模型，陈超等[5]将人工智能用来设计糖尿病视网膜病变的眼底图像辅助诊断系统，于伟泓等[6]将人工智能应用于糖尿病视网膜病变眼底彩照的标准数据库建设规范中，齐琳等[7]将人工智能应用在糖尿病诊疗中，王桢等[8]利用人工智能开展糖尿病患者远程管理，张华驿等[9]将人工智能应用于2型糖尿病患者自我管理中，蔡淳等[10]则将人工智能应用在糖尿病的全程健康管理中。

本文以糖尿病健康管理平台和人工智能引入糖尿病病程管理[9,11-14]为主线，从糖尿病专病防治领域出发，通过深度学习+对话机器人+大数据+物联网技术与病程管理的结合，实现一对一个性化地对患者进行药物、饮食、运动、胰岛素使用、并发症的预防、应急情况的处理等的指导，纠正患者不良习惯、改变重“医”轻“防”的观念，建立糖尿病防治新模式，并形成有效示范。

1 平台系统设计

1.1 设计思想

基于多模态智能对话机器人[5]的糖尿病健康管理服务平台实现多种类人声选择、多种类角色模拟的智能健康助理，通过语音、文字等对话方式以及电话、社交软件等载体为患者提供一对一的个性化健康服务。对话机器人将搭配居家健康智能设备套装为患者提供全方位的服务，套装包括智能血糖监测装置、智能药盒、运动监测手环，实现健康干预计划中的智能感知[2]、智能干预全链条闭环统筹，见图1。

图1 基于多模态智能对话机器人的糖尿病健康管理服务平台架构图

1.2 系统设计

多模态智能对话机器人基于混合云平台实现，具有通过本地和云端服务迅速创建项目需要的计算、存储、网络、安全等模块的能力，平台可以根据业务量动态调整部署规模[15]。

多模态智能对话机器人的糖尿病健康管理服务平台应用与示范项目后台服务主要采用公有云服务搭建，通过公有云平台实现操作系统、网络服务、互联网加速、内容分发、通知服务、人工智能大数据服务、备份和恢复服务，并搭建应用需要的Web服务和APP应用服务。

前端设备包含手机、平板、个人计算机、智能语音机器人、智能血糖仪、可穿戴设备如智能手环等，通过这些设备实现和患者的交互，并搜集患者生命体征信息，将一些后台经过人工智能计算的建议反馈给患者，如用药建议、运动建议、饮食建议等。

2 平台功能设计

本项目的建设目标是构建先进的糖尿病专病知识图谱系统、智能对话机器人平台，并通过应用前端为患者提供功能完善、使用方便的多模态智能对话机器人糖尿病健康管理服务。本项目包含三个主要平台模块。

（1）应用前端。患者可以使用文本、交互卡和语音与机器人聊天。

（2）多模态融合的知识图谱系统。此系统包括专病知识图谱、运动健康知识图谱、饮食知识图谱等，可为平台提供有价值的决策支持。

（3）多角色智能健康助理对话机器人。其中，包括对话管理、自然语言处理[16]、自然语音识别等子模块。提供针对医疗行业领域定制的语音识别功能、针对家庭护理事项形成高准确率的语义识别功能，并利用各类知识图谱推理引导患者及回答事实型问题。

2.1 应用前端

糖尿病患者可使用网站、手机APP、数字助理设备及人工智能技术获取个性化的帮助，连接各种医疗资源，获取管理健康状况的信息与新工具[14,17]。通过智能对话机器人与医院糖尿病健康管理知识图谱数据库对接，在应用前端为患者提供日常的咨询沟通服务，包括四个重要领域：① 诊断：有关糖尿病症状、治疗和统计的所有信息；② 生活方式：包括运动、习惯和生活服务等主题；③ 饮食：患者面临的主要问题之一，如可以吃的食物种类和数量；④ 预防和并发症：有关预防糖尿病的信息以及可能的后果。如管理不当，可能会导致严重的后果。

2.2 多模态融合的知识图谱系统

基于语义网（Semantic Web）技术实现糖尿病知识图谱。作为一种语义网络，知识图谱由节点（实体）和标注的边（实体间的关系）组成。糖尿病的全面知识图谱借助人工智能方式，在充分吸收专家经验的基础上加强数据反哺机制、提炼糖尿病自身成因机理，为多模态智能对话机器人对糖尿病的预测、干预、监控、教育等实现闭环管理，完成患者的问答起到内容支撑作用。例如用户询问“糖尿病”，系统应该能够准确地将其病因、病症、如何治疗、怎样检查、并发症、如何健康饮食以及和其他相似疾病的比较等相关信息反馈给用户。

由于糖尿病临床数据具有时效性的特点，时间越久，患者就诊记录越多，因此糖尿病知识图谱需要不断地更新与维护。虽然图谱数据需要扩充，然而扩充数据依旧属于糖尿病领域，因此糖尿病知识图谱概念层模板仍然能被复用。因此，本系统采取模板复用的方法，经过新数据与原数据的融合完成更新。

2.3 智能对话机器人

智能对话机器人包括与前端应用和糖尿病知识图谱平台的集成、语音数据管理平台、权限管理平台、安全管控平台，并在语音智能平台基础上增强对话机器人的交互能力，了解患者真实目的，正确反馈患者的问答请求，依据行为设计的各个阶段确保对话机器人尽可能对患者具有吸引力、说服力和可操作性[18]。

本项目加强平台与患者的交互能力，为此智能对话机器人系统集成了语义识别与理解技术。语义识别与理解系统的逻辑架构如图2所示。

图2 语义识别理解系统的逻辑架构

基于多模态智能对话机器人通过自然语言理解和人工智能技术了解患者意图并提供准确信息，引导用户进行症状简单自查。自然语义识别系统根据当前知识库模型，对输入信息进行语义识别。语义识别的结果提交给人工智能规则治理系统，由人工智能规则治理系统根据已有规则模型进行语义的合规计算。合规的患者会话将根据已有规则模型生成一组工作流与患者进一步交流；不合规会话根据知识图谱生成对应问答引导患者。

3 平台应用分析

3.1 平台应用效果

瑞金医院现有糖尿病临床数据分析应用系统实现了预处理数据、多维分析和诊断事件关联分析等功能，主要对糖尿病用药、生化指标和诊断进行统计，缺乏糖尿病辅助诊疗的深度应用。此外现有系统加重了医护人员操作负担，同时也无法开展糖尿病辅助诊疗的深度应用。通过多模态智能对话机器人平台的实验性应用，达到了以下应用效果。

3.1.1 消除慢病管理中医护人员重复工作、解决医疗服务辐射面窄的问题

对话机器人可以回答不需要医生介入的常规医疗问题。例如，糖尿病患者可以用轰炸式问题与对话机器人交流，使用语音对话机器人作为虚拟助手，可以为患者康复和基本医疗问题提供答案，而不需要医疗专业人员干预，以此节省医护人员的时间和医疗资源，见图3。

图3 智能语音助理与患者的对话示例

3.1.2 模拟医护人员的情感、性格和语气，及时切换到人工模式

实用、面向任务的目标对话在医疗聊天机器人中占主导地位，但聊天机器人很少了解人类社会和情感线索。本研究在设计中考虑到通过对话脚本语库模块和知识图谱[19]，使智能对话机器人可以提供某种程度上对患者的情感呵护，这在医疗健康管理过程中是必不可少的。比如在诊断和预防场景，智能语音机器人如果使用医疗健康领域的医学专用词汇，应改进描述使患者易于理解。智能对话机器人需改进谈话的社交和情感方面，适应用户的健康知识素养。缺少这些能力会造成用户体验不协调、错误期望，从而导致患者拒绝使用[19-20]。此外，在整个语音交流的一些环节中，切换到人工模式即医生或护士介入是非常必要的，见图4。

图4 智能对话机器人与人工模式切换架构图

3.2 核心技术效果评估

作为对话机器人的核心模块之一，深度对话会话语言理解（Conversational Language Understanding，CLU）模块可在执行特定任务的对话上下文中解释用户的自然语言话语[20]。通过给定语音的话语、当前对话的对话历史和其他多模态上下文，CLU将话语解析为由“意图”和“槽”描述的语义框架，然后将其输入到下游的深度对话组件中。

准确率和召回率是用于CLU评估计算的主要数值[20]。使用两者的调和平均数即F1值作为CLU的评估指标，F1值越高越好，见表1。

表1 CLU 单域模型与多域模型测试结果（F1值）

和医院其他对话场景相似，糖尿病健康管理使用多域模型（不同域涵盖糖尿病知识图谱以及日常健康管理如锻炼、饮食等其他领域内容）可以使智能对话机器人更好地理解患者并与患者交流。

4 讨论

糖尿病病程管理是防治糖尿病的核心，是实现良好代谢控制的重要组成部分，要求患者能够在专业医护团队的指导下进行有效的自我管理，有针对性地进行健康生活方式的干预，实现控制血糖、延缓并发症发生及康复治疗的目标。然而这一目标在医患比例严重失衡的今天，不依托有效的技术手段将难以实现。

在满足临床和科研需要的基础上，多模态智能对话机器人平台通过“人体代谢舱”、人工智能、机器学习等技术推动医学技术迭代，通过对不同环境和行为状态下人体生物学数据的挖掘与分析，尝试优化慢病管理医疗解决方案，并依托多种新型医学技术实现安全可靠的医工结合技术转化平台：① 通过知识图谱构建技术及深度学习算法研发糖尿病个性化健康干预计划（处方）辅助制定系统；② 充分利用人工智能技术（基于神经网络的自然语言理解技术），在智能健康助理对话机器人无法处理部分服务内容时主动加入人类医护人员的协作，以此解决医患比例严重失调导致的缺乏有效沟通的医患矛盾的核心问题；③ 医疗健康智能设备结合人工智能干预手段，通过多模态交互，让平台同时具备感知和干预能力，极大地提高了糖尿病患者个性化生活方式指导的落地性，提高健康干预的可及性。

基于实践，我们也认识到从技术角度构建的医疗智能语音机器人的自然语言处理功能虽然强大，但在如何将机器人聊天体验有效整合到医疗机构和患者沟通的业务流程中，还有一些不足需要提升。未来的研究方向可以是在保护患者隐私的前提下，智能对话机器人使用IoT设备和传感技术，对患者进行连续性的隐式数据收集，从而更好地实现语音机器人（作为医护人员角色）和患者的有效对话。随着人工智能技术的发展迭代，可能还有其他更优的解决方案。

5 结论

本文基于多模态智能对话机器人设计了糖尿病健康管理服务平台，该平台可以快速推广应用到2万多糖尿病患者群中，还将联合带动形成“研＋学＋产＋用+医”一条龙产业链，推动国家级医学科技创新体系建立，推动本地医疗服务创新，提升患者对代谢性疾病的关注度和认知度，引导患者转变生活方式，大大降低社会卫生健康的成本。瑞金医院会将该模式扩大到其他代谢性疾病及慢病的防治中去，从总量上降低慢病管理工作对基层医生资源的依赖程度，提供低成本、个性化的慢病管理服务。