在线健康社区医生多模态信息融合对患者决策行为影响研究

陈东华 张润彤

(1.对外经济贸易大学信息学院，北京 100029；2.北京交通大学经济管理学院，北京 100044)

随着医疗信息化的快速发展、新型医疗健康设备广泛使用和互联网医疗平台迭代更新，海量且类型多样的医疗健康数据分析应用尤为迫切[1]。近年来，智慧医疗的兴起预示着医疗健康4.0产业的快速发展，传统医疗模式逐渐向大健康模式转变。临床决策支持的准确性直接关系到患者的生命健康安全，而高效的多模态数据分析方法能改善现有单模态数据驱动的临床决策支持可靠性[2-3]。在我国，诸如心脑血管疾病、癌症、糖尿病、慢性阻塞性肺病等慢性病已成为严重威胁居民健康的疾病，成为影响国家经济社会发展的重大公共卫生问题。我国高血压患病率高达25%，糖尿病患病率超过10%，心血管病占居民疾病死亡构成比例超过40%，帕金森病患者数量约占全球该疾病患者的30%以上等，这些患者的诊疗和健康管理需要结合多方面数据源的综合性决策支持。每一种信息的来源或者形式可以视为一种模态，而多种模态的数据融合称之为多模态数据融合。Chandrasekaran G等认为，多模态情感分析提供了基于视频、音频和文本组合进行观点分析的方法，这在理解人类行为方面超越了传统的基于文本的情感分析[4]。由此可见，实现这些慢病患者庞大人群的早期筛选、风险预测、预警与综合干预管理更离不开高效的多模态医疗健康数据分析和挖掘[5]。

我国医疗信息化经历了30多年的探索和发展，现阶段正在加速推进以电子病历为核心的智慧医院建设。《“健康中国2030”规划纲要》提出了要建设我国健康信息化服务体系，全面夯实全民健康信息化标准基础，大力丰富全民健康信息化应用，充分利用信息化、智能化的新兴技术，支撑以人民健康为中心的全周期整合型医疗健康服务体系建设，推动我国医疗信息化迈向数字健康新时代。新冠疫情全球大流行背景下催生了我国智慧医疗行业的快速发展，多模态医学数据从数量和维度上也在快速地增长，多模态数据驱动的智慧医疗决策支持场景不断拓展。数字健康数据是多模态和高维的[6]。患者的健康状态可以通过多种信号来表示，包括医学成像、临床变量、基因组测序、临床医生与患者之间的对话以及来自可穿戴设备的连续信号等。临床决策支持、在线健康管理以及远程医疗服务成为典型的3个场景。然而，在这些场景上如何解决多模态医学数据环境的决策支持精度不足、在线健康信息不可靠、医疗服务质量难以评估等成为互联网医疗发展的障碍。

本文以好大夫在线网站数据为例，提取在线医生的多模态信息特征并进行融合，利用多种数据挖掘方法研究这些多模态数据特征对患者用户决策行为的影响。首先，我们收集好大夫网站中与医生和患者相关的多模态信息，包括医生基础信息、医生发布文本帖子、音频文章、视频文章、医生头像等不同形式的数据；然后，对这些多模态信息进行特征抽取和情感分析，在此基础上研究好大夫网站中医生信息、发布的音频文章、视频文章等多模态信息对医生和患者决策行为的影响。最后，进一步深入探讨互联网医疗多模态数据融合与互联网用户决策行为的关系，为实现高质量的互联网医疗健康服务的决策支持提供借鉴。

1 文献综述

大数据驱动的智慧医疗健康决策正在面临着不断累积的多模态数据和复杂的智慧医疗场景引发的各类问题和挑战[7]。其问题包括医学数据完整性差、多模态数据内部具有异质性、多模态数据融合算法尚未成熟、多学科交叉研究协作机制不完善等，这些问题在当前亟待解决。我们分别从健康信息素养对在线用户决策行为的影响、社会行为理论对患者健康决策能力的提升以及多模态信息在互联网医疗的应用三方面进行文献综述。

1.1 健康信息素养对在线用户决策行为影响研究

在线健康社区中患者健康信息素养对其决策的影响密切相关。“健康信息素养(Health Information Literacy)”的研究经历了一个概念演变的过程，是“信息素养(Information Literacy)”概念和“健康素养(Health Literacy)”概念的交叉融合。该概念在信息能力与健康素养的交汇融合中突显出健康信息素养的重要性与内涵元素。由于健康素养与信息的紧密联系，美国医学图书馆学将健康信息素养定义为“健康信息素养指一系列识别健康信息需求、知晓如何获得健康信息并评估健康信息、并利用健康信息做出良好健康决策的能力总和”。

在开放社交媒体环境中非权威健康信息影响用户健康信息素养的形成。在互联网环境中，由于信息是开放的，在个体特征方面，年龄、性别、健康素养等因素对在线用户的失真信息可信度判断具有显著影响，比如，大学生对媒体健康信息具有偏向性和盲目性[8-9]。比如，患有慢性疾病的老年人会倾向于查询相关健康信息，并使用这些信息解决或者缓解目前的健康问题，其健康信息素养也会因此提升[10]。郭昊男等总结了国外在线健康社区的经验，包括开发健康信息质量测评工具、用户电子健康素养的测评、用户电子健康记录的保护措施，并认为未来应从提高在线医疗健康网站信息质量、提升全民电子健康素养和保障在线健康社区用户数据信息安全的角度提升社区服务质量[11]。社交媒体的健康信息可靠性及用户信任是其中的关键。唐旭丽等在传统信息采纳模型的基础上，融入社会支持理论,综合考虑健康素养和信任的关键作用，利用结构方程模型,用户的健康素养对来源可信度和信息支持间的关系起到正向调节作用,对论据质量和信息支持间的关系起到负向调节作用[12]。

当期，国内缺乏对在线公众用户健康信息素养的评价研究。我国除了国家卫生计生委编制的全国居民健康素养监测调查问卷，目前还没有影响力较大的全面、专门用于健康信息素养的评价工具，这严重制约了健康信息素养研究的开展。国外已有一些相对成熟的健康信息素养测评工具，包括功能性健康信息素养测评工具、交互性健康信息素养测评工具、批判性健康信息素养测评工具等[13]。应借鉴国外相关经验，发展适用于我国文化环境的健康信息素养测评工具。

1.2 社会行为理论在健康信息素养提升的研究

社会行为学、管理学和心理学相关理论在健康信息素养影响机理研究和提升路径发挥重要作用。学者们对在线健康社区的理论和模型大多都是基于心理学等学科理论，如社会文化理论、技术接受模型等经典理论模型。

首先，在线健康社区的各类知识共享机制研究能推动在线用户对信息的信任，也增强用户的健康信息素养。张星等将社会交换理论、社会支持理论和信任理论相结合研究影响在线健康社区用户持续知识贡献意愿的因素，结果表明，对用户的信任正向影响对社区的信任，对社区的信任显著正向影响持续知识贡献意愿，时间与精力对持续知识贡献意愿有显著负向影响[14]。覃子珍等则从收支博弈视角解析用户在社交媒体中的持续搜索健康信息的心理路径，总结出平台的技术特性和便利性可有效提升用户对社交媒体健康信息搜索价值的感知,当用户搜索健康信息时会弱化对社交平台风险的感知,而健康信息的有用性才是影响用户感知价值和达到满意的根本。Gupta V等提出了一种新的情感关怀方案，分析与COVID-19相关的实时推文中包含的多模态文本数据，其中研究了自然、封锁、健康、教育、市场和政治等多个类别的八级情绪，分别为愤怒、预期、厌恶、恐惧、喜悦、悲伤、惊讶和信任[15]。Moro C等描述了在使用技术教育健康学生时集成多模态数据的一系列选项[16]。由于健康和医学教育的动态和不断变化的性质，教育工作者在将多模态学习引入他们各自的课程时也带来巨大的收益。

目前国内尚缺乏统一的在线健康信息共享的信用档案体系数据，难以量化其中指标，在线健康信息的真实性、准确性将直接影响用户的判断，建设效果也难以量化[17]。而王兆仑认为，互联网医疗信息平台要不断加强医疗标准的应用,加强信息的可信度建设，不断优化互联网医疗信息信任生态[18]。彭昱欣等结合动机理论和社会资本理论，从多个维度探讨影响医学专业用户知识共享意愿的因素，发现医学专业用户知识共享意愿与普通用户之间的共享行为的差异，弥补对医学专业用户研究较少的问题[19]。桂平等基于网络口碑和社会交换理论，发现互惠、声望追求和利他显著影响健康知识共享意愿，而信任对共享意愿的影响没有得到支持[20]。

从以上研究可以知道，信息质量、服务质量、系统质量正向影响自我推荐意愿；在线医疗平台认知声誉、医生认知声誉、医院认知声誉正向影响从众推荐意愿；从众推荐意愿对在线健康行为的影响不具有显著调节作用[21]。因此，信任理论在互联网医疗用户间信任和健康决策行为发挥重要作用。

1.3 多模态信息在互联网医疗的应用研究

在线环境中，医学专业用户能持续贡献可信的多模态在线健康信息，在用户之间建立起信任，消除在线患者决策不确定性。张帅等通过探究在线健康社区用户持续参与行为的演化规律及动力机制，发现其用户持续参与行为与其他付出成本、声誉收益和社会支持收益密切相关[22]。Koteyko N等学者研究了Facebook在Ⅰ型和Ⅱ型糖尿病用户的生活中的作用，以及他们在持续代表长期生活状况时采用的多模态话语实践[23]。该研究发现，研究参与者进行的多模态活动包括建立与糖尿病管理相关的个人专业知识，融入了更广泛的糖尿病相关社交网络，通过语言和视觉提升了自我管理的能力。成全等提出，实现多源异构信息资源融合的在线健康社区多层级融合框架，从数据级融合、特征级融合及决策级融合逐层剖析在线健康信息多层级融合的实现路径[24]。

互联网上单一方面的健康信息往往是片面而不可靠。在线健康社区中阻碍构建可靠的健康问答系统的两个特点是：首先，医生的答案通常用短文本编写，这会产生数据稀疏问题；然后，问答系统采用质量控制机制，难以体现大众的智慧。Hu Z等不仅结合了答案的标准文本特征，而且还从其他模态中引入了一组独特的非文本特征，例如，非常流行使用的表面语言特征和新颖的社会特征来提升分类精度[25]。Triantafyllopoulos D等学者引用了一种用于癫痫管理的多模态实时分析系统的实现，对持续动态的患者生理信号监测，这将改善患者的治疗并实现积极的个人健康管理[26]。

多模态数据分析已经在数字健康领域发挥重要的作用。Sindoni M G采用多模态话语分析方法来研究如何在预防自杀的心理健康话语中鼓励和表达同伴支持[27]。与之前的研究不同，该研究侧重于使用多模态资源(如页面的视觉效果、布局和超链接)关联人际关系，以了解在线平台中专业医疗健康服务提供者和医护人员如何将身份具体化。Yang X等提出了一种利用社交媒体上多模态数据自动检测药物滥用和处理的新方法，能够识别与毒品相关的帖子并分析与毒品相关的用户帐户行为模式[28]。黄晓斌等通过了解在线健康社区中青少年用户的健康信息需求及主题分布情况，为平台满足青少年用户的健康信息需求提供借鉴[29-30]。结合可穿戴设备技术，Kaczmarek M等展示了基于传感器的多模态数据分析平台，旨在识别老年人在家中进行的活动。Emokpae L E等提出的解决方案实现了具有多模态生理传感能力的物联网系统，传感器节点集成在可穿戴衬衫中，以无创方式进行连续监测，并在网关处使用先进的机器学习技术收集和分析数据，以便医疗健康服务提供者进行远程访问[31]。

多模态数据融合分析对在线健康社区平台创新应急服务水平的提升也具有重要意义。郭凤仪等研究发现，情感强度与话题突发强度存在正向弱相关关系，随着话题突发强度增强，其用户情感类型也会有所不同。邓君等基于两级传播理论对在线健康社区意见领袖交互行为进行研究，发现百度“自闭症吧”整体网络具有小世界效应，识别出的意见领袖各项个体指标数值均偏高，处于整体网络核心位置，有利于推动信息在来源层、意见领袖层和受众层间稳定流动[32]。因此，在线健康社区用户的不同种类知识共享行为的影响因素，知识的自我效能对一般健康知识和特殊健康知识共享行为均有显著正向影响[33]。

2 方 法

2.1 数据获取

我们首先获取好大夫4 739名信息量较为丰富的医生网站数据，这些数据包括医生的基本信息、患者诊后评价数据、医生收到礼物数据、付款医生文章以及这些文章的评论、点赞和价格等数据。同时，为了研究在线健康社区多模态信息对决策的影响，我们同时收集了每个医生的非文本信息，包括在线医生上传的头像、发布的语音文章、视频科普文章等信息，供我们后续分析。

具体使用的数据包括在线医生基本介绍、诊后患者评论、收到的患者礼物、发布的科普文章统计信息、语音视频文章等数据：

1)在线医生基本介绍

我们收集了4 739名医生基本介绍信息。这些公开的关键信息包括医生的职位、服务患者数、是否推荐、推荐热度、患者满意度等信息。然后，针对医生的服务质量，收集了医生的回复速度、所在医院级别、图文问诊价格、电话问诊价格、是否是专家、态度评价分数、诊疗评价分数等信息。

2)医生诊后患者评论

为了验证医生在线服务质量，我们还收集了每位医生诊后患者评论，共约26万条患者评论。这些信息包括结构化的数据，如评价渠道、评价类型、对医生的态度、效果和技能的评价、患者提供的标签以及非结构化的评论文本等。

3)医生收到的患者礼物信息

这些信息包括每位医生获得的总患者数、收到的总礼物数以及每个礼物的详情，共3万多条礼物赠送记录。

4)医生发布的文章统计信息

进一步地，我们收集了医生发布文章的关键信息，约10万篇，包括医学科普、语音文章、视频文章等类别的文章信息，文章的关键信息包括文章的阅读量、评论数、评分、是否为付款文章、收听次数和观看次数等。

5)医生发布的语音视频文章内容

为了进一步研究多模态信息对在线医疗健康社区患者决策的影响，我们还收集了医生和患者用户的相关多模态信息，如医生发布医学科普文章(占41.08%)、语音文章(占4.31%)、视频文章(占7.24%)、医生的头像(4 739张)、医生发布的图文朋友圈(1 007条)等信息，这些非结构化信息在本文研究中进行处理并转换为能适合数据分析的情感和行为标签。

2.2 多模态信息处理

基于所收集的数据，我们研究多模态信息融合下的医生在线行为与患者在线关系。医生多模态信息的内容包括医生发表的朋友圈帖子文本、语音文章、视频文章以及医生头像信息。表1汇总了非文本的多模态数据处理后得到的结果示例以及数据处理方法。本文研究思路如图1所示。其中，我们拟综合采用回归分析、关系挖掘以及深度学习等方法来对这些数据挖掘并尝试解释其关联关系。体现患者决策行为的相关指标包括患者对医生的评分、诊后评价、阅读量、礼物量和付款文章等指标。

表1 非文本的医生多模态数据处理方法、原始分析结果以及使用的特征提取工具

2.2.1 在线健康社区文本信息与患者决策关系分析

在线健康社区文本信息是在线患者了解并选择在线医生服务的主要来源。这些信息不仅包括结构化后的定量评价分数(比如0～5分的评价)，还包括患者生成的定性叙述性文本(比如诊后患者评论)、医生发布的科普文章、医生在个人朋友圈发布的各类帖子内容。这些数据都包含了海量丰富的信息，如何从这些海量文本提取有效信息，供在线健康社区患者决策，这是一个关键的问题。除了结构化的信息，我们对文本的分析主要分两方面：

1)医生的文本情感值分析

首先，对在线医生发布的文章、医生朋友圈发布的帖子文本信息等进行分析，并从中提取文本中医生的情感信息，以此作为研究在线医生的情感与其决策行为关系的研究基础。

2)患者的文本情感值分析

然后，我们分析患者诊后评论的文本数据。每个医生对应的患者评价情感信息将会被汇总，给出平均情感值。

在以上两者文本情感值的基础上，将这两者的情感值信息与医生和患者其他信息关联，供后续进一步分析。

2.2.2 医生音频文章情感对患者决策的影响分析

医生发布的音频文章包含了医生情感信息。我们在收集的在线医生音频数据基础上研究这些音频文章对患者决策的影响分析。首先，我们对每个在线医生发布的音频进行情感分析，根据设定的时间间隔(如5秒)对每一个音频进行拆分，并对每一片段音频医生的说话语气进行情感分析。最终，每一篇语音文章转换为一个情感标签序列。每一部分音频的情感类别可以设置为7个类别和标签，分别为“生气(angry，A)”“惊恐(fear，F)”“高兴(happy，H)”“中立(neutral，N)”“悲伤(sad，S)”“惊喜(surprise，S)”以及“厌恶(disgust，D)”，每一个类别的情感都被标记为一定的概率，即每一个音频每一时刻的情感都是由具有不同概率的情感标签组成的。

图1 研究思路

为了对每个语音文章获得一个代表性的指标表示其主要情感，我们对具有时间特征的语音文章情感标记序列进行汇总，分别统计属于不同情感类别的标签数，并获取其所占的比例。得到一个语音文章的总体特征，而其中所占主导的情感将会被作为该语音文章的主要情感。

为了分析每个医生语音文章的特点，我们为每个拥有语音文章的医生语音数据进行挖掘，并对多个语音数据进行综合和汇总。最终，每个医生都被赋予一个主要情感标签，与其他数据进行关联。分析语音文章的情感对患者用户决策行为的影响可以从语音文章的情感时间序列变化、语音文章的主导情感以及语音文章发布数等关键指标与医生的服务态度、诊疗效果等患者评价指标进行相关性分析。

2.2.3 医生视频文章情感对患者决策的影响分析

我们分析了医生发布的视频文章对患者决策的影响分析。首先，我们获取拥有视频文章的医生数据，对每一个视频进行视频流分析。这里，我们主要对视频中医生的动态形象进行分析，并使用视频情感抽取工具抽取每隔一段时间的医生情感特征。这些情感标签包括“生气(angry)”“惊恐(fear)”“高兴(happy)”“中立(neutral)”“悲伤(sad)”“惊喜(surprise)”以及“厌恶(disgust)”。最终，一个视频转换为一个情感标签时间序列，从而可以获得医生视频文章情感的信息。

由于医生可能拥有多个视频，因为对多个视频文章情感序列的汇聚和融合能更方便我们整体上获得医生在科普视频中的情感特征。基于医生的科普文章情感标签数据，我们可以分析医生视频多模态信息与其患者决策的关系。首先，考虑到视频具有时间特征，因为视频情感时间序列的分析和对比是需要的；在此基础上，我们获得视频主要情感标签，然后与其他患者评价相关的指标进行相关性分析。

2.2.4 在线医生形象对患者决策的影响分析

在线医生形象对患者初始决策行为可能具有重要的影响。比如，患者可能更愿意选择平台中医生头像看起来更专业的医生。

首先，获取在线医生的头像，并对医生头像形象进行分析，获得其中的情感特征，主要包括情感类别、颜值评分、微笑评分、脸部质量评分等特征。

然后，将这些在线脸部特征与其他医生和患者指标进行相关性分析，研究在线医生形象对患者决策行为的影响。医生在网站上传的头像表情、脸部等特征可以用于研究在线医生形象与患者决策行为的影响。

2.3 医生多模态信息融合对患者决策行为的影响

基于好大夫在线网站的医生与患者多模态信息，我们构建了两类基于前馈神经网络(Feed-forward Neural Network，FNN)的在线患者用户决策行为多模态预测模型，融合包含连续变量和分类变量的多模态数据，检验医生多模态信息对在线患者各类决策行为的预测精度，从而探究在线医生多模态信息融合对患者决策行为的影响。表2展示了我们采用的训练数据集示例数据，其中不仅包含连续变量和分类变量，还融合了头像、音频、视频和文本的综合情感特征。

基于PyTorch深度学习框架，我们在读取训练数据集时每次可以获得连续特征变量(比如文章总数)、分类特征变量(比如医院级别)以及输出样本值(评价分数)。然后，我们建立一个包含两个隐藏层、针对分类变量的嵌入层以及必要的丢弃(Dropout)层和批标准化(Batch Normalization)层的FNN模型，构建的深度学习模型如图2所示。

表2 融合多模态数据情感值的医生患者数据集示例(部分字段)

图2 基于前馈神经网络的深度学习模型构建

1)基于医生在线行为的患者决策行为评价预测模型构建

首先，我们基于图2的模型建立第一类预测模型，研究体现医生在线行为的平台指标与患者相关评价指标的关系。该模型使用的输入指标包括文章总数、付款文章总数、语音文章总数、视频文章总数、回复速度、是否专家、医院级别、头像情感、音频情感、视频情感、图文问诊价格、电话问诊价格和文本情感值。而模型输出指标评价分数、态度评价(%)、效果评价(%)、总礼物数、疗效满意度和总患者数。输入特征中保护连续变量(如文章总数)和分类变量(头像情感)。建立深度学习模型对数据集进行训练和性能评估，汇总对比相关的预测指标。为了使得建立的模型更具有鲁棒性，我们引入阈值参数e解决预测值与实际值的差异问题，即若预测值落在e决定的某一个值范围内，则认为该预测是准确的。比如，若实际值为95而e=5，则当预测值落在[90,100]区间内，认为该预测值是准确的。最终，在模型训练的过程中，我们通过统计预测准确数来计算模型的性能。

2)基于医生多模态信息融合的患者决策行为预测模型构建

然后，我们建立第二类预测模型，检测医生多模态信息情感融合对患者决策行为的影响。该类模型中，我们采用的输入特征包括头像情感、音频情感、视频情感以及文本情感值。而待预测特征包括评价分数、态度评价、效果评价、总礼物数、总患者数、文章总数、付款文章总数、语音文章总数以及视频文章总数，如图3所示。同样，我们也采用第一类模型中阈值参数e来控制模型训练过程中计算模型预测精度不稳定问题。

在以上两类模型，我们使用的数据集将分为训练集和测试集。最终，我们通过对比构建的模型在预测不同患者评价指标的精度，来分析这些指标之间可能存在的关联关系。

3 结果分析

首先，对医生与患者用户数据采用Pearson、Spearman以及Kendalltau系数分析不同指标的相关性。在此基础上，研究医生多模态信息对患者在线决策行为的影响，利用深度学习方法，挖掘分析潜在的用户决策行为规律。

3.1 基本指标的相关性

首先，我们对在线医生行为与患者的Pearson相关性进行探索，得到结果如表3所示。表3(a)显示了两个指标之间的Pearson相关性和p值(p≤0.05)，由此可见，图文问诊价格与态度评价、态度满意度呈现弱负相关性，而与评价分数呈现正相关性。电话问诊价格和医生发布的文章总数也与评价分数呈现正相关性。由此可见，图文问诊价格的提升反而会影响患者用户的体验，而通过电话问诊价格提升一定程度上会提高评价分数。医生发布文章数越多，也能一定程度上提升其评价分数。

我们同时分析了在线医生的行为与其他指标的影响。表3(b)显示，图文问诊价格、电话问诊价格与医生收到的礼物总数呈现正相关性，同时，高的问诊价格也对平均评价、平均文章付款人数有一定的影响。部分医生发布了需要付费才能查看的文章，而表3(b)的结果显示了付款文章总数的提升也能提升医生平均评价分数。针对语音文章，我们也发现提升语音文章总数也能一定程度上带来患者用户阅读量的提升。

医生自身的职称以及平台回复速度也是影响因素。表3(c)显示了医生的回复速度和是否是专家对医生收到总礼物数、服务患者数、价格调整的影响。由此可见，回复速度与服务患者数、总礼物数呈现负相关性，而医生是否是专家与服务患者数、评价分数、总礼物数、咨询价格因素呈现正相关性。图4汇总了医院级别与其他因素的F值(p≤0.05)，这些关系呈现显著水平。而医院级别与图文问诊价格和电话问诊价格的相关性比其他因素相关性高。同时，医院级别对评价分数的影响也是具有较为显著的差异。

3.2 医生多模态信息情感对患者决策行为的影响分析

我们分别对好大夫网站中医生朋友圈帖子、语音文章、视频文章以及医生头像情感类型进行统计。图5(a)对医生朋友圈发布的图文帖子信息情感类型进行分析。由此可见，医生在朋友圈发布的帖子内容更多得是积极向上的情感或中立的情感。

然后，图5(b)汇总了医生发布的语音文章情感类别分布。医生在语音文章所表现的情感更多体现在惊恐(fear)这一标签，这可能是因为医生往往需要讲到疾病出现的症状和不良反应，因此会体现出担忧和惊恐的情绪，部分语音文章的情感体现是高兴(happy)类别，证明部分语音文章尝试鼓励患者，而有极少部分是体现悲伤的情感。而其他类别的情感，如厌恶、中立、惊喜等，没有体现在语音情感上。图5(c)描述了医生发布的视频文章情感类型分布。由此发现，视频文章中出现较多的情感类别是悲伤和中立。其次是快乐情感类别的文章。也存在其他情感类别的视频文章，比如生气、惊喜和恐惧等。图5(d)则描述了医生头像情感分布情况，大部分医生头像呈现中立的情感，也有相当一部分医生头像呈现快乐的情感。

同时，我们分别对医生的语音文章、视频文章以及头像的情感类别差异与患者用户行为相关的指标进行相关性分析，得到F值，并获得对应的p值。语音相关的F值我们使用p≤0.05筛选语音和视频文章的F值。计算结果表明，视频情感类别与患者行为相关指标p都大于0.1，无法拒绝原假设，因此可以认为视频的情感类别难以区分其他指标。而基于语音文章和头像计算的F值对比如图6和图7所示。首先，将语音文章的主要情感类别与用户对医生的评价进行相关性分析(p≤0.05)，获得不同因素与语音文章主要情感类别的影响程度，如图6所示。该图可见，根据F值大小，主要情感类别与对医生态度评价比其他因素更大。其他可能的影响因素包括疗效满意度、效果评价、平均语音文章阅读量、平均视频文章阅读量等。图7显示了用户头像情感类型对医生服务特征的影响。由此可见，头像的主要情感类型与医生文章的平均阅读量和图文问诊价格相比其他因素影响大，其他相关的因素包括电话问诊价格、平均视频文章阅读量以及医生的视频文章总数。

表3 医生行为、患者评价以及平台与医生交互之间的相关性分析(p≤0.05)

3.3 医生多模态信息融合对在线患者决策行为预测分析

图8比较了基于在线医生多模态信息的患者决策行为预测精度。该图显示了，在线医生多模态信息融合能很好预测出总礼物数，达到精度0.95；而对于预测患者评价分数和总患者数分别能达到0.61和0.56。而多模态信息却难以有效地对患者的态度评价、效果评价和疗效满意度指标进行预测。我们通过分析态度评价、效果评价和疗效满意度的数值分析，发现大部分的评价分数趋向于满分，这导致了基于多模态信息来预测各类指标的困难，也体现了患者偏向于给医生一个较好的态度和疗效评价分数。总结起来，医生多模态信息能很好地影响总礼物数和总患者数，而与患者对医生的态度和治疗效果等指标影响非常弱。

图6 不同语音情感与体现患者行为关键指标相关性的F值对比(p≤0.05)

图7 不同医生头像情感与体现患者行为关键指标相关性的F值对比(p≤0.10)

为了进一步检验医生多模态信息情感对患者决策行为的影响，图9汇总了医生的多模态信息情感预测各关键指标的精度。从图9中我们发现，多模态信息情感能很好地预测总礼物数、付款文章总数和语音文章总数，分别达到0.96、0.84、0.82和0.80的精度。而该模型也能较好地对总患者数、评价分数以及文章总数预测，分别达到0.58、0.55以及0.48精度。类似于图8的分析结果，对于态度评价和效果评价却同样地难以有效进行。由此可以总结，医生在该平台发布的各类多模态信息，包括朋友圈帖子、语音文章和视频文章体现出来的情感与医生收到的患者总礼物数、医生自身发布的付款文章总数、语音文章总数和视频文章总数具有明显的影响，而与医生态度评价和效果评价没有太多直接关系。医生在多模态信息中体现的情感与医生自身平台参与意愿(如更愿意发布视频文章、语音文章等)密切相关，同样也能吸引更多的患者，同时也相应地提高其评价分数。

图9 基于医生多模态信息情感特征的患者决策行为指标值预测精度对比

4 讨 论

本文以好大夫在线网站的医生多模态数据为基础，研究医生多模态信息融合与在线患者决策行为的关系。研究结果发现，医生发布各类信息(如帖子、语音和视频)的意愿越强，评价分数越高。而且，医院级别对患者给医生的评价分数影响也是具有显著的差异。针对多模态信息研究发现，医生在朋友圈发布的帖子内容多数是积极向上的情感或中立的情感，而在语音或视频文章中体现的情感更多倾向于恐惧或悲伤。大部分的医生头像呈现是中立或者高兴的情感，这些多模态信息显著地影响医生收到患者的礼物数、付费文章数以及服务患者总数。因此，这给了互联网医疗未来发展的启示是，应鼓励医生通过语音、视频、朋友圈帖子等非传统形式分享他们专业知识以及与患者交流，这样会提高患者用户对平台粘性，也提高患者获取在线付费服务的意愿。

多模态数据的有效利用推动互联网医疗高质量的发展和转型。本文所使用的好大夫网站平台语音和视频文章数据，更多是提前录制好的语音和视频，我们研究发现，有少量的视频是无效的宣传视频。这相比于医生实时直播的多模态分析具有一定的局限性。随着信息技术的发展，当前许多医生尝试使用直播的方式与患者实时交流以及分享专业知识。直播中多模态数据的分析将进一步推动各类互联网医疗的决策创新。在这些多模态数据分析中离不开人工智能技术的应用。国务院办公厅2016年发布的《关于促进和规范健康医疗大数据应用发展的指导意见》[34]提及“推动医疗健康人工智能标准化建设”“规范健康医疗大数据应用标准化建设”等。党的十九届五中全会通过的《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》[35]提及“全面推进健康中国建设”，要加快壮大新一代信息技术、强化以人工智能、生命科学等前沿领域为代表的国家战略科技力量建设等建议。由此可见，迈入“十四五”时期，推动多模态数据驱动的智慧医疗人工智能和决策支持技术推广尤为必要，关乎我国人民的生命健康安全，将是增进民生福祉、实现“健康中国2030”规划纲要目标的重要举措。

多模态医疗健康数据分析不再局限于医院、诊所、实验室、研究机构等地点的数据使用，这些数据也能来自互联网医疗、移动APP、可穿戴设备等新兴健康数据源。据《2020中国互联网医疗行业研究报告》显示，中国互联网医院月接诊患者超过3亿人次，月活跃用户规模超过5 400万，在线医疗月活用户峰值超6 000万，月活用户同比增长17%。新冠疫情催生了“互联网+医疗健康”数字经济新业态和新模式快速发展，也对多模态医疗健康数据的利用产生迫切的需求。元宇宙概念的广泛关注也推动人们开始思考将沉浸式虚拟现实环境引入医生与患者交互，多模态数据精准分析若为迫切。本文研究结果表明，语音文章主要情感类别对医生态度评价影响比其他因素更大。而医生头像的主要情感类型与医生文章的平均阅读量和图文问诊价格相比其他因素影响大，其他相关的可能因素包括电话问诊价格、平均视频文章阅读量以及医生的视频文章总数。

当前在线健康社区用户往往接触各种形式的多模态信息。首先，患者寻找医生时给患者的第一印象很多时候是医生的头像图片。本文也对医生头像情感表现与其患者用户行为关联进行研究，发现医生头像情感对医生文章阅读量以及图文问诊价格的影响较大。患者接触到在线音频、视频等内容，更可能获得更高健康素养，降低患者用户慢性病的健康风险。研究结果表明，医生多模态信息也能较明显地影响总礼物数和总患者数，而针对医生的态度和治疗效果等评价指标影响非常弱。而在医生多模态信息中体现的情感与医生自身平台参与意愿(如更愿意发布视频文章、语音文章等)密切相关。医生参与意愿的上升也能吸引更多的患者，从而进一步提高其评价分数。

在线健康社区中用户的健康信息素养对如何高效地访问这些多模态信息影响非常大[36]。Moro C等通过研究发现，慢性疾病人群对最新技术存在较低的使用率。随着年龄的增长，用户健康信息甄别能力呈现下降的趋势，农村老年人和大学生的健康信息素养显著不一样[37]。不同年龄的患者决策行为也是存在差异。比如，在线平台老年用户对熟练地掌握平台中视频、音频播放和使用有困难，而无法对这些多模态信息进行甄别，这不能仅仅依赖医生创造内容，还得需要平台技术支持。唐坤孟等在研究好大夫真实医生团队数据后，发现团队声誉、团队规模、团队回复速度、团队登录行为对患者选择行为具有积极影响，团队回复速度与患者的医疗团队选择之间存在中介效应[38]。杨雪洁等通过分析好大夫网站数据，发现知识的相关性、时效性、原创性与知识源可信度都对用户知识采纳产生影响，疾病的类型调节了相关性、时效性、原创性与知识采纳之间的关系[39]。平台也应将多模态信息以更加合理和高效的方式呈现给患者用户，而不是单纯依赖医生用户自身的意愿分享。

本文在研究中遇到了不少的挑战。首先是，国内互联网医疗平台的数据采集、分析和挖掘。从现有在线健康社区获取海量多模态数据进行挖掘分析是难点。其次，我们使用数据挖掘研究方法定量地研究医生、患者和平台之间的相关性问题。不同在线平台的用户社交方式不完全一致，各类数据形式各样，因此如何采用统一方法来定量地研究其中医生、患者和平台之间的交互机制需要进一步调研。未来我们将通过文献调研、问卷调查等形式充分了解在线患者和医生的信息需求，从而更加准确了解互联网医疗用户决策行为产生的机理。

5 结 语

在线健康社区多模态信息形式复杂、处理困难、难以定量等特点阻碍了这些信息的有效利用，也使得平台难以基于这些多模态数据推动在线患者用户决策支持。现有研究较少有研究在线健康社区多模态数据与医生、患者决策行为相关性。本文以好大夫在线网站的医生帖子、语音、视频、头像等非结构化信息为研究对象，深入研究这些多模态信息融合与患者用户决策行为的关系。其中，充分采用文本挖掘、音频分析、视频分析、图像分析等数据挖掘技术，从非结构化数据中提取有效的特征并尝试融合分析，应用于在线患者用户决策行为研究中。研究结果表明，医疗健康服务提供者应鼓励在线医生通过语音、视频、朋友圈帖子等非传统形式分享专业知识，这样会增强患者用户对平台的粘性，吸引患者获取服务和付费的意愿，进一步推动可持续的、可信的以及多模态数据驱动的在线健康社区智能决策支持。