基于知识驱动的虚拟病人开发及应用探讨

王欣萍，王丽华，孙 尧

哈尔滨医科大学:1基础医学院计算机教研室;2附属第二医院神经内科，哈尔滨 150081;3黑龙江中医药大学信息中心计算机教研室，哈尔滨 150040

伴随计算机仿真技术的快速发展，利用计算机虚拟现实，辅助各种工作和研究已经在诸多行业中开展起来。在医学领域，以虚拟现实技术为基础设计的虚拟病人在临床辅助治疗、仿真训练、医学教学等方面发挥着越来越重要的作用。虚拟病人(virtual patients，VP)是指利用先进的计算机虚拟现实技术建立仿真人物模型，通过软件编写控制程序，对模拟人物实行智能化操作控制，以模拟实现临床诊断过程，具有交互性、沉浸性、直观性和构想性等特点。虚拟病人的设计是基于医学知识的设计，知识所具有的内隐性及情景依赖性也为虚拟病人的设计提供了必要的情境脉络。虚拟病人设计的一个本质特征在于协调“人-物-环境”组成情境的动态关系，为参与者创建一个和谐结构的诊疗方式。如何将知识与设计应用相互结合，是实现智能化应用设计的重要研究内容。

1 知识驱动虚拟病人的设计情境

知识驱动的设计是将虚拟病人的设计过程分为问题情境、求解情境和结果情境三个维度［1］。三个维度之间的关系如下:

其中，VSD表示虚拟病人设计情境，Q表示问题情境，S表示求解情境，R表示结果情境。qn1、sn2和rn3的变化会引发VSD的变化，即使是相同的VSD，qn1、sn2和 rn3也会有所差异。

知识在虚拟病人的设计情境中不断转化，表现为“获取-表示-传递-利用-评价”的过程(如图1所示)。

在虚拟病人的设计过程中，知识贯穿始终是为设计提供支持。同时，在虚拟病人设计过程中形成的显性知识和隐性知识将充实到知识库中，形成互相补充的过程。

图1 知识驱动的虚拟病人情境框图

2 知识驱动设计的虚拟病人体系结构

知识驱动的虚拟病人首先由决策者选择合适的病案，制定数据结构，形成知识数据库的基本框架，并有效地组织数据，这是提高效率和支持知识配置的重要环节。

虚拟病人系统采用模块化的分布式结构，其通信方式是信息传递。模块化的结构允许设计者可以根据需要进行添加、替换或者合并需要的组件，用户的使用也更加灵活、方便、适应性强(系统结构图及数据流如图2所示)。

图2 虚拟病人系统体系结构及数据流图

在系统结构图中，麦克风和键盘是两种常用的输入方式。通过麦克风可以输入音频信号，语音识别引擎处理音频数据，并产生文本将其发送到反应选择模块。通过键盘输入，可以直接产生文本并发送到对话管理模块。

用于实现问题/回答的对话管理模块在接收到文本之后，进行具体分析，然后选择最适当的反应。通过一个预先定义的响应行数，反应选择模块在获得用户的话语后会选择其中一个答案。输出响应通过数据库选择，完成之后会被打包成一个功能标记语言的消息结构［2］。

消息被发送到非语言行为模块。此时，适用一组规则来选择虚拟病人的手势、凝视角度、身体姿势等动作。如坐下、手臂动作、摇头或点头等。一旦适当的输入文字的行为选择好后，打包成行为标记语言结构并将其发送到一个程序性动画系统。

最后一部分是执行和显示虚拟病人的多种模式行为，通过智能体动画系统来完成［3］。智能体在接收到消息后，立刻执行其中包含的行为，如头部、表情、眼神、肢体动作和语音等同步执行的设置。通过服务器调用预先录制的语音文件，虚拟病人对参与者提出问题进行回应。智能体挂接到一个可视化引擎，由其输出图像。智能体控制虚拟病人并指定人物讲话时播放应属的声音文件，从而实现与参与者之间的交流。

3 虚拟病人的病例实例

在定义虚拟人物的行为、态度和条件中，艺术工作起到重要的作用。通过虚拟环境和虚拟人物的行为，人们可以在最初的几秒钟对他进行一个初步的判断(如图3所示)，设计虚拟病人“李强”，基本情况由虚拟病人口述及文字两种形式表达。具体情况为:男，34岁，三周前开始有鼻塞、流涕及发热的症状，感觉四肢乏力，近四天症状加重，右上肢有麻木感。图中为虚拟病人演示右上肢症状，同时伴有胸闷、吞咽困难、进食咳呛等症状。虚拟环境设计为较为舒适的办公环境，使得患者感觉犹如在家里。

图3 虚拟病人及虚拟环境设计图

参与者对虚拟病人的诊疗过程分为3个阶段:①问诊阶段。即对患者基本情况的了解，此阶段的目的在于提高参与者的问诊技巧和交流能力;②项目检查阶段。参与者根据所学医学知识对虚拟病人进行体格检查和辅助检查，此过程的参与者和虚拟病人交互完成。系统显示相应检查项目，由参与者进行选择，得出“李强”的呼吸、声音、双眼闭合情况、腱反射、肌张力情况、EEG、EKG等结果;③诊断阶段。参与者根据检查结果进行分析思考，得出相应的结论，并提出治疗方案。参与者的诊断依据、结果及治疗方案既可以提交给指导教师，亦可通过网络共享给其他参与者，协同讨论，实现会诊。诊断结论提交后，系统将显示正确的诊断结果。如“李强”的正确诊断结果为格林-巴利综合症，同时显示对应的诊断依据，对参与者的诊断进行诊断过程评价及诊断结果评价。除此之外，系统以文字形式提供相应的鉴别诊断，如急性脊髓灰质炎等。治疗过程以动画形式循环演示。

4 虚拟病人在临床教学中的应用

4．1 灵活互动的教学方式

在传统的临床教学中，技能训练需要聘请和培训标准化病人，医学生的训练受到资源和人数的限制。利用虚拟病人代替标准化病人，实现临床培训，可以通过发挥虚拟病人交互性、直观性等特点解决一系列问题。其优点主要包括:可重复操作、无风险、可纠错、可控性等。在反馈阶段，学生可以收到在训练阶段中表现的反馈信息，也可以退出或返回到交互模拟的任何阶段。通过虚拟信息培训系统，学生犹如身临其境，提高了学生的观察能力。在针对虚拟病人应用的网络问卷调查中，随机抽取100份问卷，统计结果显示，94%的学生对运用虚拟病人进行临床知识学习有兴趣;82%的学生进行了病例的重复操作，并认为通过重复的训练，可以更好地掌握医学知识;76%的学生认为运用虚拟病人的教学形式新颖，知识量大，学习形式多样，能满足学习需要。

4．2 知识脉络清晰

该系统的优势在于系统设计基于知识驱动，显性知识和隐性知识贯穿始终。虚拟病人系统通过文字、声音、图像及动画等多种形式来展现不同的知识情境，依照问题情境、求解情境和结果情境三者的关系，在学生检查及诊断过程中提供相应的提示信息及相关知识，学生可以控制诊断的进程，实现与虚拟病人的交互。研究显示，85%的学生认为通过对虚拟病人的诊断过程，能够清晰地掌握诊断过程及技巧，熟悉相关的临床知识，提高临床诊治技能。

4．3 充分发挥网络优势

虚拟病人系统支持通过网络在线与指导教师沟通。学生与虚拟病人交互过程中可以通过网络与其他参与人实现联合会诊。独立会诊与联合会诊为参与者提供了更多的选择，问诊记录及诊断过程将被保存到数据库中，学生可以随时调用。此外，临床虚拟标准化病人需要大量的病案数据支持，在设计虚拟病人系统时，必须建立常见病、疑难病例后台数据库，伴随虚拟病人模型的丰富与完善，数据库中的常见病、疑难病例数据量会越来越大［4-6］。开放的病案数据资源将给临床诊断和临床教学提供优化的、高质量的病案信息。利用网络技术可以实现临床病例资源共享，辅助解决疑难病症。82%的学生认为通过网络实现师生互动，能够提高临床学习效果。

知识驱动设计的虚拟病人系统是计算机技术、网络技术、虚拟现实技术与现代医学交叉、集成的产物，具有广阔的应用前景［7］。随着医学生人数的增加，医学院校的临床教学资源日趋紧张，使用虚拟病人进行临床教学，不仅能够缓解教学资源的问题，更能够使学生产生身临其境的教学效果，其交互性特点更使得学习变得积极主动。美国及欧洲的多所大学也在利用虚拟病人进行虚拟仿真培训、心理辅导等研究［8-12］。在我国的临床教学方面，虚拟病人的应用尚处于起步阶段，开发的病例较少，疾病种类不丰富，未来的研究方向将进一步开发多种类型的病例，完善已有病例，为学生提供更多的选择。相信自主开发或引用优秀虚拟病人系统开展临床教学及研究，将形成一种新的教学模式。伴随虚拟现实技术和网络技术的发展，虚拟病人的应用将更加广泛，亦将为临床医学带来更多革命性的变化。

［1］罗仕鉴，朱上上，唐云．知识驱动的产品设计情境［J］．浙江大学学报:工学版，2008，42(11):1849-1855

［2］Kopp S，Krenn B，Marsella S，et al．Towards a Common Framework for Multimodal Generation:The Behavior Markup Language［M］．Lecture Notes in Comp Sci，2006:4133，205-217

［3］Kenny P，Parsons T D，Gratch J，et al．Virtual Patients for Clinical Therapist Skills Training［J］．Lecture Notes in Comp Sci，2007，Volume 4722/2007:197-210

［4］Odd AM，Choudhury B．Virtual reality anatomy:Is it comparable with traditional methods in the teaching of human forearm musculoskeletal anatomy［J］．Anatom Sci Edu，2011，4(3):119-125

［5］Krause A．The Virtual Patient:developing drugs using modeling and simulation［J］．Chance，2010，23(1):50-52

［6］Laver K，George S，Ratcliffe J，et al．Virtual reality stroke rehabilitation-hype or hope? ［J］．Austra Occup Therapy J，2011，58(3):215-219

［7］Iorizzo D B，Riley M E，Hayhoe M，et al．Differential impact of partial cortical blindness on gaze strategies when sitting and walking-An immersive virtual reality study［J］．Vision Res，2011，51(10):1173-1184

［8］Bertrand J，Babu S V，Polgreen P，et al．Virtual Agents Based Simulation for Training Healthcare Workers in Hand Hygiene Procedures［J］．Lecture Notes in Comp Sci，2010，6356，125-131

［9］Gutiérrez-Maldonado J，Alsina-Jurnet I，María Virginia Rangel-Gómez，et al．Studies in Computational Intelligence［M］．Springer Berlin/Heidel-berg，2008:497-505

［10］Triola M，Feldman H，Kalet A L，et al．A Randomized Trial of Teaching Clinical Skills Using Virtual and Live Standardized Patients［J］．J of Gene Inter Med，2006，21(5):424-429

［11］Gregg L，Tarrier N．Virtual reality in mental health［J］．Soc Psy and Psy Epidemiol，2007:42(5):343-354．

［12］Chad Lane H，Schneider M，Michael S W，et al．Virtual Humans with Secrets:Learning to Detect Verbal Cues to Deception［J］．Lecture Notes in Comp Sci，2010，6095，144-154