基于情感识别的心理类APP交互设计研究

罗尧涵，吴旭敏

（武汉理工大学，武汉 430070）

随着技术的发展，科技不断融入我们生活的方方面面。用户与设备的情感智能交互正在塑造移动设备的未来。情感智能设计已被定位为最佳移动UX设计原则和实践之一，使我们在体验技术时以其独特形式考虑用户情感。人类用更自然的方式与技术进行交流，作为一种将对话和情感融合的新型UI对话界面，自然语言处理（NLP）、面部表情识别、语音情感识别和物理信号情感识别的最新发展使其成为可能。

一、情感识别与心理类APP概述

据估计，中国大约有1.73亿人患有精神疾病，其中从未接受过专业治疗的高达1.58亿人。在各类疾病负担中，精神疾病的负担目前占到了疾病总负担约20%，排名首位。当前心理治疗存在专业治疗昂贵、有经验治疗师太少、病人不愿配合治疗、边远地区旅途时间花费较大及药物存在严重的副作用等问题，鉴于此，心理类APP应运而生。

近来，市面上的心理类APP以课程、社区、咨询功能为主，传统功能不能满足其识别分析用户情感的需求，情感识别的搭载将是其在人工智能和情感工学时代的下一个重要突破口，也是其下一阶段人机交互情感化的发展机会。但是，目前市面上主流的心理类APP并不能支持情感识别，而是以用户情感记录作为媒介，APP通过用户手动选择情感及日常记录来间接了解用户心理健康状况和变化情况，在用户情感色彩消极时，引导其进行认知纠正训练。

基于生理信号的情感识别能更客观准确地反映用户内心最真实的情感状态和心理活动状态，而APP可以通过捕捉用户外显的生理信号去分析其内隐的心理问题及认知偏差。一方面，在医疗诊断领域，通过情感识别技术对患有抑郁症、自闭症、精神分裂症等问题的人的各种生理信息进行分析，可以完成辅助诊断并治疗；另一方面，基于情感识别的APP能提供语音交互、表情交互和主动交互的自然人机交互方式，简化用户的输入操作，尤其对于行动不便、视力不佳及受教育程度低的用户更便捷友好，情感识别技术可以帮助其摆脱繁琐的记录操作，优化并丰富用户使用体验。随着情感识别技术的成熟，其应用正越来越引起业界的重视。

二、情感的具身化

图1 情感认知与反馈机制示意图（作者自绘）

图2 优化后情感训练作用机制（作者自绘）

图3 构建情感人设画像（作者自绘）

图4 情感决策及反馈（作者自绘）

认知行为治疗认为，人的情绪来自人对所遭遇的事情的信念、评价、解释或哲学观点，而非来自事情本身。正如认知疗法的主要代表人物贝克所说：“适应不良的行为与情绪，都源于适应不良的认知”。心理治疗的目标不仅仅是针对行为、情绪这些外在表现，也要分析病人的思维活动和应付现实的策略，找出错误的认知加以纠正。而根据具身认知理论，认知的形成与人的感觉运动系统有着直接的关联，强调思维和认知在很大程度上是依赖和发端于身体的。身体构造、神经结构、感官和运动系统的活动方式决定了我们怎样认识世界，决定了我们的思维风格，塑造了我们看世界的方式。心理学家Niedenthal的研究证实了情绪概念的形成也是由身体决定的，而不是其中的附带现象。即身体反应在先，情绪作为一种心理状态在后，换言之，情绪是具身化的。有关抽象情绪概念的实验也证实了这一点，被试者首先有具身化的情绪反应，然后才得出认知判断的结论。据此，心理类APP以情感识别为切入口，打造情感分析—认知偏差分析—情感决策以解决用户心理问题的闭环，结合以上两个理论推演出理论框架。（图1）

情感在人类社交、决策、感知、记忆、学习和创造力中都发挥着重要作用。基于情感识别的系统通过对人脸、语音、生理信号的观察识别，推理出用户当前的情感状态，然后通过心理学情感模型来理解用户该情感产生的原因及认知偏差，最后APP根据用户的具体情况做出适当的情感反应、共情行为及纠正引导，并对用户极端行为进行评估、预判和预警。以此营造一个和谐、真实的交互系统，以形成长期的同伴依赖关系，增强用户的信心。

三、健心家园APP的交互体验现状及不足

本文调研了APP Store里10个主流的心理健康类APP，大多数APP通过线上咨询、视频课程来解决用户的消极情绪。其中，仅有健心家园APP关注到用户情感，并开设专门的全程训练栏目用以进行日常情感记录，基于此，本文将以健心家园APP作为研究对象，探讨其在使用过程中的交互体验。

（一）单一的交互方式

健心家园APP根据不同场景下的需求，功能主模块划分为心理测评、视频课程、情绪记录、咨询指导及社区，其中涉及情感识别分析的模块主要是以日常情感记录方式展开的全程训练，根据记录能可视化自己在一段时间内的心理状况和变化情况。

其交互方式仅限于文本信息交互，用户通过点击、滑动两种交互方式来记录情绪和发生的事件。用户需要经常进行情感训练纪录，内容包括场景、事件、情绪，且仅支持手动输入，对于文字较多的情况下，手动输入很繁琐，而语音方式更便利，用户更倾向于说出更多的感觉。长期单一的交互方式让用户感到疲惫无趣，对于长篇的记录费时费力。而多元化的交互方式能将使用过程中的体验、功能性的研究与效用性的考究有机结合，产生流畅而富有趣味性的操作体验。

（二）冗长的交互流程

用户进入情感训练时，首先通过上下滑动来选择当前的大体感觉，分为一般、好、较好、最好、差、较差、最差7种，接下来用户编辑发生的事情并手动选择具体的情绪及程度，如高兴的程度50%，开心的程度50%，用户保存记录后，若情感消极则出现“认知纠正训练”按钮，若情感积极则保存后回到记录列表界面。

情感训练流程重复低效，用户需要先从5个选项中选择当前的大体感受，然后进行场景、事件记录，再通过上下滑动从156个积极情绪选项和269个消极情绪选项中进行具体的情绪选择，选择后默认该选项的量化指标为50%，可通过左右滑动来调整该项情绪的量化值，此流程中用户填写感受的操作繁琐重复，且面对的情绪选项过多。该模块使用频率较高，但整个操作流程偏繁琐，用户面对的选项过多，选择起来费时费力。

（三）机械化的决策反馈

在健心家园APP中，情感反馈机制作用在用户完成情感训练后。用户保存记录后，若检测到该次情感训练中有消极情绪则出现“认知纠正训练”按钮，引导用户进行纠正训练，若情感积极则保存后回到记录列表界面。

当用户完成情感训练，选择不同的消极感受后，APP每次都是提供一样的“开启情绪管理”按钮，并引导用户进入同一个“纠正歪曲认知”页面，没有视消极程度而定、个性化地提供适合的心理疏导方案。其次，当用户完成心理测评，APP无法根据用户的具体情况，反馈针对性的视频课程、情绪管理方法及情绪训练方法，而是一股脑把视频课程和健心方法全列举出来，让用户自行选择学习。处于首页的健心方法和处于CBT模块里的基础训练的视频课程在不同模块，不便于切换学习。在已获悉用户情绪消极时，始终是需要用户自主地在海量视频课程及多种健心方法中进行选择，在普遍推崇个性化的互联网产品中显得机械化、千人一面。

四、基于情感识别的心理类APP体验设计要素

心理类APP作为便捷的服务，其情感体验设计要素的提出也是基于其用户本身的需求属性，并且融入了使用情境、方式和功能考量，梳理得到了心理类APP的体验设计要素，分别是情感交互方式、情感交互流程和情感人设画像。

（一）情感交互方式

自然的交互方式不仅是一种参与状态，更是具身化的信号表达，意向的可见形式，通过外显的用户情感信号去捕捉分析其内隐的认知偏差，进而提供认知纠正方案。心理学家 A.Mehrabian的研究表明：表情占情感信息的一半以上，为55%，声音占 38%，语言占7%。因此，在对APP交互方式进行设计时，表情交互、语音交互及其他生理信号的多元化交互方式能有效地提升用户使用系统的效率。

1.人脸表情交互。表情是情感传递的重要途径。因此，表情作为情感的表达窗口是交互意图识别的重要信息来源之一，可直观反映用户注视界面时的情感、情绪和状态信息。用户可在“现在感觉如何”界面，表情识别作为用户情感分析的重要指标，可以对用户当前情绪进行评估。人脸表情交互提升了人机的可互动率和趣味性。

2.语音信息交流。语音可突破距离、空间的限制，较之界面交互更加方便灵活，并且有很多的机会点和用户产生情感的共鸣。此外，语音数据库应尽量完整，从而保证识别和转化的准确率。当用户编辑“发生了什么”时，可通过语音识别，在语音交互界面上以文字形式进行呈现，并收集、分析用户的语气和音调信号，对其当前情绪进行进一步分析判断。语音交互可以提高APP的人机沟通效率。

3.生理信号交感。随着脑机接口（BCI）、穿戴式设备的发展和人工智能的进步，通过穿戴式设备收集脑电信号、心率、脉搏等生理信号对情感进行识别成为研究情感的新手段。基于脑电信号的情感识别能满足残疾人的行动需求，可分析出其对事物的喜好度，亦可控制动作，如从一个虚拟键盘选择字母或移动机械臂。穿戴式设备生理信号交感模式不仅能使系统的情感识别精准度提高，还为残疾人及视力不佳的用户群体提供了便利。

4.文本信息交查。APP中常见的界面文本信息交互以一种实时检测及响应的方式执行相应的用户操作，通过对用户所编辑的文本进行情感解读，生成系统评估出的可视化情绪量化指标，并支持用户修改，让用户无需思考，更方便直观地了解自己的情感状态。

在人机交互中，单一的交互方式让用户感到疲惫无趣，对于长篇的记录耗费时间精力。将单一繁琐的手动输入交互方式优化为多元化的、自然的交互方式，不仅简化了情感识别的流程，同时也能创造出不同的用户体验。情感识别的用户价值是将用户的一些无意或模糊的生理信号识别成具体明确的情感指标，并用自然的方式来完成人机交互。人机交互的过程是在建立一套语言体系，使人与机器轻松高效对话的过程。随着物联网技术的不断进步，交互方式实现其从单一的界面交互模式到多元化多感官交互模式，实现从“有形”到“无形”的转变，并且能够将适用人群进一步扩大到残疾人等群体。

（二）情感交互流程

通过上述四种情感交互方式来实现和简化情感识别和分析的流程。具体来说，首先用户点击APP的情绪记录模块后，进入“发生了什么”页面，用户可以用语音描述具体的场景和事件，随后将用户的语音信息转化为文本显示在输入框中，同时调用摄像头对人脸表情进行识别分析，随后系统根据用户表情、语气、音调、文本信息进行综合分析显示系统判断出的情感量化指标结果，支持手动修改和再次识别，若用户情绪消极，则显示“纠正歪曲认知”按钮，引导用户进行认知纠正训练，若情绪积极则完成记录，可在情绪记录页进行查看。（图2）

Steven Krug在《Don’t make me think》一书中指出，界面上的内容要可以自我解释，而不需要花费精力进行思考。在APP上进行情感记录的同时进行情感识别，随后根据人脸表情识别、语音识别、语音情感分析和文本情感分析数据生成情感量化指标的初始值，避免了用户日常中自行输入的麻烦和面对400多种情绪选项的体验。整体来看，情感训练的步骤由10步简化为7步，减少了用户手动输入和选择的步骤，节省了用户思考、操作的时间和精力，提高用户的使用效率，丰富了人机互动的趣味性。“简单有效原理”由14世纪哲学家、圣方济各会修士奥卡姆的威廉（William of Occam）提出“如无必要，勿增实体”，即若有两个功能相等的设计，那么选择最简单的那个。奥卡姆剃刀原理并不是只肯定简单的设计就是好的，也不是否定一切复杂含蓄的设计就是不好的，核心是强调“简单”设计比“复杂”设计更容易让人理解，传达效果更好，可以以小博大。

（三）情感反馈机制

反馈是由控制系统把信息输出，再把其作用结果返回，并影响信息的再输出，起到控制的作用，原因产生结果，结果又构成新的原因、新的结果，反馈是原因和结果之间的桥梁。反馈的最终目的就是要求系统对用户的客观变化做出恰当的反应。

心理类APP主要在心理消极的场景下使用，其定位是帮助用户进行情感识别、构建积极的心理状态。用户可自愿将个人数据如个人喜好、社交动态以及医疗保健等信息同步到APP，系统结合用户的日常情感训练情况，构建用户专属的个性化情感图谱，针对用户的具体问题推荐合适的解决方案。情感人设画像具体包括用户的个人信息、行为习惯、认知偏差和心理健康。情感反馈需要统筹情感人设画像的综合信息进行分析、迭代与耦合，以实现APP个性化、情感化地展现心理疏导内容。在APP进行情感决策时，可遵循多信源原则、多通道原则和不失真原则。

多信源即广开信源，获取更多的用户情感信息，构建情感人设画像辅助个性化情感决策。其中包括认知偏差、行为习惯、个人信息和心理健康四大模块。（图3）

多通道即多种信息的获取通道，信息是靠通道传递的，通过用户多通道的情感信息以增强信道的广泛性。通过直接对多通道信号进行情感识别，最大程度降低信号的失真度。信号获取途径可从视觉通道、听觉通道和触觉通道三大模块收集，其中视觉通道包括表情、环境、动作；听觉通道包括音量、语调、语速、语音内容；触觉通道包括力度、速度和体温。

情感决策及反馈内容分为四大类，根据用户的具体情况，展示不同的界面内容。（图4）

以Deprexis为例，其视频课程根据个人需求量身定制，部分内容仅针对匹配的用户显示，试验显示Deprexis参与者的加权平均辍学率为26.5%，比世界上使用最广泛的治疗抑郁症的MoodGYM平均辍学率降低了14.8%，该案例证明个性化的定制能有效提高用户的参与度。情感人设画像有利于为用户提供更贴切更具针对性的心理疏导方案，提高用户的参与意愿、情感认可和情感满足。