基于维度情绪模型的智能化灯光交互镜面装置设计研究

赵孟霆 盖龙涛 闫子飞

摘要：探究智能家居场景中用户情绪与灯光效果的情感化交互设计方法。基于维度情绪模型，解析用户情绪对灯光色彩、灯光动态变化的偏好；基于深度学习技术，建立多模态情绪识别与维度情绪表示方法；通过设计智能化灯光交互镜面装置，实现用户情绪与灯光色彩、灯光动态变化的创新交互方式。构建了情感化的灯光交互设计方案，实现了一种实时对用户情绪做出反馈的智能化灯光交互镜面装置。提出了情绪识别与情感化灯光交互的设计方法，可以为情感化的智能家居产品设计提供实践经验与思路，展开情感化交互设计探索的新视角。

关键词：智能家居；维度情绪模型；光环境设计；交互设计；情感体验

中图分类号：TB472 文献标识码：A文章编号：1003-0069（2024）11-0130-04

Abstract：In order to investigate the interaction design method between user emotion and light environment in smart home emotionalization. Summarize the past research and explore the relationship between emotion and lighting color and lighting dynamics. Design a multimodal emotion recognition method，create an innovative interactive device and design the interaction between light color and light dynamic changes. Completed the emotional lighting interaction design program. A lighting interaction device design that gives feedback to user emotions in real time is realized. A method of emotion recognition and emotional lighting design is proposed，which can provide practical experience and ideas for the emotional product design of smart home.

Keywords：Smart home；Dimensional model of emotions；Luminous environment design；Interaction design；Emotional experience

引言

云计算、物联网、大数据等技术的发展促进了智能家居融入大众生活的过程[1]。《2020中国智能家居生态发展白皮书》的主题是从全屋智能到空间智能化，行业聚焦逐渐从家居设备控制过渡到用户价值的满足。在空间智能化的诉求下，需要就用户的智能化生活场景进行设计。从大数据来看，智能家居的发展应以用户体验为核心，更注重解决生活痛点与提升生活品质[2]。具体到情境感知的角度，用户体验应满足用户感官、行为、情感3个层次的需求[1]。虽然智能家居产业已比较成熟，产品门类和单品都具有较高的丰富性，但在情感层次仍缺乏对用户的关怀，在“情感化”方面对新技术的应用尚未展开广泛探索。本文从此处入手，基于人工智能等新技术，探究用户情绪因素与光环境调节模式的关系，提升用户在智能家居场景中的情感化体验，并通过将相关领域的理论成果应用在交互装置的算法设计上，验证设计研究领域已有的实验结论，为情感化的智能家居产品设计提供实践经验。

一、情感化灯光交互装置的设计现状

（一）家居灯光环境情感化

随着生活需求层次的提高，越来越多的人开始使用智能化的家居产品，注重居家生活的情感化体验。就灯光元素来说，情感化的智能家居灯光环境应在造型美观、交互自然、照明个性化3个方面加以设计[3]。在灯光交互与个性化照明方面，以满足人们情感需求为主要目的的氛围性照明在家居环境中正受到重视。氛围性照明利用灯光创造出一种增强沉浸与体验的意境环境[3]，其中灯光的光色、色温、光度等要素的合理搭配和利用对营造理想氛围的光环境具有重要作用[4]。另外，灯光的动态变化也隐藏着一系列情感线索，如模拟自然照明的闪烁、树影等对用户情绪产生各种预期的影响[4]。可见，目前的研究已开始考虑智能家居场景中灯光与情绪的关系，但由于缺乏新技术的支持，仍缺少根据用户的实时情绪变化而自动做出调整的灯光交互装置设计。

（二）基于情绪识别的智能交互系统

一些特定应用场景中，基于用户情绪识别的实时交互系统已被提出，将用户情绪这一变量引入交互系统设计的考量中，满足用户的情感体验需求。这些系统通过改变环境因素给予相应的情绪反馈，达到改善情绪、维持注意力集中性、提高工作效率等目的。如汽车灯光音效调节系统中，设计重点在于提升驾驶员的专注度[5]；在智能音乐播放系统中，设计目标一般是根据识别到的用户情感选择特定分类的歌曲[6]或根据歌曲情感改变球灯灯光[7]。目前，这些已有的设计更多被应用在载具设备、KTV等特定的活动场合；对于更私人化、日常化的家居场景，目前还缺乏适应相关使用场景的产品设计。

二、情感化灯光交互装置的设计理论基础

（一）维度情绪模型

人类情绪的状态可以利用情绪模型来进行量化[8]。出于不同的应用场景，目前已有多种情绪模型被建立，主要可分为离散情绪模型和维度情绪模型。离散情绪模型主要对传统的惊奇、恐惧、厌恶、愤怒、高兴、悲伤6种基本情感及其复合情感进行研究[9]。维度情绪模型是将情绪状态映射到情绪空间中，能从态度、强度等多种维度动态、定量地描述情绪及其变化过程。

唤醒度-效价（Arousal-Valence）情绪模型是一种二维情绪模型，具有“唤醒度”和“效价”两个维度[9]，如图1所示。其中，水平维度的“效价”从左到右代表情绪从不愉快到愉快的程度，竖直维度的“唤醒度”从上到下代表情绪从活跃到平静的程度。这种模型划分出的情绪群组涵盖了基本的情绪反应，且相互之间能找到明确的区分。该模型具有表示方式直观、情绪数据易于获取等优势，能用来拟合离散情绪的过渡变化，可用于对情绪变化的定量计算，将人类情绪表示为向量。

（二）基于维度情绪模型的灯光色彩设计理论

根据色彩心理学原理，不同的颜色具有不同的象征意义，可引起人们不同的情绪反应[10]。为了使情绪与色彩的关系更加直观且具有理论意义，可采用包含色相、饱和度、光强度3个分量的HSI色彩空间。其中，色彩的分量与情绪具有更加紧密的联系，如色相会影响情绪印象和联想效果：红色可激发活力和激情，蓝色可带来冷静和放松，绿色可增加平静和和谐感等。通过不同色相、饱和度、亮度的组合，可根据用户的情绪状态产生合理的灯光色彩反馈。

维度情绪模型可用向量的形式将人类情绪表示出来，并与HSI色彩通道建立相关关系，更准确地描述情绪对色彩的偏好。萧世文通过邀请多位有经验的灯光师为不同情感的音乐调节色彩总结出不同情绪对灯光的偏好，部分结果对应到HSI色彩空间中如图2[11]，唤醒度、效价与色相之间分别存在相关性，其中唤醒度与色相的相关性更强；同时，唤醒度与饱和度具有明显的相关性。总体来说，高唤醒度对应较高水平的饱和度，而色相受到唤醒度与效价的双重影响，即唤醒度越高，红光色越强，色调偏暖；效价越低，蓝色光越强，色调偏冷；唤醒度与色相变化的相关性更强。这些结论能很好地指导维度情绪数据的色彩偏好拟合。

（三）基于维度情绪模型的灯光动态设计理论

与色相、饱和度不同，光强度虽然与情绪的直接相关性不强，但可用于表现灯光的动态变化。光强度及其动态变化与人的惧怕感、放松感等都有一定相关性[4]。因此，选择适当水平的光强度并设计一定的动态变化能带来更好的情绪反馈效果。如拟仿人类呼吸规律的呼吸灯，柔和的光线变化给人平静、温暖的感觉，适合在放松、休息场景中使用；而循环闪烁的跑马灯则能在不同条件下产生多样的效果：快速的跑马灯可创造出灵活、变化的灯光效果，激发人的情绪和兴奋感，而慢速的跑马灯通过与柔和的颜色、温暖的亮度等配合也可用以创造温馨和浪漫的氛围。不同灯光动态模式的选择以及与灯光色彩的自然配合能够完善灯光的情绪反馈逻辑，满足人们的情感体验需求。

三、情感化灯光交互装置的情绪识别与表示方法设计

（一）情绪识别方法

目前，常用的情绪识别的方法主要为多模态方法，在行为表现层面，可用的模态包括语音情感、人脸表情等[8]。本文设计的情绪识别与表示方法如图3。在通过表情识别情绪的流程中，先使用Haar级联分类器[12]检测画面中的人脸，将人脸部分截取并输入卷积神经网络（CNN），最终预测得到基于表情识别的维度情绪模型向量。在通过语音识别情绪的流程中，先利用VAD聚类算法提取人声，之后将音频信号转换为梅尔倒频谱系数[13]（MFCC）特征，最终输入到CNN中，预测得到基于语音情绪识别的维度情绪模型向量。

（二）情绪表示方法

将表情、语音模态的维度情绪模型向量结合，能得到用于光环境交互的情绪模型向量。由于连续的表情变化信息会持续输入摄像头，具有更多可被检测到的细微特征；而语音输入是相对不确定的，因此，表情是情绪的主要识别依据，而将语音为辅助输入，进行数据加权叠加的决策级模态融合。

人的情绪变化易受到外界刺激影响，可能在短时间内产生较大波动，但始终具有连续性，且刺激消失后情绪会逐渐恢复淡化[14]，因此需要利用权重来平衡过往情绪信息的影响。当下一帧预测值与当前状态差异较大，或比当前具有更高唤醒度时，预测值将分配到更大权重，情绪变化将更迅速，波动更大；反之情绪变化会更温和、缓慢地反映在情绪模型中。

四、基于维度情绪模型的灯光交互镜面装置设计实践

（一）交互装置的总体设计阐述

在家居环境中，情绪识别系统可以应用在许多情境中，但是并非所有的应用情境都是合理的，情境的选择需要符合使用者的心理感受。在日常的家居元素中，镜子自古以来就在人的生活中扮演着重要角色，“以铜为镜，可以正衣冠；以人为镜，可以明得失”。镜子反射光线的物理特性，早就被赋予了反省、反思的隐喻属性。人在照镜子时本身就是为了满足自我了解、自我审视的诉求。如今，在照映仪表、装饰家居等传统功能之上，还可以进一步拓展镜子反思的维度，使其能够关照人的情绪，挑选适合情绪的灯光环境，提供更加细致入微的情感关怀。

基于情感化的灯光设计理论和多模态的情绪识别及表示方法，结合镜子正衣冠的传统功能与现代家居装饰、氛围营造的新功能，本文设计实现了一款以镜子为原型的智能化灯光交互装置，能够自然融入用户的情感生活，利用灯光交互延伸产品设计范畴。设计渲染图与实物图如图4。装置的镜面材质为单向玻璃，具有一面反光、另一面透明的视觉效果。镜后的显示器画面可被投射在镜面上，摄像头、麦克风等传感器也能透过镜面收集用户的表情、语音数据。使用的视频与音频传感器体积较小，可持续、无接触地采集数据，避免对用户情绪产生打扰。装置利用基于维度情绪模型的情绪识别及表示方法实时分析用户情绪，根据情绪灯光偏好设计理论控制LED灯带的输出来调节灯光，呈现符合用户情绪的反馈效果，营造个性化的家居氛围。

图5为该装置的模块示意图，装置能够自动根据环境与用户状态控制开关状态、最大亮度、动态模式等。当用户在镜前时，灯光和内置显示器的UI会响应用户的需求自动开启，根据环境亮度自动适应光线强度，在行为层面满足用户需要；并自动根据用户情绪调整灯光色彩，照顾用户情感层面的需求。如果处于动态灯光模式下，还会根据用户设置的条件选择不同的动态模式。如可设置为当用户较激动时，切换到比较活跃的跑马灯模式；当用户处于积极状态但较平静时，切换到相对柔和的呼吸灯模式等。同时，动态效果的具体表现也会自动跟随情绪状态而变化，表现出流畅、舒缓、激烈等不同状态的动态特征。

（二）基于灯光色彩偏好理论的交互设计

在镜面装置中，灯光色彩的交互设计很大程度上决定了交互效果，是设计的核心，如果装置仅仅能准确显示情绪，那么对用户本人来说并没有实际意义；只有合理地利用灯光色彩对情绪做出反馈，随时满足复杂善变的情绪偏好，才能切实提高用户的生活品质，传达以人为本的理念，体现出设计的情感关怀。本文基于维度情绪模型的灯光色彩设计理论，对情绪维度与色彩分量的关系分别进行了拟合实验，构建了映射关系。进一步根据维度模型中的情绪分布特点，创新了与偏移距离相关的色相权重映射综合方法，能够以更符合维度情绪模型中实际情绪分布的方式实时呈现用户情绪的偏好色彩。

例如，当用户情绪高昂，唤醒度处于较高状态时，灯光色彩会更多呈现出黄色甚至红色等视觉体验较为激烈的色彩；当用户偏向平静时，则更多表现为青色、绿色等冷色。灯光色彩的具体表现如图6所示，（a）和（b）分别展示了唤醒度、效价与色相的映射关系；（c）展示了唤醒度与饱和度的映射关系；（d）（e）（f）为3种按照不同权重进行组合得到的总映射关系，其中（d）为提出的按距离综合，（e）（f）为按不同权重进行平均综合。可以看出，按距离综合具有更加明显的情绪分区效果，对应具有更多变、更合理的灯光色彩反馈状态。

（三）基于灯光动态偏好理论的交互设计

在镜面装置中，灯光动态的交互设计是其色彩交互设计的延伸和补充，能够配合色彩交互方案更进一步突出灯光偏好设计，强调情感化氛围。灯光方案主要分为静态和动态两类模式，两种方案可以由用户自行选择。静态灯光方案只跟随情绪状态变化，根据色彩映射关系提供静态灯光，相对变化较少且温和，更适合单纯作为氛围灯使用的场景。动态灯光方案在色彩变化的基础上，结合灯光动态效果本身的变化特点，额外设计了与情绪相关的灯光动效，使情绪的效价、唤醒度能通过影响灯光动态的控制参数改变灯光效果。动态灯光方案的互动性更强，可以通过更多方式产生情绪反馈，更适用于实时的情绪交互场景。

具体而言，动态灯光方案的设计主要包括以下两种，实际效果对比如图7（a）呼吸灯和图7（b）跑马灯所示：

（1）呼吸灯 呼吸灯是在静态灯光基础上增加了强度随时间强弱变化的动态效果。当情绪的唤醒度和效价偏高时，灯光应具有更强的动态性，相应具有更大的振幅和更急促的呼吸频率；反之则更加平静，减弱灯光的刺激性。

（2）跑马灯 跑马灯是当情绪发生波动时，灯光从局部开始变化，新的颜色逐个传递到整个灯带。跑马灯的动态性强，流畅度取决于用户情绪。当情绪处于兴奋、生气等状态，即高唤醒度，灯光具有一定的跳跃性，流畅度较低；当情绪处于悲伤状态，即低效价、低唤醒度，灯光流畅性很高，为静谧流动的效果。

（四）交互装置的用户体验评估

本文将装置的评估范围分为情绪识别、灯光反馈和交互感知3个方面。情绪识别方面主要反映装置的多模态情绪识别水平与基于维度情绪模型的情绪表示水平；灯光反馈方面着重考察灯光色彩与动态效果的合理性、灯光反馈的实时性；交互感知方面主要对装置整体的智能化水平和交互界面设计的合理性进行评价。共召集7位受试者，进行了焦点小组访谈和交互效果评估。在简单讲解装置功能后，受试者分别与装置进行了随意、充分的交互，在结束后填写了包含情绪识别、灯光反馈、交互感知3个方面共9道问题的量表，最低分1，最高分5。各个方面体验的最终评分如表1。结合评分情况和小组反馈得到以下评估结论：

在情绪识别方面，装置的灵敏性较高，但准确性稍低，且表情情绪识别相较语音情绪识别的准确度和灵敏度更高。说明情绪识别和表示方法设计比较合理，满足设计需求。此外，据受试者反映，有时情绪识别的结果存在短暂延迟，说明情绪表示方法中平衡过往情绪信息的权重还需要调整。

在灯光反馈方面，装置的实时性较好，且受试者对灯光动态的情感化满意度较高，对灯光色彩的情感化满意度稍低，提示对色彩偏好理论的挖掘还可以更加深入。综合来看，灯光色彩和动态模式设计比较有效，能够根据用户情绪做出比较合理的灯光反馈，满足用户的情感体验需求。

在交互体验方面，受试者给予装置智能化水平的评分较高，但对用户界面的评价稍低。说明装置整体的交互设计思路有效合理，但用户界面设计还可以进一步细化。

根据以上评估结论，设计方案可在几方面继续改进：迭代语音情绪识别模型，优化人声检测方法，提升情绪识别准确率；对情绪表示算法进行更多调整与实验测试，继续探索更好的情绪识别模态融合方式；增大灯光反馈的测试规模，基于评估结果调整灯光反馈参数，使之能够更加合理地响应用户情绪；丰富用户界面交互内容，提供更多的交互元素，充分利用内置显示器功能，比如增加语音控制显示内容等。

结论

本文研究了情感化智能家居灯光交互镜面装置的设计方法，基于情感化灯光设计理论与多模态的情绪识别方法设计了以镜子为原型的交互装置。首先，基于维度情绪模型建立了情绪色彩偏好的映射关系，并根据情绪对应灯光动态变化的相关理论，设计了多种灯光效果反馈模式。之后，设计并制作了整套软硬件交互装置，实现了从情绪识别到灯光反馈的完整方案。本文以镜面装置为例，探索了提升用户在智能家居场景中情感化体验的具体方法，并将理论成果应用在装置与交互的设计上，为情感化的智能家居产品设计提供了实践经验与思路。

基金项目：哈尔滨工业大学建筑与设计学院，互动媒体设计与装备服务创新文化和旅游部重点实验室，文旅部重点实验室资助项目：基于深度学习的个人视频日志生成关键技术研究

参考文献

[1]翟倩，肖金，陆兴华等.智能家居系统用户体验的研究[J].工程技术研究，2020，5（17）：251-253.

[2]邓慧贤.大数据时代下智能家居在室内设计中的运用[J].设计，2021，34（15）：26-28.

[3]顾家诚，赵雁.智能家居照明系统中的光环境情感体验设计研究[J].设计，2020，33（11）：17-19.

[4]冯元科，陈智锐.光环境设计与住宅情感化的应用研究[J].设计，2017，271（16）：144-145.

[5]崔哲，郭昱，八田和洋等.引入模拟自然照明的室内光环境对情绪的影响作用研究[J].住宅科技，2020，40（10）：43-50.

[6]吴兴刚. 基于驾驶员情绪识别的汽车灯光音效调节方法研究[D].吉林大学，2019.

[7]解康辉，李鹤，王成诚等.基于表情识别的智能音乐播放控制系统设计[J].电子器件，2020，43（01）：5-9.

[8]黄璐敏. Emolight：音乐情感驱动的家用气氛灯效交互设计[D].浙江大学，2019.

[9]潘家辉，何志鹏，李自娜等.多模态情绪识别研究综述[J].智能系统学报，2020，15（04）：633-645.

[10]Ekman P. Facial expression and emotion[J]. American psychologist，1993，48（4）：384.

[11]戴雨婷. 基于色彩心理学理论的城市绿地景观照明设计研究[D].中国矿业大学，2022.

[12]Shih-Wen Hsiao，Shih-Kai Chen，Chu-Hsuan Lee. Methodology for stage lighting control based on music emotions[J]. Information Sciences，2017：412-413.

[13]Viola P，Jones M. Rapid object detection using a boosted cascade of simple features[C]. Proceedings of the 2001 IEEE computer society conference on computer vision and pattern recognition. CVPR 2001. Ieee，2001（1）：I-I.

[14]El Ayadi M，Kamel M S，Karray F. Survey on speech emotion recognition：Features，classification schemes，and databases[J]. Pattern recognition，2011，44（3）：572-587.

[15]杨国亮，任金霞，王志良. 基于情绪心理学的情感建模[J]. 计算机工程，2007，33（22）：209-211.