基于生理信号的PAD多维情感预测方法研究

何佳乐 张建敏

摘 要：

针对人机交互中用户认知模糊与表达不准确等问题，提出一种基于生理信号的PAD（Pleasure，Arousal，Dominance）多维情感预测方法对用户情感进行预测。首先，确定眼动信号指标和PAD情感量表，以门户网站为实验样本开展情感测量实验，被试者需按要求完成浏览任务，并记录眼动数据。其次，通过PAD情感量表获取被试者在网页界面中的多维情感值。最后，利用偏最小二乘回归法建立关系模型，探索眼动数据与PAD多维情感值之间的关系，并验证模型的有效性和适用性。研究结果表明，该情感预测模型的Sig.值均大于0.05，具有较高的预测能力，能准确预测用户对网页界面的情感偏好。

关键词：生理信号；PAD情感；偏最小二乘回归；情感预测

中图分类号：TP39  文献标志码：A

0 引言（Introduction）

在当今的数字化时代，人们与各种网页界面进行互动的频率越来越高，而了解用户对不同网页的情感体验对于提升用户满意度、优化网页功能及布局，进而增强用户黏性和转化率而言变得至关重要。情感是人类的一种复杂的心理生理状态， 包含其各种感觉、想法和行为，是一系列主观认知体验的统称［1］。目前，对于用户情感状态的捕捉主要采用用户访谈、焦点小组等主观评价法进行定量分析，再运用感性工学对获取到的情感信息进行研究，该方法具有操作容易且便于分析的特点。然而，情绪是复杂的，取决于个人的偏好、情感倾向和人际态度，传统的主观评价已难以满足网页界面设计的需求。因此，网页界面设计师不可避免地面临了一个重要挑战，即如何在网页界面中准确捕捉用户情感。当涉及复杂情感预测时，网页界面设计师需要采用一些手段和方法得到与积极情感有关的生理心理信号，从而预测用户的情感偏好。

1 相关研究现状（Related research）

在过去的研究中，情感预测一直是一个备受关注的领域，不仅在人机交互、心理健康等领域有着重要的应用，而且在社交媒体分析、消费者行为研究等方面具有重要意义。孙利等［2］针对康养辅具产品多维设计要素与用户情感满意度的复杂映射问题，提出一种基于评论数据的产品情感预测模型，结果表明该情感预测模型能够有效建立产品多维设计要素与情感满意度间的匹配关系，能够辅助设计师快速识别出用户情感满意度较高的多维设计要素组合。章逸凡［3］通过融合语音和文本特征对儿童进行情感识别，并在双模态情感识别模型中融合了注意力机制，实验结果表明该情感识别模型较传统模型的识别精度提高了2百分点，对儿童情感的识别效果更好。然而，传统的情感预测往往依赖于用户的主观报告或者行为数据，这些数据受到用户主观意识和记忆的影响，难以准确反映用户真实的情感体验。因此，除了用户主观的自我报告数据，还有必要结合其生理信号进行研究，例如眼动信号。眼动技术是一种非侵入式的技术，该技术可以准确获取用户行为的情绪数据源，其中包括眨眼、注视、瞳孔等多种指标［4］。JANG等［5］设计了一个使用注视长度、瞳孔大小、眨眼变化等数据的用户意图搜索监测系统，该监视系统提供适当的信息或服务，主动响应用户的意图。CUTRELL等［6］利用眼动追踪方法，探索眼动信号对网页搜索结果呈现变化的影响，能显著提高信息检索的性能。张宁宁等［7］在研究飞机座舱界面视觉信息中采用眼动追踪技术确定不同飞行阶段飞行员的注视热区，从而对座舱显示界面的性能进行评价。侯士江等［8］提出了一种基于深度学习的视点预测模型，导入显著图像模拟视觉注意力分配机制，并通过实验证实了图像的低层级属性是影响视觉注意力的主要因素。沈竹琦等［9］探索眼动指标与不同界面的用户情绪之间的关系，得出具有显著差异的指标，有助于实现用户体验的定量化表达。因此，眼动追踪技术已经成为测量情感的主流方式，本文将眼动信号与PAD多维情感建立联系，设计了一种新的情感预测模型。通过深入挖掘用户情感认知，指导网页界面情感化设计。

2 相关工作准备（Preparation of related work）

2.1 眼动信号指标的选取

为了在与差异性网页的交互过程中能通过定量方法评估用户的情感，选择具有比率性质、均值性质或极值性质的统计指标进行分析［10］。借鉴前人的研究成果，选择的主要眼动信号指标有眨眼类、注视类、扫视类及瞳孔直径类。

2.2 PAD多维情感值的获取

本实验中的主观多维情感值采用中文PAD情感量表工具获取。中国科学院心理研究所对FALENDER等［11］编写的PAD情感量表进行归纳、简化及总结后，最终得出一套更加符合中文表达情景的中文版PAD情感量表［12］（图1），该量表由12对情感形容词构成，其中包含愉悦度（Pleasure）、激活度（Arousal）、优势度（Dominance）3个情感维度，通过该量表获得的多维情感得分，能更加精确地评定用户的复杂情感状态。

每个维度对应4对情感形容词，被试者根据情感强烈程度对目标情感进行打分，每个项目从左到右的得分记为“-4”到“4”，每个维度下4个项目的得分平均值即该维度情感值，其计算公式如下：

2.3 偏最小二乘回归分析法

本文研究使用1983年由瑞典计量经济学研究者H.Wold等第一次提出的偏最小二乘回归分析方法（Partial Least Squares，PLS）［13］构建眼动信息指标和PAD多维情感值之间的关系模型。与传统的回归分析法相比，该方法提供了一种基于多变量相互关联的建模方案，尤其适用于因变量和自变量的数量庞大且关联度较高的情况。除此之外，PLS回归还将主成分分析、典型相关和多元线性回归分析的特点结合，不仅可以建立更精准、有效的关系模型，还可以对特征数据进行处理［14］。

2.4  眼动信息指标和PAD多维情感值之间的关系模型建立流程

眼动信息指标和PAD多维情感值之间的关系模型建立流程如图2所示。由于眼动信息指标较多，因此需要筛选出有效指标，以提高实验结果的准确性。在以往大部分研究中，研究人员通常直接使用单因素方差分析筛选指标，这可能导致方差不齐而影响分析结果。因此，本研究将首先利用SPSS（Statistical Product and Service Solutions）进行方差齐性检验，剔除p值小于0.05的指标，其次对余下的指标再使用单因素方差分析做筛选，最终得出一组具有显著性差异的指标。本文研究开展补充实验以验证该关系模型预测用户多维情感的准确性。

3 情感测量实验（Emotion measurement experiment）

3.1 实验被试与实验材料

本次实验招募的20名志愿者的年龄为20～27岁，他们都可以使用计算机完成基本操作。被试者均同意全部的研究方案并签署了知情同意书。实验仪器为由德国SMI公司生产的REDn Scientific桌面型眼动仪。实验材料选用2个在视觉设计元素方面具有最大差异性的门户网站首页的图片，分别为凤凰网与和讯网。

3.2 实验任务

研究发现，与搜索任务相比，被试者在浏览任务中的认知负荷更低。杨强等［15］认为与搜索任务相比，网络广告在浏览任务中可以带来更好的关注效果。因此，本实验任务主要设定为浏览任务，使被试者在受到最小的认知负荷的情况下呈现最准确的情感状态。

3.3 实验流程

实验流程已事先在Experiment Center实验设计软件中设定好，主要任务为20名被试者不带任何特定目的地浏览实验页面，浏览时间由被试者自行控制，浏览结束后针对刺激材料中的视觉设计元素感受填写PAD情感量表，随后休息5 min。休息时间结束后，被试者按照相同流程继续完成第2张刺激材料的浏览任务，填写PAD情感量表。实验得出的凤凰网与和讯网眼动热点图如图3所示。

4  眼动信息指标和PAD多维情感值之间关系的模型建立与检验（Modelling and testing the relationship between eye movement indicators and PAD multidimensional emotional values）

通过获取20名被试者浏览凤凰网与和讯网首页的眼动信息指标和主观PAD多维情感值，对数据进行处理并分析，可以得到两者之间的关系模型。该模型能更科学地解释眼动数据对PAD多维情感的影响。

4.1 情感分类表及眼动信号指标的筛选

将PAD情感八类别（表1）中的情感空间标注为“1、2、3、4、5、6、7、8”。根据所测实验结果，可获得20名被试者对于不同网页的PAD情感值，根据表1中的8个情感空间，按照正、负状态对情感值进行情感分类，分类结果如表2所示。

将异常的实验数据去除，确保实验结果的准确性。首先，进行眼动信息指标的方差齐性检验，以情感类别为因子，筛除显著性p值小于0.05的变量，其余显著性p值大于0.05的眼动信息指标可做进一步分析。其次，通过进一步的分析得到眼动信息指标在单因素方差分析下的结果，眼动信息指标单因素方差分析结果如表3所示。

通过表3可以看出，注视率、最短眨眼时间、平均扫视幅度等11个眼动信息指标的显著性水平p值均小于0.05，可以将其用于建立情感预测模型。

4.2  眼动信息指标和PAD多维情感值之间关系的模型建立

通过应用PLS方法，将回归方程转化为非标准化回归方程，构建眼动信息指标多变量值与PAD多维情感之间关系的数学模型：

选取表3中筛选出的眼动信息指标作为自变量xk，k=1，2，…，8，选择PAD多维情感值作为因变量yj，j=1，2，…，8。A（xk）为第k个自变量xk的样本均值；A（yj）为第j个因变量yj的样本均值；Sxk[KG-1mm]为第k个自变量xk的样本均方差；Syj[KG-1mm]为第j个因变量yj的样本均方差。将变量系数标准化，并将其还原为原始数据的变量系数和常数项，最终得到还原后的3个因变量的回归方程：

其中：x1为注视率；x2为平均注视时间；x3为最小注视点分散值；x4为扫视率；x5为平均扫视时间；x6为最短眨眼时间；x7为最短扫视时间；x8为平均扫视幅度；x9为平均眨眼时间；x10为最大扫视幅度；x11为最大扫视速度。

4.3  眼动信息指标和PAD多维情感值之间关系的模型检验

选取上述实验中未选用的3组实验数据进行补充实验，以证明该关系模型预测能力的有效性。利用关系模型将3组眼动信号数据纳入计算公式，可以得到3组PAD多维情感的预测值。利用SPSS分析软件对这3组PAD多维情感的预测值与实际观测值做配对样本t检验，检验分析结果如表4所示。

从表4中的分析结果可以看出，3组数据的双尾Sig.值均大于0.05，说明模型预测值与实际观测值无明显差异，能够证明眼动信息指标和PAD多维情感值之间的关系模型预测能力的有效性，即该关系模型能够通过眼动信息指标有效预测用户与网页界面交互时的多维情感。

为了验证该关系模型的适用性，开展补充实验，选取与上述实验材料均具有差异性的腾讯网网站首页的图片为检验实验材料，另选10名被试者按照上述相同的实验步骤重复情感测量实验，采集数据后对实验数据进行处理，将眼动信号数据纳入上述回归方程进行计算，得出PAD的预测值，然后结合预测值和实际值绘制折线图进行比较分析，若折线拟合具有一致性，则说明模型预测结果有效；若折线拟合不一致，则说明两组数据不相关，模型预测结果无效。P值、A值、D值对比结果分别如图4至图6所示。

以上3个对比图中，y轴分别表示P值、A值与D值，x轴代表10名被试者的样本编号，对比图中的实线表示预测值，虚线表示实际值。3个维度值的折线对比图的分析结果显示，P、A、D三个维度的模型预测值与实际值之间的差异较小，两者的正负性相同，并且两组数值折线的走向基本一致，可看出折线拟合具有一致性，表明该模型在情感预测方面取得了较好的效果，并且基本是有效的。

5 结论（Conclusion）

本文针对因用户心理信息不足、情感认知模糊和表达不准确等错误信息误导问题，提出了一种基于生理信号的主观PAD多维情感预测方法。研究结果表明，该方法充分利用了被试者自身无法控制的高度可靠的生理信号，能够对用户情感状态进行准确的识别与预测。本研究通过由单因素方差分析得出的眼动信号数据与采用PAD情感量表获取的主观PAD多维情感值相关联，再利用偏最小二乘回归分析构建关系模型，经对比实验得出，该情感预测模型可根据用户进行人机交互时产生的生理信号提供更科学、合理的情感推断，可以为未来的网页界面情感化设计工作提供可靠的实践性方法。

参考文献（References）

［1］ 陈田，樊明焱，任福继，等. 采用瞳孔位置实现情感识别的方案［J］. 计算机应用研究，2021，38（6）：1765＼|1769.

［2］ 孙利，张硕，覃忠志，等. 评论数据驱动的产品情感满意度预测模型构建［J］. 包装工程，2023，44（6）：42＼|51.

［3］ 章逸凡. 基于语音和文本双模态融合的儿童情感识别研究［D］. 哈尔滨：哈尔滨理工大学，2023.

［4］ 马军辉，王峰，王晔，等. C＼|CapsNet：一种异构脑电和眼动双模态的情绪识别模型［J］. 重庆理工大学学报（自然科学），2022，36（11）：202＼|211.

［5］ JANG Y M，LEE S，MALLIPEDDI R，et al. Intent probing monitoring system based on eye movement analysis and probability［J］. The institute of electronics and information engineers，2013，36（1）：1518＼|1521.

［6］ CUTRELL E，GUAN Z . What are you looking for？ an eye＼|tracking study of information usage in web search［A］∥San jose. California：association for computing machinery，2007：407＼|416.

［7］ 张宁宁，范思岑，王丹丹，等. 基于脑力负荷的通航飞机座舱显示界面测评研究［J］. 工程设计学报，2019，26（4）：409＼|415.

［8］ 侯士江，侯英，冯希，等. 图像视点预测模型及设计图的注意力影响因素研究［J］. 设计，2022，35（14）：134＼|136.

［9］ 沈竹琦，薛澄岐，牛亚峰. 基于眼动追踪的数字界面用户情绪分析［J］. 设计，2018（5）：158＼|160.

［10］ 李森，孙敏，许娜，等. 网页浏览任务的用户情感测量模型研究［J］. 工业工程与管理，2013，18（1）：106＼|110，128.

［11］ FALENDER C A，MEHRABIAN A. The effects of day care on young children：an environmental psychology approach［J］. The journal of psychology，1979，101（2）：241＼|255.

［12］ 蒋旎，李然，刘春尧，等. PAD情感模型在用户情感体验评估中的应用［J］. 包装工程，2021，42（22）：413＼|420.

［13］ 孙敏. 基于眼动技术的情感测量方法研究［D］. 沈阳：东北大学，2012.

［14］ 罗批，郭继昌，李锵，等. 基于偏最小二乘回归建模的探讨［J］. 天津大学学报，2002，35（6）：783＼|786.

［15］ 杨强，谢其莲，蒋玉石. 视觉显著性、任务类型和内容一致性对网络广告注意效果的联合效应研究［J］. 工业工程与管理，2019，24（3）：180＼|187.

作者简介：

何佳乐（1999＼|），女，硕士生。研究领域：工业设计。

张建敏（1976＼|），女，硕士，副教授。研究领域：工业设计。本文通信作者。