基于眼动追踪和脑电技术的多维设计特征产品外观的用户情感预测模型

李森，李明明，郭伏，刘俊良

(东北大学 工商管理学院，沈阳 110169)

1 引言

随着生活水平提高，产品外观设计是否满足用户情感需求成为产品设计决策的关键因素。如何设计出满足用户情感需求的产品是产品设计领域理论研究及其设计实践面临的重要问题。通常，产品外观设计取决于设计师的设计理念，由于设计师与用户理念不同，产品设计过程中存在信息不对称，设计师所设计的产品往往难以满足用户情感需求。在此背景下，情感化设计作为一种将用户对产品的情感需求融入到产品设计中的工程技术，引起了学术界和产业界的浓厚兴趣。

情感化设计的核心是用户情感测量，情感测量的准确性直接影响产品情感化设计水平。目前，情感测量方法包括主观测量和客观测量方法。主观测量方面，常采用自我报告的方式，由用户依据情绪量表对自身的情绪状态进行报告和描述，常用的有PAD量表、ProEmo情感量表、SAM情绪量表。Mehrabian建立的PAD量表是从情绪的效价、唤醒和优势度三个维度对情绪进行心理评定的量表[1]，是情感测量的常用工具之一。李晓明等对PAD量表进行了中文简化研究，形成了适用我国人群的情绪主观评价量表[2]。ProEmo情感量表采用卡通小人的方式测量产品设计评价中的14种情感[3]。Blijlevens等为进一步定义设计中的美学情感，开发了设计产品的审美愉悦度量表(Aesthetic Pleasure in Design Scale，APiD)[4]。自我评价模型(SAM)是依据PAD模型的三个维度，采用拟人化的卡通小人来表示评分，被试分别选择三个维度中最适合自身情绪状态的小人图片来表达情感[5]。SAM量表因其采用图片来进行打分，应用起来较为简便，在老年人和儿童等群体中应用尤其广泛。

客观测量方法主要是生理测量方法，包括皮肤电反应，心率，肌电图，脑电EEG，眼动追踪等[6]。瞳孔直径作为用户受自主神经系统直接调控的眼动指标，在情感测量中受到学者的广泛关注。Partala和Surakka为了避免注视因素对瞳孔直径的影响，采用情绪声音作为刺激材料，对比了高唤醒的正性和负性情感以及中性情感，发现无论是正性情感还是负性情感条件下，被试的瞳孔直径均比中性情感大[7]。而在产品情感测量方面，Ho等以钥匙产品为例，探索瞳孔直径大小的变化能否评估产品的情感设计，发现瞳孔直径仅能辨别引起负性情感的产品[8]。Guo等则从认知加工方式的角度，指出手机外观的自上而下和自下而上两种视觉认知模式下，用户的眼动行为表现出不同的模式。在利用眼动指标评价产品外观设计过程中，需要考虑用户的视觉认知模式[9]。在脑电测量方面，学者利用额区和中央区的P1、LPP成分，揭示了用户对加湿器外观的情感偏好形成过程。研究发现用户情感偏好的产品外观设计分配了更多的注意资源，诱发了更大的LPP成分。而P1作为与刺激辨别有关的成分，则在用户难以辨别的中性偏好产品外观时更大[10]。Khushaba等利用脑电及眼动追踪技术探索了用户对饼干情感的大脑响应，分析了设计要素与用户生理指标间的关系[11]。随着生理测量技术的不断成熟和应用，学者正逐步探索更多的生理测量指标应用于产品外观情感测量。

此外，多生理指标的结合也成为用户产品情感测量研究的热点。Guo等综合主观测量、眼动和生理指标三种模式，探索了用户在购物网站交互过程中的情感，并分析了各种测量模式之间的关系，为信息产品交互过程中用户的情感测量提供了思路[12]。唐帮备等采用ERP范式，联合记录眼动数据和脑电数据，分析了眼动数据、脑电数据与主观评价值三者之间的相关性，建立了结合心理和生理指标的汽车设计方案的用户体验综合评价模型[13]。Lópezgil等结合眼动和EEG测量用户的情感，采用皮肤电活动作为被试是否具有情感变化验证，并且进行了多种机器学习算法的对比，结果发现单独使用EEG时的预测准确性低于眼动和EEG同步时的准确性[14]。Gao对比了主观测量、心电、面部肌电和脑电在测量用户对食物产品的情感。研究发现主观评价、AF3与AF4电极α/β 功率谱密度、P8电极β波功率谱密度和心率食物产品用户情感测量的可靠指标，而面部肌电和心率变异率则表现出不稳定的现象[15]。不同生理指标结合的优势在产品视觉美学的定量化等方面也得到了印证[16]。相对与情感图片、情感视频、人机交互过程等过程诱发的情感而言，产品外观诱发的情感是更为微弱的用户情感活动[17-18]。因此，如何利用不同模式生理指标的优势测量产品外观诱发的用户情感是目前面临的挑战之一。

本文以马克杯外观设计为例，探索如何采用多模式测量方法测量产品外观诱发的用户情感，建立用户情感预测模型。首先通过产品外观解构，提取产品多维设计特征，进行正交组合设计，绘制产品外观原型；其次，利用眼动追踪技术、脑电EEG、主观评价量表，测量用户对马克杯外观设计原型的情感数据；再次，将产品原型进行聚类，结合方差分析，提取表征用户情感的有效指标；最后，利用PLS回归建立生理指标与用户情感的预测模型，并依次开展同类产品外观、相似产品外观和不同类产品外观的用户情感测量实验，验证产品外观用户情感预测模型的可靠性。

2 实验方法

2.1 实验材料

本文选择马克杯为研究对象，其优势在于外观特征的丰富性和情感需求在用户需求中占主导地位。筛选互联网上主流马克杯造型图片，由熟悉产品外观情感化设计的3名博士生和4名硕士生组成焦点小组，对马克杯外观进行解构，提取用户关注的关键设计要素，确立设计要素水平。提取的关键设计要素及其水平如表1所示。

表1 马克杯外观关键设计要素及其水平

为获得具有代表性的多维设计特征的产品外观原型，采用正交设计方法，将上述杯身造型、杯把形状、颜色和材质四个设计要素的水平进行正交实验设计。正交设计组合方案由SPSS 19.0生成，共25种组合方案。利用Rhino 5.0三维建模软件建立马克杯实体模型，并使用Keyshot 5.0渲染软件进行色彩及材质的渲染，获得25个马克杯产品外的三维模型。在控制马克杯的位置及展示方式相同的情况下，生成各25个马克杯原型的外观图片，用于实验组测量用户外观情感。

为验证马克杯外观的用户情感生理测量方法的有效性，开展了同类外观、相似外观以及不同类产品外观三组验证实验。同类外观验证旨在考察设计要素水平的改变，选择5种不同于实验组正交组合设计方案的设计要素组合，在选择过程中，尽量使设计要素水平均匀分布，组合之间具有差异。对于相似外观，则考察设计要素层面的改变，通过选择材质和色彩搭配，设计5种相似产品。不同类产品的验证通过选取5款具有代表性跑车的图片，旨在考查产品类别层面的改变是否影响用户外观情感预测模型的可靠性。

2.2 实验对象

实验被试共25名(男13人，女12人)，年龄在22到28岁之间，身体健康，其中24人为学生，1人为个体工作者，学历覆盖本科和研究生，都曾经购买和使用过马克杯，均为右利手，无精神病史，视力或矫正视力正常，且所有被试均在自愿情况下参与实验。实验前要求被试得到充分休息，心情放松，避免进行剧烈的体力及脑力活动，确保能够始终保持清醒状态。

2.3 实验设备

实验采用德国SMI生产的RED遥测式眼动仪追踪用户在观看产品外观时的眼动数据。采样频率为500 Hz，追踪分辨率为0.03°，校准方式为5点校准。眼动追踪系统硬件包括实验控制和数据记录主机、刺激呈现显示器和红外光摄像头。软件系统包含Experiment Center 3.4刺激呈现设计软件、iView XTMRED眼动仪操作软件和BeGazeTM3.4眼动数据分析软件。

脑电信号使用Neuroscan公司生产的128导脑电系统记录，实验过程中使用64导电极帽、采集放大器和Curry数据采集系统记录数据。实验过程中使用国际10-20电极定位系统，采集额区、顶区、枕区、和颞区的34个电极点(FP1，FPZ，FP2，F7，F3，FZ，F4，F8，FT7，FC3，FCZ，FC4，FT8，T7，C3，CZ，C4，T8，TP7，CP3，CPZ，CP4，TP8，P7，P3，PZ，P4，P8，PO3，POZ，PO4，O1，OZ，O2)的脑电信号。信号采集以左右乳突为参考，保持各电极阻抗<5kΩ，连续记录时滤波带通为0.05～100 Hz，采样率为500 Hz。

为调查用户对产品外观的情感反映，使用用户情感测量问卷，收集用户对马克杯外观的情感数据[19]。问卷从吸引度(4个子项目)、美观性(4个子项目)、外显可用性(3个子项目)和情感感知(3个子项目)四个维度来进行衡量，采用7点李特克量表，其中1代表负性情感，4代表中性情感，7代表正性情感。

2.4 实验流程

实验前首先向被试详细介绍整个实验内容，征得被试同意后对被试进行眼动校准验证，仅有能够校准的被试，方可进入后续实验。在所有脑电记录系统和眼动追踪系统佩戴、调试完成后，由E-Prime程序呈现实验刺激，并进行眼动数据和脑电信号的同步记录。实验过程设定了用户的购物情景，假设用户正在浏览线上购物商城/汽车线上商店，仅从产品外观的角度对马克杯和汽车图片进行观看，并给出评价如图1。

图1 实验场景

实验采用组内设计，每位被试依次完成实验组、同类产品验证组、相似产品验证组、和不同类产品验证组实验，每组组内刺激图片随机呈现，每组流程为被试首先休息3 min，然后点击鼠标开始实验。每个实验刺激呈现前有3 s的白色空屏以消除上一个刺激的影响，然后在空屏中央中出现一个1 s的黑色十字使被试的目光返回屏幕中心。每张图片呈现时间10 s，刺激呈现之后再次进入空屏。每组实验之后进行产品外观情感的主观问卷填写，结束后进行下一组实验。

2.5 数据处理

眼动追踪数据使用BeGazeTM3.4进行处理，通过绘制ROI(Area of Interest)提取用户在兴趣区域内眼动指标。为探索能够反映用户对产品外观情感的眼动指标，本文选取注视类指标(注视点数、注视总时间、平均注视时间)、眼跳类指标(眼跳次数、眼跳总时间、平均眼跳时间、眼跳总幅度、平均眼跳幅度)、眨眼类指标(眨眼次数、眨眼总时间、平均眨眼时间)以及扫视类指标(扫视路径长度)。

脑电EEG数据首先在Curry 7中进行预览，以安静状态为EEG信号参考，手动剔除较大的伪迹，然后转换为.cnt格式文件，导入Matlab 2014a，利用EEGLAB v13.2.2b工具箱进行处理。主要步骤包括1)将参考转换为双侧乳突参考，重采样为250 Hz，并进行45 Hz低通滤波；2)采用独立成分分析去除眼电、肌电等伪迹；3)对EEG数据进行分段，提取每位被试各音乐交互过程的EEG数据；4)采用Pwelch法计算功率谱密度(512点Hanning窗，重叠50%)，按delta(1 ～ 4 Hz)、theta(4 ～ 8 Hz)、alpha(8 ～ 13 Hz)、beta(13 ～ 30 Hz)、gamma(30 ～ 45 Hz)的频带计算各节律波绝对功率值，再计算5种节律波的相对功率，其公式[20]为：

3 结果

3.1 主观测量数据结果

为筛选能够表征用户对产品外观情感的眼动指标以及脑电指标，在获得用户主观情感评价的基础上，利用聚类分析，将实验组25个正交设计产品的用户情感评价总分聚类。聚类结果显示，25个产品聚类为3类较为合适，且方差分析显示各类的情感评价值均具有显著差异(P<0.05)。将上述聚类结果按用户情感评价值，界定为高情感、中情感和低情感，每类具体包含产品见表2。

表2 按主观情感评价的产品聚类结果

3.2 眼动数据结果

对每一产品类别，用户的各眼动指标进行平均，通过重复测量方差分析，计算各眼动指标在高、中、低情感产品间是否存在显著性差异见表3。结果发现，注视次数、注视总时间、平均眼跳时间、眨眼次数、眨眼持续总时间、平均眨眼时间、扫视路径具有显著效应。

表3 眼动指标重复测量方差分析结果

针对表3具有显著效应的眼动指标，利用post-hoc 检验，分析各眼动指标在高、中、低三种情感外观间是否具有显著的差异。结果显示，高、中、低三种情感的马克杯外观引起的用户注视次数、总注视时间和扫视路径长度均具有显著性差异(Ps<0.05)，且指标表现出高情感外观>中情感外观>低情感外观。眨眼次数和平均眼跳幅度则仅在低情感外观时显著增多(Ps<0.05)，眨眼总时间和平均眨眼时间仅在高情感外观时显著缩短(Ps<0.05)。因此，眼动指标中，注视次数、总注视时间和扫视路径长度能够较好的区别马克杯外观的高、中、低三种情感水平。

3.3 脑电EEG指标结果

对于脑电EEG指标，利用重复测量方差分析筛选各电极delta、theta、alpha、beta、gamma五种节律波相对功率，并利用post-hoc检验，分析各指标在三种情感水平下的差异性。选取在高、中、低三种情感水平均具有显著差异的指标，筛选结果如表4所示。

表4 脑电节律波指标重复测量方差分析筛选结果

Post-hoc检验发现，表4中各电极Gamma波相对功率均随情感水平的变化而单调变化的，即随着情感水平的升高而显著提升。F3电极Delta波相对功率则是随着情感水平的升高而降低，也即该指标的大小单调反映着感性体验水平的高低。然而侧额区FT7电极Alpha波相对功率，顶枕区PO4电极Theta波相对功率与枕区OZ电极Theta波相对功率虽在三种情感水平下均存在显著性差异，但其变化趋势并不单调。因此，在后续建立产品外观情感预测模型种，采用FP1、FP2、FPZ、F3、FC3、FC4、PZ、PO3、PO4、POZ、O1、OZ电极Gamma波相对功率，以及F3电极点Delta波相对功率。

3.4 用户情感预测模型

为建立产品外观用户情感预测模型，利用偏最小二乘回归(Partial Least Squares Regression，PLS)解决各生理指标相关性的问题。以产品外观情感得分为因变量，建立其与上述筛选的16个生理指标(注视点数，注视总时间，扫视路径长度，FP1、FP2、FPZ、F3、FC3、FC4、PZ、PO3、PO4、POZ、O1、OZ电极Gamma波相对功率，以及F3电极Delta波相对功率)之间的回归关系模型。

在建立用户产品感性体验得分与生理指标之间的关系模型时，由于因变量和自变量之间是不同量纲的数据，需将因变量与自变量进行标准化处理。本文使用标准化法对数据进行无量纲化处理。

将标准化过后的生理指标与产品的感性体验得分建立偏最小二乘回归模型如式(1)，其中Y为因变量，X1到X16为提取的显著性生理指标，k1到k16各自变量系数，C为常量。

Y=C+k1×X1+k2×X2+k3×X3+k4×X4+k5×X5+k6×X6+k7×X7+k8×X8+k9×X9+k10×X10+k11×X11+k12×X12+k13×X13+k14×X14+k15×X15+k16×X16

(1)

利用Minitab 建立PLS回归模型，结果如式(2)所示。回归模型的拟合结果显示F=11.91,P<0.001。

Y=0.080191X1+0.16432X2-0.009518X3+0.180441X4-0.002715X5+0.076971X6+0.046732X7+0.076677X8-0.251297X9-0.309561X10+0.300323X11+0.174985X12-0.003016X13-0.143818X14+0.133306X15-0.231824X16

(2)

3.5 预测模型的验证

为验证产品外观用户情感预测模型的有效性，利用同类产品验证组、相似产品验证组、和不同类产品验证组三种实验数据进行模型的验证。将20名被试对各类验证组产品的眼动指标、脑电EEG指标作为模型的输入指标，计算预测值。并与用户情感评价的实际值对比，得到PLS回归模型的拟合度R2。验证结果如表5所示。

表5 产品外观情感预测模型的验证结果

模型验证结果显示，预测模拟对同类验证产品的拟合度R2=0.572508，表明基于上述眼动指标和脑电节律波指标所建立的产品外观情感预测模型对同类产品具有较好的预测效果。对相似验证产品的拟合度为R2=0.533048，表明模型对于相似的马克杯外观情感具有较好的预测能力。而对不同类验证产品的拟合度R2=0.333048，表明该模型对于预测不同类产品外观的用户情感效果存在一定的局限性。

4 讨论

4.1 眼动指标

眼动指标的统计分析发现，用户仅有注视点数，注视总时间，扫视路径长度三个指标在高、中、低三种情感的马克杯外观间具有显著性差异。依据注意分配理论，用户在观看到自身感兴趣的刺激时，其注意力会受到兴趣的驱动，分配更多的注意力[21]。此外，情感图片认知研究也表明人们在观看正性情感图片时，相比负性情感图片，其注视时间更长[22-23]。这也印证了用户在观看高情感的马克杯图片时，具有更长的注视总时间和更多的注视点数。更长的扫描路径则意味着用户对产品外观设计特征细节更为关注，分配了更多的注意。而当用户观看较低情感的马克杯外观图片时，其对产品外观设计特征的关注度较低，甚至忽略较多的产品外观特征，因此在眼动行为上表现为扫描路径较短。

4.2 EEG指标

Gamma波相对功率的变化主要体现在额区与枕区部位。具体来而言，在前额区前额区FP1、FP2、FPZ电极，额区F3电极，中额区FC3、FC4电极点，顶区PZ电极，顶枕区PO3、PO4、POZ电极点Gamma，以及枕区O1、OZ电极上Gamma波相对功率在各个感性体验水平上均有显著性差异。Gamma波活动被认为与物体的色彩、形态等物理特征的认知加工有关[24]。在用户观看马克杯外观过程中，高情感的马克杯外观引起了更为活跃的gamma波活动，体现为gamma波功率更强，而低情感的马克杯外观引起的gamma波活动较弱。这表明用户对高情感的马克杯外观设计特征加工更多，而对低情感的马克杯外观设计特征加工相对较少。这是因为，用户在观看高情感相应的外观设计时，激发了更多的兴趣，投入更多的注意资源来加工产品的特征，进行产生了较强的gamma波活动。这一结果与用户眼动指标结果相一致。

4.3 用户情感预测模型

研究利用偏最小二乘回归的方法建立了产品外观用户情感与用户的生理指标之间的关系模型，并开展同类产品验证组、相似产品验证组、和不同类产品验证组三组实验对预测模型进行验证。整体而言，预测模型能够预测用户对产品外观的偏好情况，实现利用生理指标来预测多设计特征产品外观的用户情感。然而，从三组验证实验结果来看，当产品外观差异发生较大变化时，预测模型的精度开始下降。具体表现为R2的下降，即同类产品验证组的R2=0.572，相似产品验证组的R2=0.533，不同类产品验证组的R2=0.333。这是由于本研究建立的预测模型是基于实验组产品，用户对马克杯产品的情感与反应的生理指标的关系涉及产品类型和外观设计特征。对于不同类产品而言，产品类型的改变决定了产品设计特征的改变。因此，基于某一类产品建立的外观用户情感预测模型，在设计要素发生较大改变时，则可能出现预测精度下降的问题。

4.4 研究价值和不足

研究针对目前产品外观用户情感测量的研究多集中于探索生理指标与用户对产品外观情感的关系及内部机理的探索[8-10]，在如何利用生理测量指标有效预测用户产品情感方面探索较少的现状，结合眼动追踪和脑电两种不同生理指标的优势，探索测量产品外观诱发的用户相对微弱的情感活动，建立了用户情感预测模型。为产品外观情感化设计提供了基于生理指标的用户情感预测模型。

本研究的局限性在于模型测试时仅选择了三类具有代表性的产品外观进行测量，由于产品类型在一定程度上决定了其设计要素。在后续研究过程中，应选择大量产品外观，进行预测模型的有效性检验。

5 结论

本文针对产品外观用户情感测量，以马克杯产品外观为例，通过产品外观解构，提取产品多维设计特征，进行正交组合设计，绘制产品外观原型。分别利用眼动追踪技术和脑电技术，提取表征用户情感的有效指标，建立生理指标与用户情感的预测模型，并验证产品外观用户情感的生理预测模型的可靠性。分析结果发现，注视点数，注视总时间，扫视路径长度，FP1、FP2、FPZ、F3、FC3、FC4、PZ、PO3、PO4、POZ、O1、OZ电极Gamma波相对功率，以及F3电极点Delta波相对功率等指标能够有效区分用户对马克杯产品外观的高、中、低情感。利用这些生理指标建立PLS回归模型能够有效地预测用户对产品外观的情感。

本文的研究意义在于，借助眼动追踪和脑电技术，探索多维设计特征产品外观用户情感的测量方法，同时，利用PLS建立生理指标与用户情感的预测模型。研究结果为多维设计特征产品的用户情感测量提供了有效的方法，丰富了情感化设计中用户情感测量的方法。