基于声音感知的电动轮椅认知情感测量方法

刘敏洋，黄艳群，张大卫，苗毅斐



基于声音感知的电动轮椅认知情感测量方法

刘敏洋1, 2，黄艳群1，张大卫1，苗毅斐1

(1. 天津大学机构理论与装备设计教育部重点实验室，天津 300350；2. 北京信息科技大学机电工程学院，北京 100192)

情感认知和表述常常以语言的形式应用于产品设计，如感性工学中的情感词汇、调查问卷中的问题描述、访谈中的口语表达等，但研究表明，用语言表达的情感词汇存在可信度低、准确度低、真实度低等诸多问题．基于不同音频的声音可唤起用户不同情感的原理，使用音频测试代替情感词汇，提出基于音频测试的产品认知情感测量方法．以电动轮椅造型设计为例，通过语义分析将声音与典型产品认知情感词汇进行关联与筛选，建立情感音频素材库，并通过基于音频感知的信号采集网页进行了基于音频的产品认知情感测量．测量结果通过一致性检验和可信度计算验证，结果表明：相较于传统的感性词汇描述，基于音频测试的产品认知情感测量方法更加有效，可信度有显著提升．

产品认知情感；音频测试；情感词汇；情感测量

产品认知情感体现于用户观察、接触、认识产品的过程中，主要受到用户审美、感性记忆、产品语义传达的影响[1]，是情感化设计的重要依据．

产品设计中通常以语言词汇来描述用户的情感，如感性工学、用户问卷法、用户访谈法等，通过对用户语言词汇的收集，找出与之相应的形态、色彩、结构、材质等元素，从而完成用户期望的情感化设计．

作为一种主观的、单一视觉的评价方式，语言词汇的描述方法具有一定程度的缺陷[2]，通常会导致可信度、真实性以及准确性降低等问题．产生这些问题的原因包括以下3个方面．

(1) 情感词汇的认知差异．

不同的参与者会因文化水平/教育程度不同，对情感词汇的理解存在差异．

(2) 测试过程中的环境影响．

参与者在环境的影响下会产生注意力不够集中的问题，产品方案对受试者的感性刺激被弱化．

(3) 测量工具的固有缺点．

李克特量表是感性工程学中的常用工具，其容易受到多种因素的干扰．参与者不够客观地进行随机选项选择、理解偏差的选择、倾向目标选项的选择都可以使测试结果不具备可参考性[3]．

针对以上局限性，Otsuka等[4]提出了感性因素法(KP法)，旨在通过如味道或物品等可感知的刺激物与相应的视觉形象进行关联，从而得到非语言的感性评价；Lu与Petiot[5]通过音频对产品设计的方案进行评价，在利用声音对情感进行测量与评价方面进行了有益的尝试，但对于音频文件的规范性选择、产品方案的情感化评价等方面，还需要进行进一步系统化和标准化．

本文根据国际情绪图片系统(IAPS)和国际情绪声音系统(IADSS)对音频进行归纳后[6-11]，针对电动轮椅产品进行了下述研究：①提出基于音频测试的评价方法，将声音作为刺激条件进行感性的产品认知情感评价；②通过音频认知情感测量实验，研究基于用户独立心理模型[12]的声音特性多维度影响因素，选择与愉悦度、唤醒度、优势度相对应的中等和较高声音作为素材，通过语义分析研究声音的语义表达；③建立声音与产品认知情感之间的关联关系，而后通过对比实验验证理论方法的有效性和可信度(也称信度)．实验和计算结果表明，在对同一组方案进行相同的认知情感评价时，相对于传统的情感语言词汇描述方法，基于音频测试的情感测量可行并且具有更高的可信度．

1 基于音频信息的情感测量原理与模型

1.1 认知情感测量原理

音频的高低与特质可以让人们产生相应的情感反应，并且可以将人们迅速地代入特定的情境，例如鸣笛声容易令人感到警觉、鸟叫声会使人感到轻快、鼓点声会令人感到振奋等．同理，视觉特别是以图片的形式出现时，对人们的情感唤醒力更加不言而喻.例如流动且整齐的线条会令人感到自然舒畅，浓重又复杂的墨点会令人感到深沉凝重，缤纷茂盛的花海则会让人感到活泼和朝气．声音、视觉图片与用户对产品的认知情感之间存在着紧密的联系[13]．心理学研究表明：听觉感受(如声音或音乐)所引起的情感反应更接近于图片和客观形象所引起的情感反应[14]，如图1所示．

图1 基于声音感知的认知情感测量原理

图1中，产品设计方案是视觉信号输入，当它被传递到观看者后，会使观看者本能地激起一种或多种情绪，经过其大脑意识加工后，输出为语言词汇列表，为设计提供参考；声音信号对用户的刺激过程类似．由于声音音频可测，若能够利用一条确定的音频准确地激发出用户与其在观看到某一产品设计的图片时所产生一样的情感，并将此条音频的情感内涵定义下来，则能够有效避免意识思维对输出词汇的真实性和准确性的影响，从而通过音频方式对设计方案图片的视觉形象进行认知情感测量．

1.2 基于音频特性的认知情感测量过程模型

如图2所示，基于音频测试的评价方法，通过音频文件替换情感词汇，引入声音作为刺激因子，减少受试者的主动思考，其步骤如下．

受试者首先观察产品设计方案，同时调查者为受试者提供不同的音频材料，受试者通过直觉判断方案与声音的关联性，选择自认为与方案具有相似认知情感的声音．调查者根据受试者的选择推导评价结果，评价产品设计方案的感性意象，完成评价过程．

根据基于声音感知的认知情感测量原理，音频测量法相对于通过情感词汇这种间接的主观表达方式，声音所传达的主观情感更为明确和直接[15]．使用音频文件代替情感词汇，对提高感性评价的准确性有积极作用．

图2 基于音频测试的认知情感测量过程模型

2 基于音频测试的电动轮椅认知情感测量

2.1 待评价方案的形成

以电动轮椅造型设计为例，首先通过网络查询和实体店调研为手段，收集整理目前市场较为常见的电动轮椅造型．电动轮椅从结构模块上可以分为基本的坐靠、扶手支撑和轮体3大部分，从影响用户认知情感的角度，同时对样本造型风格、设计元素、功能特征的分析研究，将样本进行分类整理．A组和D组分别具有“坐靠稳定且设计高端”、“扶手厚重且设计复杂”、“扶手轻薄且设计简约”、“轮体大小有差异且设计粗糙”的特点．图3所示为样本分类结果.

图3 电动轮椅造型部分调研结果

不同的结构方案和风格均可以通过此3部分的不同形态进行组合而得到，因此根据不同类型的典型设计特征，对方案进行去色的简化处理，将轮椅设计的规律性特点凝练成3种典型样式设计，从而使用户可以更加高效且具有针对性地表达情感并完成实验，如图4所示．

图4 电动轮椅造型设计方案

2.2 音频数据库的构建与认知情感化归类

2.2.1 音频数据库的构建及音频文件的选择

在基于音频测试的认知情感测量和评价过程中，音频被作为代替情感词汇的评价工具．在经过对音频文件进行采集、归纳、加工以及评价之后，搭建了一个用于认知情感的音频数据库，如图5所示，并根据对用户情感的刺激，将声音分为非人造声音和人造声音．

图5 音频素材库的构建

通过搜索网络资源，以及抽取影视后期素材中的音频文件等作为实验的可用资料，采集了多种类别的音频约850段，并对其进行独特性和频率等因素的筛选，利用Cool Edit音频软件处理后，得到约240段可作为评价工具的音频文件，包括自然、机械、战争、人声、音乐等．

随后对筛选后的可用音频文件进行从愉悦度、优势度以及唤醒度这3个维度的9级李克特量表评分．愉悦度意味着音频对听者所产生情绪的正面或负面性，分数越低表明该音频引发的情绪越趋向于负面，分数越高则相反．优势度是指音频对听者的支配程度，分数越低表明听者被音频所支配，反之则表明听者能够支配音频感受．唤醒度是指音频对听者产生唤醒的有效程度，分数低表明该音频不容易唤起听者的注意，分数高则相反[16]．

分别组织20名(10名男生，10名女生)20～25岁、不同专业的在校生，以及10名(5名男性，5名女性)40岁以上中老年用户对声音进行打分．评价开始前对参与者进行了相关概念、评分方法、评分标准的培训与相关案例的训练，从而最大程度地保证评价结果的有效性．

计算每个音频的愉悦度均值，9～7分为“正性”，6～4分为“中性”3～1分为“负性”，根据正负性为评价后的音频分组．在音频的选择上，还应考虑声音的唤醒度因素，选择唤醒度较高的声音作为评价工具，以提高评价的准确性．

最终筛选出可用的音频文件180份，进行声音感性意象的研究．

2.2.2 音频文件的认知情感化归类

针对电动轮椅产品，通过对本产品目标用户进行焦点小组访谈法(focus group)以及网络调研后，共采集了25个与电动轮椅相关的情感语言词汇，剔除其中意义相近及有明显负面含义的词汇，最终形成5组相对的情感对应词汇，包括“高端—低端”、“现代—复古”、“复杂—简约”、“精密—粗糙”、“昂贵—低价”．

由于某些音频，如金属敲击的声音可能会同时产生多种情绪，如复古与精密，因此为了进一步明确音频的含义，组织10名语义和情绪研究领域的专家，分析声音表意．

在确保专家的分析结果有效性方面，还从音频文件中随机挑选了40个文件进行二次分析，若这40个文件的分析结果与之前的总音频库的分析结果无显著差异，则表明该音频库具有较好的可用性．

对于所取样的40个音频文件，由于其各条音频文件所对应的语义含义在专家分析中所得的票数数据呈现正态分布，因此对其进行检验的假设检验．

假设两次分析结果不一致，取显著性水平＝0.01，经查表，拒绝原假设，表明专家对该音频库的分析结果具有有效性，可以作为实验工具使用．

在经过视觉归纳、用户评价以及专家分析这3层筛选之后，对最终选定的180段音频文件进行归纳与分类，并建立了用于认知情感测量的情感音频库．此情感音频库具有较好的普适性，可以针对不同的项目进行关键音频含义词汇的搜索得到相应的音频文件，从而满足不同评价项目的需求．

2.3 基于音频测试的电动轮椅造型方案情感化评价

2.3.1 基于音频感知的信号采集工具开发

为方便用户进行认知情感评价，笔者采用HTML与JavaScript语言，开发了如图6所示的基于音频感知的信号采集网页工具．网页工具突出了功能性，根据蓝色让人感觉平静、没有强烈的性格特征的特点，将网页工具设计为蓝色背景，以排除网页信息收集工具本身对用户评价过程的干扰；同时将待评价方案放在主体位置，没有过多颜色上的装饰，通过图6(a)采集用户基本信息、图6(b)采集用户在不同产品视觉信号下相对应的音频信息，最终完成用户音频感知信号的采集，并在后台进行数据统计计算．

图6 基于音频感知的信号采集网页工具

2.3.2 方案评价与数据统计

电动轮椅通常将中老年群体设立为其目标用户，为了能够更好地得到有效的数据反馈，通过从审美需求、文化背景、认知模式等方面，在使用过电动轮椅的中老年群体中筛选了30名参与者作为本次实验的受测对象．

实验中，首先为受试者呈现造型方案设计的图片，每一幅图片对应3段不同的声音，根据不同的测试内容(如“高端—低端”)，3段声音分别代表了“高端”、“低端”、“中性”，3段声音随机排列．受试者依次播放3段声音(可进行多次播放)，根据直觉选择自认为与图片内容相符合的声音片段，完成测试．

实验结束后，共收集到实验原始数据30份，分别记录了题目编号与受试者的选项，根据音频材料的正负性定义，“高端”赋值5分，“中性”赋值3分，“低端”赋值1分，分数的高低仅代表受试者的情感偏好，与方案的优劣无关．

结果统计后，将均值作为造型方案的最终得分，为了保证数据的有效性，需要对实验结果进行可信度分析．

课题采用信度进行分析，Cronbach’s信度系数评价的是量表中各题得分间的一致性，属于内在一致性系数．总量表的信度系数最好在0.8以上，0.7～0.8之间可以接受，Cronbach’s系数如果在0.6以下就要考虑重新编写题目[17]．

经过“统计产品与服务解决方案”软件SPSS测算，＝0.833＞0.8，标准化后值为0.785，如表1所示，结果可信．

表1 面向电动轮椅设计的音频情感测量可靠性

Tab.1 Reliability of audio-based emotion measurement for electric wheelchair design

为方便对比分析，根据实验所得数据，将每一组对立的关键词分为５个不同程度，分别赋值5～1分，通过折算每个方案的投票数，最终得出了方案情感认知评价图(以“高端—低端”为例)，如图7所示.

图7 基于音频测试的“高端—低端”认知情感评价

3 基于音频测试的认知情感测量方法的有效性和可信度验证

3.1 有效性验证

为了验证方法的有效性，将实验结果与情感词汇表达方法进行对比．

为进行对比实验，选择与前述实验相同的5组情感词汇作为评价选项，建立评价设计方案的5级语义差异量表，选取30名受试者进行测试，受试者对电动轮椅的造型设计方案依照所给出的情感词汇进行评分，汇总计算出每套设计方案的情感词汇分数，并采用均值结果作为各方案的情感评价得分，如表2 所示．

表2 基于李克特量表的方案情感评价

Tab.2 Emotion evaluation form of schemes based on Likert scale

同样采用条形图表示各方案对主观感受的影响(以“高端—低端”为例)，如图8所示．

图8 基于李克特量表的“高端—低端”认知情感评价

通过对比两种方法所得实验结果，可以看出两者形状大致相同，则对经过两种方法得到的实验结果进行皮尔森相关性检测分析，结果如表3所示．

表3 基于音频与情感词汇的实验结果皮尔森相关性分析

Tab.3 Pearson correlation to the experimental results of audio-based and emotional vocabulary-based tests

注：概率值小于0.01；数目为30.

基于两种不同实验方法所产生的数据结果的相关系数为0.918，则可认为这两种不同实验方法所得到的实验结果具有显著相关性，说明基于音频测试的情感测量方法有效．

3.2 可信度对比

为了验证基于音频测试方法的情感测量方法的可靠性，使用SPSS软件对传统的情感词汇李克特量表问卷的可信度进行了分析，分析结果如表4所示．

表4 基于传统情感词汇的情感测量可靠性结果

Tab.4 Reliability results of emotion measurement based on traditional emotional vocabulary

基于传统情感词汇的测量方法所得数据的可靠性系数为0.817，标准化后为0.729，此结果一方面表明了其较好的信度，但同时也与先前基于音频的情感测量方法相较，出现了显著的差值(如表1所示，＝0.785)．

实验和计算结果表明，在对同一组方案进行相同的认知情感评价时，相对于传统的情感词汇描述方法，基于音频测试的情感测量具有更高的可信度．该方法对提升情感表示的准确性、真实性、消除理解障碍、集中注意力、消除交流障碍、优化情感评价方法等方面是有一种有益的尝试．

4 结 语

本文提出了基于音频测试的产品设计认知情感方法的创新思路，通过音频数据库的筛选和情感语义分析过程，采用实验测试方法，对产品方案整体认知情感进行评价，消除了非实验因素对受试者的影响，削减了受试者自身文化水平对评价结果的影响．评价过程中，通过基于网页交互界面的实验操作方法，使受试者可以更加直观和独立地完成实验，大幅度地削弱了研究人员在场以及周围环境对受试者的影响．以电动轮椅产品设计为例，对基于音频测试的情感测量方法与传统情感词汇测量方法进行实验比较，结果表明基于音频测试的情感测量方法具有较好的可行性和更高的可信度，为基于听觉的情感化设计进行了有益的探索．

［1］ 李青峰，王宇. 基于手机音乐APP视觉设计中的感性认知研究[J]. 美术大观，2016(1)：122-123.

Li Qingfeng，Wang Yu. Research on perceptual cognition based on visual design of mobile music APP[J]. Art Panorama，2016(1)：122-123(in Chinese).

［2］ 王文蕾，胡志刚，杨子婧. 基于感性工学的老年人产品双色配色系统设计[J]. 中国包装工业，2015(14)：20-21.

Wang Wenlei，Hu Zhigang，Yang Zijing. Design of dual color matching system for the aged people based on the Kansei engineering[J]. China Packaging Industry，2015(14)：20-21(in Chinese).

［3］ 伍凡凡. 以用户体验为导向的智能手机应用软件界面设计研究[D]. 上海：华东理工大学艺术设计与传媒学院，2012.

Wu Fanfan. User Experience-Oriented Design of Smartphone Application Software Interface[D]. Shanghai：Art Design and Media School，East China University of Science and Technology，2012(in Chinese).

［4］ Otsuka S，Inoue H，Kashiwazaki N，et al. Simultaneous evaluation of fragrance and pictures using Kansei parameter method[C]//Proceedings of KEER 2010. Paris，France，2010：1221-1228.

［5］ Lu Weihua，Petiot J F. Affective design of products using an audio based protocol application to eyeglass frame[J]. International Journal of Industrial Ergonomics，2014，44：383-394.

［6］ 冯万荣. 昆明R公司员工满意度研究[D]. 昆明：昆明理工大学管理与经济学院，2015.

Feng Wanrong. Research on Job Satisfaction of Kunming R Company[D]. Kunming：School of Management and Economy，Kunming University of Science and Technology，2015(in Chinese).

［7］ De Mied W，Verbaten M N. Affective pictures processing，attention，and pain tolerance[J]. Pain，2001，90(1/2)：162-172.

［8］ Rozenkrants B，Olofsson J K，Polich J. Affective visual event-related potentials：Arousal，valence，and repetition effects for normal and distorted pictures[J]. International Journal of Psychophysiology，2008，67(2)：114-123.

［9］ Kleinsmith A，Bianchi-Berthouze N. Affective body expression perception and recognition：A survey[J]. IEEE Transactions on Affective Computing，2013，4(1)：15-33.

［10］ 刘涛生，马 慧，黄宇霞，等. 建立情绪声音刺激库的初步研究[J]. 中国心理卫生杂志，2006(11)：709-712.

Liu Taosheng，Ma Hui，Huang Yuxia，et al. Preliminary study on establishing emotional sound stimulation library[J]. Chinese Mental Health Journal，2006(11)：709-712(in Chinese).

［11］ Shepstone S E，Tan Z H，Jensen S H. Using Audio-derived affective offset to enhance TV recommendation[J]. IEEE Transactions on Multimedia，2014，16(7)：1999-2010.

［12］ 王丹丹. 基于用户独立模型的生理情感识别[D]. 天津：天津大学计算机科学与技术学院，2014.

Wang Dandan. User-Independent Model Based Emotion Recognition Using Physiological Signals[D]. Tianjin：School of Computer Science and Technology，Tianjin University，2014(in Chinese).

［13］ 赵警卫，胡 晴，张 莉，等. 声景观及其与视觉审美感知关系研究进展[J]. 东南大学学报，2015，17(4)：119-148.

Zhao Jingwei，Hu Qing，Zhang Li，et al. Research progress on acoustic landscape and its relationship with visual aesthetic perception[J]. Journal of Southeast University，2015，17(4)：119-148(in Chinese).

［14］ 胡新明. 产品设计中感性的认知与表达探究[D]. 武汉：武汉理工大学艺术与设计学院，2006.

Hu Xinming. Perceptual Cognition and Expression Ex-ploration in Product Design[D]. Wuhan：School of Art and Design，Wuhan University of Technology，2006(in Chinese).

［15］ Lu Weihua，Petiot J F. Toward an affective design of products[C]// Proceedings of the ASME 11th Biennial Conference on Engineering Systems Design and Analysis. Nantes，France，2012：763-772.

［16］ 刘涛生，罗跃嘉，马 慧，等. 本土化情绪声音库的编制和评定[J]. 心理科学，2006，29(2)：406-408.

Liu Taosheng，Luo Yuejia，Ma Hui，et al. Compilation and assessment of localized emotional sound library[J]. Psychological Science，2006，29(2)：406-408(in Chinese).

［17］ 李乐山. 设计调查[M]. 北京：中国建筑工业出版社，2007.

Li Leshan. Design Investigation[M]. Beijing：China Architecture & Building Press，2007(in Chinese).

(责任编辑：金顺爱)

Audio-Perception-Based Cognitive Emotion Measurement Method for Electric Wheelchair Design

Liu Minyang1, 2，Huang Yanqun1，Zhang Dawei1，Miao Yifei1

(1. Key Laboratory of Mechanism Theory and Equipment Design of Ministry of Education， Tianjin University，Tianjin 300350，China； 2. School of Mechanical & Electrical Engineering，Beijing Information Science & Technology University， Beijing 100192，China)

Emotional cognition and expression are often applied to product design in the form of language，such as the emotional vocabulary in Kansei engineering，problem description in questionnaires，and oral expression in interviews. However，studies have shown that the use of emotional vocabulary may result in low credibility，accuracy，and validity. In this study，we propose a product cognitive emotion measurement method based on an audio test depending on the principle that different sounds evoke different emotions in individuals，rather than using emotional vocabulary. For example，in the case of the product design of an electric wheelchair，we performed a semantic analysis in which we correlated and filtered number of sounds with the cognitive emotion vocabulary of a typical product to establish an audio material emotion library. Furthermore，we performed an audio-based product cognitive emotion measurement via an audio-sensing-based signal acquisition webpage. We verified the measurement results by consistency testing and credibility calculation，and found the audio-perception-based product cognitive emotion measurement method to be more effective and the credibility of it to be significantly improved compared with those of the traditional perceptual vocabulary.

product cognitive emotions；audio test；emotional vocabulary；emotion measurement

10.11784/tdxbz201806021

TB47

A

0493-2137(2019)03-0329-07

2018-06-11；

2018-08-04.

刘敏洋(1987—  )，女，博士研究生，讲师.

黄艳群，yanqunhuang@tju.edu.cn.

国家自然科学基金资助项目(51875399)．

the National Natural Science Foundation of China(No. 51875399)．