听觉信息在媒介用户体验中的影响力研究维度

喻国明 付 佳

“注意”从来都是一种宝贵的资源。原始部落酋长通过“讲故事”方式聚拢部族成员的注意，并由此确立自己的权威；报纸、杂志、广播、电视、图书等传统媒体通过提供专业信息服务来聚拢公众的“注意”，进而在社会生活中对政治、经济、文化等多方面产生影响力。新媒体时代，随着信息量的激增与信息接受终端的无处不在，渠道与信息产品的无限性与注意力资源的有限性之间的矛盾激增，“注意”这种资源的稀缺性更加突显，如何吸聚“注意”成为传媒行业面临的首要课题。

视觉、听觉、嗅觉、触觉等是影响注意的一系列感觉通道，其中听觉信息是仅次于视觉信息的感觉通道信息，近年来越来越多的研究显示听觉信息对媒介用户体验的影响远远大于人们预期。声音能够传递大量的信息，人们能够通过与物体或环境互动过程的声音来判断物体的材质[1]、大小[2]、温度[3]等信息。能够通过声音的“签名”作用触发对特定产品的识别,进而形成特定的品牌印象，也就是说一个有特色的声音能够为产品增添特殊的含义[4]，例如每次启动计算机时都会听到的Intel Pentium芯片的声音，或Motorola或Verizon cellphones的声音[5]。声音也是描述产品形象和质量的一个重要因素，可以给消费者带来满足感[6]，例如人工智能语音助手的声音能够影响用户的社交存在感[7]、情绪状态[8]、对品牌的信任程度[9]、与品牌的亲密程度[10]等。有时听觉信息甚至比视觉信息更加重要，如背后的脚步声、从后方逼近的汽车声等声音信息可以在人或物被看到之前被发现。此外，听觉还能让人们知道一些看不见的事情，包括话语、语调、音乐等带来的不同心理感受，如有序或混乱、兴奋或平静、安全或危险、和谐或冲突等。

综上可见，听觉信息对媒介用户体验的影响是多方面的，笔者将遵循听觉信息对媒介用户体验的影响—相关的心理机制(采用认知心理学的逻辑框架从注意和记忆、情绪和情感、决策反馈的角度进行阐释)—相关的理论依据的流程，梳理分析近年来听觉信息对媒介用户体验影响的研究进展。

一、听觉信息对媒介用户体验的影响

(一)听觉信息的加工过程

人们的大脑通过感知外部世界刺激引起的神经冲动信号来感知世界，而非通过刺激本身来感知世界，这个过程与电话机把电信号转化为声音信息类似。同样听觉信息需要将声波变为能被大脑理解的神经冲动，才能被人们所感知。具体过程为：声波通过震动的空气波进入外耳—通过耳道移动到耳鼓—耳蜗将震动聚集在基底膜—基底膜将震动转化为神经冲动—神经冲动传递到大脑的听觉皮层(大脑的初级听觉皮层位于颞叶)进而形成对声音的感知。[11]通过这一系列的步骤大脑将声波的振幅、频率转换为音调、响度、音色三种心理感觉，从而形成丰富多样的感受。

(二)媒介用户体验的概念演进及分类

用户体验最早是从信息处理的维度对消费体验展开研究。[12]随着对消费者认知研究的深入，Holbrook等认为探究消费者在购物中感官与认知受到的刺激以及消费者好奇心得到满足的程度更为合适。[13]Fiore等建构了体验类价值(experiential benefits)与功利类价值(utilitarian benefits)评价体系，体验类价值给人带来愉悦，但非功利且无回报，而功利类价值是以帮助人们完成外部目标，是功利且有回报的。[14]近些年来越来越多的学者认同用户体验应该同时满足体验类价值与功利类价值的需求。[15-16]用户体验(User Experience，UE)概念的界定是基于Barjnik等提出的，用户体验应包括用户对产品所有感知的满足程度(一种审美体验)、产品对用户的意义(意义体验)以及所产生的感觉和情感(情感体验)，影响用户体验的因素包括美学、情感、感知、享乐属性、认知负荷、交互性、社交回应、可接受性、说服性等。[17]用户体验应该包含三个主要的特征：第一，有用户的参与；第二，用户与产品、系统或者有界面的任何物品进行交互；第三，用户的体验是可观察或可测量的。[18-20]

媒介用户体验概念是在用户体验概念基础上提出的，是从传播学受众研究升级而来的概念。根据人类对信息加工的注意通道，可区分为视觉用户体验、听觉用户体验、多通道感官用户体验等；从传媒实践角度，可区分为游戏化体验(gamified experience)、心流体验(flow experience)、交互式体验(interactive experience)等。

(三)听觉信息对媒介用户体验的影响

听觉信息对媒介用户体验有着重要的影响，随着技术的进步，声音已经从单纯的真实声音拓展到真实声音与虚拟声音两大类。真实声音对媒介用户体验的影响主要体现在声场、沉浸感两个方面，而虚拟声音对媒介用户体验的影响主要体现在准确性、拟人化两个方面，具体而言：

1.真实声音对媒介用户体验的影响

声场可以给媒介用户带来不同的体验，声音无法像物体或物理空间那样清楚地辨别其边界，声音向我们展示了一个没有边界的世界；声音在感觉上充满活力、无处不在、无所不包，让人仿佛身临其境；声音似乎是有形的，但最终是无形的。Galloso等发现在收听体育节目的时候，用户更喜欢使用双耳音频而不是标准的立体声音频，进一步研究发现双耳音频能够显著提高媒介用户对空间存在的感知水平。[18]声音与视觉不同，视觉要求眼睛看向正确方向，而声音不仅仅包围我们的双耳而且是整个身体。当受众戴上耳机置于声音的中心，沉浸于媒介声音体验中时，媒介用户体验将得到显著增强[21]，与沉浸式系统的视觉效果(分辨率、细节、真实感等方面)相比，声音的质量及沉浸感对媒介用户体验的贡献更大[22]。

2.虚拟声音对媒介用户体验的影响

随着AI技术的进展，以Siri，Google Now，Cortana为代表的虚拟助手这一新生事物越来越成熟，越来越多的平台开始使用智能语音助手来处理各种问题。虚拟声音对媒介用户体验影响的关键因素是效率和准确度，能够消除背景噪声并准确检测给定语言的各种内容将对媒介用户体验产生直接的影响[23]。虚拟声音的拟人化会促进用户更愿意使用相关的媒介[24]，逼真地模仿人类语调对提升虚拟声音的媒介用户体验有积极作用[25]。虚拟声音的性别特征也对媒介用户体验产生重要影响，Klowait发现计算机的专横行为(给出指令或强硬的评价)在男性声音下被解释为自信、独立的声音，而女性声音则被解释为消极的“专横”。[26]

此外，听觉信息对媒介用户体验的影响并不是一成不变的，还受到媒介用户对内容的偏好、所涉及技术的知识熟悉程度以及媒介用户情感参与的倾向等因素的影响，甚至还受到在不同地区的不同媒介用户感官效应以及所产生的情绪强度的影响。[27]

二、听觉信息对媒介用户体验影响的内在机制

(一)听觉信息对媒介用户注意、记忆的影响

既往销售数据是衡量用户行为的唯一标准，随着脑电、眼动追踪等技术的发展，用户对某一产品的注意力成为评价用户行为的重要指标。眼动追踪技术多应用于视觉信息的研究中，用以衡量用户的注意水平，新近有研究通过眼动追踪技术探讨听觉信息对用户注意力的影响。Korsgaard等发现听到“甜美”的背景音乐会让用户更加专注于甜食，而“咸味”的背景音乐让用户更关注于咸食，进而发现特定的背景音乐会吸引用户对特定食物产生视觉注意力。[28]Cauchard等发现在有音乐背景阅读的条件下，媒介用户会显著降低阅读被中断后的恢复时间，提升阅读的连贯性，进而提升媒介用户的注意力。[29]口音是听觉信息普遍存在的现象，Morales等发现媒介用户更喜欢标准口音，但是以非标准但较熟悉的口音来播放媒介内容时，能够更好地吸引媒介用户的注意力，提升媒介用户对内容的记忆。[30]

(二)听觉信息对媒介用户情绪、情感的影响

听觉信息对媒介用户情绪、情感的影响主要体现在以下几个方面：其一，在语言声音特质对媒介用户情绪影响的研究中，发现无论是在政治领域[31]还是在营销领域[32]中，发言人的声音均是一种强有力的说服工具，声音的语速、音调、口音、音色等不同声音特质会对媒介用户产生影响。广告中代言人声音的语速[33-34]、音调[35]、口音[30]、音色[32]、性别[36]的特征会影响媒介用户在观看广告时的体验，并会对广告的说服力产生显著影响。发言人提高语调会使媒介用户感觉到声音更为“仁慈”，而降低语调则会让媒介用户感觉到声音不那么“仁慈”。其二，在背景音乐对媒介用户情绪影响的研究中，Xu等通过相关设备记录用户在不同背景音乐(咖啡馆的声音、鸟的声音、森林的声音、机器的声音)下品尝食物过程中的情绪和电生理指标，发现聆听特定的音景会影响多感官味觉，也会使用户的情绪和电生理指标发生显著变化。[37]其三，在产品开启过程中的声音对用户情绪影响的研究中，Spence等发现打开(或关闭)葡萄酒所发出的声音会对用户的情绪及对葡萄酒的评级产生影响。[38]其四，不同的声音反馈模式会对媒介用户体验产生影响，多数人认为跑步时系统提醒跑步速度和距离的语音会帮助用户了解跑步的信息，但有的用户认为这种反馈会打断跑步的注意力，通过负面反馈给运动带来压力(如“你今天的速度比平均速度慢”)，损害用户使用体验[39]。

(三)听觉信息对媒介用户决策反馈的影响

听觉信息对媒介用户决策影响主要体现在两个方面：其一，以语言声音为主体的声音特征对媒介用户决策的影响。Klofstad等发现人们更喜欢投票给嗓音较低的男性或女性候选人；当面对男性时人们更喜欢声音较低的候选人；当面对女性时人们更喜欢声音较高的候选人。[31]Zoghaib发现低音(vs高音)、沉闷(vs明亮)和流畅(vs粗糙)的说话人说服力更强，嗓音高亢、沉闷、流畅的演讲者被认为是最有能力的人，而说话人性别起到次要的说服作用。[35]Wiener等发现女性听众听到一个声音沙哑的男人在进行服务广告介绍时，她们最有可能购买该项服务；但当她们听到一个声音沙哑的女人在进行服务广告介绍时，她们最不可能购买这项服务。[32]Whipple等发现：中性产品广告中男性和女性声音所产生的广告效果相同；对于女性产品广告，发言人或播音员的性别会极大地影响广告效果；对于男性产品广告，播音员的性别对广告效果没有影响。[36]其二，背景音乐对受众决策的影响。North等发现商店背景音乐对消费者产品选择产生影响，法国音乐使法国葡萄酒的销量超过了德国葡萄酒，而德国音乐对法国葡萄酒的销量产生了相反的影响。[40]Biwas等发现:低音量(相对于高音量或无音量)的音乐/噪音会放松用户心情，从而导致健康食品的销量增加；而高音量的音乐/噪音往往会增加用户兴奋度，从而导致不健康食物的销量增加。[41]

三、听觉信息对媒介用户体验影响的理论基础

(一)跨感觉通道对应理论

最早是由Spence提出，指某一感觉通道的特征与另一感觉通道的特征相互匹配的倾向。如人们倾向于将较大的物体与低音相匹配，将较小的物品与高音相匹配。[42]Hagtvedt和Brasel指出音调与视觉亮度之间存在交叉对应关系，高频的声音能够将用户的视觉注意力引向浅色物体，低频的声音则能够将用户的视觉注意力引向深色物体。[43]Adeli等发现柔和的音色与蓝色、绿色或浅灰色的圆角形状紧密相关，而尖锐音色与具有红色、黄色或深灰色的尖锐的角形相关。[44]Palmer等发现节奏较快的乐曲和较黄(即较暖)的颜色更匹配，而小调模式下的音乐与蓝色的关联度更高。[45]Whiteford等应用情感的唤醒和效价来阐释音乐和颜色之间的跨感觉通道对应的内在机制。[46]

Masuda等发现咬椒盐脆饼时呈现出不同的咀嚼声音的性质会影响受众对椒盐脆饼的水分/质地的感知[47]。Dacremont发现：声音水平增加和/或仅当2kHz以上的高频声音增强时，受众将感觉薯片明显变脆；而当声音强度降低和/或与咬薯片相关的高频声音减弱时，受众则感觉薯片既陈旧又柔和。[48]Zampini和Spence发现气泡弹出的声音更大和/或弹出的声音频率更高时，人们认为苏打水中碳酸含量更高，也就是说气泡在杯中弹出的速度增加时受众判断苏打水的碳酸含量更高。[49]以上现象是现实中真实存在的问题，但相关研究只是对现象进行了阐释而未对其内在机制进行深入研究，跨感觉通道对应理论能够很好地阐释其背后的机制。

(二)心理模拟理论

“心理模拟”(mental simulation)理论是由Taylor等人提出的一种认知理论，是指个体对某些事件(或系列事件)进行模仿的心理表征，包括对假想场景的认知建构以及真实场景的重建两个方面，该心理表征可以提升思考与行动之间的联结。主要包括三个功能：第一，增加了想象体验感知的有效性或真实性；第二，提供了组织体验的框架；第三，提供了一种激发特定情绪和唤醒的机制。这些功能有助于将想象事件发生的期望转化为现实。[50]该理论多用于解释视觉通道信息(如图片)通过心理模拟建立用户与产品的联系，从而提高消费者对产品的评价。目前尚未见到该理论用于阐释听觉通道信息对媒介用户体验的影响。听觉通道信息较视觉通道信息存留的时间更长，媒介用户有更大的想象空间以构建虚拟场景；同时听觉通道较为单一很少受到其他相关信息的干扰，有利于媒介用户还原真实的场景。基于以上两点，笔者认为心理模拟理论有可能成为阐释听觉通道信息对媒介用户影响的合适理论，当然笔者也认为该假设还需要大量的研究进行进一步论证。

四、听觉信息对媒介用户体验影响研究的基本框架

尽管听觉通道信息给媒介用户体验带来越来越重要的影响，但整个听觉通道信息对媒介用户体验影响的研究尚处在起步阶段，尚有大量的问题亟待解决，笔者抛砖引玉，凝练了以下框架问题：

(一)听觉通道信息对特殊人群媒介用户体验的研究

WHO《世界视力报告》显示全球有超10亿人视力受损或失明，中国2006年的调查显示已有2003万视觉障碍人群。如何改善他们在收听电视或广播时的体验，是关系到视觉障碍人群福祉的一个重要问题。语音的清晰度、陌生或强烈的口音、背景噪音以及背景音乐都会对视觉障碍人群产生重要的影响，在未来的研究中应予以重视。

(二)在不同场景中听觉通道信息与媒介用户需求的匹配推荐

媒介内容的精准投放一直以来是媒介企业所面临的重要问题，听觉通道信息作为影响媒介用户体验的重要因素，如何及时有效地进行推荐，提升媒介用户的信任度和接受度是值得关注的问题。在未来的研究中可以通过对数据进行更深层次的挖掘，建构基于用户的听觉内容的场景感知计算和场景感知服务算法和优化系统，实现不同场景下听觉通道信息与媒介用户需求的精准推荐。

(三)听觉通道信息对媒介用户体验影响的相关因素研究

目前听觉通道信息对媒介用户体验影响的研究主要集中于政治、线下营销等领域，随着数字媒体的发展，除了声音的语速、音调、口音、音色、性别，真实的声音、虚拟的声音等因素对用户产生影响外，未来可以从更多维的角度探索相关的影响因素，丰富和完善这一领域的研究。