联觉及其在电子游戏设计中的运用

梁司滢

（昆明理工大学津桥学院,云南昆明 650101）

“联觉”一词的英文是syneshesia，源于希腊语“συν”（syn）指的是“同步”和“统一”，而“αίσθηση”(aesthesis)指的则是“感觉”和“知觉”。由其名称可知，联觉是一种“多重感知”的现象。联觉者能够在收到外界某种单一的知觉刺激后同时引发另外一种知觉的反应，例如，有的联觉者能够在看到一个几何形状时听到一段音乐，或者听到音乐时眼前自动浮现出不同的图形。

一、联觉的临床医学定义

当非联觉者谈道联觉的时候，他们总会认为联觉仅仅是一种想象，就像听到音乐脑海中浮现出画面一样。但严格来讲，这与临床医学定义中的联觉是不同的。

在临床医学中，联觉被描述为一种现象，当联觉受到某种外界感官刺激后，会自动触发另一种知觉的联动。美国神经学家里查德·西托维齐为联觉者的诊断提供了三个标准：无意识性、空间拓展性、基因遗传性。无意识性意味着联觉者并不能够主观选择和控制其被触发的另一个感官，并且也不能令其消失；空间拓展性指的是，虽然联觉者接收到的外界刺激与其本人距离较远，但因联觉而触发的另一种感官则像是围绕着联觉者身体周围的感觉；基因遗传性则是联觉是基因性的，并且将会伴随联觉者一生不会随着时间的变化而变化。对于非联觉者而言可能很难理解这种感受（例如烤鸡的味道尝起来像是一个点阵图形），对联觉者来说这就是他们最日常不过的体验。

二、联觉的心理学研究

联觉的心理学研究最初始于19世纪中叶，心理学家们一开始认为联觉是存在于人类脑内的正常功能，只不过联觉者的这一功能比非联觉者更为发达。多年后，另一种假说则认为联觉是一种认知功能，是联觉者脑内存储的感官信息的心理链接。然而最近的神经学研究却推翻了这种心理学机制，因为联觉者从出生便拥有这一体验，还有的联觉者则称他们会看到在真实世界中从未见过的颜色。不过这些关于联觉的心理学研究也并非毫无意义，它为研究人类的感官提供了一种思路。心理学家马克思·劳伦斯发现，在联觉者的体验中，存在着一些共通的规则，例如，辅音字母“i”或是“e”对应的是一个明亮的颜色。

三、联觉的艺术研究

联觉的艺术学研究可追溯至1860年，艺术家们之所以对联觉产生兴趣是因为其涉及了人类五感的混合，绘画、诗歌、音乐和雕塑……几乎所有的艺术形式都含有类似联觉的体验。例如，一段音乐可以让人联想到相应的画面甚至是一个故事。这并不仅仅是几个音符简单的排列组合，而是听觉与其他感官的整合。艺术就像是用一种感官形式去表现或强调另一种感官一样，联觉和艺术都是与知觉相关的，艺术家们尝试寻找一种特殊的方式去改变传统单一的表现形式，而联觉者们天生就具有这种多感觉互通的体验。

艺术家卡罗尔·斯蒂恩是一名运用其联觉经验进行艺术创作的联觉者，她在看到字母和数字的时候能够看到颜色，在听到音乐或感到疼痛的时候看到几何图形。斯蒂恩利用她的联觉经验作为灵感，创作了很多独特的绘画和雕塑作品。对斯蒂恩而言，联觉是她灵感的来源，而她的作品则是给人们体验联觉者感受的表现形式。

非联觉者的艺术家们也会使用联觉经验来进行创作。德裔瑞士艺术家梅拉·奥本海姆的代表作“object”是一个被动物皮毛包裹的咖啡杯。这个作品的独特之处在于，咖啡杯本来作为承载咖啡的容器，会让人联想到咖啡的味觉信息，而皮毛则让人联想到抚摸宠物时候的触感，这两者通过视觉方式予以结合，然而毛皮摸起来舒服，可是尝起来却不怎么样，所以当看到这一物件的时候会唤起人们内心的抵触情绪，这种不和谐的感官组合给观察者造成了紧张的压迫感。

四、联觉与创意的关联

艺术们不仅对联觉经验感兴趣，更重要的是希望能够将这些经验运用于艺术创作中。一些研究注意到，许多知名艺术家都是联觉者，例如抽象派画家先驱康定斯基·卫斯理、立体主义画家弗朗西斯·皮卡比亚、作曲家亚历山大·斯克里亚宾、作家弗拉基米尔·纳博科夫。并有研究表明，虽然联觉者在人群中的比例仅占2%，但他们之中有24%的人从事与艺术相关的行业。

虽然不同的联觉者可能拥有不同的联觉体验，但他们在饱和度、明度和音调方面存在着一些共同的认知。而非联觉者们也偏向于将某些固定的颜色和音调联系起来，例如一个亮色对应一个高音。即使联觉者与非联觉者产生这一感官体验的机制并不相同，但我们可以从中得到一些共性的部分，用以将感觉与认知有意识地进行更合理的引导。

五、联觉在电子游戏设计中的运用

对电子游戏设计者而言，从联觉体验中获取灵感是非常有益的。虽说联觉是一种天生的个体体验，大量非联觉者的玩家是无法理解联觉者的感受的。但设计师们可以从联觉经验中获取一些共性的认知，使得各种感官的联想更为合理。

（一）现有的游戏实践

日本世嘉公司的音乐节奏游戏《初音未来·歌姬计划》是一款节奏类音乐游戏。玩家需要在彩色的图标正好移动到屏幕上固定的灰色图标上时按下手柄上对应的按键。图标主要有四个，对应着掌机上的四个按钮，并用四种不同的颜色来表示。除了短音之外，玩家有的时候还需要长按按键演奏长音，此时表示长音的图形会在形状后加上一条曲线，曲线移动的长度就是长音所占时间长度。这种使用彩色图形来代表不同声音的方式正像是音调-色彩联觉者的体验。相较于大部分音乐游戏把按键固定于屏幕某一个具体位置的方式而言，该游戏采用的方式是每段旋律对应的按钮会出现在屏幕不同的位置，而音符图标的移动方式也是带有节奏和韵律的动画效果，这种方式让音乐和视觉图像产生了联系，就像是彩色的图形随着音乐节奏起舞一样。

另一款游戏《啪嗒砰》则采用了另一种方式表现声音和画面的链接，游戏采用不同节奏控制角色不同动作的方式进行。玩家需要通过有节奏地按下固定组合的按键，产生不同的旋律段来控制游戏中的角色作出如行走、攻击、防御等动作。如果玩家按下了非设定的按钮组合或者节奏不正确，游戏角色会很疑惑，并停止他们正在做的动作。

表1 《啪嗒砰》游戏基本操作

（二）设计元素

一些联觉者称他们在看到数字的时候同时会看到一些真实世界中从未见过的颜色，如果这些颜色能够用人工的方式合成，在真实世界中得以呈现，那游戏设计者将会拥有更多的色彩选择。

联觉体验也提供了一些五感之间关联的思路，例如，一些联觉者称当他们感觉到疼痛的时候会看到彩色的图形，这些经验可以给游戏设计者在如何使用听觉和视觉来更准确地表现疼痛提供思路。例如，红色和黑色会让人联想到伤口的颜色，而为了加深痛感表现，也可以添加一段不协调的音乐，让人联想到伤口不规则的形状。

（三）沉浸与交互

游戏是一个虚拟的世界，其信息都以二进制的形式被存储。动态的3D图像使得玩家能够在视觉上体验虚拟世界，环绕立体声则让玩家能够在听觉上感受虚拟世界。但仅有这两种体验显然不足以支撑游戏的真实性，而利用联觉体验的启发，可以将视觉和听觉与其他感官之间建立联系，拓展虚拟世界的感官体验。

游戏设计是一种创作，设计者需要在虚拟的平台上创建一个令人信服的游戏世界。但玩家能很明显地区分游戏和现实世界，因为在游戏的世界中，玩家的五感并没有完全投入。玩家也许可以在网络游戏中与朋友聊天，但却无法触碰他们，闻到他们的味道。在电子游戏中，目前主要能够调用的就只有视觉和听觉这两种，如果能够将触觉、嗅觉、味觉这些感官体验也加入游戏中，那么游戏的沉浸感便会加强。

六、结语

联觉现象历经300多年的研究，引起了神经学家、心理学家和艺术家们的关注，然而大部分艺术家的研究偏向于传统美术，将联觉经验运用到电子游戏设计当中的案例不多见。本文的研究较为泛化，但提供了联觉在现有游戏中的实践案例，并列举了联觉经验提供的新的游戏设计元素和通过联觉体验创建沉浸式的交互游戏体验的方法。在目前的技术仍然没能找到将触觉和嗅觉、味觉等运用到游戏设计中的现在，如果能使用视觉和听觉触发其他感官联想的方式，便能为游戏体验提供更丰富的信息。