威廉·雷森 赋明理
3.互动及VR艺术体验
2007年从游戏行业回到学术界和艺术界之后,我将游戏设计和游戏技术方面的知识应用在了许多方面。在这里,我将仅讨论与“突变体2”和“突变体VR”艺术体验相关的问题,为此我们使用了具有高级图形处理能力的电脑,这些电脑的设计初衷是满足3D游戏的需求。我认为这是我在过去几年中为将观众置于舞台中央所做的尝试的顶峰,因为它一方面更为充分地实现了这一目标,另一方面它采用艺术体验的形式,或至少采用艺术与娱乐相结合的形式,既保留了艺术的冥想体验,又保留了娱乐的即时性。同一时期,我利用“突变体”技术在大学和多学科环境中进行了科学可视化研究和教育工作(包括一些著名的VR作品,例如将观看者置于病毒中的VR装置)①,并且还制作了一系列静帧图片和动画,这些静帧图片和动画重拾了我IBM时代的精细控制制作(因此观众互动较少)②。不过,这里不加以详细讨论。
在中断了13年之后,我于2006年恢复了与数学家斯蒂芬·托德的创造性合作关系。我们又邀请了程序员和设计师彼得·托德和兰斯·普特南(Lance Putnam)参加到团队中,并将“突变体”升级为“突变体2”。这几年的技术发展意味着我们现在终于能够在PC上创造实时的体验,并且对艺术家和公众来说都是互动性的。从2013年到2016年,它们以“突变体2”的形式出现,然后从2016年起以“突变体VR”(交互式和沉浸式)的形式出现。这些由观看者驱动的交互式沉浸式体验在真实和虚幻规则混合的超现实空间中展开,用户可以快速意识到他们的行为如何影响他们周围的3D形式空间。用户通过与周围的3D有机形态互动获得一种惊奇感,这些有机形态故意唤起人们对古代化石、兰花、骷髅、奇怪的动物角和其他自然形态的记忆,但它们是模糊且开放的,可供用户解释。开发“突变体2”和“突变体VR”的艺术动机是希望在“现实”与“非现实”之间获得有趣且令人愉悦的平衡,就像萨尔瓦多·达利(Salvador Dalì)、艾琳·阿加尔(Eileen Agar)和马克斯·恩斯特(Max Ernst)的超现实主义绘画一样,探索艺术家的选择和使用者的自由之间的相互作用③。
“突变体2”的内容和艺术风格基于较旧版本的有机艺术技术,重新恢复了所有的核心算法,而且在公共画廊环境中向观众展示了艺术家作为“园丁”的角色。因此,它可以在很多方面与有机艺术屏幕保护程序包进行比较。它允许观众创建自己的形式,尽管这些体验是在画廊中进行的,但它们完全可以在家里进行④。不过,“突变体2”是利用PC技术的进步来创建实时渲染的完全交互式体验的,观众能够通过PC触摸屏来创作变异形态,并通过6×5的突变网格进行挑选和繁殖,除此之外还提供一个额外的选项来杂交母形态,以在大型中央面板中创建“子形态”。“子形态”根据用户控制的突变率不断突变(反映用户对缓慢或快速进化的品位),并从地板投射到天花板,以供其他的访客观看。此时的用户界面比有机艺术时期更加丰富——我认为这是一种早期没有用户控制功能的作品和这些更新的互动体验之间的中间地带——使观众能够创造出更广泛的有机形式,并将自己视为合作艺术家,或者至少是体验的共同创作者。
从根本上说,这项工作完成了一个转变,这个转变始于有机艺术家庭软件时期——尽管受到当时技术的限制——通过这一转变,公众成了创造性的参与者或用户,而不是传统的艺术观众,在下文中我将统一使用“用户”这个词。“突变体2”使用了我在网络文化时期开发的调色板,屏幕保护程序和电子游戏都使用了这项技术。
在后来的一些“突变体2”展览中,体感技术(Kinect)被用于用户对形态基因的直接控制。用户两人一组参与创意体验,其中一个人使用PC触摸屏控制突变选择,另一个人通过移动身体进行交互(体感技术将捕捉到这一过程)。这种在画廊内的协作体验让人回想起《进化》的协作本质,但用户之间的协作及其表演性质也融入了更早期我对舞蹈编排的兴趣,这在我最早期的一些动画作品中可以看到,用户在某种“有机艺术舞蹈”中拖着脚步、旋转手臂,他们的身体动作驱动着图像和音乐的生成⑤。
2016年,受到查尔·戴维斯(Char Davis)的虚拟现实半抽象(semi-abstract)、半具象(semirepresentational)装置《渗透》(Osmose,1995)等作品的启发,其中的环境会响应用户位置、方向和速度等方面的变化,团队决定使用HTC Vive装置将我们的工作转移到VR中,并创造了我们第一个完全沉浸式的迷幻有机艺术体验。我们需要对软件进行重大更改,以便将体感技术体验和触摸屏的用户界面转化为VR,特别是通过使用类似于PlayStation和Xbox等游戏机上使用的VR“游戏式”控制器来实现所有功能。它还需要每秒90帧的渲染速度。
VR体验设计的初衷是在画廊中展示,并旨在适应不同类型的用户,这些用户分为两大类——游戏玩家和更传统的艺术观众,而艺术观众们可能几乎没有游戏经验。因此,有必要为游戏玩家提供足够的功能,但也不会让那些不习惯操作游戏手柄的人感到困惑。在画廊的环境下,每个用户的完整体验持续4到5分钟,因此所有用户必须能够在30秒到1分钟内学会如何使用控制器。在画廊或同等公共空间的特定环境中还要考虑其他因素,例如,无人使用VR体验时的间隙(此时系统自动切换到单个线性路径,自动生成一系列参数3D突变,以便在大屏幕上投影或显示连续实时视图,以吸引访问者)。此外,虽然VR用户拥有高度个性化的体验,将身体与艺术品融合在一起,轻微的动作就会引发VR空间的突变,但这一壮观的情境也需要让那些未沉浸在VR中的人观看。为了实现这一点,并满足观众的高期望,比如像Team Lab和Marshmallow Laser Feast的大型互动投影,我们也用心地“装扮”了整个空间,同时也关注着观众的反馈。人们似乎很喜欢观看在体验VR的其他人,就像游戏玩家经常喜欢看其他人玩游戏一样(如Twitch TV)⑥。VR体验已在英国和国际范围内进行了广泛展示,特别是在中国,从2019年至2021年展出了4次⑦。
“突变体VR”是一个混合体,一方面是系统自动变异,另一方面是在VR中捕捉用户的身体动作,以与系统协作驱动变异。艺术家的任务是事先对自动突变和用户身体运动产生的突变设置约束。这是为用户提供自由感的基础,同时继续在“最佳位置”进行操作。在该“最佳位置”中,事物将始终具有视觉吸引力和令人兴奋的效果,而没有任何极端的东西会损害体验感。例如,其中一个风险是显示的纹理可能变得过于高频,用团队自己的话说,图像看起来像“冒泡”的物体或一群蜜蜂。
为了减少此类效应的发生,威廉和“突变体”团队通过使用相关的“形式生长”基因范围的最小值和最大值对形态进行限制。用户控制的自由度和艺术限制之间不断地进行调节。例如,直接的控制器交互允许用户修改灯光并在场景中移动。然而,光线的传播角度和光线强度已被硬连接到系统中,以避免过度照亮整个场景。对所创建的形式约束还包括诸如设置分支的最大数量和每个分支的最小扭曲程度等。
除了艺术家、计算机和用户之间的相互作用之外,有时我也会忍不住探索一些有趣的想法和现象,其中之一就是VR空间的盒子属性(box-like nature)。事实上,我一直对盒子般的空间很感兴趣。在VR作品中,我依然坚持我1992年对马格利特(Magritte)的《聆听室》(Listening Room)系列作品所做的批评,特别是2020年2月在蓬皮杜中心的“神经元,模拟智能”(Neurones, Intelligences Simulées)展览中展出的“突变体VR”。该展览由弗雷德里克·米盖鲁(Frédéric Migayrou)和卡米尔·朗格卢瓦(Camille Lenglois)策划。“突变体VR”也有一个类似马格利特的盒子房间,带有投射阴影,这个房间中的变异结构就像一个生物样本,被用户利用力场进行变异和拉伸。VR非常适合从内部体验这种盒子效果,因为它给人一种小屏幕上其他计算机图形所缺少的比例感。“突变体”团队利用了这一点,通过使用所谓的“爱丽丝梦游仙境”效应来影响观众对体积的感知,用户的感知从标准的6平方米的房间到60平方米的大房间再到1平方米的小盒子,给用户一种错觉,即人的头部现在被困在一个非常狭窄的空间中。由此造成了一种需要快速逃离的感觉,因为许多用户发现它会引发幽闭空间恐惧。用户可以选择经历这种奇怪的身体体验,但也可以轻松地跳过这个环节。
结 论
回顾一下,从我在IBM工作开始,艺术家和计算机之间的渐进式合作关系一直是我实践的核心。离开IBM后,我开始尝试让观众/用户参与艺术过程的方法,并从高雅艺术背景转向通常被视为娱乐的形式(一方面是有机艺术程序包,另一方面是游戏《进化》和《怪形》)。2006年从商业领域回归我的艺术本体之后,我追求的是观众驱动的进化艺术理念,最终形成了我的VR艺术体验,正如我在这里所描述的。与“艺术体验”相关的两个主要问题是:首先,它们在多大程度上模糊了艺术和娱乐的范畴;其次,艺术家最终将多少控制权交给了公众用户,即用户在多大程度上可以被视为共同创作者。
与有机艺术程序包/屏幕保护程序和电子游戏相比,2013年以后,“突变体2”和“突变体VR”的体验更接近我的IBM时期有机艺术品的精神。然而,这些类型的体验也带来了风险,通过利用VR所擅长的效果,例如其对心理产生影响的特征(幽闭恐惧症),或眩晕感以及这些效果的震撼价值,艺术家不经意间又回到了娱乐的创作中,甚至是本能的游戏空间——其特点是惊异性(甚至是恐怖游戏中的震惊,其中一些现在已经出现在VR中)和身体回应(反应)。
这对于艺术家来说并非没有挑战,同样也面临着保证用户良好体验的压力,这也带来了消除无限艺术固有的随机性以确保用户即时娱乐的风险。用户的期望越来越高,特别是游戏的流畅性和戏剧性,而艺术家的角色则需要花费数小时来筛选出小到几乎看不见的突变和令人不满意的变体。如果要将用户的角色完全提升为共同创造者,那么从逻辑上讲,他们是否也需要同时接触好的和坏的结果?因为他们需要明白,只有时间和耐心才能获得令人满意或有趣的结果。
作为对这些复杂问题的第一个尝试性回答,我要提醒的是:“突变”和有机艺术本质上是一个无限的系统,因此用户的角色是以冥想和探索的方式参与系统(与寻求绝对控制的游戏玩家不同)。艺术家必须在平衡方面“使出浑身解数”,即适度利用VR与游戏共有的效果,为用户留下创造力和沉思的空间,并保持他们的史诗感,以忠于有机艺术的哲学基础。
注释:
① 在《VR中的单纯疱疹病毒内部——艺术变异》(Inside the Herpes Simplex Virus in VR - Artistic Variations)装置中,画廊参观者发现自己身处病毒的中心,这是一个微观世界,他们可以通过浏览其 60 重对称“衣壳外壳”结构的不同区域来探索这个世界。威廉·莱瑟姆、斯蒂芬·托德、彼得·托德,《进入 HSV1-VR中的单纯疱疹病毒——“美国现状”展览的艺术变奏》(Inside the HSV1-Herpes Simplex Virus in VR-Artistic Variations at The State of Us Exhibition)。载《我们的状态》(The State of Us),索尔福德:洛瑞酒店(Salford: The Lowry),2019年11月9日至2020年2月23日。
② 特别是“幻想病毒”(Fantasy Virus)和黑白的“电脑哥特”(Computer Gothic)系列。见“突变体”网站。
③ 相关内容的详细探讨见:威廉·莱瑟姆、斯蒂芬·托德、彼得·托德、兰斯·普特南,《展示“突变体VR”:程序艺术演变成虚拟现实》(Exhibiting Mutator VR: Procedural Art Evolves to Virtual Reality),《列奥纳多》(Leonardo)第54卷,第3期,2021年,第274—281页。
④ 2022年11月25日至2023年1月20日在秘鲁利马举办的Artware 8双年展目录中,围绕我的艺术作品与策展人翁贝托·隆科罗尼的访谈。请参阅其中有关未来艺术体验的相关讨论。
⑤ 音频方面,彼得·托德使用“超级对撞机”(Super Collider)合成来生成声音,并在音频和图形基因之间建立编码相关性。
⑥ 同③,第14、277页。
⑦ 中国VR展会:2019世界VR大会展,中国南昌,群展;2019绿岸艺术节(Greenbank Festival),现代美术馆,上海,中国,群展;2019 VR Now,119楼,上海中心大厦,群展;2021威廉·雷森大师工作室展,徐汇美术馆,上海,个展。
注:威廉·雷森,艺术家,伦敦金史密斯大学教授;赋明理,作家、语言学家和翻译家。
责任编辑:蒋林娟